特殊行业小企业的大文件存储、共享和永久备份的一些问题

2024 年 11 月 12 日
 ipengxh

前情概要

  1. 公司性质特殊,存储的数据是刑事案件的手机、电脑、服务器镜像,数据需要保留至少 30 年;
  2. 公司起步阶段,对成本比较敏感,目前公司规模约 10 人,一般 1~5 个人参与一个项目;
  3. 每年 50~100 个项目,每个项目所需的存储从 10G 到 30T 不等,平均在 1T 左右;
  4. 存储的数据以 zip 压缩文件为主,也可能临时存储大量服务器镜像的原始文件( raw 、qcow2 等格式),文件大小从 10G 到 1T 不等,每个项目还包含数十个文档文件。

当前方案

  1. Dell 730XD + TrueNAS Scale + 12x16T ;
  2. 2 个 ZFS 存储池,每个 6 块盘,一个冗余 1 块盘( Z1 ),一个冗余 2 块( Z2 );
  3. 开启 zstd-9 ,对于服务器镜像的原始文件有极佳的压缩率( 1T 的镜像文件实际占用空间可能会小到 1G )
  4. 仅开 samba 协议挂载形式访问数据;
  5. ZFS 离线备份往年数据。

当前存在的问题

  1. 权限管理的问题。每个项目的数据不允许项目外的人访问(也不允许列举目录),不知道是不是使用 TrueNAS 的姿势不对,没找到可以配置的入口。TrueNAS 是否可以方便的实现该需求?如不可以,有无更好的选择?

潜在的风险

  1. 氦气盘不稳定因素。据网上的资料,氦气盘存在漏气的风险,考虑到成本因素,离线备份只有一份备份,备份损坏可能导致灾难性问题。是否应当考虑其他存储介质?
  2. TrueNAS 稳定性问题。目前已经挂过一次 TrueNAS 系统盘了( Intel 傲腾),用新盘装新系统添加池就恢复了。TrueNAS 是否存在其他可能导致数据丢失的潜在风险?
6385 次点击
所在节点    NAS
84 条回复
ltkun
2024 年 11 月 14 日
zfs 很好用 我现在不仅数据存储用 系统也用根本不怕硬盘挂 raidz2 或者 z3 op 这么规划除非遇到地震这种恶劣情况 一般事故根本挂不了 sun 的文件系统怎么这么超前 原谅我最近几年才知道 zfs 不然早用了
wulinn
2024 年 11 月 14 日
emmmmm ,我要是说百度网盘,会不会被打死
h1298841903
2024 年 11 月 14 日
@ungrownxiaohao 加密秘钥估计轻松被泄露,内鬼难防。
shinecurve
2025 年 1 月 27 日
就像一楼说的,那必然是 LTO 磁带,请参考国家档案局的“档案数据存储用 LTO 磁带应用规范”

https://www.saac.gov.cn/daj/hybz/201912/1b944990fa1b4d829ac4ca4315ac65d3/files/3eb7a3f6fa434bd9b88483735cee24a1.pdf

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1088741

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX