V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
abc950309
V2EX  ›  NAS

搞了一个 LTO 磁带管理系统,有兴趣的老哥可以看看

  •  
  •   abc950309 · Sep 26, 2023 · 4148 views
    This topic created in 953 days ago, the information mentioned may be changed or developed.

    https://github.com/samuelncui/yatm

    screenshot-jobs

    写了好几个月了,终于到了可用的程度。带一个 Web UI ,使用 LTFS 做存储,有文件管理、硬件加密、Hash 校验等功能。喜欢的大佬给个 Star ,如果能给一些 PR 就更好了。

    文件管理可以方便组织文件。备份到磁带后,可以在文件管理器里使用文件夹整理文件。

    备份的时候,可以一次性备份多个磁带的内容。会在第一个磁带满时,弹出提醒放入第二个磁带。

    恢复时,会计算出需要的磁带。放入驱动器后,会读取磁带 RFID 来确定放入的是哪个磁带,并读取对应的待恢复文件。

    对线性读写设备(比如 LTO 这种)做了特别优化,写入和读取时都会按位置顺序来。对写入小文件的场景,当来源文件在磁盘上时,会做 Prefetch Hint 。

    23 replies    2023-10-09 12:12:05 +08:00
    yyzh
        1
    yyzh  
       Sep 26, 2023 via Android
    能用到磁带的那种都是大企业或者数据中心了吧
    flyqie
        2
    flyqie  
       Sep 26, 2023
    想请问下楼主是什么情况下考虑到用磁带的?

    感觉。。好麻烦而且成本很高。
    abc950309
        3
    abc950309  
    OP
       Sep 26, 2023
    @yyzh 比硬盘便宜呀,而且还带加密。LTO5 驱动现在 750 ,磁带 25 块一盘,每盘 1.5T 。
    abc950309
        4
    abc950309  
    OP
       Sep 26, 2023
    @flyqie 可以看看回复的成本,比硬盘成本低。
    vsyf
        5
    vsyf  
       Sep 26, 2023
    @yyzh #1
    视频博主那种要保存大量 4k/8k 素材的就需要。
    其他个人的话,我只能想到家里有多个监控摄像头,并且视频想存几十年这种场景了。
    bobryjosin
        6
    bobryjosin  
       Sep 26, 2023
    南方这种地方存储条件太高,维护太麻烦之前就放弃了,以后当数字仓鼠是不是要人手一台带库?哈哈。
    zhujinliang
        7
    zhujinliang  
       Sep 26, 2023
    再 3D 打印个磁带库,用步进电机做个自动加载/卸载就完美了
    rio
        8
    rio  
       Sep 26, 2023   ❤️ 1
    @abc950309 「 LTO5 驱动现在 750 ,磁带 25 块一盘,每盘 1.5T 。」想请问下这个价格在哪里有?一直想搞个来玩玩
    abc950309
        9
    abc950309  
    OP
       Sep 26, 2023
    @rio 直接海鲜市场就可以
    abc950309
        10
    abc950309  
    OP
       Sep 26, 2023
    @zhujinliang 有 3d 打印机,但是执行机构实在是不好做呀~~ 大佬搞过嘛~~
    tankren
        11
    tankren  
       Sep 26, 2023
    这个一般要公司才用的上吧
    Mogeko
        12
    Mogeko  
       Sep 26, 2023 via iPhone
    1.5 T 是压缩前还是压缩后的?👀
    abc950309
        13
    abc950309  
    OP
       Sep 26, 2023
    @Mogeko 不压缩是 1.5 ,压缩是 3 (文本的情况下)
    Atsushi
        14
    Atsushi  
       Sep 26, 2023 via Android
    厉害了 当年用的一台工作站上带个 dds 都没搞明白
    Reficul
        15
    Reficul  
       Sep 26, 2023
    磁带保存起来比较麻烦,不知道 OP 咋搞的
    MisakiOkusawa
        16
    MisakiOkusawa  
       Sep 26, 2023
    5 还是太小了 体积也是成本 感觉现在可用的至少 7 起步 我在日本这看日拍之类的地方 LTO7 的驱动器均价大概在 12-16w 日元 也就是 5k-8k 的样子 但是考虑到数据安全性可能还要每年读取一遍磁带充一下磁 最后还是搞了矿盘做冷备
    SkywalkerJi
        17
    SkywalkerJi  
       Sep 26, 2023
    磁带机买什么便宜?
    lm930129
        18
    lm930129  
       Sep 27, 2023
    @rio 我在海鲜市场看了下 ,L6 的大概是 1400-1600 这样,L5 大概是 750-800 ,磁带就没看了。有一个双 L6 驱动器的惠普 MSL2024 ,打包是 6K ,带 24 块盘的。
    sunnysab
        19
    sunnysab  
       Sep 27, 2023
    和 op 有类似的想法!目前有一台 LTO6 6250.

    暑假的时候用 Rust 重新写了一下 FreeBSD 中 mt 命令的一些实现,打算做一个磁带备份工具,见 https://github.com/sunnysab/nas-toolbox/tree/master/tape 。基于操作系统自带的磁带机驱动( sa )里的 record 、file 这些概念(功能)做的。不过由于现在接触不到磁带机,项目有很大可能烂尾了…

    我当时想解决的问题和 op 类似,比如我现在有 10T 数据,我想写入到若干 2.5T 磁带中,需要一个统一的文件管理器帮我记录文件具体在哪一盘磁带中。另外,我还想支持增量备份。

    目前遇到的问题: 不是很好判断剩余空间。比如:当前剩余 100G ,那么我 200G 的电影就写不下,但我可以找几个小文件塞进去。可实际情况下,我不知道剩余 100G (或对应的 record count ),有些头疼。

    LTFS 应该解决了这个问题?但我之前略微看了一下 LTFS 相关资料,他们有一些 index 、block 的结构,写入的时候好像不是纯线性的(现在不是很肯定),在我测试的时候写入速度很慢,比使用 tar 命令直接写差远了。

    感谢 op 做的工作,先 star 一下,有机会研究研究哈!
    abc950309
        20
    abc950309  
    OP
       Sep 27, 2023
    @sunnysab 我这边是直接写入到无法写入为止,回退失败的文件在下一个磁带写入。对于 1.5T 的磁带来讲,如果文件平均大小 10G ,最极端的场景不会浪费超过 1%。LTFS 的 index 时间点可以配置,对于这种场景,直接配置为 umount 时写入 index ,就能避免写入的时候 shoe-shining 了。
    rio
        21
    rio  
       Sep 27, 2023
    @Reficul 潮湿环境会发霉吗😂
    rio
        22
    rio  
       Sep 27, 2023
    @lm930129 LTO5/6 存储密度差点意思,7 的话价格就暴涨……
    akafeng
        23
    akafeng  
       Oct 9, 2023
    看完评论感觉保存似乎是个大问题?现在大容量机械价格也下来了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5676 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 08:08 · PVG 16:08 · LAX 01:08 · JFK 04:08
    ♥ Do have faith in what you're doing.