linux 服务器互相之间怎么传输 90G 网站文件?论坛附件非常多

2016 年 11 月 29 日
 doufenger

用 scp 传着太慢,而且时间久了就会导致服务器没响应 今天想试试压缩了再传。。结果现在还没压缩好,还搞得一直要重启,不然会卡死( 2G 内存的破 VPS )

10940 次点击
所在节点    DevOps
79 条回复
doufenger
2016 年 11 月 29 日
@akira 我中午的时候就是进行了打包命令,被坑到现在。 现在还没打包好。一直在生成包
jimzhong
2016 年 11 月 29 日
才 90G 而已啦, mirrors.ustc.edu.cn 那么多文件都可以 rsync
shinko
2016 年 11 月 29 日
@doufenger 我大概 30W 个文件吧,不过我的是服务器
missdeer
2016 年 11 月 29 日
ftp
isCyan
2016 年 11 月 29 日
打包成 tar 然后 http
ryd994
2016 年 11 月 29 日
几百 G 的 kvm 磁盘镜像,还不是一个 scp -C 直传
连几十 G 的文件都搞不定,要 ssh 有何用
打包慢就 tar cf - 直接 pipe 给 ssh 啊
估计很多人还不知道 ssh 可以 pipe
文件可压缩就加-C
yangqi
2016 年 11 月 29 日
论坛附件大部分都是小文件,肯定要用 rsync
colatin
2016 年 11 月 29 日
rsync +1 不二的选择
sylecn
2016 年 11 月 29 日
不用先压缩。用 rsync 传整个文件夹。如果服务器还有其它流量,可以加参数限制 rsync 带宽。
qyz0123321
2016 年 11 月 29 日
@ryd994 支持,直接用 pipe 给 ssh ,然后用 dd 到远端。
9hills
2016 年 11 月 29 日
不是很理解楼主,二楼就给了答案……结果 21 楼还在纠结压缩的事情
flyeblue
2016 年 11 月 29 日
btsync 也是可以考虑的选项吧?这个比 rsync 用起来简单,个人感觉。
bao3
2016 年 11 月 30 日
楼主别太折腾,楞以选用开源的 syncthing 或者闭源的 resilio sync (就是上面两位说的 btsync ),直接就解决了你的问题。
shiny
2016 年 11 月 30 日
rsync 可以断点续传,同时记得开个 tmux 或者 screen
msg7086
2016 年 11 月 30 日
screen / tmux
+ rsync
上 TB 的数据都这么传的。
yegle
2016 年 11 月 30 日
nc
lakeview
2016 年 11 月 30 日
rsync 可以断点续传,写个 shell 脚本检测 rsync 进程,挂了就再跑一次
minsheng
2016 年 11 月 30 日
一楼加一, U 盘拷一下顺丰就好,何必那么麻烦
huijiewei
2016 年 11 月 30 日
楼主用这个是最好的: https://github.com/axkibe/lsyncd

服务搭好后就不用管了,同步完以后停止服务就是了
waruqi
2016 年 11 月 30 日
scp

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/324205

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX