从服务器下载大文件的最好方法是?

2015 年 9 月 23 日
 htfy96
之前在 aliyun 租了个 vps 做爬虫,现在爬虫完成后大概获得了 15G 的数据(已压缩)

这边网络最多 1MBps ,估计要下载很长时间,网上有人提到了 scp ,但是好像不能断点续传。现在服务器上什么也没有(ftp/http 服务器)。请问有什么比较好的方法把数据拖下来呢?
31079 次点击
所在节点    Linux
84 条回复
pythoner
2015 年 9 月 23 日
rsync --partial
FinlayLiu
2015 年 9 月 23 日
迅雷。。。
pixstone
2015 年 9 月 23 日
迅雷+1
kslr
2015 年 9 月 23 日
Yun or apt install nginx
kslr
2015 年 9 月 23 日
yum
ryd994
2015 年 9 月 23 日
bypy 上传,百度的数据还不是都交给国家,没什么不放心的
另外用 filezilla 可以 sftp ,但是触发流量识别从此 vps 被消失的可能性很大
constance
2015 年 9 月 23 日
bypy 上传到百度云
loading
2015 年 9 月 23 日
装个 bypy ,上传到百度云,然后再下载。
kkfnui
2015 年 9 月 23 日
迅雷
kkfnui
2015 年 9 月 23 日
@kkfnui 跟风了,连 ftp 和 http 都没有那就没有肯定不能用迅雷了。
jasontse
2015 年 9 月 23 日
lrzsz

....其实还是 scp
Tink
2015 年 9 月 23 日
起 web 服务, aria2 下
htfy96
2015 年 9 月 23 日
@loading
@constance 然而学校很奇怪的是百度云大概只有 200K 左右速度
constance
2015 年 9 月 23 日
@htfy96 可以冲个会员试一下
phithon
2015 年 9 月 23 日
一键开启 http :
python -m SimpleHTTPServer
php -S localhost:8080

一键开启 ftp:
python -m pyftpdlib #需要安装 pyftpdlib

另外, rsync 比 scp 快得多,适合传输大量文件,而且支持增量传输。
三种方法楼主选择。。。
htfy96
2015 年 9 月 23 日
@phithon 多谢,我用 ruby 也能很方便地建服务器,之前忘了这一点了。已经压缩后的单个文件其实各种方法都速度差不了多少。
regeditms
2015 年 9 月 23 日
弄个 nginx 然后 ip + 地址 访问下载了。好像是多个线程下载的。
htfy96
2015 年 9 月 23 日
pmpio
2015 年 9 月 23 日
大文件还是用 7z 分一下卷吧,一个文件 512M ,不管用啥方法下载,保险系数都大得多。。。。
JustZht
2015 年 9 月 23 日
bypy 配合 bcloud 客户端

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/223183

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX