老司机开车啦,下载指定 tumblr 博客的视频和照片到本地~

2018 年 4 月 21 日
 qbhy

项目地址: https://github.com/qbhy/go-tumblr-crawler mac 同学 clone 下来可以直接运行 ./tumblr 运行。 windows or linux 同学需要自己编译一下,golang 编写的,需要 go build 一下(注意依赖)。 有些的不好的地方欢迎指出或者 PR ~

9773 次点击
所在节点    程序员
20 条回复
qbhy
2018 年 4 月 21 日
# go-tumblr-crawler
Easily download all the photos/videos from tumblr blogs. 下载指定的 Tumblr 博客中的图片,视频。golang 版本。

## 配置和运行
配置需要爬取的站点: `sites.json`
```
[
{
"site": "truenorthshow",
"video": true,
"photo": true
},
{
"site": "photosbygerardo",
"video": true,
"photo": true
}
]
```
配置代理 : `proxies.json`
```
{
"http": "socks5://127.0.0.1:1080",
"https": "socks5://127.0.0.1:1080"
}
```
然后保存文件,双击运行 `./tumblr.exe`(还没编译好,你可以自行编译).
mac 用户可以直接运行 `./tumblr`
jisibencom
2018 年 4 月 21 日
怎么编译呢
qbhy
2018 年 4 月 21 日
@jisibencom 啥系统
wangxiaoaer
2018 年 4 月 21 日
笑死了,今天是怎么了,刚分享了一个在线下载的就碰到楼主这个
https://study.congcong.us/t/448720#reply8
qbhy
2018 年 4 月 21 日
@wangxiaoaer 哈哈,我也是默默点了收藏
sola97
2018 年 4 月 21 日
我自己用 scrapy 写了个递归抓取的,同时保存每个视频的评论,然后入库后用 MySQL8.0 的正则查询评论存在关键词的视频的源地址,用 aria2c 下载,实际上效果不错
Osk
2018 年 4 月 21 日
看了下代码好像不支持下载原始分辨率的图片,差评 /doge/
sola97
2018 年 4 月 21 日
aice114
2018 年 4 月 21 日
默默收藏一个
qbhy
2018 年 4 月 22 日
@sola97 我这个这版本没有做数据库存储,有时间再改进
qbhy
2018 年 4 月 22 日
@Osk 写的比较急,后面会完善~
谢谢关注~
qbhy
2018 年 4 月 22 日
@sola97 谢谢老司机~稳
ihciah
2018 年 4 月 22 日
顺便,我的 telegram bot 也可以开 tumblr ………
支持自动抓取并推送至私聊,channel 或者群聊。抓取列表,推送对象等都可以通过 tg 聊天管理。

https://study.congcong.us/t/448493
hizzx
2018 年 4 月 22 日
@sola97 开源了吗
redmofang
2018 年 4 月 22 日
能区分博主自己上传与转发他人的帖子吗?
suyuanhxx
2018 年 4 月 23 日
前段时间,我刚分享过一个这玩意...
k7262140
2018 年 4 月 23 日
能否 下载 指定博客的 喜欢?
qbhy
2018 年 4 月 23 日
@redmofang 应该可以的,回头我研究一下
qbhy
2018 年 4 月 23 日
@k7262140 应该也可以,回头研究一下~也欢迎 PR
exxfzc
2018 年 5 月 10 日
@qbhy mac 小白,看不懂怎么操作...

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/448764

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX