V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2869 days ago, the information mentioned may be changed or developed.
大家一起来说说，做爬虫以后的方向
 |
1
Phant0m Jun 23, 2018  1
爬虫犯法。。。
|
 |
2
Immortal Jun 23, 2018
怎么还有人在说爬虫犯法..
|
 |
3
qsnow6 Jun 23, 2018
爬虫往高了走都是逆向
|
 |
4
H0TSp1RnG Jun 23, 2018 via Android
除了这些 一共还要学哪些安全的东西
|
 |
5
Mascdo Jun 23, 2018
题主做爬虫多久了啊
|
 |
6
silencefent Jun 23, 2018
一年零六个月警告
|
 |
7
crystone Jun 23, 2018
往后走都是黑客技术啊
|
 |
11
est Jun 23, 2018
我见过牛逼的爬虫都是直接 GUI 群控。。。。根本不需要逆向。
|
 |
12
qiayue PRO 你看得见的数据，作者不一定就想给你
|
 |
13
SingeeKing PRO @est #11 效率低啊
|
|
14
est Jun 23, 2018
@SingeeKing 写爬虫不到处都是 sleep 生怕别人给你封了。。。
|
 |
16
jobtesting Jun 23, 2018 via iPhone
反爬虫
|
 |
19
zgwjustice Jun 23, 2018 via iPhone
@linhanqiu 看头条前 cto 因为爬虫被判刑了吗 就只是爬了头条的视频
|
 |
20
linhanqiu OP @zgwjustice ...e
|
|
23
zgwjustice Jun 23, 2018 via iPhone
@linhanqiu 我记得罪名就是 UA 及 IP 绕过发爬机制 危害计算机系统 还赔了几万的技术服务费
|
|
24
zgwjustice Jun 23, 2018 via iPhone
@linhanqiu 伪造 UA 及 IP 绕过反爬机制
|
|
25
linhanqiu OP 1
@zgwjustice 这个罪名也是 666 的
|
 |
26
wulasite Jun 23, 2018 via Android
老铁啊，那你可知道学安全什么都要学啊。
其实有什么需求就变成什么样的人，这不是常态吗(滑稽 |
 |
27
swulling Jun 24, 2018 via iPhone
伪造 UA 都犯法，你这还要脱壳？
怕不是想吃牢饭了 |
 |
28
winglight2016 Jun 24, 2018 via iPad
逆向用于商业目的就是违法的——包括破签、协议接口逆向等等，个人理解不一定准，不过如果是我，我会更低调一点
|
 |
29
tingyunsay Jun 24, 2018
我搞了一年多的爬虫，除了新出现的反爬方法，就是 app 里的逆向了，推荐个博客：尼古拉斯*赵四，逆向入门都是看的这位哥的～～
|
|
30
tingyunsay Jun 24, 2018
卧槽，看了楼上几位的对话，现在感觉慌的一批啊.....
|
 |
31
tnt666666 Jun 24, 2018 via Android
不要争辩是否违法，因为法律说你违法，你就违法了。
|
 |
32
fiht Jun 24, 2018
往反爬虫这个方向走，越走越死。
|
 |
33
alexnevsky Jun 24, 2018
自己研究下没事，要是用于商业用途，东搞西搞，对方告你就是违法了
|
|
34
linhanqiu OP @tingyunsay 好的，哥们，多谢
|
 |
36
sola97 Jun 25, 2018
爬虫到头搞信息安全么
|
 |
37
erosripe Jun 25, 2018 via Android
@tingyunsay 求链接
|
|
38
linhanqiu OP |
 |
41
fengche361 Jun 25, 2018
还是要小心一点，感觉数据要是用于商业用途，基本上就是游走在法律边缘
|
 |
42
nbboy Jun 25, 2018
不是逆向，是正向，逆向只是手段。产出程序才是正道。
|
 |
43
U87 Jun 25, 2018
@linhanqiu 爬虫使用代理时,公司提供了快代理收费接口,我这边直接拿到接口返回的那些 addres 和 port,然后做了个简单的判断,就是遍历拿到的代理 ip 列表访问个 http 的网站,返回 200 的我就取,然后就去实现我的爬虫(response = requests.get(url=url, headers=random.choice(self.headers), proxies=random.choice(proxy_list), timeout=10)),随机获取验证过的 ip,然后再请求.但是这样好像不行.都是这种报错 HTTPConnectionPool,请问前辈是哪里的问题
|
 |
44
18835579411 Jun 26, 2018
@linhanqiu 感谢
|
 |
45
rocketman13 Jun 26, 2018
js 加密参数一般怎么破
|
 |
46
supervipcard Jun 27, 2018
爬虫做多了，不会点逆向跟深度学习，真心搞不动
|
 |
47
wushaojun321 Jun 30, 2018 via iPhone
一样啊，兄弟，发请求很容易，难的是发的内容，最近在看加密与解密
|
Select Language