V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3649 days ago, the information mentioned may be changed or developed.
应用场景是这样：有一个爬虫系统，各种网站上爬了很多网页。但客户删除了一些网站上的帖子，现在需要重新爬一次，把客户删帖的帖子找出来。这种删帖的情况，好像没有标准。各个网站，论坛会提供各种的 404 方案，甚至是找人。请教各位大侠，有什么办法能怎么准确的找出删帖
 |
1
binux May 3, 2016
1. status code ，即使是找人，返回码一般也是 404 ，不然对 SEO 不利
2. 比内容 |
 |
2
pimin May 3, 2016 via Android
按之前爬的网址重新去爬，只发送 HEAD 请求就可以了。
|
 |
3
ysdj May 3, 2016
出现重复次数最多的网页为 404
|
 |
4
Cu635 May 3, 2016
我还以为你要找出被删除的帖子然后保留呢……
|
 |
8
Hxai11 May 9, 2016
404
headers content |
Select Language