如何自动找出被删除的网页或发帖

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3601 天前的主题，其中的信息可能已经有所发展或是发生改变。

应用场景是这样：有一个爬虫系统，各种网站上爬了很多网页。但客户删除了一些网站上的帖子，现在需要重新爬一次，把客户删帖的帖子找出来。这种删帖的情况，好像没有标准。各个网站，论坛会提供各种的 404 方案，甚至是找人。请教各位大侠，有什么办法能怎么准确的找出删帖

删帖

帖子

删除

论坛会

8 条回复 • 2016-05-09 10:41:34 +08:00

binux

2016 年 5 月 3 日

1. status code ，即使是找人，返回码一般也是 404 ，不然对 SEO 不利
2. 比内容

pimin

2016 年 5 月 3 日 via Android

按之前爬的网址重新去爬，只发送 HEAD 请求就可以了。

ysdj

2016 年 5 月 3 日

出现重复次数最多的网页为 404

Cu635

2016 年 5 月 3 日

我还以为你要找出被删除的帖子然后保留呢……

badcode

2016 年 5 月 3 日

@pimin 然而像“我”的人会屏蔽发送 HEAD 请求，没有正常点的 UA 门都没

pimin

2016 年 5 月 3 日 via Android

@badcode
为什么要屏蔽 head ， SEO 不做了？
感觉属于讳疾忌医

badcode

2016 年 5 月 3 日 via iPhone

@pimin 忘记说了，曾经搜索第一个就是它
突然想通了
就不要了

Hxai11

2016 年 5 月 9 日

404
headers
content