一直挺好奇的， Google 是如何抓取隐藏内容的？

有些论坛使用的这种隐藏内容的方式叫做 Paywall，中文名叫做付费墙。但是内容实际上已经在源代码里面了，只是用 js 把内容隐藏起来了而已。Google 可以绕过部分简陋的付费墙，

不负责任猜想：有权限的用户使用了 chrome 浏览器

你看到的是前段，google 的蜘蛛抓得是后端

有可能是还没设置权限就被抓了。

已知的两种可能：
1. 在源码里，假隐藏，打开 F12 找找
2. 针对 Google Bot 开放检索权限

补充一条
3. 还没设置权限时已被抓取

可能做了 seo 优化，也可能就是漏洞

网站针对性 SEO 的概率大一点， 面对 google bot 的 UA 和 IP 段放开吐数据

大概率是针对 Google 做了 SEO，允许 Googlebot 爬
很多新闻网站的付费墙，不光允许 Googlebot 爬，从 Google 搜索结果点击进去就可以阅读全文，而手动访问则会触发付费墙要求登录订阅
甚至 v2 目前用的 Cloudflare 的五秒盾，从 Google 搜索结果中点进来就不会触发，虽然部分资源无法加载但是不影响文字内容的获取

@itskingname
@dzyou2007

我测试了一个这样的网站，请求隐藏内容的时候，带上我的 cookie，购买后的才能看到，没有购买的就看不到。因此应该不是在前端简单隐藏了。


@ruixue 我感觉大概率是这样的。但是网站如何判断是 Google 爬虫呢？除非是主动提交内容，否则服务器很难查看是不是 Google 的爬虫吧。

User-Agent 携带了 Google Bot 信息，判断很容易
@coolcatha

@dzyou2007 这个太容易伪造了，除了 Google bot 的 IP 其他的都能伪造呀

@AngryPanda 记得 360 浏览器这么干过

@AngryPanda
@silymore

Google 不至于吧，早就大新闻了

@coolcatha #12
https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot

@morethansean 非常感谢。如果是这样，我也没办法去验证了

@coolcatha 通过 ip 段来判断是不是来自 Googlebot 的访问请求

很多 GeoDNS 都用了这些 ip 库，可以针对各个搜索引擎的 Bot 返回单独的解析结果

@coolcatha #12 //developers.google.com/search/docs/advanced/crawling/verifying-googlebot?hl=zh-cn

这里还真涉及到 discuz 的两个漏洞

@ESP 能详细说说吗？或者给个关键词哈