V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 2218 days ago, the information mentioned may be changed or developed.
因为是个人网站，很多地方比较马虎，因为用这 chrome，google 就把我的测试页面抓取了，这些测试页面只在 chrome 上打开过，从来没在网上公开过。
 |
1
anUglyDog Apr 4, 2020
还算合理吧,毕竟是一家的.
|
 |
2
Tianao Apr 4, 2020  2
请正确配置 robots.txt 。
|
 |
3
mrchi Apr 4, 2020
测试页面公网能访问吗？你写 robots.txt 了没？
|
|
4
Tianao Apr 4, 2020
另请参考 developers.谷歌.康姆 /search/reference/robots_meta_tag 。
|
 |
5
mnssbe Apr 4, 2020 via iPhone
chrome 里有个设置会把 url 发送给 google，你可以反选
|
 |
6
wolfan Apr 4, 2020 via Android
roobts 对国产作用不大，但对国外的多少比国内的强。
|
 |
7
dot2017 Apr 4, 2020
你这个测试页面上有外链出去到别的被索引过的页面吗，google bot 抓取展现是双向的
|
 |
8
deplives Apr 4, 2020
是否正确配置 robots ？ 如果有，再来吐槽。如果没有，请找自己的原因
|
 |
9
dobelee Apr 4, 2020 via iPhone
能公网访问就别抱怨。。
|
 |
10
pinews OP |
 |
13
daozhihun Apr 4, 2020 via Android
你没设 robots，google spider 咋知道哪些是敏感的
|
 |
14
alan0liang Apr 4, 2020 via Android
Google 把我们 gitea 一大堆 repo 的所有语言版本都索引了😂
|
 |
15
aureole999 Apr 4, 2020
@pinews 比如你链接的页面是属于 Google 的或者有 Google ads，analytics 之类的，那 Google 肯定能拿到 referer 啊，referer 就是你自己的页面了。
|
 |
16
binux Apr 4, 2020 via Android 5
把 Google 换成 360 浏览器再来看看评论
|
 |
17
miaomiao888 Apr 5, 2020
@binux 你这种叫啥来着？ 算了还是给你拉红一下
|
 |
18
mxalbert1996 Apr 5, 2020 via Android 1
你有敏感信息就不要放公网上，放公网上就设个访问限制，你放公网上又不设访问限制又不写 robots 被抓了还怪人家？
|
|
19
binux Apr 5, 2020 via Android
|
 |
20
ksdd521lr Apr 5, 2020 via Android
google 的骚操作哈哈
|
 |
21
laqow Apr 5, 2020 via Android
我理解这个事实上都不用从 chrome 抓，在注册域名的时候就抓了，甚至可能你拿 8888 做 dns 时候就抓了。
|
|
22
pinews OP 我把我的意思明确一下，本质上不是蜘蛛抓取未公开的页面，
而是 google chrome 将我的访问记录下来，并公布在网络上了，恰好是我的自己的网站，所以正好发现了。 |
Select Language