Robots.txt 使用分布 在佛得角

排名靠前 Robots.txt 使用分布 在佛得角

技术	网站	%
Robots Disallow	17	39.53
Alexa Bot Disallow	4	33.33
Ahrefs Bot Disallow	3	6.98
Yahoo Slurp Disallow	2	4.65
Google Image Bot Disallow	2	4.65
Microsoft BingBot Disallow	1	2.33
GPTBot Disallow	1	8.33
Common Crawl Bot Disallow	1	8.33
AppleBot Disallow	1	2.33
Anthropic Claude Bot Disallow	1	8.33
Google Bard Disallow	1	8.33
Facebook Bot Disallow	1	8.33
Cohere AI Disallow	1	8.33
Apple AI Bot Disallow	1	8.33
Perplexity	1	8.33
Google AdsBot Mobile Apps Disallow	1	2.33
Majestic Bot Disallow	1	2.33
Semrush Bot Disallow	1	2.33
Microsoft MSNBot Disallow	1	2.33
DuckDuckGo Bot Disallow	1	2.33

43 检测

的 Robots.txt 在佛得角. 上次更新 21st 4月 2025.

Robots Disallow 是目前该类别中最流行的技术。