机器人.txt 使用分布 在 苏里南

置顶 机器人.txt 使用分布 在 苏里南

技术	网站	%
Robots Disallow	82	21.69
Yandex Bot Disallow	24	6.35
Microsoft BingBot Disallow	23	6.08
Sogou Bot Disallow	20	5.29
Ahrefs Bot Disallow	19	5.03
Yahoo Slurp Disallow	19	5.03
Alexa Bot Disallow	18	4.76
Soso Bot Disallow	18	4.76
Common Crawl Bot Disallow	15	3.97
GPTBot Disallow	14	3.7
AppleBot Disallow	14	3.7
Anthropic Claude Bot Disallow	14	3.7
Google Bard Disallow	14	3.7
Facebook Bot Disallow	12	3.17
Apple AI Bot Disallow	12	3.17
Perplexity	11	2.91
Google AdsBot Mobile Apps Disallow	11	2.91
Cohere AI Disallow	10	2.65
Majestic Bot Disallow	7	1.85
Semrush Bot Disallow	7	1.85
Microsoft MSNBot Disallow	4	1.06
ByteDance Bytespider Disallow	2	0.53
Exalead Bot Disallow	2	0.53
Webz Omgili Disallow	2	0.53
Google Image Bot Disallow	1	0.26
360 Bot Disallow	1	0.26
BuiltWithBot Disallow	1	0.26
DuckDuckGo Bot Disallow	1	0.26

378 检测结果

的 机器人.txt 在 苏里南. 最近更新时间 18th 12月 2024.

Robots Disallow 是目前该类别中最流行的技术。