Robots.txt Nutzungsverteilung auf Bermuda

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Google AdsBot Disallow	373	16,58
Googlebot Disallow	216	9,6
Common Crawl Bot Disallow	131	12,56
GPTBot Disallow	129	12,37
AppleBot Disallow	128	5,69
Google Bard Disallow	128	12,27
Anthropic Claude Bot Disallow	126	12,08
Facebook Bot Disallow	125	11,98
Apple AI Bot Disallow	125	11,98
Perplexity	124	11,89
Cohere AI Disallow	123	11,79
Google AdsBot Mobile Apps Disallow	123	5,47
Robots Disallow	79	3,51
Ahrefs Bot Disallow	79	3,51
Baidu Bot Disallow	28	1,24
Yandex Bot Disallow	23	1,02
Some Robots Disallow	22	0,98
Microsoft BingBot Disallow	22	0,98
Majestic Bot Disallow	22	0,98
Sogou Bot Disallow	21	0,93
Semrush Bot Disallow	18	0,8
Yahoo Slurp Disallow	17	0,76
Alexa Bot Disallow	16	1,53
Soso Bot Disallow	13	0,58
Microsoft MSNBot Disallow	8	0,36
Google Image Bot Disallow	8	0,36
Exalead Bot Disallow	6	0,27
360 Bot Disallow	4	0,18
ByteDance Bytespider Disallow	3	0,29
Webz Omgili Disallow	3	0,29
BuiltWithBot Disallow	3	0,13
Google News Bot Disallow	1	0,04
Google Video Bot Disallow	1	0,04
Google Favicon Disallow	1	0,04
Youdao Bot Disallow	1	0,04