Robots.txt Nutzungsverteilung In Amerikanische Jungferninseln

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Google AdsBot Disallow	494	18,02
Googlebot Disallow	342	12,48
GPTBot Disallow	142	5,18
Anthropic Claude Bot Disallow	142	5,18
Common Crawl Bot Disallow	140	5,11
AppleBot Disallow	140	5,11
Facebook Bot Disallow	139	5,07
Google Bard Disallow	138	5,03
Apple AI Bot Disallow	137	5
Cohere AI Disallow	134	4,89
Perplexity	134	4,89
Google AdsBot Mobile Apps Disallow	133	4,85
Ahrefs Bot Disallow	88	3,21
Baidu Bot Disallow	72	2,63
Robots Disallow	49	1,79
Yandex Bot Disallow	45	1,64
Some Robots Disallow	34	1,24
Majestic Bot Disallow	34	1,24
Google Media Partners Disallow	30 ^*	1,09
Semrush Bot Disallow	28	1,02
Alexa Bot Disallow	25	0,91
Microsoft BingBot Disallow	23	0,84
Yahoo Slurp Disallow	23	0,84
Sogou Bot Disallow	21	0,77
Soso Bot Disallow	17	0,62
Microsoft MSNBot Disallow	11	0,4
Google Image Bot Disallow	6	0,22
Exalead Bot Disallow	5	0,18
Webz Omgili Disallow	4	0,15
ByteDance Bytespider Disallow	3	0,11
360 Bot Disallow	1	0,04
BuiltWithBot Disallow	1	0,04
Diffbot Disallow	1	0,04
Google News Bot Disallow	1	0,04
Google Video Bot Disallow	1	0,04
Google Favicon Disallow	1	0,04
YOU Disallow	1	0,04
Pipl Disallow	1	0,04