Robots.txt Nutzungsverteilung auf der Weihnachtsinsel

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Googlebot Disallow	692	14,57
Baidu Bot Disallow	658	13,85
Sogou Bot Disallow	628	13,22
Robots Disallow	582	12,25
Some Robots Disallow	546	11,49
Google Media Partners Disallow	239 ^*	5,03
Yandex Bot Disallow	167	3,52
Microsoft BingBot Disallow	163	3,43
Yahoo Slurp Disallow	151	3,18
Alexa Bot Disallow	148	27,56
Soso Bot Disallow	138	2,9
GPTBot Disallow	65	12,1
Ahrefs Bot Disallow	53	1,12
Majestic Bot Disallow	44	0,93
Semrush Bot Disallow	43	0,91
Anthropic Claude Bot Disallow	42	7,82
Common Crawl Bot Disallow	37	6,89
Google Bard Disallow	36	6,7
Facebook Bot Disallow	34	6,33
AppleBot Disallow	28	0,59
ByteDance Bytespider Disallow	27	5,03
Apple AI Bot Disallow	26	4,84
Cohere AI Disallow	25	4,66
Webz Omgili Disallow	25	4,66
Perplexity	23	4,28
Google AdsBot Mobile Apps Disallow	16	0,34
Microsoft MSNBot Disallow	15	0,32
Diffbot Disallow	15	2,79
Exalead Bot Disallow	11	0,23
Google Image Bot Disallow	11	0,23
YOU Disallow	8	1,49
DuckDuckGo Bot Disallow	8	0,17
360 Bot Disallow	7	0,15
Google News Bot Disallow	7	0,15
Google Video Bot Disallow	7	0,15
Google Favicon Disallow	7	0,15
Google API Bot Disallow	6	0,13
Google DuplexWeb Disallow	6	0,13
Pipl Disallow	3	0,06
Youdao Bot Disallow	2	0,04
BuiltWithBot Disallow	1	0,02
LLMS Text	1	0,02