Robots.txt Nutzungsverteilung In Trinidad und Tobago

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Google AdsBot Disallow	254	10,74
Google AdsBot Mobile Disallow	225	9,51
Googlebot Disallow	156	6,6
GPTBot Disallow	130	5,5
AppleBot Disallow	129	5,45
Common Crawl Bot Disallow	127	5,37
Google Bard Disallow	127	5,37
Anthropic Claude Bot Disallow	126	5,33
Facebook Bot Disallow	126	5,33
Apple AI Bot Disallow	126	5,33
Google AdsBot Mobile Apps Disallow	126	5,33
Cohere AI Disallow	124	5,24
Perplexity	124	5,24
Robots Disallow	103	4,36
Baidu Bot Disallow	46	1,95
Ahrefs Bot Disallow	40	1,69
Yahoo Slurp Disallow	36	1,52
Yandex Bot Disallow	34	1,44
Microsoft BingBot Disallow	29	1,23
Alexa Bot Disallow	28	1,18
Some Robots Disallow	26	1,1
Sogou Bot Disallow	22	0,93
Soso Bot Disallow	21	0,89
Microsoft MSNBot Disallow	15	0,63
Google Image Bot Disallow	13	0,55
Majestic Bot Disallow	11	0,47
Semrush Bot Disallow	11	0,47
Webz Omgili Disallow	5	0,21
Exalead Bot Disallow	4	0,17
Google News Bot Disallow	4	0,17
Google Video Bot Disallow	4	0,17
Google Favicon Disallow	4	0,17
ByteDance Bytespider Disallow	2	0,08
DuckDuckGo Bot Disallow	2	0,08
360 Bot Disallow	1	0,04
Diffbot Disallow	1	0,04
YOU Disallow	1	0,04
Google API Bot Disallow	1	0,04
Google DuplexWeb Disallow	1	0,04