Robots.txt Distribución de uso en Islas Vírgenes de los Estados Unidos

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
Google AdsBot Disallow	478	17,45
Googlebot Disallow	336	12,26
Anthropic Claude Bot Disallow	152	5,55
Common Crawl Bot Disallow	150	5,47
GPTBot Disallow	148	5,4
Facebook Bot Disallow	147	5,36
AppleBot Disallow	146	5,33
Google Bard Disallow	146	5,33
Apple AI Bot Disallow	143	5,22
Cohere AI Disallow	141	5,15
Perplexity	140	5,11
Google AdsBot Mobile Apps Disallow	138	5,04
Ahrefs Bot Disallow	94	3,43
Robots Disallow	58	2,12
Yandex Bot Disallow	47	1,72
Majestic Bot Disallow	35	1,28
Some Robots Disallow	34	1,24
Google Media Partners Disallow	34 ^*	1,24
Semrush Bot Disallow	29	1,06
Alexa Bot Disallow	27	0,99
Microsoft BingBot Disallow	26	0,95
Yahoo Slurp Disallow	26	0,95
Soso Bot Disallow	20	0,73
Microsoft MSNBot Disallow	11	0,4
Exalead Bot Disallow	6	0,22
Google Image Bot Disallow	6	0,22
ByteDance Bytespider Disallow	5	0,18
Webz Omgili Disallow	5	0,18
360 Bot Disallow	3	0,11
BuiltWithBot Disallow	2	0,07
Diffbot Disallow	2	0,07
Google News Bot Disallow	1	0,04
Google Video Bot Disallow	1	0,04
YOU Disallow	1	0,04
Google Favicon Disallow	1	0,04
Pipl Disallow	1	0,04