Archivo robots.txt Distribución de uso en las Islas Vírgenes de los Estados Unidos

Arriba en Archivo robots.txt Distribución de uso en las Islas Vírgenes de los Estados Unidos

Tecnología	Sitios web	%
Google AdsBot Disallow	309	18,11
Anthropic Claude Bot Disallow	100	5,86
Common Crawl Bot Disallow	99	5,8
GPTBot Disallow	98	5,74
AppleBot Disallow	97	5,69
Facebook Bot Disallow	97	5,69
Google Bard Disallow	96	5,63
Apple AI Bot Disallow	93	5,45
Cohere AI Disallow	92	5,39
Perplexity	91	5,33
Google AdsBot Mobile Apps Disallow	89	5,22
Ahrefs Bot Disallow	70	4,1
Baidu Bot Disallow	50	2,93
Robots Disallow	49	2,87
Yandex Bot Disallow	35	2,05
Some Robots Disallow	33	1,93
Sogou Bot Disallow	30	1,76
Alexa Bot Disallow	25	1,47
Microsoft BingBot Disallow	23	1,35
Majestic Bot Disallow	23	1,35
Yahoo Slurp Disallow	22	1,29
Semrush Bot Disallow	22	1,29
Soso Bot Disallow	19	1,11
Google Media Partners Disallow	13 *	0,76
Microsoft MSNBot Disallow	6	0,35
ByteDance Bytespider Disallow	4	0,23
Exalead Bot Disallow	4	0,23
Webz Omgili Disallow	4	0,23
Google Image Bot Disallow	4	0,23
360 Bot Disallow	3	0,18
Diffbot Disallow	2	0,12
BuiltWithBot Disallow	2	0,12
YOU Disallow	1	0,06
Pipl Disallow	1	0,06

1.706 Detecciones

de Archivo robots.txt en las Islas Vírgenes de los Estados Unidos. Última actualización 21st abr. 2025.

Google AdsBot Disallow Actualmente es la tecnología más popular en esta categoría.