Archivo robots.txt Distribución de uso En Anguila

Arriba en Archivo robots.txt Distribución de uso En Anguila

Tecnología	Sitios web	%
Googlebot Disallow	15.950	17,46
Baidu Bot Disallow	12.269	13,43
Sogou Bot Disallow	11.951	13,08
Some Robots Disallow	11.664	12,77
Robots Disallow	5.365	5,87
Google AdsBot Disallow	5.052	5,53
Google AdsBot Mobile Disallow	4.627	5,06
GPTBot Disallow	1.794	13
Common Crawl Bot Disallow	1.527	11,07
Google Bard Disallow	1.506	10,91
AppleBot Disallow	1.480	1,62
Yandex Bot Disallow	1.474	1,61
Anthropic Claude Bot Disallow	1.468	10,64
Microsoft BingBot Disallow	1.440	1,58
Facebook Bot Disallow	1.436	10,41
Perplexity	1.422	10,31
Apple AI Bot Disallow	1.418	10,28
Alexa Bot Disallow	1.411	10,23
Yahoo Slurp Disallow	1.405	1,54
Cohere AI Disallow	1.372	9,94
Google AdsBot Mobile Apps Disallow	1.372	1,5
Soso Bot Disallow	1.356	1,48
Ahrefs Bot Disallow	696	0,76
Semrush Bot Disallow	347	0,38
Google Media Partners Disallow	345 *	0,38
Majestic Bot Disallow	210	0,23
ByteDance Bytespider Disallow	129	0,93
Webz Omgili Disallow	117	0,85
Google Image Bot Disallow	102	0,11
Microsoft MSNBot Disallow	83	0,09
DuckDuckGo Bot Disallow	66	0,07
360 Bot Disallow	57	0,06
Google Video Bot Disallow	55	0,06
Google News Bot Disallow	54	0,06
Google API Bot Disallow	49	0,05
Google Favicon Disallow	47	0,05
Google DuplexWeb Disallow	47	0,05
Diffbot Disallow	45	0,33
Exalead Bot Disallow	44	0,05
LLMS Text	44	0,05
YOU Disallow	31	0,22
BuiltWithBot Disallow	29	0,03
Youdao Bot Disallow	5	0,01
Pipl Disallow	5	0,01
Google FeedFetcher Disallow	2	0

91.368 Detecciones

de Archivo robots.txt En Anguila. Última actualización 21st abr. 2025.

Googlebot Disallow Actualmente es la tecnología más popular en esta categoría.