Archivo robots.txt Distribución de uso En Anguila

Arriba en Archivo robots.txt Distribución de uso En Anguila

Tecnología	Sitios web	%
Googlebot Disallow	18.828	18,63
Baidu Bot Disallow	14.093	13,95
Some Robots Disallow	13.225	13,09
Sogou Bot Disallow	10.630	10,52
Google AdsBot Disallow	6.499	6,43
Google AdsBot Mobile Disallow	6.005	5,94
Robots Disallow	4.632	4,58
GPTBot Disallow	1.926	1,91
Yandex Bot Disallow	1.740	1,72
Microsoft BingBot Disallow	1.717	1,7
Alexa Bot Disallow	1.676	1,66
Yahoo Slurp Disallow	1.676	1,66
Common Crawl Bot Disallow	1.646	1,63
Google Bard Disallow	1.637	1,62
Soso Bot Disallow	1.612	1,6
AppleBot Disallow	1.606	1,59
Anthropic Claude Bot Disallow	1.601	1,58
Facebook Bot Disallow	1.570	1,55
Apple AI Bot Disallow	1.551	1,53
Perplexity	1.551	1,53
Google AdsBot Mobile Apps Disallow	1.495	1,48
Cohere AI Disallow	1.493	1,48
Ahrefs Bot Disallow	704	0,7
Google Media Partners Disallow	366 *	0,36
Semrush Bot Disallow	353	0,35
Majestic Bot Disallow	214	0,21
ByteDance Bytespider Disallow	131	0,13
Webz Omgili Disallow	123	0,12
Google Image Bot Disallow	110	0,11
Microsoft MSNBot Disallow	88	0,09
DuckDuckGo Bot Disallow	66	0,07
360 Bot Disallow	60	0,06
Google News Bot Disallow	57	0,06
Google Video Bot Disallow	57	0,06
Google API Bot Disallow	51	0,05
Google Favicon Disallow	49	0,05
Google DuplexWeb Disallow	49	0,05
Exalead Bot Disallow	41	0,04
Diffbot Disallow	40	0,04
BuiltWithBot Disallow	28	0,03
YOU Disallow	28	0,03
LLMS Text	10	0,01
Pipl Disallow	5	0
Youdao Bot Disallow	4	0

101.043 Detecciones

de Archivo robots.txt En Anguila. Última actualización 07th mar. 2025.

Googlebot Disallow Actualmente es la tecnología más popular en esta categoría.