Archivo robots.txt Distribución de uso En los Estados Unidos

Arriba en Archivo robots.txt Distribución de uso En los Estados Unidos

Tecnología	Sitios web	%
Yandex Bot Disallow	2.179.192	5,66
Microsoft BingBot Disallow	2.074.445	5,39
Alexa Bot Disallow	2.028.947	5,27
Robots Disallow	2.025.965	5,26
Yahoo Slurp Disallow	1.958.110	5,09
Soso Bot Disallow	1.885.251	4,9
Ahrefs Bot Disallow	1.849.788	4,81
GPTBot Disallow	1.830.579	4,76
Common Crawl Bot Disallow	1.819.022	4,73
AppleBot Disallow	1.721.525	4,47
Anthropic Claude Bot Disallow	1.708.084	4,44
Google Bard Disallow	1.672.269	4,34
Facebook Bot Disallow	1.654.911	4,3
Apple AI Bot Disallow	1.632.881	4,24
Cohere AI Disallow	1.599.398	4,16
Perplexity	1.571.764	4,08
Google AdsBot Disallow	1.545.606	4,02
Google AdsBot Mobile Apps Disallow	1.539.203	4
Google AdsBot Mobile Disallow	1.221.522	3,17
Googlebot Disallow	970.002	2,52
Majestic Bot Disallow	764.168	1,99
Semrush Bot Disallow	671.898	1,75
Baidu Bot Disallow	396.100	1,03
Some Robots Disallow	344.099	0,89
Sogou Bot Disallow	304.959	0,79
ByteDance Bytespider Disallow	208.196	0,54
Google Media Partners Disallow	201.327 *	0,52
Exalead Bot Disallow	179.660	0,47
Microsoft MSNBot Disallow	170.085	0,44
360 Bot Disallow	155.771	0,4
Google Image Bot Disallow	133.897	0,35
Webz Omgili Disallow	130.181	0,34
Diffbot Disallow	71.702	0,19
BuiltWithBot Disallow	64.941	0,17
Google News Bot Disallow	34.485	0,09
Google Video Bot Disallow	33.741	0,09
Youdao Bot Disallow	29.154	0,08
Google Favicon Disallow	26.822	0,07
YOU Disallow	26.515	0,07
DuckDuckGo Bot Disallow	25.954	0,07
Google API Bot Disallow	9.620	0,02
Google DuplexWeb Disallow	8.499	0,02
Pipl Disallow	8.368	0,02
Google FeedFetcher Disallow	1.214	0
Google Read Aloud Disallow	1.031	0
LLMS Text	588	0
Google Web Light Disallow	89	0
Google BIG Bench Disallow	13	0

38.491.541 Detecciones

de Archivo robots.txt En los Estados Unidos. Última actualización 21st abr. 2025.

Yandex Bot Disallow Actualmente es la tecnología más popular en esta categoría.