Archivo robots.txt Distribución de uso En Samoa Americana

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Robots Disallow	363	28,25
Googlebot Disallow	102	7,94
Google AdsBot Disallow	78	6,07
Google AdsBot Mobile Disallow	69	5,37
Sogou Bot Disallow	45	3,5
Common Crawl Bot Disallow	40	3,11
Anthropic Claude Bot Disallow	40	3,11
GPTBot Disallow	39	3,04
AppleBot Disallow	37	2,88
Google Bard Disallow	37	2,88
Apple AI Bot Disallow	37	2,88
Facebook Bot Disallow	36	2,8
Perplexity	33	2,57
Cohere AI Disallow	32	2,49
Microsoft BingBot Disallow	30	2,33
Yandex Bot Disallow	28	2,18
Yahoo Slurp Disallow	27	2,1
Alexa Bot Disallow	26	2,02
Soso Bot Disallow	21	1,63
Ahrefs Bot Disallow	19	1,48
Google AdsBot Mobile Apps Disallow	19	1,48
Webz Omgili Disallow	19	1,48
ByteDance Bytespider Disallow	16	1,25
Semrush Bot Disallow	15	1,17
YOU Disallow	15	1,17
Majestic Bot Disallow	14	1,09
Diffbot Disallow	14	1,09
Microsoft MSNBot Disallow	7	0,54
Exalead Bot Disallow	5	0,39
Google Image Bot Disallow	5	0,39
Google News Bot Disallow	3	0,23
Google Video Bot Disallow	3	0,23
DuckDuckGo Bot Disallow	3	0,23
Google Favicon Disallow	3	0,23
Google API Bot Disallow	2	0,16
Google DuplexWeb Disallow	2	0,16
360 Bot Disallow	1	0,08