Archivo robots.txt Distribución de uso En Samoa

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Googlebot Disallow	4.176	11,98
Baidu Bot Disallow	4.133	11,86
Sogou Bot Disallow	4.042	11,6
Yandex Bot Disallow	3.456	9,92
Alexa Bot Disallow	3.439	9,87
Yahoo Slurp Disallow	3.426	9,83
Microsoft BingBot Disallow	3.424	9,82
Soso Bot Disallow	3.400	9,76
Some Robots Disallow	2.858	8,2
Robots Disallow	780	2,24
Google Media Partners Disallow	703 ^*	2,02
Google AdsBot Disallow	97	0,28
Ahrefs Bot Disallow	97	0,28
Majestic Bot Disallow	82	0,24
Common Crawl Bot Disallow	57	0,16
Semrush Bot Disallow	57	0,16
GPTBot Disallow	56	0,16
Microsoft MSNBot Disallow	46	0,13
Anthropic Claude Bot Disallow	43	0,12
Google Bard Disallow	43	0,12
AppleBot Disallow	39	0,11
Exalead Bot Disallow	38	0,11
Facebook Bot Disallow	36	0,1
Apple AI Bot Disallow	34	0,1
Google Image Bot Disallow	34	0,1
360 Bot Disallow	31	0,09
Webz Omgili Disallow	25	0,07
Google AdsBot Mobile Apps Disallow	23	0,07
Cohere AI Disallow	22	0,06
Perplexity	20	0,06
ByteDance Bytespider Disallow	16	0,05
Google News Bot Disallow	16	0,05
Google Video Bot Disallow	16	0,05
Google Favicon Disallow	16	0,05
Diffbot Disallow	12	0,03
DuckDuckGo Bot Disallow	12	0,03
Google API Bot Disallow	11	0,03
Google DuplexWeb Disallow	11	0,03
BuiltWithBot Disallow	10	0,03
YOU Disallow	7	0,02
Youdao Bot Disallow	2	0,01
Pipl Disallow	2	0,01
Google Read Aloud Disallow	1	0
LLMS Text	1	0