Archivo robots.txt Distribución de uso en Islas Turcas y Caicos

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Robots Disallow	76	8,3
Googlebot Disallow	75	8,19
Google AdsBot Disallow	60	6,55
Baidu Bot Disallow	47	5,13
GPTBot Disallow	46	5,02
Some Robots Disallow	45	4,91
Sogou Bot Disallow	42	4,59
Common Crawl Bot Disallow	40	4,37
Google Bard Disallow	39	4,26
Anthropic Claude Bot Disallow	38	4,15
Google AdsBot Mobile Apps Disallow	38	4,15
AppleBot Disallow	37	4,04
Facebook Bot Disallow	37	4,04
Apple AI Bot Disallow	37	4,04
Perplexity	37	4,04
Cohere AI Disallow	36	3,93
Yandex Bot Disallow	28	3,06
Google Media Partners Disallow	27 ^*	2,95
Yahoo Slurp Disallow	21	2,29
Microsoft BingBot Disallow	19	2,07
Alexa Bot Disallow	19	2,07
Soso Bot Disallow	17	1,86
Ahrefs Bot Disallow	12	1,31
Microsoft MSNBot Disallow	7	0,76
Majestic Bot Disallow	6	0,66
Semrush Bot Disallow	5	0,55
Google Image Bot Disallow	4	0,44
ByteDance Bytespider Disallow	2	0,22
Exalead Bot Disallow	2	0,22
360 Bot Disallow	2	0,22
Google News Bot Disallow	2	0,22
Google Video Bot Disallow	2	0,22
DuckDuckGo Bot Disallow	2	0,22
Google Favicon Disallow	2	0,22
Google API Bot Disallow	2	0,22
Google DuplexWeb Disallow	2	0,22
Webz Omgili Disallow	1	0,11
BuiltWithBot Disallow	1	0,11
Google FeedFetcher Disallow	1	0,11