Robots.txt Distribución de uso en Georgia del sur y las islas Sandwich del sur

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
Robots Disallow	121	14,34
Googlebot Disallow	93	11,02
Baidu Bot Disallow	83	9,83
Some Robots Disallow	71	8,41
Sogou Bot Disallow	46	5,45
Alexa Bot Disallow	41	4,86
Microsoft BingBot Disallow	38	4,5
Yahoo Slurp Disallow	37	4,38
Yandex Bot Disallow	35	4,15
Soso Bot Disallow	35	4,15
Google Media Partners Disallow	30 ^*	3,55
Anthropic Claude Bot Disallow	20	2,37
GPTBot Disallow	15	1,78
Ahrefs Bot Disallow	14	1,66
AppleBot Disallow	14	1,66
Common Crawl Bot Disallow	13	1,54
Facebook Bot Disallow	13	1,54
Apple AI Bot Disallow	13	1,54
Majestic Bot Disallow	13	1,54
Semrush Bot Disallow	13	1,54
Google Bard Disallow	11	1,3
ByteDance Bytespider Disallow	10	1,18
Webz Omgili Disallow	10	1,18
Microsoft MSNBot Disallow	8	0,95
Cohere AI Disallow	7	0,83
Perplexity	6	0,71
Google AdsBot Mobile Apps Disallow	6	0,71
Google Image Bot Disallow	5	0,59
Diffbot Disallow	4	0,47
Google News Bot Disallow	3	0,36
Google Video Bot Disallow	3	0,36
Google Favicon Disallow	3	0,36
Exalead Bot Disallow	2	0,24
DuckDuckGo Bot Disallow	2	0,24
Youdao Bot Disallow	2	0,24
Google API Bot Disallow	2	0,24
Google DuplexWeb Disallow	2	0,24