Archivo robots.txt Distribución de uso En Georgia

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Googlebot Disallow	1.371	17,58
Google AdsBot Disallow	1.192	15,29
Google AdsBot Mobile Disallow	976	12,52
Robots Disallow	675	8,66
Some Robots Disallow	379	4,86
Yandex Bot Disallow	354	4,54
Baidu Bot Disallow	297	3,81
Sogou Bot Disallow	272	3,49
Ahrefs Bot Disallow	261	3,35
Yahoo Slurp Disallow	204	2,62
Microsoft BingBot Disallow	198	2,54
Alexa Bot Disallow	195	2,5
Soso Bot Disallow	195	2,5
Common Crawl Bot Disallow	101	1,3
GPTBot Disallow	95	1,22
Anthropic Claude Bot Disallow	83	1,06
Google Bard Disallow	83	1,06
AppleBot Disallow	81	1,04
Semrush Bot Disallow	81	1,04
Facebook Bot Disallow	78	1
Majestic Bot Disallow	76	0,97
Apple AI Bot Disallow	75	0,96
Google Media Partners Disallow	73 ^*	0,94
Google AdsBot Mobile Apps Disallow	73	0,94
Perplexity	72	0,92
Cohere AI Disallow	70	0,9
Microsoft MSNBot Disallow	36	0,46
Google Image Bot Disallow	26	0,33
Exalead Bot Disallow	24	0,31
360 Bot Disallow	21	0,27
BuiltWithBot Disallow	20	0,26
Webz Omgili Disallow	8	0,1
ByteDance Bytespider Disallow	7	0,09
Google News Bot Disallow	7	0,09
DuckDuckGo Bot Disallow	7	0,09
Google Video Bot Disallow	6	0,08
Google Favicon Disallow	5	0,06
Google API Bot Disallow	5	0,06
Google DuplexWeb Disallow	5	0,06
Youdao Bot Disallow	4	0,05
Diffbot Disallow	2	0,03
YOU Disallow	2	0,03
Google FeedFetcher Disallow	2	0,03