Robots.txt Distribución de uso en Somalia

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
Googlebot Disallow	1.146	19,23
Baidu Bot Disallow	1.080	18,12
Some Robots Disallow	733	12,3
Sogou Bot Disallow	385	6,46
Yandex Bot Disallow	328	5,5
Microsoft BingBot Disallow	308	5,17
Alexa Bot Disallow	298	5
Yahoo Slurp Disallow	298	5
Soso Bot Disallow	296	4,97
Robots Disallow	202	3,39
Google Media Partners Disallow	179 ^*	3
Google AdsBot Disallow	80	1,34
Ahrefs Bot Disallow	74	1,24
Google AdsBot Mobile Disallow	55	0,92
GPTBot Disallow	55	0,92
Semrush Bot Disallow	54	0,91
Majestic Bot Disallow	49	0,82
Common Crawl Bot Disallow	39	0,65
Google Bard Disallow	33	0,55
Anthropic Claude Bot Disallow	31	0,52
AppleBot Disallow	30	0,5
Facebook Bot Disallow	30	0,5
Cohere AI Disallow	27	0,45
Google AdsBot Mobile Apps Disallow	27	0,45
Apple AI Bot Disallow	26	0,44
Perplexity	25	0,42
360 Bot Disallow	14	0,23
Exalead Bot Disallow	8	0,13
ByteDance Bytespider Disallow	7	0,12
Microsoft MSNBot Disallow	6	0,1
Webz Omgili Disallow	6	0,1
Google Image Bot Disallow	5	0,08
BuiltWithBot Disallow	5	0,08
Diffbot Disallow	3	0,05
DuckDuckGo Bot Disallow	3	0,05
Google News Bot Disallow	2	0,03
Google Video Bot Disallow	2	0,03
Google Favicon Disallow	2	0,03
Youdao Bot Disallow	2	0,03
Google API Bot Disallow	2	0,03
Google DuplexWeb Disallow	2	0,03
Pipl Disallow	2	0,03