Robots.txt Distribución de uso en San Vicente y las Granadinas

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
Googlebot Disallow	2.090	17,71
Baidu Bot Disallow	1.766	14,97
Some Robots Disallow	1.506	12,76
Google AdsBot Disallow	578	4,9
Sogou Bot Disallow	571	4,84
Google AdsBot Mobile Disallow	566	4,8
Microsoft BingBot Disallow	325	2,75
Yandex Bot Disallow	322	2,73
Alexa Bot Disallow	322	2,73
Yahoo Slurp Disallow	316	2,68
Soso Bot Disallow	313	2,65
GPTBot Disallow	272	2,31
Robots Disallow	259	2,2
AppleBot Disallow	257	2,18
Google Bard Disallow	256	2,17
Anthropic Claude Bot Disallow	254	2,15
Facebook Bot Disallow	254	2,15
Common Crawl Bot Disallow	253	2,14
Apple AI Bot Disallow	251	2,13
Perplexity	244	2,07
Cohere AI Disallow	242	2,05
Google AdsBot Mobile Apps Disallow	241	2,04
Google Media Partners Disallow	179 ^*	1,52
Majestic Bot Disallow	40	0,34
Semrush Bot Disallow	40	0,34
Ahrefs Bot Disallow	31	0,26
Webz Omgili Disallow	17	0,14
ByteDance Bytespider Disallow	8	0,07
Exalead Bot Disallow	5	0,04
Diffbot Disallow	5	0,04
YOU Disallow	5	0,04
360 Bot Disallow	3	0,03
Microsoft MSNBot Disallow	2	0,02
DuckDuckGo Bot Disallow	2	0,02
BuiltWithBot Disallow	1	0,01
Google News Bot Disallow	1	0,01
Pipl Disallow	1	0,01