Robot.txt Distribuzione dell'utilizzo a Montserrat

Distribuzione per siti web che utilizzano Robot.txt tecnologie

Tecnologia	Siti web	%
Googlebot Disallow	205	14,15
Baidu Bot Disallow	184	12,7
Robots Disallow	182	12,56
Sogou Bot Disallow	177	12,22
Yandex Bot Disallow	83	5,73
Microsoft BingBot Disallow	80	5,52
Yahoo Slurp Disallow	78	5,38
Alexa Bot Disallow	77	5,31
Soso Bot Disallow	73	5,04
Google Media Partners Disallow	66 ^*	4,55
Google AdsBot Disallow	32	2,21
GPTBot Disallow	23	1,59
Ahrefs Bot Disallow	17	1,17
Common Crawl Bot Disallow	13	0,9
Google Bard Disallow	13	0,9
Facebook Bot Disallow	12	0,83
Anthropic Claude Bot Disallow	11	0,76
Semrush Bot Disallow	11	0,76
AppleBot Disallow	10	0,69
Google AdsBot Mobile Apps Disallow	10	0,69
Majestic Bot Disallow	10	0,69
Apple AI Bot Disallow	8	0,55
Perplexity	8	0,55
Google Image Bot Disallow	8	0,55
Cohere AI Disallow	7	0,48
Microsoft MSNBot Disallow	7	0,48
Google News Bot Disallow	5	0,35
Google Video Bot Disallow	5	0,35
Google Favicon Disallow	5	0,35
Youdao Bot Disallow	5	0,35
ByteDance Bytespider Disallow	4	0,28
Webz Omgili Disallow	4	0,28
DuckDuckGo Bot Disallow	4	0,28
Google API Bot Disallow	4	0,28
Google DuplexWeb Disallow	4	0,28
Exalead Bot Disallow	2	0,14
Diffbot Disallow	1	0,07
YOU Disallow	1	0,07