Robot.txt Distribuzione dell'utilizzo a Sant'Elena

Distribuzione per siti web che utilizzano Robot.txt tecnologie

Tecnologia	Siti web	%
Googlebot Disallow	1.973	15,59
Baidu Bot Disallow	1.878	14,84
Some Robots Disallow	1.561	12,34
Sogou Bot Disallow	1.481	11,7
Robots Disallow	1.144	9,04
Yandex Bot Disallow	515	4,07
Microsoft BingBot Disallow	509	4,02
Alexa Bot Disallow	491	3,88
Yahoo Slurp Disallow	491	3,88
Soso Bot Disallow	471	3,72
Google Media Partners Disallow	220 ^*	1,74
Google AdsBot Disallow	172	1,36
GPTBot Disallow	167	1,32
Ahrefs Bot Disallow	159	1,26
Common Crawl Bot Disallow	112	0,89
Google Bard Disallow	111	0,88
Majestic Bot Disallow	108	0,85
Semrush Bot Disallow	101	0,8
Anthropic Claude Bot Disallow	97	0,77
Facebook Bot Disallow	92	0,73
AppleBot Disallow	89	0,7
Apple AI Bot Disallow	81	0,64
Google AdsBot Mobile Disallow	80	0,63
Webz Omgili Disallow	70	0,55
Perplexity	68	0,54
Cohere AI Disallow	66	0,52
ByteDance Bytespider Disallow	58	0,46
Diffbot Disallow	45	0,36
YOU Disallow	36	0,28
Google AdsBot Mobile Apps Disallow	35	0,28
Microsoft MSNBot Disallow	28	0,22
Google Image Bot Disallow	25	0,2
Exalead Bot Disallow	17	0,13
Google News Bot Disallow	14	0,11
DuckDuckGo Bot Disallow	14	0,11
Google Video Bot Disallow	13	0,1
360 Bot Disallow	12	0,09
Google Favicon Disallow	12	0,09
Pipl Disallow	11	0,09
Google API Bot Disallow	10	0,08
Google DuplexWeb Disallow	10	0,08
BuiltWithBot Disallow	4	0,03
LLMS Text	3	0,02
Youdao Bot Disallow	1	0,01