Robots.txt Distribuzione dell'utilizzo In Saint Pierre e Miquelon

Distribuzione per i siti Web che utilizzano Robots.txt tecnologie

Tecnologia	Siti web	%
Microsoft BingBot Disallow	894	14,07
Yandex Bot Disallow	892	14,04
Alexa Bot Disallow	892	14,04
Yahoo Slurp Disallow	887	13,96
Soso Bot Disallow	886	13,95
Googlebot Disallow	384	6,04
Robots Disallow	320	5,04
Baidu Bot Disallow	315	4,96
Sogou Bot Disallow	284	4,47
Some Robots Disallow	121	1,9
Google Media Partners Disallow	118 ^*	1,86
GPTBot Disallow	25	0,39
ByteDance Bytespider Disallow	24	0,38
Google AdsBot Disallow	23	0,36
Google AdsBot Mobile Disallow	19	0,3
Common Crawl Bot Disallow	19	0,3
AppleBot Disallow	19	0,3
Anthropic Claude Bot Disallow	19	0,3
Google Bard Disallow	19	0,3
Facebook Bot Disallow	19	0,3
Ahrefs Bot Disallow	17	0,27
Apple AI Bot Disallow	16	0,25
Google AdsBot Mobile Apps Disallow	13	0,2
Cohere AI Disallow	12	0,19
Semrush Bot Disallow	12	0,19
Perplexity	11	0,17
Webz Omgili Disallow	11	0,17
Microsoft MSNBot Disallow	10	0,16
Majestic Bot Disallow	9	0,14
Google Image Bot Disallow	9	0,14
Google News Bot Disallow	7	0,11
Google Video Bot Disallow	7	0,11
DuckDuckGo Bot Disallow	7	0,11
Google Favicon Disallow	7	0,11
Google API Bot Disallow	7	0,11
Google DuplexWeb Disallow	7	0,11
Diffbot Disallow	4	0,06
Exalead Bot Disallow	2	0,03
YOU Disallow	2	0,03
360 Bot Disallow	1	0,02
BuiltWithBot Disallow	1	0,02
Youdao Bot Disallow	1	0,02
Google BIG Bench Disallow	1	0,02