Robot.txt Distribuzione dell'utilizzo nel Senegal

Distribuzione per siti web che utilizzano Robot.txt tecnologie

Tecnologia	Siti web	%
Robots Disallow	228	19
Googlebot Disallow	215	17,92
Ahrefs Bot Disallow	52	4,33
Sogou Bot Disallow	47	3,92
Yandex Bot Disallow	47	3,92
GPTBot Disallow	45	12,2
Common Crawl Bot Disallow	45	12,2
Google Bard Disallow	41	11,11
AppleBot Disallow	39	3,25
Anthropic Claude Bot Disallow	39	10,57
Facebook Bot Disallow	39	10,57
Perplexity	39	10,57
Cohere AI Disallow	38	10,3
Apple AI Bot Disallow	38	10,3
Google AdsBot Mobile Apps Disallow	36	3
Microsoft BingBot Disallow	31	2,58
Alexa Bot Disallow	31	8,4
Soso Bot Disallow	31	2,58
Yahoo Slurp Disallow	27	2,25
Majestic Bot Disallow	22	1,83
Semrush Bot Disallow	20	1,67
Google Media Partners Disallow	15 ^*	1,25
Exalead Bot Disallow	6	0,5
360 Bot Disallow	6	0,5
ByteDance Bytespider Disallow	3	0,81
Microsoft MSNBot Disallow	3	0,25
Webz Omgili Disallow	3	0,81
Google Image Bot Disallow	3	0,25
BuiltWithBot Disallow	3	0,25
YOU Disallow	3	0,81
Diffbot Disallow	2	0,54
Google News Bot Disallow	1	0,08
DuckDuckGo Bot Disallow	1	0,08
Pipl Disallow	1	0,08