Robots.txt Répartition de l'utilisation dans l'ile de Norfolk

Accrocher Robots.txt Répartition de l'utilisation dans l'ile de Norfolk

Technologie	Sites Internet	%
Google Media Partners Disallow	17 *	15,04
Robots Disallow	10	8,85
Googlebot Disallow	9	7,96
Baidu Bot Disallow	8	7,08
Yandex Bot Disallow	5	4,42
Microsoft BingBot Disallow	5	4,42
Yahoo Slurp Disallow	5	4,42
Alexa Bot Disallow	4	3,54
Soso Bot Disallow	4	3,54
Google AdsBot Disallow	3	2,65
Google AdsBot Mobile Disallow	3	2,65
GPTBot Disallow	3	2,65
Common Crawl Bot Disallow	3	2,65
AppleBot Disallow	3	2,65
Anthropic Claude Bot Disallow	3	2,65
Google Bard Disallow	3	2,65
Facebook Bot Disallow	3	2,65
Apple AI Bot Disallow	3	2,65
Google AdsBot Mobile Apps Disallow	3	2,65
Ahrefs Bot Disallow	2	1,77
Cohere AI Disallow	2	1,77
Perplexity	2	1,77
Semrush Bot Disallow	1	0,88
Microsoft MSNBot Disallow	1	0,88
Webz Omgili Disallow	1	0,88
Google Image Bot Disallow	1	0,88
Google News Bot Disallow	1	0,88
Google Video Bot Disallow	1	0,88
DuckDuckGo Bot Disallow	1	0,88
Google Favicon Disallow	1	0,88
Google API Bot Disallow	1	0,88
Google DuplexWeb Disallow	1	0,88

113 Détections

de Robots.txt dans l'ile de Norfolk. Dernière mise à jour 04th janv. 2025.

Google Media Partners Disallow est actuellement la technologie la plus populaire dans cette catégorie.