Robots.txt Répartition de l'utilisation dans Svalbard et Jan Mayen

Accrocher Robots.txt Répartition de l'utilisation dans Svalbard et Jan Mayen

Technologie	Sites Internet	%
Google AdsBot Disallow	22	13,75
Google AdsBot Mobile Disallow	22	13,75
Googlebot Disallow	14	8,75
AppleBot Disallow	10	6,25
Google AdsBot Mobile Apps Disallow	10	6,25
GPTBot Disallow	9	5,62
Common Crawl Bot Disallow	9	5,62
Anthropic Claude Bot Disallow	9	5,62
Google Bard Disallow	9	5,62
Facebook Bot Disallow	9	5,62
Apple AI Bot Disallow	9	5,62
Cohere AI Disallow	9	5,62
Perplexity	9	5,62
Robots Disallow	3	1,88
Some Robots Disallow	1	0,62
Sogou Bot Disallow	1	0,62
Yandex Bot Disallow	1	0,62
Microsoft BingBot Disallow	1	0,62
Alexa Bot Disallow	1	0,62
Yahoo Slurp Disallow	1	0,62
Soso Bot Disallow	1	0,62

160 Détections

de Robots.txt dans Svalbard et Jan Mayen. Dernière mise à jour 18th déc. 2024.

Google AdsBot Disallow est actuellement la technologie la plus populaire dans cette catégorie.