Роботы.txt Распределение использования в Мавритания

Топ в Роботы.txt Распределение использования в Мавритания

Технологии	Веб-сайты	%
Robots Disallow	37	21,76
Yandex Bot Disallow	14	8,24
Alexa Bot Disallow	10	5,88
Ahrefs Bot Disallow	10	5,88
Microsoft BingBot Disallow	9	5,29
Yahoo Slurp Disallow	9	5,29
Soso Bot Disallow	8	4,71
GPTBot Disallow	7	4,12
Majestic Bot Disallow	7	4,12
Google AdsBot Mobile Apps Disallow	6	3,53
Semrush Bot Disallow	6	3,53
Common Crawl Bot Disallow	5	2,94
AppleBot Disallow	5	2,94
Anthropic Claude Bot Disallow	5	2,94
Google Bard Disallow	5	2,94
Facebook Bot Disallow	5	2,94
Perplexity	5	2,94
Apple AI Bot Disallow	4	2,35
Cohere AI Disallow	4	2,35
ByteDance Bytespider Disallow	1	0,59
Microsoft MSNBot Disallow	1	0,59
Google Image Bot Disallow	1	0,59
Google News Bot Disallow	1	0,59
Google Video Bot Disallow	1	0,59
DuckDuckGo Bot Disallow	1	0,59
Google Favicon Disallow	1	0,59
Google API Bot Disallow	1	0,59
Google DuplexWeb Disallow	1	0,59

170 Обнаружения

из Роботы.txt в Мавритания. Последнее обновление 04th янв 2025.

Robots Disallow на данный момент является самой популярной технологией в этой категории.