ملف الروبوتات.txt توزيع الاستخدام في سفالبارد وجان ماين

ليثبت ملف الروبوتات.txt توزيع الاستخدام في سفالبارد وجان ماين

تكنولوجيا	المواقع الإلكترونية	%
Google AdsBot Disallow	22	13.75
Google AdsBot Mobile Disallow	22	13.75
Googlebot Disallow	14	8.75
AppleBot Disallow	10	6.25
Google AdsBot Mobile Apps Disallow	10	6.25
GPTBot Disallow	9	5.62
Common Crawl Bot Disallow	9	5.62
Anthropic Claude Bot Disallow	9	5.62
Google Bard Disallow	9	5.62
Facebook Bot Disallow	9	5.62
Apple AI Bot Disallow	9	5.62
Cohere AI Disallow	9	5.62
Perplexity	9	5.62
Robots Disallow	3	1.88
Some Robots Disallow	1	0.62
Sogou Bot Disallow	1	0.62
Yandex Bot Disallow	1	0.62
Microsoft BingBot Disallow	1	0.62
Alexa Bot Disallow	1	0.62
Yahoo Slurp Disallow	1	0.62
Soso Bot Disallow	1	0.62

160 الاكتشافات

ل ملف الروبوتات.txt في سفالبارد وجان ماين. آخر تحديث 17th جمادى الثانية 2024.

Google AdsBot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.