ملف الروبوتات.txt توزيع الاستخدام في جزر الولايات المتحدة البعيدة الصغرى

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جزر الولايات المتحدة البعيدة الصغرى

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	25	29.76
GPTBot Disallow	5	5.95
Common Crawl Bot Disallow	5	5.95
AppleBot Disallow	5	5.95
Anthropic Claude Bot Disallow	5	5.95
Google Bard Disallow	5	5.95
Facebook Bot Disallow	5	5.95
Apple AI Bot Disallow	5	5.95
Cohere AI Disallow	5	5.95
Perplexity	5	5.95
Google AdsBot Mobile Apps Disallow	5	5.95
Ahrefs Bot Disallow	4	4.76
Sogou Bot Disallow	2	2.38
Semrush Bot Disallow	2	2.38
Yandex Bot Disallow	1	1.19

84 الاكتشافات

ل ملف الروبوتات.txt في جزر الولايات المتحدة البعيدة الصغرى. آخر تحديث 17th جمادى الثانية 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.