ملف الروبوتات.txt توزيع الاستخدام في بيتكيرن

ليثبت ملف الروبوتات.txt توزيع الاستخدام في بيتكيرن

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	4	12.5
Googlebot Disallow	2	6.25
GPTBot Disallow	2	6.25
Common Crawl Bot Disallow	2	6.25
AppleBot Disallow	2	6.25
Anthropic Claude Bot Disallow	2	6.25
Google Bard Disallow	2	6.25
Facebook Bot Disallow	2	6.25
Apple AI Bot Disallow	2	6.25
Cohere AI Disallow	2	6.25
Perplexity	2	6.25
Google AdsBot Mobile Apps Disallow	2	6.25
Sogou Bot Disallow	1	3.12
Yandex Bot Disallow	1	3.12
Microsoft BingBot Disallow	1	3.12
Alexa Bot Disallow	1	3.12
Yahoo Slurp Disallow	1	3.12
Soso Bot Disallow	1	3.12

32 الاكتشافات

ل ملف الروبوتات.txt في بيتكيرن. آخر تحديث 17th جمادى الثانية 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.