ملف robots.txt توزيع الاستخدام في جزيرة نورفولك

أعلى في ملف robots.txt توزيع الاستخدام في جزيرة نورفولك

تكنولوجيا	المواقع الالكترونية	%
Robots Disallow	10	12.99
Googlebot Disallow	9	11.69
Yandex Bot Disallow	4	5.19
Microsoft BingBot Disallow	4	5.19
Yahoo Slurp Disallow	4	5.19
Alexa Bot Disallow	3	3.9
Soso Bot Disallow	3	3.9
GPTBot Disallow	3	3.9
Common Crawl Bot Disallow	3	3.9
AppleBot Disallow	3	3.9
Anthropic Claude Bot Disallow	3	3.9
Google Bard Disallow	3	3.9
Facebook Bot Disallow	3	3.9
Apple AI Bot Disallow	3	3.9
Google AdsBot Mobile Apps Disallow	3	3.9
Ahrefs Bot Disallow	2	2.6
Cohere AI Disallow	2	2.6
Perplexity	2	2.6
Semrush Bot Disallow	1	1.3
Microsoft MSNBot Disallow	1	1.3
Webz Omgili Disallow	1	1.3
Google Image Bot Disallow	1	1.3
Google News Bot Disallow	1	1.3
Google Video Bot Disallow	1	1.3
DuckDuckGo Bot Disallow	1	1.3
Google Favicon Disallow	1	1.3
Google API Bot Disallow	1	1.3
Google DuplexWeb Disallow	1	1.3

77 الكشف

ل ملف robots.txt في جزيرة نورفولك. آخر تحديث 07th رمضان 2025.

Robots Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.