ملف robots.txt توزيع الاستخدام في جزيرة نورفولك

أعلى في ملف robots.txt توزيع الاستخدام في جزيرة نورفولك

تكنولوجيا	المواقع الالكترونية	%
Google Media Partners Disallow	13 *	12.75
Robots Disallow	9	8.82
Googlebot Disallow	8	7.84
Baidu Bot Disallow	7	6.86
Google AdsBot Disallow	4	3.92
Yandex Bot Disallow	4	3.92
Microsoft BingBot Disallow	4	3.92
Yahoo Slurp Disallow	4	3.92
Google AdsBot Mobile Disallow	3	2.94
Alexa Bot Disallow	3	11.54
Soso Bot Disallow	3	2.94
Ahrefs Bot Disallow	3	2.94
Common Crawl Bot Disallow	3	11.54
AppleBot Disallow	3	2.94
Anthropic Claude Bot Disallow	3	11.54
Google Bard Disallow	3	11.54
Facebook Bot Disallow	3	11.54
Apple AI Bot Disallow	3	11.54
Google AdsBot Mobile Apps Disallow	3	2.94
GPTBot Disallow	2	7.69
Cohere AI Disallow	2	7.69
Perplexity	2	7.69
Semrush Bot Disallow	1	0.98
Microsoft MSNBot Disallow	1	0.98
Webz Omgili Disallow	1	3.85
Google Image Bot Disallow	1	0.98
Google News Bot Disallow	1	0.98
Google Video Bot Disallow	1	0.98
DuckDuckGo Bot Disallow	1	0.98
Google Favicon Disallow	1	0.98
Google API Bot Disallow	1	0.98
Google DuplexWeb Disallow	1	0.98

102 الكشف

ل ملف robots.txt في جزيرة نورفولك. آخر تحديث 23st شوال 2025.

Google Media Partners Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.