ملف الروبوتات.txt توزيع الاستخدام في جزيرة نورفولك

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جزيرة نورفولك

تكنولوجيا	المواقع الإلكترونية	%
Google Media Partners Disallow	17 *	15.04
Robots Disallow	10	8.85
Googlebot Disallow	9	7.96
Baidu Bot Disallow	8	7.08
Yandex Bot Disallow	5	4.42
Microsoft BingBot Disallow	5	4.42
Yahoo Slurp Disallow	5	4.42
Alexa Bot Disallow	4	3.54
Soso Bot Disallow	4	3.54
Google AdsBot Disallow	3	2.65
Google AdsBot Mobile Disallow	3	2.65
GPTBot Disallow	3	2.65
Common Crawl Bot Disallow	3	2.65
AppleBot Disallow	3	2.65
Anthropic Claude Bot Disallow	3	2.65
Google Bard Disallow	3	2.65
Facebook Bot Disallow	3	2.65
Apple AI Bot Disallow	3	2.65
Google AdsBot Mobile Apps Disallow	3	2.65
Ahrefs Bot Disallow	2	1.77
Cohere AI Disallow	2	1.77
Perplexity	2	1.77
Semrush Bot Disallow	1	0.88
Microsoft MSNBot Disallow	1	0.88
Webz Omgili Disallow	1	0.88
Google Image Bot Disallow	1	0.88
Google News Bot Disallow	1	0.88
Google Video Bot Disallow	1	0.88
DuckDuckGo Bot Disallow	1	0.88
Google Favicon Disallow	1	0.88
Google API Bot Disallow	1	0.88
Google DuplexWeb Disallow	1	0.88

113 الاكتشافات

ل ملف الروبوتات.txt في جزيرة نورفولك. آخر تحديث 04th رجب 2025.

Google Media Partners Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.