ملف الروبوتات.txt توزيع الاستخدام في جزيرة آيل أوف مان

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جزيرة آيل أوف مان

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	1,910	11.36
Baidu Bot Disallow	1,837	10.92
Yandex Bot Disallow	1,708	10.16
Some Robots Disallow	1,234	7.34
Anthropic Claude Bot Disallow	1,078	6.41
Sogou Bot Disallow	939	5.58
Microsoft BingBot Disallow	836	4.97
Yahoo Slurp Disallow	789	4.69
Soso Bot Disallow	781	4.64
Alexa Bot Disallow	780	4.64
Google AdsBot Disallow	746	4.44
Semrush Bot Disallow	700	4.16
Majestic Bot Disallow	697	4.14
Ahrefs Bot Disallow	676	4.02
Robots Disallow	558	3.32
Google AdsBot Mobile Disallow	165	0.98
GPTBot Disallow	143	0.85
Common Crawl Bot Disallow	136	0.81
Google Bard Disallow	132	0.78
Facebook Bot Disallow	128	0.76
AppleBot Disallow	123	0.73
Apple AI Bot Disallow	117	0.7
Google Media Partners Disallow	89 *	0.53
Cohere AI Disallow	86	0.51
Perplexity	82	0.49
Google AdsBot Mobile Apps Disallow	76	0.45
Webz Omgili Disallow	60	0.36
ByteDance Bytespider Disallow	30	0.18
Microsoft MSNBot Disallow	28	0.17
Exalead Bot Disallow	24	0.14
Google Image Bot Disallow	18	0.11
360 Bot Disallow	15	0.09
Diffbot Disallow	15	0.09
DuckDuckGo Bot Disallow	11	0.07
YOU Disallow	10	0.06
Google News Bot Disallow	9	0.05
Google Video Bot Disallow	9	0.05
Google Favicon Disallow	9	0.05
Google API Bot Disallow	9	0.05
Google DuplexWeb Disallow	9	0.05
BuiltWithBot Disallow	8	0.05
Pipl Disallow	7	0.04
Youdao Bot Disallow	1	0.01

16,818 الاكتشافات

ل ملف الروبوتات.txt في جزيرة آيل أوف مان. آخر تحديث 17th جمادى الثانية 2024.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.