ملف الروبوتات.txt توزيع الاستخدام في جزيرة عيد الميلاد

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جزيرة عيد الميلاد

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	694	15.97
Baidu Bot Disallow	657	15.12
Some Robots Disallow	545	12.54
Robots Disallow	473	10.88
Sogou Bot Disallow	235	5.41
Google Media Partners Disallow	223 *	5.13
Yandex Bot Disallow	184	4.23
Microsoft BingBot Disallow	179	4.12
Yahoo Slurp Disallow	170	3.91
Alexa Bot Disallow	166	3.82
Soso Bot Disallow	154	3.54
Google AdsBot Disallow	66	1.52
Ahrefs Bot Disallow	61	1.4
GPTBot Disallow	53	1.22
Majestic Bot Disallow	50	1.15
Semrush Bot Disallow	48	1.1
Common Crawl Bot Disallow	34	0.78
Anthropic Claude Bot Disallow	34	0.78
Google Bard Disallow	30	0.69
Facebook Bot Disallow	28	0.64
AppleBot Disallow	23	0.53
Apple AI Bot Disallow	21	0.48
Cohere AI Disallow	20	0.46
Perplexity	20	0.46
ByteDance Bytespider Disallow	20	0.46
Microsoft MSNBot Disallow	19	0.44
Google AdsBot Mobile Apps Disallow	18	0.41
Webz Omgili Disallow	18	0.41
Exalead Bot Disallow	16	0.37
Google Image Bot Disallow	12	0.28
Diffbot Disallow	10	0.23
DuckDuckGo Bot Disallow	9	0.21
Google News Bot Disallow	8	0.18
Google Video Bot Disallow	8	0.18
Google Favicon Disallow	8	0.18
360 Bot Disallow	7	0.16
Google API Bot Disallow	7	0.16
Google DuplexWeb Disallow	7	0.16
YOU Disallow	4	0.09
BuiltWithBot Disallow	3	0.07
Pipl Disallow	3	0.07
Youdao Bot Disallow	1	0.02

4,346 الاكتشافات

ل ملف الروبوتات.txt في جزيرة عيد الميلاد. آخر تحديث 17th جمادى الثانية 2024.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.