ملف الروبوتات.txt توزيع الاستخدام في غيرنسي

ليثبت ملف الروبوتات.txt توزيع الاستخدام في غيرنسي

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	1,723	14.71
Baidu Bot Disallow	1,367	11.67
Some Robots Disallow	1,166	9.95
Google AdsBot Disallow	867	7.4
Robots Disallow	637	5.44
Google AdsBot Mobile Disallow	560	4.78
Sogou Bot Disallow	474	4.05
Ahrefs Bot Disallow	359	3.06
Google Media Partners Disallow	342 *	2.92
Yandex Bot Disallow	310	2.65
Microsoft BingBot Disallow	291	2.48
Yahoo Slurp Disallow	286	2.44
GPTBot Disallow	286	2.44
Alexa Bot Disallow	282	2.41
Soso Bot Disallow	277	2.36
Common Crawl Bot Disallow	251	2.14
Anthropic Claude Bot Disallow	242	2.07
Google Bard Disallow	241	2.06
AppleBot Disallow	235	2.01
Facebook Bot Disallow	234	2
Apple AI Bot Disallow	227	1.94
Google AdsBot Mobile Apps Disallow	224	1.91
Perplexity	223	1.9
Cohere AI Disallow	217	1.85
Majestic Bot Disallow	122	1.04
Semrush Bot Disallow	73	0.62
Google Image Bot Disallow	25	0.21
ByteDance Bytespider Disallow	19	0.16
Exalead Bot Disallow	18	0.15
Microsoft MSNBot Disallow	18	0.15
Webz Omgili Disallow	17	0.15
360 Bot Disallow	13	0.11
Google News Bot Disallow	12	0.1
DuckDuckGo Bot Disallow	12	0.1
Google Video Bot Disallow	11	0.09
Google Favicon Disallow	11	0.09
Google API Bot Disallow	10	0.09
Google DuplexWeb Disallow	10	0.09
BuiltWithBot Disallow	7	0.06
Pipl Disallow	7	0.06
Diffbot Disallow	6	0.05
YOU Disallow	2	0.02

11,714 الاكتشافات

ل ملف الروبوتات.txt في غيرنسي. آخر تحديث 17th جمادى الثانية 2024.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.