ملف الروبوتات.txt توزيع الاستخدام في .io

ليثبت ملف الروبوتات.txt توزيع الاستخدام في .io

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	34,101	15.02
Baidu Bot Disallow	26,281	11.58
Some Robots Disallow	23,038	10.15
Robots Disallow	15,257	6.72
Google AdsBot Disallow	12,649	5.57
Sogou Bot Disallow	11,223	4.94
Google AdsBot Mobile Disallow	10,791	4.75
Yandex Bot Disallow	6,579	2.9
Microsoft BingBot Disallow	6,445	2.84
Yahoo Slurp Disallow	6,299	2.77
Alexa Bot Disallow	6,109	2.69
GPTBot Disallow	5,964	2.63
Soso Bot Disallow	5,886	2.59
Common Crawl Bot Disallow	4,938	2.17
Google Bard Disallow	4,827	2.13
AppleBot Disallow	4,714	2.08
Anthropic Claude Bot Disallow	4,698	2.07
Facebook Bot Disallow	4,654	2.05
Apple AI Bot Disallow	4,544	2
Google AdsBot Mobile Apps Disallow	4,431	1.95
Perplexity	4,402	1.94
Cohere AI Disallow	4,122	1.82
Google Media Partners Disallow	3,543 *	1.56
Ahrefs Bot Disallow	3,162	1.39
Semrush Bot Disallow	1,304	0.57
Majestic Bot Disallow	1,134	0.5
Webz Omgili Disallow	661	0.29
Google Image Bot Disallow	658	0.29
Microsoft MSNBot Disallow	603	0.27
ByteDance Bytespider Disallow	516	0.23
DuckDuckGo Bot Disallow	458	0.2
Google News Bot Disallow	453	0.2
Google Video Bot Disallow	443	0.2
Google Favicon Disallow	425	0.19
Google API Bot Disallow	411	0.18
Google DuplexWeb Disallow	398	0.18
Exalead Bot Disallow	289	0.13
360 Bot Disallow	184	0.08
Diffbot Disallow	141	0.06
BuiltWithBot Disallow	122	0.05
YOU Disallow	97	0.04
Pipl Disallow	57	0.03
Youdao Bot Disallow	27	0.01
Google FeedFetcher Disallow	5	0
Google Read Aloud Disallow	1	0
Google BIG Bench Disallow	1	0

227,045 الاكتشافات

ل ملف الروبوتات.txt في .io. آخر تحديث 17th جمادى الثانية 2024.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.