로봇.txt 사용량 분포 ~에 나미비아

핀을 꼽는 로봇.txt 사용량 분포 ~에 나미비아

기술	웹사이트	%
Google AdsBot Disallow	535	18.73
Googlebot Disallow	498	17.43
Google AdsBot Mobile Disallow	490	17.15
Robots Disallow	147	5.15
Common Crawl Bot Disallow	79	2.77
Google Bard Disallow	73	2.56
GPTBot Disallow	72	2.52
AppleBot Disallow	72	2.52
Anthropic Claude Bot Disallow	71	2.49
Facebook Bot Disallow	71	2.49
Apple AI Bot Disallow	71	2.49
Ahrefs Bot Disallow	68	2.38
Cohere AI Disallow	68	2.38
Perplexity	67	2.35
Google AdsBot Mobile Apps Disallow	66	2.31
Yandex Bot Disallow	51	1.79
Google Media Partners Disallow	51 *	1.79
Alexa Bot Disallow	47	1.65
Some Robots Disallow	43	1.51
Microsoft BingBot Disallow	42	1.47
Yahoo Slurp Disallow	41	1.44
Soso Bot Disallow	34	1.19
Majestic Bot Disallow	28	0.98
Semrush Bot Disallow	18	0.63
Exalead Bot Disallow	11	0.39
Microsoft MSNBot Disallow	11	0.39
Google Image Bot Disallow	8	0.28
ByteDance Bytespider Disallow	5	0.18
Webz Omgili Disallow	5	0.18
360 Bot Disallow	4	0.14
Diffbot Disallow	4	0.14
BuiltWithBot Disallow	1	0.04
Google News Bot Disallow	1	0.04
Google Video Bot Disallow	1	0.04
YOU Disallow	1	0.04
DuckDuckGo Bot Disallow	1	0.04
Google Favicon Disallow	1	0.04

2,857 탐지

~의 로봇.txt ~에 나미비아. 마지막 업데이트 04th 1 2025.

Google AdsBot Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.