из Роботы.txt в Малые отдаленные острова США. Последнее обновление 04th янв 2025.
Robots Disallow на данный момент является самой популярной технологией в этой категории.