из Роботы.txt во всем интернете. Последнее обновление 18th дек 2024.
Google Media Partners Disallow на данный момент является самой популярной технологией в этой категории.