Yandex çok hızlı bir şekilde sitenizi indexliyor ve bu web sunucunuzda önemli bir yoğunluk yaratıyorsa robot.txt içine aşağıdaki satırları ekleyebilirsiniz:
https://yandex.com/support/search/robots/request-rate.html
User-agent: Yandex
Crawl-delay: 2 # specifies a 2 second timeoutUser-agent: *
Disallow: /search
Crawl-delay: 4.5 # specifies a 4.5 second timeout