Yandex botun performansı etkilememesi

Yandex çok  hızlı bir şekilde sitenizi indexliyor ve bu web sunucunuzda önemli bir yoğunluk yaratıyorsa robot.txt içine aşağıdaki satırları ekleyebilirsiniz:

https://yandex.com/support/search/robots/request-rate.html

User-agent: Yandex
Crawl-delay: 2 # specifies a 2 second timeout
User-agent: *
Disallow: /search
Crawl-delay: 4.5 # specifies a 4.5 second timeout

 

Leave a Reply