robots.txt düzenleme

Robots.txt Dosyasının Önemi ve Robots.txt Düzenleme

Sitenin ana dizininde bulunan ve ismi değiştirildiğinde işlevini kaybeden dosyadır. Robots.txt uzantısından da belli olduğu gibi bir metin belgesidir. Bu küçük metin belgesi arama motoru optimizasyonunda yani seo da önemli bir yere sahiptir. Çünkü arama motoru botları sizi kendi dizinlerinde adreslemek için ilk önce “robots.txt” dosyasından izin alır. Kısacası robots.txt, arama motoru botlarının sizin sitenizde ulaşacağı ve ulaşamayacağı yerleri gösteren dosyadır.

Standart bir robots.txt dosyasında en fazla 3 satır olur.  Ama belli başlı nedenlerden dolayı robots.txt yi düzenlemek isteyebilirsiniz. Böyle durumlarda ekleyeceğiniz ve kullanılan standart terimler vardır. Bu kelimeler sayesinde botların siteye erişimini düzenleyebilirsiniz.

Botların siteye erişimini neden düzenleyeyim ki şeklinde soruları duyar gibiyim. Bunun bir çok sebebi olabilir. Örneğin siteniz yapım aşamasında olabilir ve bu “yapım aşaması” sayfasının  aramam motorları dizininde bulunmasını istemeyebilirsiniz.  Hata sayfaları ve yönlendirilmiş sayfalara sahip olabilirsiniz. Bunların web dizininde yer alması sitenizin optimizasyonu açısından size zarar verebilir. Siteniz içerisinde görünmesini istemediğiniz ve Devamını okuyun