Robots.txt: bu dosya ne işe yarar?
Robots.txt dosyası, bir sitenin kök dizinine yerleştirilen ve tarama robotlarına (Googlebot, Bingbot…) hangi alanları taramaya yetkili olduklarını, hangilerini olmadıklarını bildiren bir metin dosyasıdır.
Bu dosya bir e-ticaret mağazası için neden önemli
Bir e-ticaret sitesi genellikle binlerce teknik URL üretir: sepet sayfaları, sipariş tüneli sayfaları, müşteri hesabı sayfaları veya faset filtre sonuçları (renk, beden, fiyat). Robotlar tüm bu URL'leri ayrım gözetmeden tararsa, siteye ayrılan “tarama bütçesinin” bir kısmını boşa harcarlar ve filtrelerden kaynaklanan yinelenen içerikleri indeksleyebilirler.
Robots.txt dosyası, robotları gerçekten önemli olan sayfalara yönlendirir: kategoriler, ürün sayfaları, editoryal içerikler; sepeti, yönetim panelini veya filtrelerin ürettiği parametreleri ise dışarıda bırakır.
Somut bir örnek
Dosyaya https://exemple.fr/robots.txt adresinden erişilir ve içinde Disallow: /panier veya Disallow: /admin gibi yönergeler bulunur; bunları genellikle XML site haritasına işaret eden bir Sitemap: satırı izler, bu da arama motorlarının önemli sayfaları keşfetmesine yardımcı olur.
Sıkça sorulan sorular
Robots.txt dosyası tek başına bir sayfanın indekslenmesini engellemeye yeter mi?
Robots.txt dosyası nereye yerleştirilmelidir?
Yönetim paneli robots.txt içinde engellenmeli mi?
İhtiyacınızı bir dakikada anlatın
Size bir anket daha değil, doğrudan bir tahmin sunabilmem için birkaç hedefli soru.