robots.txt ne işe yarar?
robots.txt, sitenizin kök dizinindeki (ornek.com/robots.txt) küçük bir metin dosyasıdır ve arama motoru botlarına hangi adresleri taramamaları gerektiğini söyler. Sepet, hesap ya da filtreli liste gibi aramada işe yaramayan sayfaları kapatmak, botların zamanını önemli sayfalarınıza ayırır.
Karar nasıl verilir?
- Bota özel grup önce gelir: dosyada “User-agent: Googlebot” grubu varsa Googlebot yalnız o gruba uyar, genel (*) grubu okumaz.
- En uzun eşleşen kural kazanır: “Disallow: /hesabim/” ile “Allow: /hesabim/giris” ikisi de eşleşiyorsa daha uzun olan Allow geçerlidir; eşit uzunlukta Allow kazanır.
- * ve $ işaretleri: * herhangi bir karakter dizisi, sondaki $ adresin sonu demektir (“Disallow: /*.pdf$” bütün PDF dosyalarını kapatır).
- Büyük-küçük harf: adres yolu harf duyarlıdır; /Urunler ile /urunler farklı adreslerdir.
Bu araç kararı, sitenizi denetlerken kullandığımız ayrıştırıcıyla verir: robots.txt standardının (RFC 9309) ve Google'ın uyguladığı öncelik kuralları.
robots.txt sayfayı Google'dan gizler mi?
Hayır. Taramaya kapalı bir sayfa, başka sitelerden bağlantı alıyorsa içeriği okunmadan da Google'da görünebilir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız sayfaya noindex etiketi ekleyin ve sayfayı taramaya açık bırakın; Google noindex'i ancak sayfayı okuyabilirse görür. Ayrıntısı SEO rehberimizdeki taranabilirlik dersinde.
Yapay zekâ botları
ChatGPT, Claude ve Perplexity gibi araçların arama botlarını kapatırsanız siteniz o araçların yanıtlarında kaynak gösterilemez. Model eğitimi için veri toplayan botları (ör. GPTBot, ClaudeBot) kapatmak ise meşru bir tercihtir ve Google aramasını etkilemez. Ayrıntısı yapay zekâ görünürlüğü dersinde.
Sitenizin tamamı
3 günlük ücretsiz denemede SEO analizimiz robots.txt dosyanızı kendisi okur; yanlışlıkla kapatılmış sayfalar, site haritası satırı ve yapay zekâ botlarının izinleri dahil 96 kontrolü tek seferde yapar.