Derslerde “panel” dediğimiz yer, Dijenta SEO hesabınızın ekranlarıdır; “denetimimiz” sitenizi tarayan kontrollerimizdir.
robots.txt nedir?
robots.txt, sitenizin kökünde (alanadiniz.com/robots.txt) duran küçük bir metin dosyasıdır. Arama motoru botlarına sitenin hangi bölümlerini tarayabileceklerini söyler.
Dosya yoksa Google sitenin tamamını tarayabileceğini varsayar; bu bir hata değildir. Ama robots.txt adresi sunucu hatası veriyorsa Google taramayı geçici olarak durdurur, bu yüzden adres ya sorunsuz açılmalı ya da "bulunamadı" (404) dönmelidir.
Basit ve güvenli bir robots.txt üç satırdan oluşur: "User-agent: *" (kural bütün botlar için), "Allow: /" (her yer taranabilir) ve site haritanızın tam adresini veren "Sitemap:" satırı.
En pahalı satır: "Disallow: /"
"User-agent: *" altındaki "Disallow: /" satırı bütün siteyi taramaya kapatır. Çoğunlukla site yapım aşamasındayken eklenir ve yayına geçerken unutulur; denetimimiz bunu en ağır hatalardan biri sayar.
robots.txt bir sayfayı Google'dan saklamaz. Taraması engellenen bir sayfa başka sitelerden bağlantı alıyorsa açıklaması olmadan arama sonuçlarında yine çıkabilir; bir sayfayı aramadan gerçekten çıkarmak için noindex kullanılır.
noindex: "Bu sayfayı aramada gösterme"
noindex komutu, sayfanın <head> bölümüne yazılan <meta name="robots" content="noindex"> etiketiyle ya da sunucunun gönderdiği "X-Robots-Tag: noindex" başlığıyla verilir. Google bu komutu görünce sayfayı arama sonuçlarından çıkarır.
Google noindex komutunu ancak sayfayı tarayabilirse görür. Aynı sayfayı robots.txt ile de engellerseniz komut okunmaz ve sayfa dizinde kalabilir.
Sepet, ödeme, üyelik ve site içi arama sonuçlarında noindex doğrudur; ana sayfada ya da ürün ve hizmet sayfalarında ise ciddi bir hatadır. WordPress'te Ayarlar > Okuma sayfasındaki "Arama motorlarının bu siteyi dizine eklemesini engelle" kutusu işaretliyse sitenizin tamamına noindex eklenir.
Site haritası
Site haritası (sitemap), Google'ın bilmesini istediğiniz sayfaları listeleyen ve genellikle XML (makinelerin okuduğu bir veri biçimi) ile yazılan bir dosyadır. Özellikle yeni ve çok sayfalı sitelerde yeni sayfaların daha çabuk bulunmasına yardım eder, ama sayfaların dizine ekleneceğini garanti etmez.
Haritada yalnız aramada görünmesini istediğiniz sağlam sayfalar olmalıdır. Hata veren, başka adrese yönlenen, noindex taşıyan ya da asıl adres olarak başka bir sayfayı gösteren adresler haritaya girmemeli; her adres https:// ile başlayan tam adres olmalıdır.
Çoğu altyapı haritayı kendisi üretir: WordPress'in kendi haritası /wp-sitemap.xml, Shopify'ınki /sitemap.xml adresindedir (bir SEO eklentisi kullanıyorsanız adres farklı olabilir). Harita adresini robots.txt'ye "Sitemap:" satırıyla ekleyin ve Google Search Console'daki Site haritaları bölümünden gönderin.
JavaScript ile gelen içerik
Bazı sitelerde metin, tarayıcıda JavaScript çalıştıktan sonra oluşur. Google JavaScript'i çalıştırabilir ama bu işlem gecikebilir; JavaScript çalıştırmayan botlar ise sayfayı neredeyse boş görür.
Denetimimiz bir sayfanın ilk gelen HTML'inde (sunucudan gelen ham kodunda) neredeyse hiç metin bulamazsa bunu ayrıca işaretler. Çözüm çoğunlukla sayfanın sunucuda hazırlanmasıdır (SSR); bu iş geliştiricinizindir.
Bugün yapabilecekleriniz
- Tarayıcınızda alanadiniz.com/robots.txt adresini açın; "User-agent: *" altında "Disallow: /" satırı varsa hemen kaldırın.
- robots.txt'de "Sitemap:" satırı yoksa site haritanızın tam adresiyle ekleyin.
- Site haritanızı Google Search Console'daki Site haritaları bölümünden gönderin.
- Sayfalar bölümünde durum listesinden "Dizine kapalı"yı seçip Uygula'ya basın; aramada görünmesi gereken bir sayfa listede varsa noindex'i kaldırın.
- WordPress kullanıyorsanız Ayarlar > Okuma sayfasındaki arama motorlarını engelleme kutusunun işaretsiz olduğunu kontrol edin.
Bu dersle ilgili kontrollerimiz
Ücretsiz analizimiz ve panelimizdeki denetim bu kontrolleri sitenizde çalıştırır:
- robots.txt tüm siteyi engelliyor
- robots.txt dosyasına ulaşılamıyor
- Ana sayfa arama motorlarına kapalı (noindex)
- Sayfa arama motorlarına kapalı (noindex)
- Site haritası (sitemap) bulunamadı
- Site haritası robots.txt'de bildirilmemiş
- Site haritasında olmaması gereken adres
- İçerik yalnız JavaScript ile yükleniyor