Derslerde “panel” dediğimiz yer, Dijenta SEO hesabınızın ekranlarıdır; “denetimimiz” sitenizi tarayan kontrollerimizdir.
Yapay zekâ aramaları nasıl kaynak bulur?
ChatGPT, Claude, Perplexity ve Microsoft'un Copilot'u gibi araçlar bir soruyu yanıtlarken web'de arama yapabilir ve yanıtın altında kaynak olarak sitelere bağlantı verebilir. Bunun için sitenizin o aracın arama botuna açık olması gerekir.
Bu şirketlerin botları iki farklı amaçla gelir ve robots.txt dosyasında (botlara neyi tarayabileceklerini söyleyen dosya) ayrı adlar taşır. Hangisine izin verdiğinizi bilerek seçmelisiniz.
Arama botu mu, eğitim botu mu?
Bu iki grup için ayrı ayrı karar verebilirsiniz; örneğin eğitim botlarını engelleyip arama botlarına izin vermek mümkündür. Google-Extended'ı engellemek de Google aramasındaki yerinizi etkilemez; Google bunu açıkça belirtir.
- Arama ve kaynak gösterme botları: OAI-SearchBot ve ChatGPT-User (ChatGPT), Claude-SearchBot ve Claude-User (Claude), PerplexityBot ve Perplexity-User (Perplexity), bingbot (Bing ve Copilot). Bunları engellerseniz bu araçlar sitenizi yanıtlarında kaynak olarak gösteremez.
- Model eğitimi için veri toplayan botlar: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google Gemini), Applebot-Extended (Apple), meta-externalagent (Meta) ve CCBot (Common Crawl). Bunları engellemek, içeriğinizin gelecekteki modellerin eğitiminde kullanılmasını sınırlar.
robots.txt'de ne yapmalısınız?
Çoğu işletme için doğru ayar, arama botlarına izin vermektir. robots.txt'nizde bu botlar için "Disallow: /" satırı varsa kaldırın; bazı güvenlik eklentileri ve barındırma ayarları bu engeli sizden habersiz ekleyebilir.
Eğitim botlarını engellemek isterseniz her birini adıyla ayrı bir "User-agent:" satırı altında engelleyin. "User-agent: *" altına yazılan "Disallow: /" ise Google dahil bütün botları durdurur.
İçeriğiniz yalnız JavaScript ile yükleniyorsa JavaScript çalıştırmayan botlar sayfanızı boş görebilir. Yapay zekâ aramalarında görünmek için de metninizin sayfanın ilk gelen HTML'inde bulunması en güvenli yoldur.
llms.txt: isteğe bağlı bir dosya
llms.txt, yapay zekâ araçlarına sitenizi özetlemek için önerilmiş bir metin dosyasıdır (alanadiniz.com/llms.txt). Resmî bir standart değildir ve kullanımı isteğe bağlıdır.
Google bu dosyayı kullanmadığını belirtmiştir; diğer araçların onu nasıl kullandığı ise açık değildir. Bu yüzden denetimimiz llms.txt'nin yokluğunu sorun saymaz; emek harcayacaksanız önce sayfalarınızın kendisini açık ve anlaşılır yapın.
Google'ın yapay zekâ özetleri
Google bazı aramalarda sonuçların üstünde yapay zekâ ile hazırlanmış bir özet ve bu özetin kaynaklarını gösterir. Google'a göre burada kaynak olarak görünmek için ek bir koşul ya da özel bir işaretleme gerekmez: sayfanın dizinde olması ve arama sonucunda açıklama parçasıyla (snippet) gösterilmeye uygun olması yeterlidir.
Yani yapay zekâ özetleri için ayrı bir SEO yoktur; bu eğitimdeki temel kurallar burada da geçerlidir. Bu özetlerden gelen tıklamalar Search Console'daki arama trafiğinize dahildir.
Anahtar kelimeler bölümü, takip ettiğiniz bir aramada Google'ın yapay zekâ özeti gösterip göstermediğini ve sitenizi kaynak gösterip göstermediğini de kaydeder.
Bugün yapabilecekleriniz
- alanadiniz.com/robots.txt adresini açın; OAI-SearchBot, Claude-SearchBot, PerplexityBot ya da bingbot için "Disallow: /" satırı varsa kaldırın.
- Sitenin Özet sayfasındaki "Site temelleri ve profil" kartında yapay zekâ arama botlarının durumunu kontrol edin.
- Eğitim botları için bilinçli bir karar verin ve engellemek istediklerinizi robots.txt'ye adlarıyla yazın.
- En sık sorulan sorulardan birini doğrudan yanıtlayan kısa bir bölümü ilgili sayfanıza ekleyin.
- Anahtar kelimeler bölümündeki "Yapay zekâ özeti" sütununa bakın.
Bu dersle ilgili kontrollerimiz
Ücretsiz analizimiz ve panelimizdeki denetim bu kontrolleri sitenizde çalıştırır:
- Yapay zekâ arama botları engellenmiş
- robots.txt tüm siteyi engelliyor
- İçerik yalnız JavaScript ile yükleniyor
- Ana sayfa tarayıcımıza erişim izni vermedi