İçeriğe geç

21. ders · Yapay zekâ aramaları (GEO)

Yapay zekâ botları, robots.txt ve llms.txt

Yapay zekâ arama botlarıyla eğitim botlarının farkını, robots.txt'de neye izin vermeniz gerektiğini ve llms.txt dosyasının yerini öğreneceksiniz.

3 dk okuma21 / 23

Derslerde “panel” dediğimiz yer, Dijenta SEO hesabınızın ekranlarıdır; “denetimimiz” sitenizi tarayan kontrollerimizdir.

Yapay zekâ aramaları nasıl kaynak bulur?

ChatGPT, Claude, Perplexity ve Microsoft'un Copilot'u gibi araçlar bir soruyu yanıtlarken web'de arama yapabilir ve yanıtın altında kaynak olarak sitelere bağlantı verebilir. Bunun için sitenizin o aracın arama botuna açık olması gerekir.

Bu şirketlerin botları iki farklı amaçla gelir ve robots.txt dosyasında (botlara neyi tarayabileceklerini söyleyen dosya) ayrı adlar taşır. Hangisine izin verdiğinizi bilerek seçmelisiniz.

Arama botu mu, eğitim botu mu?

Bu iki grup için ayrı ayrı karar verebilirsiniz; örneğin eğitim botlarını engelleyip arama botlarına izin vermek mümkündür. Google-Extended'ı engellemek de Google aramasındaki yerinizi etkilemez; Google bunu açıkça belirtir.

  • Arama ve kaynak gösterme botları: OAI-SearchBot ve ChatGPT-User (ChatGPT), Claude-SearchBot ve Claude-User (Claude), PerplexityBot ve Perplexity-User (Perplexity), bingbot (Bing ve Copilot). Bunları engellerseniz bu araçlar sitenizi yanıtlarında kaynak olarak gösteremez.
  • Model eğitimi için veri toplayan botlar: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google Gemini), Applebot-Extended (Apple), meta-externalagent (Meta) ve CCBot (Common Crawl). Bunları engellemek, içeriğinizin gelecekteki modellerin eğitiminde kullanılmasını sınırlar.

robots.txt'de ne yapmalısınız?

Çoğu işletme için doğru ayar, arama botlarına izin vermektir. robots.txt'nizde bu botlar için "Disallow: /" satırı varsa kaldırın; bazı güvenlik eklentileri ve barındırma ayarları bu engeli sizden habersiz ekleyebilir.

Eğitim botlarını engellemek isterseniz her birini adıyla ayrı bir "User-agent:" satırı altında engelleyin. "User-agent: *" altına yazılan "Disallow: /" ise Google dahil bütün botları durdurur.

İçeriğiniz yalnız JavaScript ile yükleniyorsa JavaScript çalıştırmayan botlar sayfanızı boş görebilir. Yapay zekâ aramalarında görünmek için de metninizin sayfanın ilk gelen HTML'inde bulunması en güvenli yoldur.

llms.txt: isteğe bağlı bir dosya

llms.txt, yapay zekâ araçlarına sitenizi özetlemek için önerilmiş bir metin dosyasıdır (alanadiniz.com/llms.txt). Resmî bir standart değildir ve kullanımı isteğe bağlıdır.

Google bu dosyayı kullanmadığını belirtmiştir; diğer araçların onu nasıl kullandığı ise açık değildir. Denetimimiz dosyanın varlığına ve biçimine (ilk satırda "# Site adı" başlığı, önemli sayfalara Markdown bağlantıları) bakar ve GEO skorunda bunu düşük ağırlıkla sayar; emek harcayacaksanız önce sayfalarınızın kendisini açık ve anlaşılır yapın.

Hesabınızdaki Yapılandırılmış veri bölümü llms.txt dosyasını taranan sayfalarınızdan hazırlar; indirip sitenizin kök klasörüne yüklemeniz yeter. Bazı hazır altyapılar kök klasöre dosya eklemeye izin vermez; o durumda dosyayı atlayabilirsiniz.

Bugün yapabilecekleriniz

  1. alanadiniz.com/robots.txt adresini açın; OAI-SearchBot, Claude-SearchBot, PerplexityBot ya da bingbot için "Disallow: /" satırı varsa kaldırın.
  2. Sitenin Özet sayfasındaki "Site temelleri ve profil" kartında yapay zekâ arama botlarının durumunu kontrol edin.
  3. Eğitim botları için bilinçli bir karar verin ve engellemek istediklerinizi robots.txt'ye adlarıyla yazın.
  4. llms.txt kullanmak isterseniz Yapılandırılmış veri sayfasından indirip sitenizin kök klasörüne yükleyin.

Bu dersle ilgili kontrollerimiz

Ücretsiz analizimiz ve panelimizdeki denetim bu kontrolleri sitenizde çalıştırır:

  • Yapay zekâ arama botları engellenmiş
  • llms.txt dosyası yok
  • llms.txt dosyasının biçimi eksik
  • robots.txt tüm siteyi engelliyor
  • İçerik yalnız JavaScript ile yükleniyor
  • Ana sayfa tarayıcımıza erişim izni vermedi