İçeriğe geç

Tarayıcımız

DijentaBot

DijentaBot, Dijenta SEO kullanıcılarının denetim için eklediği siteleri tarayan botumuzdur. Sunucu günlüklerinizde bu adı görüyorsanız sitenizi bir kullanıcımız denetliyor demektir.

Kimliği

Tüm isteklerimiz aşağıdaki User-Agent dizesiyle gelir. Dizedeki bağlantı bu sayfaya açılır.

User-Agent
Mozilla/5.0 (compatible; DijentaBot/0.1; +https://dijentaseo.com/bot)

Sitenizi yormamak için uyduğu sınırlar

  • Site başına en çok 4 eşzamanlı sayfa isteğiSayfalarınızı aynı anda bundan fazla istekle okumaz. Taramanın başında robots.txt, site haritası ve birkaç kısa kontrol (favicon, http ve www yönlendirmeleri, var olmayan bir adresin yanıtı, llms.txt ve llms-full.txt) birer kez istenir. Alan adınızın herkese açık DNS kayıtlarına da (Search Console gibi doğrulama satırları için) taramada bir kez bakılır; bu, sitenize istek göndermez. robots.txt dosyanızda bizim için Crawl-delay yazdıysanız sayfaları tek bağlantıyla okur ve istekler arasında bekler (en çok 2 saniye).
  • İstek başına 15 saniye zaman aşımıYanıt vermeyen bir sayfayı beklemeden bırakır ve devam eder. Bir sayfadan en çok 5 MB okur; görsel, PDF gibi HTML olmayan dosyaların gövdesini indirmez. En çok kullanılan 40 görselin yalnız açılıp açılmadığını, boyutunu ve tarayıcıda ne kadar saklandığını sorar (HEAD isteği); sitenizin kendi CSS ve JavaScript dosyalarından en çok kullanılan 3 tanesinin de yalnız saklanma süresini sorar, gövdesini indirmez. robots.txt, site haritası ve varsa llms.txt dosyanızı okur.
  • Yalnız herkese açık sayfalarParola ya da oturum gerektiren alanlara girmez, form göndermez, çerez taşımaz. İç ağ adreslerine hiçbir koşulda bağlanmaz.
  • robots.txt kurallarınıza uyarÖnce kendi adına yazılmış grubu, yoksa tüm botlar (*) için yazılanı uygular; engellenen adresleri hiç istemez. rel="nofollow" bağlantıları izlemez.
  • Başka bir botun kimliğine bürünmezYapay zekâ aramalarına hazırlık kontrolünde (GEO) GPTBot, ClaudeBot ya da PerplexityBot gibi yapay zekâ botlarına verdiğiniz izni yalnız robots.txt dosyanızdan okur; bu botların adıyla sitenize istek göndermez. Bu yüzden Cloudflare gibi bir hizmetin bot engelini dışarıdan ölçmez, kontrol etmenizi hatırlatır.
  • Sınırlı süre ve sayfaBir denetim, kullanıcının paketine göre 100 ile 10.000 sayfa arasında durur ve en çok 30 dakika sürer.
  • Ne zaman gelir?Bir kullanıcı sitesini ekleyip e-postasını doğruladığında (ilk denetim), sonra elle denetim başlattığında ve ücretli paketlerde haftalık otomatik denetimde. Kullanıcı site bekçisini kapatmadıysa ana sayfanız 10 dakikada bir tek istekle yoklanır; günde bir kez de robots.txt, site haritası ve en çok 10 önemli sayfa kontrol edilir. robots.txt bizi ana sayfadan engelliyorsa yoklama yapılmaz; robots.txt günde bir kez yeniden okunur. Bekçi ana sayfanızın hızını da 7 günde bir Google'ın hız ölçüm hizmetine ölçtürür; bu ölçümün isteği bizim botumuzdan değil, Google'dan gelir.
  • Siteniz başka bir kullanıcının rakibiyseBir kullanıcı sitenizi rakip olarak eklediğinde sitenizin en çok 100 sayfası bir kez taranır; kullanıcı istediğinde (paketine göre ayda sınırlı) yeniden. Bir kullanıcı bir anahtar kelimede kendi sayfasını Google'da öndeki sayfalarla karşılaştırdığında ("ilk 10 analizi") o aramada çıkan sayfanız yalnız bir kez, tek istekle okunur; en çok 15 saniye beklenir ve 3 MB'tan fazlası okunmaz. İki durumda da robots.txt kurallarınıza uyulur.

robots.txt ile engelleme

Sitenizin tamamını kapatmak için kök dizindeki robots.txt dosyasına şunu ekleyin:

robots.txt · tamamen engelle
User-agent: DijentaBot
Disallow: /

Yalnız bazı bölümleri kapatmak ya da taramayı yavaşlatmak isterseniz:

robots.txt · kısmen engelle
User-agent: DijentaBot
Disallow: /yonetim/
Disallow: /sepet/
Crawl-delay: 2

Değişiklik bir sonraki taramada geçerli olur. robots.txt dosyanıza sunucu hatası yüzünden ulaşılamazsa DijentaBot taramayı durdurmaz; tek bağlantıyla ve istekler arasında 1 saniye bekleyerek temkinli ilerler ve durumu site sahibine hata olarak raporlar.

Hız ölçümleri bu kimliği taşımaz

Hız ölçümünde sayfanız ayrı bir ölçüm altyapısında, gerçek bir tarayıcıyla açılır. Bu istekler DijentaBot kimliği taşımaz; sunucu günlüklerinizde bir tarayıcı ziyareti olarak görünür.

Bir sorun mu var?

Tarayıcımızın sitenizde beklenmedik bir yük oluşturduğunu düşünüyorsanız ya da alan adınızın hiç taranmamasını istiyorsanız [email protected] adresine yazın. User-Agent dizesi taklit edilebilir; şüphelendiğiniz isteklerin tarih, saat ve IP bilgisini eklerseniz inceleyebiliriz.