Notlar · · 1 dk
İki hafta yapay zekâ görünürlüğü için çalıştım, Cloudflare botları kapıda çeviriyormuş
ChatGPT ve Perplexity'nin siteyi okuyabilmesi için hizmet sayfaları yazdım, şema ekledim. Sonra ölçtüm; botların hepsi 403 alıyordu. Sebep içerik değildi, bir tık ile açılmış bir kuraldı.
Ağustos sonunda DijitalOfisim için bir hedef koydum: birisi ChatGPT'ye "İzmir'de hekim için WhatsApp asistanı kim yapıyor" diye sorduğunda ilk cevaplardan biri biz olalım. İki hafta boyunca üç hizmet sayfası yazdım, Service ve FAQ şemaları ekledim, Google İşletme Profili'ni doldurdum, Search Console'a kaydettim.
Bugün, ölçüm günü, önce Cloudflare paneline baktım. Güvenlik kurallarında şu vardı:
AI Crawl Control - Block AI bots by User Agent · Aktif
Kural ChatGPT-User, OAI-SearchBot, Claude-SearchBot, PerplexityBot ve bingbot dahil 16 botu robots.txt dışında her yolda engelliyordu. Son 24 saatte 212 yapay zekâ tarayıcı isteğinin 163'ü reddedilmişti. OpenAI, Anthropic, Perplexity ve Bing için izin verilen istek: sıfır.
Nasıl ölçtüm
Panele güvenmedim, dışarıdan denedim. Aynı sayfaya farklı User-Agent ile istek attım:
Googlebot 200
ChatGPT-User 403
PerplexityBot 403
bingbot 403
Yani iki haftalık iş, botların okuyamadığı sayfalara gitmişti.
Kural nereden gelmiş
Cloudflare'ın AI Crawl Control ekranında tek bir "Block" düğmesi bu kuralı üretiyor. Muhtemelen aylar önce "yapay zekâ içeriğimi çalmasın" refleksiyle basılmış. O gün mantıklıydı; bugün aynı düğme müşteriyi getirecek botu da kapı dışarı ediyor.
Bir de ikinci katman vardı: Güvenlik ayarlarındaki yönetilen "Block AI bots" kuralı. Özel kuralı düzelttikten sonra bile arama botları 403 almaya devam etti, bunu da kapatınca açıldı.
Ne yaptım
Kuralı silmedim, daralttım. Eğitim için tarayan botlar (GPTBot, ClaudeBot, CCBot, Bytespider) hâlâ engelli. Arama ve canlı çekim yapanlar (ChatGPT-User, OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) serbest. Sonra aynı testi tekrarladım:
ChatGPT-User 200
OAI-SearchBot 200
PerplexityBot 200
bingbot 200
GPTBot 403
ClaudeBot 403
Ders
İçerik yazmadan önce kapıyı kontrol et. Sitenizde Cloudflare varsa Güvenlik > Kurallar ve Güvenlik > Ayarlar > Bot trafiği bölümlerine bir kez bakın. "AI" kelimesi geçen her engel, arama botunu da engelliyor olabilir.
Bir hafta sonra tekrar ölçeceğim. Botların yeniden ne zaman geleceğini bilmiyorum; ilk sonuçlar düşük çıkarsa buraya onu da yazarım.
Bir şeyi yanlış ölçtüğümü düşünüyorsanız yazın; düzeltir ve değişikliği buraya not düşerim. İletişim →