User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Tarayıcıların ürettiği geçersiz yollar — her biri önbelleklenmemiş bir 404 render ediyordu
Disallow: /*/null
Disallow: /*/null/

# Rapor terimi ve utility query'leri noindex,follow ile yönetilir.
# Robots.txt bu URL'leri engellemez; Google meta noindex'i görebilmelidir.
# ---------------------------------------------------------------------------
# 2026-08-17 · A8-F06 — yapay zekâ tarayıcı politikası
#
# KARAR: eğitime kapalı, alıntıya açık.
#
# Gerekçe: klinik hasta arıyor. ChatGPT/Perplexity/Claude gibi sistemlerin
# cevaplarında KAYNAK OLARAK GÖSTERİLMEK bir kazanım kanalıdır ve bu kanal
# şimdiden aktif (14 günde ChatGPT-User 357, OAI-SearchBot 232, Claude-User 144
# istek). Model eğitimi ise karşılığında ne atıf ne trafik verir.
#
# ÖLÇÜM (girisimsel.ssl.access.log, 14 gün, 82.179 istek):
#   meta-externalagent 12.430 · PerplexityBot 4.766 · GPTBot 2.767
#   ClaudeBot 2.438 · Applebot 572 · Amazonbot 189 · CCBot 84 · Bytespider 77
#   AI botları tüm trafiğin ~%29'u; bunun ~%87'si zaten noindex olan
#   faset (harf/bolge/islem/modalite) yüzeyinde geçiyor.
#
# TUZAK — BU BLOĞU DÜZENLEYECEK OLANA: robots.txt'te bir bota kendi grubunu
# vermek, o botun "User-agent: *" grubunu TAMAMEN yok saymasına yol açar.
# Aşağıdaki izinli gruba düz "Allow: /" yazılırsa PerplexityBot yukarıdaki
# faset noindex sinyalini de kaybedebilir — ki faset taramasının en büyük tüketicisi
# odur (4.619 istek). Bu yüzden izinli grup ortak kuralları TEKRAR EDER.
# Üstteki "*" grubuna kural eklerken aşağıya da eklemek gerekir.
#
# SINIR: robots.txt gönüllülük esaslıdır. A7-F01 ölçümü bunu kanıtladı —
# "Disallow: /*?harf=" zaten vardı ve dört tarayıcının dördü de uymadı.
# Bytespider geçmişte uymamasıyla bilinir. Yaptırım gerekirse nginx tarafı.
#
# KAPSAM DIŞI: Google'ın arama sonucundaki AI özetleri (AI Overviews) bu
# kararla kapatılamaz. Google-Extended yalnız Gemini eğitimini/temellendirmesini
# kontrol eder; AI Overviews Googlebot içeriğini kullanır ve ondan çıkmanın tek
# yolu nosnippet/max-snippet'tir — o da normal arama snippet'lerini söndürür
# (A8-F09'da yeni düzeltilen şey). Bilinçli olarak kabul edilen bir sınırdır.
# ---------------------------------------------------------------------------

# Eğitim ve toplu derleme — kapalı
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /

# Alıntı ve canlı getirme — açık (ortak kurallar bilerek tekrar edildi)
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*/null
Disallow: /*/null/

Sitemap: https://www.girisimsel.com.tr/sitemap_index.xml