Robots.txt Nedir ve Nasıl Kullanılır?

Robots.txt dosyası, web sitenizin kök dizininde yer alan ve arama motoru botlarına hangi sayfaların taranıp taranmayacağını bildiren bir komut metnidir.

Arama motorları, tarama bütçesini verimli kullanmak ve kullanıcı niyetine en uygun içeriğe odaklanmak için bu dosyadaki yönergeleri temel alır. Yanlış yapılandırılmış bir robots.txt, kritik sayfaların dizine eklenmesini engelleyerek organik görünürlüğü doğrudan düşürürken; doğru bir yapılandırma, tarama verimliliğini %40’a varan oranlarda artırabilir.

Buna ke olarak, modern SEO çalışmalarında robots.txt kullanımı, sadece “engelleme” işlevi görmez; aynı zamanda LLM modellerinin ve arama motoru botlarının sitenizin semantik yapısını daha hızlı kavramasına yardımcı olan bir yol haritası sunar. Sitenizdeki gereksiz parametrelerin, admin panellerinin veya sepet sayfalarının taranmasını kısıtlamak, Google’ın ana içeriğinize (Main Content) daha fazla kaynak ayırmasını sağlar.

Hangi sayfaların arama sonuçlarında görünmesi gerektiğini kontrol etmek, teknik SEO‘nun en temel adımıdır.

Robots.txt Dosyası Neden Önemli?

Robots.txt dosyası, web sitenizin tarama bütçesini (crawl budget) yöneten bir trafik kontrol merkezidir. Google ve diğer arama motorları, her web sitesi için sınırlı bir tarama zamanı ve kaynağı ayırır. Eğer sitenizdeki düşük değerli sayfalar (filtreleme sayfaları, sepet içerikleri veya sistem dosyaları) bu bütçeyi tüketirse, stratejik öneme sahip içerikleriniz taranamaz veya geç taranır.

Bu dosyanın temel işlevleri şu kritik avantajları sağlar:

• Tarama Bütçesi Optimizasyonu: Botların sadece dönüşüm odaklı ve bilgi değeri yüksek sayfalara odaklanmasını sağlayarak indeksleme verimliliğini artırır.
• Sunucu Yükünü Azaltma: Gereksiz bot trafiğini engelleyerek sunucu kaynaklarını korur ve sitenin genel yüklenme hızına dolaylı katkı sağlar.
• Gizli Dizinleri Koruma: Admin panelleri veya özel içeriklerin arama sonuçlarında (SERP) listelenmesini önleyerek site güvenliğini ve düzenini destekler.
• SEO Performansını Odaklama: Yinelenen içerik (duplicate content) riski taşıyan parametreli sayfaların taranmasını kısıtlayarak sayfa otoritesini doğru sayfalarda toplar.

Botların sitenizi nasıl keşfedeceğini yönetmek, teknik SEO’nun en temel EEAT (Güvenilirlik) sinyallerinden biridir; çünkü Google’a sadece en kaliteli içeriklerinizi sunmuş olursunuz.

Robots.txt Nasıl Kullanılır?

Robots.txt dosyasını kullanmak için dosyayı web sitenizin ana dizinine (root directory) yerleştirmeniz ve doğru söz dizimiyle yapılandırmanız gerekir.

Bu dosya her zaman düz metin (UTF-8) formatında olmalı ve tarayıcıda websitesi.com/robots.txt şeklinde erişilebilir olmalıdır. Arama motoru botları siteyi ziyaret ettiklerinde ilk olarak bu adresi kontrol eder; dosya bulunamazsa tüm siteyi tarama izni olduğu varsayılır.

Dosyanın kurulum ve kullanım süreci şu üç temel adımdan oluşur:

1. Dosya Oluşturma: Not defteri veya benzeri bir metin düzenleyici kullanarak robots.txt adında bir dosya oluşturun. Dosya adının tamamen küçük harflerden oluşması zorunludur.
2. Yönergeleri Tanımlama: Hangi botun (User-agent) hangi dizinlere (Disallow/Allow) erişebileceğini belirleyen komutları alt alta yazın. Her komut yeni bir satırda başlamalıdır.
3. Sunucuya Yükleme: Hazırladığınız dosyayı FTP veya dosya yöneticisi aracılığıyla sitenizin en üst dizinine (public_html, www veya httpdocs) yükleyin.

Robots.txt kullanımı, komutların hiyerarşik sırasına göre işlenir. Botlar yukarıdan aşağıya doğru okuma yapar; bu nedenle genel kuralları üste, özel kuralları alta yazmak semantik bir akış sağlar. Bu yapılandırma tamamlandığında, botların hangi dilleri konuşacağını belirleyen komut setlerine odaklanmak gerekir.

Kurulum aşamasını tamamladığımıza göre, şimdi bu dosyanın beyni sayılan komut setlerine ve bunların ne anlama geldiğine derinlemesine bakalım.

Robots.txt Komutları Nelerdir?

Robots.txt komutları, arama motoru botlarına verilecek talimatların dilini oluşturan standart dizimlerdir. Her komutun belirli bir işlevi vardır ve yanlış kullanımı tüm sitenin arama sonuçlarından silinmesine (de-indexing) yol açabilir. Bu komutlar, Googlebot gibi belirli bir botu hedefleyebileceği gibi tüm botlar için genel kurallar da koyabilir.

En sık kullanılan ve stratejik öneme sahip komutlar şunlardır:

• User-agent: Talimatın hangi bota verildiğini belirler. Yıldız işareti (*) tüm botları kapsarken, Googlebot yazılması sadece Google’ın tarayıcısını hedefler.
• Disallow: Botun girmesini istemediğiniz dizini veya dosyayı belirtir. Örneğin; /admin/ dizini botlara kapatılarak güvenli bir alan oluşturulur.
• Allow: Bir Disallow komutu içindeki belirli bir alt klasöre veya dosyaya erişim izni vermek için kullanılır. Genelde “istisna” durumlarında tercih edilir.
• Sitemap: Site haritanızın tam URL’sini botlara bildirir. Bu, tarama hiyerarşisinin başında botun tüm haritayı görmesini sağlayarak Topical Authority sinyallerini güçlendirir.
• Crawl-delay: Botun her sayfa isteği arasında ne kadar bekleyeceğini belirtir (Googlebot bu komutu görmezden gelir ancak Bing gibi motorlar için önemlidir).

Aşağıdaki tablo, bu komutların pratikte nasıl göründüğünü özetlemektedir:

Komutların sırası ve semantik tutarlılığı, NLP tabanlı botların sitenizi “anlamlı” bulması için kritiktir. Bir komutun ardından gelen / işareti veya joker karakterler (*, $), kuralın kapsamını belirler. Örneğin, sonuna dolar işareti eklenen bir kural (Disallow: /*.pdf$), sadece belirli bir dosya uzantısını hedefler.

Robots.txt Dosyasında Kullanılan Operatörler Nelerdir?

Şimdi geldik işin en önemli kısmına. Yani Robots.txt dosyasında kullanabileceğiniz operatörlere. Operatörler, robots.txt dosyasının “mantıksal denklemlerini” kurmamızı sağlayan, botlara karmaşık tarama talimatlarını basitçe anlatmamıza yarayan joker karakterlerdir.

Bu operatörler sayesinde her bir URL’yi tek tek yazmak yerine, belirli bir kural dizisi oluşturarak binlerce sayfayı tek bir satırla yönetebilirsiniz. Googlebot ve Bingbot gibi modern tarayıcılar bu standart sembolleri tam uyumlulukla okur.

Pratikte en çok kullanılan üç ana operatör şunlardır:

• Asterisk (Yıldız İşareti – *): Bu operatör “herhangi bir karakter dizisi” anlamına gelir. Hem User-agent tanımlarken tüm botları kapsamak için hem de URL yapılarında değişken alanları belirtmek için kullanılır.
• Dollar Sign (Dolar İşareti – $): URL’nin tam olarak nerede bittiğini belirtir. Özellikle dosya uzantılarını hedeflerken, o uzantıyla biten tüm adresleri kısıtlamak için kritiktir.
• Hash (Diyez İşareti – #): Bu bir komut değil, açıklama operatörüdür. Satır başına konulduğunda botlar o satırı okumaz; bu alanı kendiniz veya diğer geliştiriciler için not bırakmak amacıyla kullanabilirsiniz.

Operatör kullanımı, tarama bütçesini (crawl budget) optimize ederken en güçlü silahınızdır. Örneğin, e-ticaret sitelerinde /*?orderby=$ gibi bir komutla, sadece sıralama değiştirilmiş ama içeriği aynı olan binlerce kopya sayfanın taranmasını saniyeler içinde engelleyebilirsiniz. Bu, Google’ın sitenizin semantik çekirdeğini oluşturan ana sayfalara daha hızlı odaklanmasını sağlar.

Robots.txt Kullanımında En İyi Uygulamalar

Robots.txt dosyasında en iyi uygulama, botlara en kısa yoldan en değerli içeriği ulaştırmaktır. Karmaşık ve çelişkili komutlar, botların kafasını karıştırarak sitenizin yanlış taranmasına neden olabilir. Uygulamada hata payını sıfıra indirmek için şu stratejileri izlemelisiniz:

• Tarama Bütçesini Verimli Kullanın: Filtreleme sayfaları (örneğin: ?color=blue&size=large) veya sıralama parametreleri gibi binlerce varyasyonu olan sayfaları botlara kapatın. Bu, Google’ın stratejik sayfalarınıza daha fazla vakit ayırmasını sağlar.
• JS ve CSS Dosyalarını Engellemekten Kaçının: Modern Googlebot, sayfayı bir kullanıcı gibi işler (rendering). Eğer sitenizin tasarımını veya fonksiyonunu oluşturan JS ve CSS dosyalarını engellerseniz, Google sayfa yapısını anlayamaz ve bu durum sıralamanıza zarar verir.
• Hassas Verileri Robots.txt ile Gizlemeyin: Robots.txt bir güvenlik aracı değildir; bu dosya herkese açıktır. Hassas verileri (kullanıcı bilgileri, gizli dökümanlar) gizlemek için noindex etiketini veya sunucu taraflı şifrelemeyi kullanın.
• Dosya Boyutuna Dikkat Edin: Google, 500 KB’den büyük robots.txt dosyalarını okumayı bırakabilir. Komutlarınızı olabildiğince yalın ve toplu halde tutun.

Robots.txt ile ilgili Google dokümanına da buradan erişebilirsiniz.