Robots.txt Nasıl Oluşturulur?

Özellikle bir sayfanın Google sonuçlarında görünmesini önlemek ile o sayfanın taranmasını engellemek birbirinden farklı işlemlerdir. 

Dosyanın yanlış yapılandırılması durumunda organik görünürlük kazanması gereken sayfalar da istemeden arama motoru botlarına kapatılabilir. Bu yüzden robots.txt hazırlanırken yalnızca hangi URL’lerin engelleneceğine değil, hangi sayfaların mutlaka taramaya açık kalması gerektiğine de bakılmalıdır.

Robots.txt Nedir ve Ne İşe Yarar?

Robots.txt, web sitelerini tarayan botlara hangi sayfa veya bölümlere erişebileceklerini bildiren bir dosyadır. Googlebot, Bingbot ve YandexBot gibi arama motoru botlarının yanı sıra robots.txt kurallarını destekleyen bazı yapay zekâ tarayıcıları da bu dosyadaki yönlendirmeleri dikkate alabilir.

Bu dosya, botlar için hazırlanmış bir yönlendirme listesi gibi düşünülebilir. Örneğin hizmet sayfaları ve blog içerikleri taramaya açık bırakılırken site içi arama sonuçları, bazı filtre sayfaları veya taranmasına gerek olmayan alanlar için erişim sınırlandırılabilir. Böylece botların site içinde hangi bölümlere ulaşacağı daha kontrollü biçimde yönetilir.

Robots.txt ile bir sayfanın taranmasını sınırlandırmak, o sayfayı internetten gizlemek veya kullanıcı erişimini engellemek anlamına gelmez. Bu dosya bir güvenlik yöntemi değildir. Şifre, müşteri bilgileri veya yalnızca yetkili kişilerin erişmesi gereken alanlar farklı güvenlik yöntemleriyle korunmalıdır.

Arama Motoru Botları Robots.txt Dosyasını Nasıl Okur?

Bir arama motoru botu, sitedeki URL’leri tararken ilgili robots.txt kurallarını dikkate alır. Ancak robots.txt dosyası her URL isteğinde yeniden alınmaz. Örneğin Google, robots.txt dosyasını genellikle 24 saate kadar önbelleğe alabilir. Bu nedenle dosyada yapılan bir değişikliğin Googlebot tarafından uygulanması kısa bir süre gecikebilir. Dosyada kendisi için yazılmış bir kural varsa onu dikkate alır. Bot için özel bir kural bulunmuyorsa, varsa User-agent: * ile tanımlanan genel kurallar uygulanır. Genel bir kural da bulunmuyorsa robots.txt açısından tarama kısıtlaması yoktur.

Bot daha sonra ziyaret etmek istediği adresin taramaya açık olup olmadığına bakar. O sayfa veya klasör engellenmişse taramaz. Herhangi bir engelleme yoksa sayfaya erişebilir. Bazı durumlarda genel olarak kapatılan bir bölümün içindeki belirli bir sayfaya ayrıca izin verilebilir. Bir URL hem Allow hem de Disallow kuralıyla eşleşiyorsa Google daha spesifik olan kurala bakar. Yani URL yolu ile daha uzun eşleşen kural önceliklidir. Eşleşme uzunlukları aynıysa Allow kuralı uygulanır.

Temel Robots.txt Komutları Nelerdir?

User-agent: * ifadesi genel bir bot grubunu hedeflemek için kullanılabilir. 

Disallow: / ise ilgili bot için tüm sitenin taranmasını engelleyebileceğinden özellikle dikkatli kullanılmalıdır. Google’ın robots.txt desteğinde User-agent, Disallow, Allow ve Sitemap gibi tanımlanmış kurallar bulunur. Desteklenmeyen satırlar Google tarafından dikkate alınmayabilir.

Robots.txt Dosyası Nasıl Oluşturulur?

Dosyayı oluştururken önce hangi URL gruplarının taranmasına gerçekten gerek olmadığını belirlemek gerekir. Hazır bir robots.txt örneğini doğrudan başka bir siteden kopyalamak doğru sonuç vermeyebilir. Aynı CMS kullanılsa bile iki sitenin URL yapısı ve indeksleme ihtiyaçları farklı olabilir.

Robots.txt oluşturma süreci genel olarak şu şekilde ilerler:

1. Taranmasını istemediğiniz URL ve dizinleri belirleyin. Filtreler, parametreler veya sistem tarafından oluşturulan gereksiz URL gruplarını site yapısına göre değerlendirin.

2. Kuralların hangi botlara uygulanacağını belirleyin. Tüm botlara uygulanacak kurallarla belirli tarayıcılar için kullanılacak kuralları birbirinden ayırın.

3. Allow ve Disallow kurallarını yazın. Daha geniş bir dizini engellerken içinde taranması gereken bir URL bulunup bulunmadığını kontrol edin.

4. Dosyayı robots.txt adıyla kaydedin. Dosya düz metin biçiminde ve UTF-8 kodlamasında olmalıdır.

5. Dosyayı sitenin kök dizinine yükleyin. Örneğin https://www.siteadi.com/robots.txt adresinden erişilebilir olmalıdır. Alt alan adları kullanıyorsanız bunların robots.txt dosyalarını da ayrı kontrol edin.

6. Yayına aldıktan sonra kuralları test edin. Dosyanın açılabildiğini ve önemli URL’lerin yanlışlıkla engellenmediğini kontrol edin.

Word gibi belge düzenleme programları yerine düz metin düzenleyicileri tercih etmek daha güvenlidir. Belge programlarının ekleyebileceği özel karakterler dosyanın beklenenden farklı yorumlanmasına yol açabilir.

Doğru Bir Robots.txt Örneği Nasıl Olmalıdır?

Her web sitesi için geçerli tek bir doğru robots.txt şablonu yoktur. Dosya sitenin URL yapısına ve hangi bölümlerin taranmasını istediğinize göre hazırlanmalıdır.

User-agent: *
Disallow: /arama/
Disallow: /filtre/

Sitemap: https://www.siteadi.com/sitemap.xml

Bu örnekte genel bot grubunun /arama/ ve /filtre/ dizinlerini taraması sınırlandırılır. Sitemap satırı ise sitenin XML Sitemap dosyasının adresini bildirir.

Sitenin tamamının taranmasına izin verilecekse ayrıca Allow: / yazılması zorunlu değildir. Google’ın varsayılan davranışı, Disallow ile sınırlandırılmayan URL’lerin taranabilmesidir.

Daha karmaşık yapılarda bir dizinin büyük kısmı engellenirken içindeki belirli bir URL veya alt dizine Allow kuralıyla izin verilebilir. Bu tür kurallar hazırlanırken gerçek URL yapısı üzerinden test yapılması gerekir.

Hangi Sayfaların Taranması Engellenebilir?

Taramaya kapatılabilecek alanlar her site için aynı değildir. Karar verilirken sayfanın organik aramadaki görevi, Google tarafından işlenmesine ihtiyaç olup olmadığı ve benzer URL’lerin ne ölçüde çoğaldığı birlikte değerlendirilmelidir.

Örneğin e-ticaret sitelerinde kullanıcıların aynı ürün grubunu fiyat, renk veya farklı sıralama seçenekleriyle görüntülemesi yüzlerce URL varyasyonu oluşturabilir. Google’ın güncel tarama bütçesi rehberi de birleştirilemeyen ve arama açısından önemsiz bazı faceted navigation URL’lerinin robots.txt üzerinden sınırlandırılabileceğini belirtmektedir.

Site içi arama sonuçları, gereksiz parametre kombinasyonları ve arama sonuçlarında ayrı bir değer taşımayan sistem URL’leri robots.txt ile sınırlandırılabilecek alanlar arasındadır. Ancak burada tüm filtre URL’lerini topluca kapatmak yerine sitenin gerçek URL yapısına göre karar vermek gerekir.

Amaç, arama motoru botlarının gereksiz URL’lerde zaman harcamasını azaltarak taramayı daha değerli sayfalara yönlendirmektir.

Hangi Sayfalar ve Kaynaklar Engellenmemelidir?

Hizmet, kategori, ürün veya içerik gibi organik aramada görünmesini istediğiniz önemli sayfaların yanlışlıkla robots.txt ile engellenmesi Googlebot’un içeriğe ulaşmasını önleyebilir.

Sayfanın görüntülenmesi için gerekli CSS ve JavaScript dosyalarını da robots.txt ile engellememek gerekir. Google, sayfanın görünümünü ve içeriğini doğru şekilde anlamak için bazı kaynakları kullanabilir. Sayfanın işlenmesi için gerekli bir CSS veya JavaScript dosyasını engellemek Google’ın sayfayı kullanıcıya sunulduğu biçime yakın şekilde değerlendirmesini zorlaştırabilir. Google da sayfanın anlaşılmasını etkileyen kaynakların robots.txt ile kapatılmamasını önermektedir.

Yalnızca gizli kalmasını istediğiniz için bir URL’yi robots.txt ile engellemek de doğru yaklaşım değildir. Dosya erişim güvenliği sağlamaz ve engellenen URL başka sayfalardaki bağlantılar üzerinden keşfedilebilir.

Robots.txt ile Noindex Arasındaki Fark Nedir?

Robots.txt ile noindex birbirine benzeyen iki yöntem gibi görünse de farklı işlemleri yönetir.

Robots.txt taramayı yönetir. noindex ise bir sayfanın arama sonuçlarına dahil edilmemesi için kullanılan indeksleme talimatıdır.

Bir URL robots.txt ile engellendiğinde Googlebot sayfanın içeriğine erişemez. Ancak URL başka sayfalardan veya dış bağlantılardan keşfedilmişse Google bazı durumlarda adresi içeriğini taramadan dizine ekleyebilir. Bu nedenle robots.txt, web sayfalarını Google sonuçlarından kaldırmanın güvenilir bir yöntemi değildir.

Bir sayfanın indekslenmemesi isteniyorsa Google’ın noindex talimatını görebilmesi için sayfaya erişmesine izin verilmelidir. Aynı URL’yi robots.txt ile engelleyip sayfanın içine noindex eklemek bu nedenle çelişkili bir yapı oluşturabilir.

Özel veya yetkisiz kullanıcıların görmemesi gereken bilgiler için ise iki yöntem de güvenlik çözümü değildir. Böyle sayfalarda parola koruması veya uygun erişim kontrolleri kullanılmalıdır.

XML Sitemap Adresi Robots.txt Dosyasına Nasıl Eklenir?

XML Sitemap adresi robots.txt dosyasına Sitemap: satırı kullanılarak eklenebilir:

Sitemap: https://www.siteadi.com/sitemap.xml

Sitemap adresi tam URL olarak yazılmalıdır. Google, burada verilen adres için HTTP, HTTPS veya www varyasyonlarını kendiliğinden tahmin etmez. 

Robots.txt, botların hangi alanları tarayabileceğini yönetirken XML Sitemap önemli URL’lerin keşfedilmesine yardımcı olur. Sitemap’te yer alan bir URL’nin aynı zamanda robots.txt ile engellenmesi tutarsız bir yapı oluşturabilir. Sitemap’e eklenen URL’lerin tarama kurallarıyla uyumu bu yüzden kontrol edilmelidir.

En Sık Yapılan Robots.txt Hataları Nelerdir?

En ciddi hatalardan biri, sitenin tamamının yanlışlıkla arama motoru tarayıcılarına kapatılmasıdır. Özellikle geliştirme ortamlarında kullanılan:

User-agent: *

Disallow: /

kuralı canlı siteye taşındığında önemli sayfaların taranmasını engelleyebilir. Site taşıma ve yeni altyapıya geçiş dönemlerinde geliştirme için kullanılan robots.txt veya noindex kurallarının canlı ortamda bırakılması Google’ın özellikle dikkat çektiği taşıma hataları arasındadır.

Bir diğer sorun, geniş bir dizini engellerken içinde organik aramada görünmesi gereken sayfaların bulunduğunun fark edilmemesidir. URL yollarındaki büyük ve küçük harf farklılıklarının hesaba katılmaması da kuralların beklenenden farklı çalışmasına neden olabilir. Google robots.txt yollarını büyük ve küçük harfe duyarlı olarak değerlendirir.

Sık karşılaşılan diğer bir hata da indeksleme amacıyla robots.txt kullanmaktır. Bir sayfanın Google sonuçlarında yer almaması hedefleniyorsa robots.txt yerine uygun indeksleme yöntemi seçilmelidir.

Dosyanın Doğru Çalıştığı Nasıl Kontrol Edilir?

İlk kontrol oldukça basittir. Tarayıcıda doğrudan:

• https://www.siteadi.com/robots.txt

adresini açarak dosyanın erişilebilir olup olmadığı görülebilir. Google da ilk kontrolde dosyanın herkese açık biçimde ulaşılabildiğinin doğrulanmasını önermektedir.

Ardından Google Search Console’daki robots.txt raporu kullanılabilir. Burada Google’ın erişebildiği robots.txt dosyaları ve dosyayla ilgili bazı sorunlar kontrol edilebilir. Organik görünürlük açısından önemli bir URL’de erişim sorunu yaşanıyorsa URL Denetleme Aracı da sayfanın Google tarafından nasıl değerlendirildiğini incelemek için kullanılabilir.

Dosya yayınlandıktan sonra Google, robots.txt dosyasını normal tarama sürecinde otomatik olarak kontrol eder; bu nedenle çoğu durumda ayrıca manuel bir gönderim işlemi gerekmez. Ancak robots.txt dosyası önbelleğe alınabildiği için yapılan değişiklikler Google tarafındani hemen görülmeyebilir. Önemli veya acil bir değişiklik yapıldıysa Google Search Console’daki robots.txt raporu üzerinden dosyanın yeniden taranması istenebilir. Değişiklik sonrasında kuralların canlı ortamda gerçekten güncellendiği de ayrıca kontrol edilmelidir.

Robots.txt Ne Zaman Güncellenmelidir?

Site yapısı değiştiğinde daha önce doğru çalışan robots.txt kuralları zamanla güncelliğini kaybedebilir.

Özellikle site taşıma, CMS değişikliği, yeni filtre sistemlerinin eklenmesi, URL yapısının yenilenmesi veya yeni alt dizinlerin oluşturulması sonrasında dosya yeniden gözden geçirilmelidir. Geliştirme ortamında botlara kapalı tutulan bir sitenin canlıya alınması da en dikkat edilmesi gereken dönemlerden biridir. Google, site taşıma rehberinde geçici olarak kullanılan robots.txt engellerinin canlı geçiş sırasında kaldırılmasının kontrol edilmesini özellikle önermektedir.

Eski bir filtre yapısı kaldırılmışsa veya engellenen URL grupları artık mevcut değilse kullanılmayan kuralların dosyada tutulması da gereksiz karmaşıklık yaratabilir. Dosyanın mevcut site mimarisini yansıtması daha sağlıklı bir yönetim sağlar.

Robots.txt Kontrol Listesi

Robots.txt dosyası küçük görünse de yanlış bir kural yüzlerce veya binlerce URL’nin taranma biçimini etkileyebilir. Özellikle e-ticaret siteleri, filtre yapıları ve sık değişen URL mimarilerinde kuralların yalnızca tek tek satırlar üzerinden değil, sitenin tamamındaki etkileri düşünülerek değerlendirilmesi gerekir.

WOM Yazılım Danışmanlık olarak SEO çalışmalarında tarama ve indeksleme yapısını, robots.txt kurallarını, URL mimarisini ve bunların organik görünürlüğe etkisini birlikte değerlendiriyoruz. 

Web sitenizde tarama sorunları yaşıyorsanız veya mevcut robots.txt dosyanızın doğru yapılandırılıp yapılandırılmadığını görmek istiyorsanız SEO hizmetimizi inceleyebilir veya bizimle iletişime geçebilirsiniz.