Robots.txt internet sitesinin kök dizinine yerleştirilen bir dosyadır. Robots.txt dosyası arama motoru tarayıcılarının sitenizde erişmediğinizi istemediğiniz yerleri gösterir. Bu dosya bir komut setine sahip olup robotları engelleme standardına sahiptir. Robots.txt nedir? Google botları için kılavuz bir dosyadır.
Botlar sitenize girdiğinde Robots. txt dosyanız varsa direk dosyaya girip bazı kodlar görecektir. Dosya içerisinde gördüğü bu kodlar doğrultusunda neleri indexleyeceğini, nerelere girmeyeceğini belirleyecektir. Google botları için Robots.txt olmazsa olmaz önemli bir dosyadır diyebiliriz.
Robots.txt Nasıl Oluşturulur?
Robots.txt dosyası sitenizin kök dizinine ekleyeceğiniz site mimarisi için oldukça önemli bir yazılım olacaktır. Bu nedenle özenle hazırlanması ve uygun komut kodlarının oluşturulması oldukça mühimdir. Robots.txt oluşturma konusunda bir SEO uzmanından faydalanmanız da fayda vardır. Sitenize uygun kodları nasıl ve ne şekilde oluşturacağını iyi bilen SEO uzmanı sitenizin korunması için en uygun dosyayı hazırlayacaktır. Robots.txt dosyası oluştururken belli başlı komutlar içeren kodlamalar uygulayacaktır.
Öncelikle arama motoru engelleme ve izin verme komutları düzenlenecektir. Sonrasında daha ayrıntılı komutlara geçilerek dizin engelleme ve izin verme, sayfa engelleme ve izin verme, tarama gecikmesinin belirtilmesi ve site haritası belirleme komutları kod olarak dosya içerisinde bulunacaktır. Oluşturulan dosya ile web böceği ya da web örümceği denilen tehlikelerden sitenizi korumuş olursunuz.
Belirli standartlara uygun olarak
hazırlanan Robots.txt, web sitenizin kök dizinine yüklenmelidir. Düze metinden
oluşması gereken ve UTF-8 karakter kodu kullanılması gereken bu dosta,
gizlenmemeli veya kaldırılmamalıdır.
WordPress Robots.txt Nasıl Olmalıdır?
WordPress Robots. txt
oluşturmanın iki farklı yöntemi vardır. Bunlardan ilki direk sitenizin FTP kısmına
girerek dosyayı direkt olarak düzenlemenizdir. İkinci yöntem olarak Yoast SEO eklentisini
kullanarak Robots. txt dosyası hazırlamaktır. Yoast Robots. txt eklentisi kullanacaksanız araçlar içerisinde size
direk sunulacaktır.
WordPress panelinizde seo
bölümünden araçlar kısmına giriş yaparak dosya düzenleyiciye tıklayarak Robots.
txt dosyasını düzenleyebilirsiniz. WordPress
Robots txt nasıl olmalı diyenler için vurgulanması gereken en önemli konu
dosya içerisindeki kodlamanın en doğru şekilde yapılması gerektiğidir. Zira
Robots.txt dosyası içerisinde sitenizde ulaşılması gereken bölümleri
engellerseniz arama motorunda sıralamanız aşağılara düşecektir. Bu nedenle
dosya içerisinde engellenecek bölümlerin çok iyi belirlenip kodlamaların buna
göre yapılması önemlidir.
Robots.txt Ne İşe Yarar?
Web siteleri ilk kurulduğunda çok önemli gibi görünmese de siteniz büyüdükçe arama motoru botları için bir kısıtlama getirmek istersiniz. Getirilen bu kısıtlamalar ile tarama bütçenizi optimize edebilirsiniz. İşte bu noktada Robots.txt ne işe yarar diyenler için komut dosyasının önemi ortaya çıkar.
Bu Yazıları da Sevebilirsiniz
RegeX Nedir?
Regex; regular expression açılımına sahip ve dilimizde düzenli ifade anlamına gelmekte olan, metinler içerisinde tekrar eden ya da benzersiz yapıları ...
Opencard Robots.txt kullanım alanları oldukça geniştir. Genel olarak:
- Web sitenizde yer alan bazı bölmeleri
saklamanıza yardımcı olmaktadır.
- Kopya içerik görünmesini engeller.
- Sitenizin birden fazla içerik yüklemesi
durumunda oluşabilecek yoğunluğu tarama gecikmesi ile önler.
- Web sitenizin belirli kısımlarının
indexlenmesini engellemenize yardımcı olur.
Bloglar için düzenlenen Blogger Robots.txt WordPress sitelerinde olduğu kadar bloglar için de büyük öneme sahiptir. Komut dosyası hazırlarken örnek Robots. txt kodlamalarını inceleyerek faydalanmanız mümkündür.
Dopinger ile Dijital dünyada markanızı öne taşıyın!