Robot.txt Nedir?

Robot.txt Nedir?

Robots.txt internet sitesinin kök dizinine yerleştirilen bir dosyadır.  Robots.txt dosyası arama motoru tarayıcılarının sitenizde erişmediğinizi istemediğiniz yerleri gösterir. Bu dosya bir komut setine sahip olup robotları engelleme standardına sahiptir. Robots.txt nedir? Google botları için kılavuz bir dosyadır.

Botlar sitenize girdiğinde Robots. txt dosyanız varsa direk dosyaya girip bazı kodlar görecektir. Dosya içerisinde gördüğü bu kodlar doğrultusunda neleri indexleyeceğini, nerelere girmeyeceğini belirleyecektir. Google botları için Robots.txt olmazsa olmaz önemli bir dosyadır diyebiliriz.

Robots.txt Nasıl Oluşturulur?

Robots.txt dosyası sitenizin kök dizinine ekleyeceğiniz site mimarisi için oldukça önemli bir yazılım olacaktır. Bu nedenle özenle hazırlanması ve uygun komut kodlarının oluşturulması oldukça mühimdir. Robots.txt oluşturma konusunda bir SEO uzmanından faydalanmanız da fayda vardır. Sitenize uygun kodları nasıl ve ne şekilde oluşturacağını iyi bilen SEO uzmanı sitenizin korunması için en uygun dosyayı hazırlayacaktır. Robots.txt dosyası oluştururken belli başlı komutlar içeren kodlamalar uygulayacaktır.

robots.txt nedir

Öncelikle arama motoru engelleme ve izin verme komutları düzenlenecektir. Sonrasında daha ayrıntılı komutlara geçilerek dizin engelleme ve izin verme, sayfa engelleme ve izin verme, tarama gecikmesinin belirtilmesi ve site haritası belirleme komutları kod olarak dosya içerisinde bulunacaktır. Oluşturulan dosya ile web böceği ya da web örümceği denilen tehlikelerden sitenizi korumuş olursunuz.

robots.txt
robots.txt nasıl oluşturulur

Belirli standartlara uygun olarak hazırlanan Robots.txt, web sitenizin kök dizinine yüklenmelidir. Düze metinden oluşması gereken ve UTF-8 karakter kodu kullanılması gereken bu dosta, gizlenmemeli veya kaldırılmamalıdır.

WordPress Robots.txt Nasıl Olmalıdır?

WordPress Robots. txt oluşturmanın iki farklı yöntemi vardır. Bunlardan ilki direk sitenizin FTP kısmına girerek dosyayı direkt olarak düzenlemenizdir. İkinci yöntem olarak Yoast SEO eklentisini kullanarak Robots. txt dosyası hazırlamaktır. Yoast Robots. txt eklentisi kullanacaksanız araçlar içerisinde size direk sunulacaktır.

WordPress panelinizde seo bölümünden araçlar kısmına giriş yaparak dosya düzenleyiciye tıklayarak Robots. txt dosyasını düzenleyebilirsiniz. WordPress Robots txt nasıl olmalı diyenler için vurgulanması gereken en önemli konu dosya içerisindeki kodlamanın en doğru şekilde yapılması gerektiğidir. Zira Robots.txt dosyası içerisinde sitenizde ulaşılması gereken bölümleri engellerseniz arama motorunda sıralamanız aşağılara düşecektir. Bu nedenle dosya içerisinde engellenecek bölümlerin çok iyi belirlenip kodlamaların buna göre yapılması önemlidir.

Robots.txt Ne İşe Yarar?

Web siteleri ilk kurulduğunda çok önemli gibi görünmese de siteniz büyüdükçe arama motoru botları için bir kısıtlama getirmek istersiniz. Getirilen bu kısıtlamalar ile tarama bütçenizi optimize edebilirsiniz. İşte bu noktada Robots.txt ne işe yarar diyenler için komut dosyasının önemi ortaya çıkar.

Bu Yazıları da Sevebilirsiniz
Google Search Console Tarama Raporları Neyi Takip Etmenizi Sağlar?
Google Search Console Tarama Raporları Neyi Takip Etmenizi Sağlar?

Google Search Console tarama raporları yardımıyla sitenizde yer alan bazı verilere erişim sağlayabilirsiniz. Yazımızda “Google Search Console tarama r...

RegeX Nedir?
RegeX Nedir?

Regex; regular expression açılımına sahip ve dilimizde düzenli ifade anlamına gelmekte olan, metinler içerisinde tekrar eden ya da benzersiz yapıları ...

Opencard Robots.txt kullanım alanları oldukça geniştir. Genel olarak:

  • Web sitenizde yer alan bazı bölmeleri saklamanıza yardımcı olmaktadır.
  • Kopya içerik görünmesini engeller.
  • Sitenizin birden fazla içerik yüklemesi durumunda oluşabilecek yoğunluğu tarama gecikmesi ile önler.
  • Web sitenizin belirli kısımlarının indexlenmesini engellemenize yardımcı olur.

Bloglar için düzenlenen Blogger Robots.txt WordPress sitelerinde olduğu kadar bloglar için de büyük öneme sahiptir. Komut dosyası hazırlarken örnek Robots. txt kodlamalarını inceleyerek faydalanmanız mümkündür.

Dopinger ile Dijital dünyada markanızı öne taşıyın!

Sıkça Sorulan Sorular

Robots.txt arama motoru robotlarının bir web sitesinin hangi alanlarını tarayacağını, hangi alanların taranmasının istenmediğini ve hangilerine giriş izni verilip verilmediğini belirlemekte olan bir komut dosyasıdır.

Robots.txt tarafından kullanılmakta olan komutlar, arama motoru engelleme, sayfa engelleme, tarama engelleme ve dizin engelleme komutlarıdır.

Robots.txt sitenizin olmazsa olmazıdır. Bu nedenle bu komutları iyi ayarlamak gerekir. Aksi halde arama motorları karşısında siteniz değer kaybedebilir. Detaylı bilgilere blog yazımızdan erişebilirsiniz.

Halil İbrahim Er

Yazılar: 491

Dijital Pazarlama Uzmanı olarak yaklaşık 9 senelik bilgi birikimine sahibim. Web adresim dopinger.com üzerinden sizlere güncel bilgiler paylaşarak, bilgi aktarımı yapmaktayım.

Bu Yazıları da Sevebilirsiniz
Yorum Gönder

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

(Toplam: 74 Ortalama: 5 )

Gösterilecek yorum yok.