Web sitelerinden toplu veri çekme işlemlerinin birçok farklı yolu vardır. Örneğin çeşitli özel yazılım veri toplama programları ile veri toplayabilirsiniz. Python ile veri kazıma işlemleri yapabilirsiniz. Ayrıca XPath ile de kolay bir şekilde veri kazıma işlemlerinizi gerçekleştirebilirsiniz. Fakat bu yazımda ben sizlere Web Data Extractor ile veri toplama işlemlerini göstereceğim. Hadi gelin önce Web Data Extractor nedir öğrenelim.
Web Data Extractor Nedir?
Web Data Extractor , verilerin toplu olarak çekilmesi için özel olarak üretilmiş scraping aracıdır. Bu aracın telefon numaraları, e-posta adresleri, Url’leri , faks numaralarını ve meta etiketler gibi verileri toplu bir biçimde çekme özelliği vardır.
Web Data Extractor Nasıl Kullanılır?
Web data extractor programı kullanımı oldukça kolay olan bir programdır. Programın ara yüzü içerisinde, verileri toplu bir şekilde çekmeden önce seçebileceğiniz Url, domains, meta tags, phones ve faxes seçenekleri mevcuttur. Ayrıca bu verileri hangi kaynaktan seçeceğinizi de kolay bir şekilde belirleyebilirsiniz. Bunu da “Data source” kısmından 3 ayrı seçenek de yapabilirsiniz. Bu seçenekler site, search engines ve Url listdir. Örneğin search engine seçeneği ile veri toplarsanız verileri belirli bir anahtar kelime üzerinden toplayabilirsiniz. Yine bu özellik içerisinde bölgesel ayarlama seçeneği ile veri toplama işleminizi filtreleyebilirsiniz. Bu sayede daha niş verilere ulaşmış olursunuz. Hadi gelin bu program nasıl kullanılırmış adım adım öğrenelim.
- Öncelikle programı indirip açtıktan sonra karşınıza çıkacak ilk arayüz yukarıda gördüğünüz gibidir. Bu ara yüzü gördükten sonra ilk yapmanız gereken şey yeni bir oturum açmak için “New session” butonuna tıklamaktır.
- New session’a tıkladıktan sonra karşınıza böyle bir ekran çıkmaktadır. Verileri toplamadan önce bu bölümden ayarlamalarınızı ve filtrelemelerinizi yapacaksınız.
- Örneğin ulaşmak istediğiniz veriler İstanbuldaki reklam şirketleri numaraları, url’leri ve e-mail adresleri olsun . Bu verilere ulaşmak için öncelikle “Search engine” yazan butona tıklamanız gerekir. Search engine butonuna tıkladığınızda açılan “Keyword” ekranına toplamak istediğiniz verilerin anahtar kelimesini girmelisiniz. Anahtar kelime bölümünde hedeflediğiniz verilerin niteliği ile doğrudan ilgili olan bir seçim yapmalısınız. Ben anahtar kelimeyi “Reklam şirketleri İstanbul” yaptım.
- Bir sonraki adımınızda “Select Search Engines” kısmına tıklamalısınız. Açılan ekranda “Select country” yazan bölüme tıklayıp hangi bölgeden veri çekebileceğinizi kolay bir şekilde belirleyebilirsiniz. Bölge seçme işleminizi gerçekleştirdikten sonra sağ alt kısımdaki “ok” butonuna tıklayın.
- Filtreleme işlemlerinizin tamamı bittiğine göre sağ altta ki “Start” tuşuna basıp veri toplama işlemlerinize başlayabilirsiniz.
- Son adımınızda bittiğine göre yukarıda gördüğünüz verilere kolay bir şekilde ulaşabilirsiniz. Bu listede e-mail , name, url , Title, host ve keyword verileri yer almaktadır.
- Telefon numaralarına erişmek isterseniz “Phone” yazan kısma tıklamanız yeterli olacaktır. Ayrıca linklere ulaşmak için hemen sağ kısmındaki “Link” yazan butona tıklamalısınız.
- Artık verilerimize düzenli bir şekilde ulaştığımıza göre bu verileri nasıl dışarı aktaracağımızı öğrenelim. Bu işlemimiz de oldukça kolay bir işlemdir. Sağ üst köşedeki “Export the CSV file” yazılı disk sembolüne tıklamalısınız. Açılan ekranda e-mail, phone ve link seçeneklerine seçmeyi unutmayın. Sonra save yazan seçeneğe tıkladıktan sonra verilerinizi excel formatında dışarı aktarabilirsiniz.
Diğer Veri Kazıma (Data Scraping) Yöntemleri Nelerdir?
Data scraping , web sitelerinden veri toplama işlemine denir. Data scraping işlemlerinin kullanım amacı telefon numaraları , karşılaştırmalar , e-mail adresleri , borsa haberleri ve daha bunun gibi işinize yarayacak birçok veriye sahip olmaktır. Çünkü veri bilimciler bu verileri anlamlandırıp tutarlı stratejiler geliştirebilirler. Örneğin bir e-ticaret sitesi fiyat karşılaştırması yapmak için data scraping yöntemlerini kullanabilir. Bu sayede diğer e-ticaret sitelerindeki fiyatları öğrenerek mantıklı bir fiyat stratejisi belirleyebilir. Diğer data scraping yöntemleri ise başlıca şunlardır;
- Python ile veri kazıma
- XPath ile veri kazıma
- Excel ile veri alma
- Son olarak diğer özel yazılım programları ile veri kazıma
Bu Yazıları da Sevebilirsiniz
Jira Rehberi
Çoğu zaman yazılım hatalarını tespit etmek, zaman isteyen bir iştir. Bir araç kullanmak süreci çok daha kolay hale getirir. Jira, manuel testlerde kul...
Bloğumuzu beğendiyseniz XPath Nedir? Google E-Tablolar ile SEO Analizi yazımızda ilginizi çekebilir.
Sıkça Sorulan Sorular