Puppeteer.js ile Dinamik Web Kazıma: Kapsamlı Bir Rehber

Reading Time: 3 minutes

Dinamik Web Kazımaya Giriş

Web kazıma, web sitelerinden veri çıkarmak için kullanılan bir tekniktir. Geleneksel kazıma yöntemleri statik içerik için iyi çalışırken, JavaScript’e dayalı olarak içerik oluşturan dinamik web siteleri farklı bir yaklaşım gerektirir. İşte burada Puppeteer.js devreye girer. Puppeteer, Chrome veya Chromium’u DevTools Protokolü üzerinden kontrol etmek için yüksek seviyeli bir API sağlayan bir Node.js kütüphanesidir. Özellikle dinamik web içeriğini kazımak, form gönderimlerini otomatikleştirmek ve web sayfalarının ekran görüntülerini veya PDF’lerini oluşturmak için kullanışlıdır.

Web Kazıma İçin Neden Puppeteer.js Kullanmalı?

Puppeteer.js, web kazıma için birkaç avantaj sunar:

• Başsız Tarayıcı Kontrolü: Puppeteer, Chrome’u başsız modda çalıştırabilir, bu da grafiksel bir arayüz olmadan sunucu tarafında kazıma yapmayı ideal hale getirir.
• JavaScript Oluşturma: Geleneksel HTTP tabanlı kazıyıcılardan farklı olarak, Puppeteer JavaScript’i çalıştırabilir, bu da dinamik olarak oluşturulan içeriği kazımayı sağlar.
• Otomatikleştirme Yetenekleri: Puppeteer, düğmelere tıklama, formları doldurma ve sayfaları gezme gibi etkileşimleri otomatikleştirebilir, bu da modern web uygulamalarını kazımak için esastır.
• Performans: Puppeteer performans için optimize edilmiştir, bu da onu büyük ölçekli kazıma görevleri için uygun hale getirir.

Puppeteer.js Kurulumu

Kazımaya başlamadan önce, projenizde Puppeteer’ı kurmanız gerekir. Aşağıdaki adımları izleyin:

Kurulum

Önce bir Node.js projesi başlatın ve Puppeteer’ı yükleyin:

npm init -y
npm install puppeteer

Temel Yapılandırma

Yeni bir JavaScript dosyası oluşturun (örneğin, scraper.js) ve bir tarayıcı örneği başlatmak için aşağıdaki kodu ekleyin:

const puppeteer = require('puppeteer');
(async () => {

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto(‘https://example.com’);

await browser.close();

})();

Puppeteer ile Dinamik İçerik Kazıma

Puppeteer kurulduğuna göre, dinamik içeriği nasıl kazıyacağımızı keşfedelim. Aşağıda bazı pratik örnekler bulunmaktadır.

Örnek 1: Dinamik Bir Web Sitesinden Veri Çıkarma

Diyelim ki, fiyatları JavaScript kullanarak dinamik olarak yükleyen bir e-ticaret sitesinden ürün fiyatlarını kazımak istiyorsunuz. İşte bunu nasıl yapacağınız:

const puppeteer = require('puppeteer');
(async () => {

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto(‘https://example-ecommerce-site.com’);
// Dinamik içeriğin yüklenmesini bekleyin

await page.waitForSelector(‘.product-price’);
// Fiyatları çıkarın

const prices = await page.evaluate(() => {

const priceElements = document.querySelectorAll(‘.product-price’);

return Array.from(priceElements).map(el => el.textContent.trim());

});
console.log(prices);

await browser.close();

})();

Örnek 2: Sonsuz Kaydırma İşleme

Birçok modern web sitesi, kullanıcı sayfayı aşağı kaydırdıkça içerik yüklemek için sonsuz kaydırma kullanır. Puppeteer, tüm verileri kazımak için kaydırma işlemini simüle edebilir:

const puppeteer = require('puppeteer');
(async () => {

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto(‘https://example-infinite-scroll-site.com’);
// Sayfanın en altına birkaç kez kaydırın

for (let i = 0; i < 5; i++) {

await page.evaluate(() => {

window.scrollBy(0, window.innerHeight);

});

await page.waitForTimeout(2000); // Yeni içeriğin yüklenmesini bekleyin

}
// Verileri çıkarın

const items = await page.evaluate(() => {

const itemElements = document.querySelectorAll(‘.item’);

return Array.from(itemElements).map(el => el.textContent.trim());

});
console.log(items);

await browser.close();

})();

Gerçek Dünya Kullanım Örnekleri

Puppeteer.js sadece kazıma için değil, gerçek dünya senaryolarında geniş bir uygulama yelpazesine sahiptir:

1. Rakip Fiyat İzleme

İşletmeler, Puppeteer’ı rakip fiyatlarını gerçek zamanlı olarak izlemek için kullanabilir, bu da fiyatlandırma stratejilerini dinamik olarak ayarlamalarına olanak tanır.

2. Otomatik Test

Puppeteer, web uygulamalarının otomatik test edilmesi için yaygın olarak kullanılır. Kullanıcı etkileşimlerini simüle edebilir ve uygulamanın beklendiği gibi davrandığını doğrulayabilir.

3. İçerik Toplama

Haber web siteleri ve içerik toplama siteleri, Puppeteer’ı çeşitli kaynaklardan makaleleri, başlıkları ve diğer dinamik içeriği kazımak için kullanabilir.

4. SEO İzleme

SEO profesyonelleri, Puppeteer’ı arama motoru sonuç sayfalarını (SERP’ler) kazımak ve web sitelerinin belirli anahtar kelimeler için sıralamasını izlemek için kullanabilir.

Puppeteer ile Kazıma İçin En İyi Uygulamalar

Puppeteer güçlü olsa da, verimli ve etik kazıma sağlamak için en iyi uygulamaları takip etmek esastır:

• Robots.txt’ye Saygı Gösterin: Her zaman web sitesinin robots.txt dosyasını kontrol edin ve içeriği kazıma izniniz olup olmadığını doğrulayın.
• Hız Sınırlama: Sunucuyu aşırı yüklemekten kaçınmak için kısa bir süre içinde çok fazla istek göndermemeye çalışın.
• Kullanıcı Aracısı Döndürme: Farklı kullanıcı ajanları kullanarak çeşitli tarayıcılardan ve cihazlardan gelen istekleri taklit edin.
• Hata Yönetimi: Ağ sorunlarını veya web sitesinin yapısındaki değişiklikleri yönetmek için sağlam hata yönetimi uygulayın.
• Başsız Mod: Başsız mod verimli olsa da, bazen sorunları hata ayıklamak için tarayıcıyı başsız olmayan modda çalıştırmak yardımcı olabilir.

Sonuç

Puppeteer.js, özellikle dinamik içerik için web kazıma olanakları açan çok yönlü bir araçtır. Yeteneklerinden yararlanarak, en karmaşık web sitelerinden bile veri çıkarabilir, etkileşimleri otomatikleştirebilir ve daha önce elde edilmesi zor olan bilgileri toplayabilirsiniz. Geliştirici, veri bilimcisi veya iş analisti olun, Puppeteer’ı ustalaştırmak web kazıma araç setinizi önemli ölçüde geliştirebilir.