Engellenmeden Web Scraping: Profesyonel Rehber 2026

Web Scraping'e Giriş

Web scraping — web sitelerinden otomatik olarak veri toplama — modern iş dünyasında vazgeçilmez bir araçtır. Fiyat karşılaştırma, pazar araştırması, rakip analizi, lead generation, SEO izleme ve akademik araştırma gibi sayısız alanda kullanılır. Ancak web siteleri, otomatik veri toplamayı engellemek için giderek daha sofistike anti-bot teknolojileri kullanmaktadır.

2026 yılında web scraping manzarası dramatik olarak değişmiştir. Cloudflare, PerimeterX (şimdi HUMAN), DataDome, Imperva ve Akamai gibi anti-bot çözümleri, dünya genelindeki web sitelerinin %70'inden fazlasını korumaktadır. Bu sistemler, basit HTTP istek başlığı kontrolünün çok ötesine geçerek tarayıcı parmak izi, davranışsal analiz, makine öğrenmesi tabanlı bot score değerlendirmesi ve JavaScript challenge'ları kullanır.

Başarılı web scraping artık yalnızca HTTP istemcisi (requests, urllib) ile mümkün değildir. Modern anti-bot sistemleri, gerçek bir tarayıcı ortamı ve gerçekçi bir parmak izi talep eder. Anti-detect tarayıcılar, bu gereklilikleri karşılayarak engellemeleri minimize eder. Bu rehberde, profesyonel düzeyde web scraping için gereken tüm teknikleri ele alacağız.

Anti-Bot Sistemleri Nasıl Çalışır

Modern anti-bot sistemleri çok katmanlı bir tespit yaklaşımı kullanır. İlk katman IP itibarı ve hız sınırlamadır: bilinen veri merkezi IP'leri, bilinen proxy IP'leri ve anormal istek hızları engellenir. Bu katman, basit IP rotasyonu ve hız kontrolü ile atlatılabilir.

İkinci katman JavaScript challenge'larıdır. Cloudflare'in Turnstile'ı, PerimeterX'in HUMAN challenge'ı ve DataDome'un CAPTCHA sistemi, istemcinin gerçek bir tarayıcı olup olmadığını doğrulamak için JavaScript çalıştırma yeteneğini test eder. Bu challenge'lar, DOM API'lerini, Web API'lerini ve tarayıcı davranışlarını kontrol eder. Headless tarayıcılar (Puppeteer, Playwright) bu challenge'ları çözebilir ancak üçüncü katmana takılır.

Üçüncü katman parmak izi tabanlı tespittir. Anti-bot sistemleri, tarayıcının canvas hash'ini, WebGL renderer'ını, AudioContext imzasını, font listesini ve diğer parmak izi bileşenlerini toplar. Headless tarayıcılar belirli parmak izi anomalileri gösterir: navigator.webdriver bayrağı true'dur, bazı JavaScript API'leri farklı davranır, CDPSession komutları tespit edilebilir. Anti-detect tarayıcılar bu anomalileri ortadan kaldırarak gerçek bir kullanıcı tarayıcısı gibi görünür.

Parmak İzi Yönetimi

Web scraping'de parmak izi yönetimi, her istek oturumunun gerçek bir kullanıcı gibi görünmesini sağlamak anlamına gelir. Nox Core, her tarayıcı profili için benzersiz ve tutarlı parmak izleri oluşturur. Bu parmak izleri, yapılandırılan donanım profiliyle uyumludur — Windows profili Windows'a özgü parmak izi gösterir, macOS profili macOS'a özgü parmak izi gösterir.

TLS parmak izi (JA3/JA4) de modern tespit sistemlerinin önemli bir bileşenidir. Her tarayıcı ve sürümün kendine özgü bir TLS el sıkışma imzası vardır. Standart HTTP istemcileri (Python requests, Node.js axios) Chrome veya Firefox'tan farklı TLS imzaları gösterir ve bu tutarsızlık tespit edilir. Nox Core, Chromium tabanlı olduğundan gerçek Chrome TLS imzasını kullanır — ek yapılandırma gerekmez.

HTTP/2 parmak izi de giderek daha fazla kullanılmaktadır. HTTP/2 bağlantı parametreleri (SETTINGS frame, WINDOW_UPDATE, PRIORITY) tarayıcıya özgüdür. Cloudflare, bu parametreleri User-Agent ile karşılaştırarak tutarsızlıkları tespit eder. Nox Core, kaynak seviyesinde Chromium modifikasyonları sayesinde tüm bu parmak izi katmanlarında tutarlılık sağlar.

Proxy Rotasyonu Stratejileri

Web scraping'de proxy stratejisi, veri toplama hızını ve başarı oranını doğrudan etkiler. Büyük ölçekli projeler için rotasyonlu residansiyel proxy havuzları idealdir: her istek veya her N istek farklı bir IP'den gönderilir. Bu, hız sınırlamalarını ve IP yasaklarını minimumda tutar.

Akıllı rotasyon stratejileri uygulayın: aynı domain'e yapılan ardışık istekleri farklı IP'lerden gönderin, ancak aynı oturum gerektiren sayfalarda (giriş yapmış durum, sepet) yapışkan oturumlar kullanın. İstek aralıklarını rastgele tutun — 1-5 saniye arasında rastgele gecikmeler ekleyin. Eşzamanlı bağlantı sayısını makul seviyede tutun — tek bir IP'den 50+ eşzamanlı istek şüphe uyandırır.

Proxy sağlık izleme de kritiktir. Ölü veya yasaklanmış proxy'leri otomatik olarak havuzdan çıkarın. Başarı oranını izleyin — %200 kodu alınan isteklerin oranı %90'ın altına düşerse proxy havuzunuzu yenileme zamanı gelmiştir. Nox Core'un proxy yöneticisi, bu izleme ve rotasyon görevlerini otomatikleştirir.

Headless vs Gerçek Tarayıcı

Headless tarayıcılar (Puppeteer, Playwright headless modu), görünür bir pencere olmadan çalışan tarayıcılardır. Hızlı ve kaynak verimlidir ancak anti-bot sistemleri tarafından kolayca tespit edilir. Headless Chrome, belirli JavaScript özelliklerinde farklılıklar gösterir: navigator.webdriver true döner, window.chrome nesnesi eksiktir, plugin listesi boştur ve bazı API'ler farklı davranır.

Stealth eklentileri (puppeteer-extra-plugin-stealth) bu farkların bazılarını maskeler ancak gelişmiş tespit sistemleri hâlâ headless tarayıcıları yakalayabilir. PerimeterX ve DataDome gibi sistemler, 50+ farklı headless göstergesini kontrol eder. 2026 itibarıyla, stealth eklentileri tek başına yeterli değildir.

Nox Core, headless modun sınırlamalarını ortadan kaldıran bir alternatif sunar. Gerçek bir Chromium tarayıcısı olarak çalışır — tüm JavaScript API'leri gerçek bir kullanıcı tarayıcısıyla aynı şekilde davranır. Otomasyon API'si (Selenium/Puppeteer/Playwright) ile programatik kontrol mümkündür ancak tarayıcı, anti-bot sistemleri için gerçek bir kullanıcı tarayıcısından ayırt edilemez. Bu, korumalı sitelerde %95+ başarı oranı sağlar.

Cloudflare ve WAF Atlatma

Cloudflare, web sitelerinin yaklaşık %40'ını koruyan en yaygın WAF/anti-bot çözümüdür. Cloudflare'in tespit sistemi birkaç aşamada çalışır: IP itibarı kontrolü, JavaScript challenge (Turnstile), managed challenge ve davranışsal analiz. Her aşama farklı bir bot göstergesini kontrol eder.

Cloudflare Turnstile, kullanıcı etkileşimi olmadan çalışan bir challenge sistemidir. Arka planda tarayıcı ortamını analiz eder: JavaScript API tutarlılığı, parmak izi bileşenleri, TLS parmak izi ve zamanlama analizi. Nox Core profilleri, Turnstile'ın tüm kontrollerini gerçek kullanıcı tarayıcısı gibi geçer çünkü temelde gerçek bir Chromium tarayıcısıdır.

Cloudflare'in bot score sistemi, 1-99 arasında bir puan atar. Düşük puanlar (1-29) büyük olasılıkla bot, yüksek puanlar (30-99) büyük olasılıkla insan olarak değerlendirilir. Nox Core profilleri, gerçekçi parmak izleri ve tutarlı davranış sayesinde genellikle 60+ bot score alır — bu, korumalı içeriğe sorunsuz erişim sağlar. Detaylı yapılandırma rehberi dokümantasyonumuzda mevcuttur.

Ölçeklenebilir Mimari

Büyük ölçekli web scraping projeleri, dağıtık mimari gerektirir. Nox Core'un otomasyon API'si ile birden fazla sunucuda çalışan scraping botları koordine edebilirsiniz. Her sunucu bir dizi Nox Core profili çalıştırır, her profil farklı parmak izine ve proxy'ye sahiptir. Merkezi bir kuyruk sistemi (Redis, RabbitMQ) görevleri botlara dağıtır.

Veri işleme hattı (pipeline) tasarımı, scraping performansını doğrudan etkiler. Scraping ve veri işlemeyi ayırın: bot yalnızca ham HTML toplar, ayrı bir işleme servisi verileri çıkarır ve yapılandırır. Bu, botların daha hızlı çalışmasını sağlar ve hata izolasyonu kolaylaşır. Veritabanı yazma işlemlerini toplu (batch) olarak yapın — her istek sonrası veritabanına yazmak gereksiz yük oluşturur.

İzleme ve hata yönetimi, sürdürülebilir scraping operasyonunun anahtarıdır. Başarı oranını, ortalama yanıt süresini, proxy sağlığını ve CAPTCHA karşılaşma sıklığını izleyin. Otomatik uyarı sistemi kurun: başarı oranı belirli bir eşiğin altına düştüğünde müdahale edin. Nox Core'un profil ve proxy yönetim araçları, bu büyük ölçekli operasyonları desteklemek üzere tasarlanmıştır.