Pazartesi, Kasım 4, 2024

Wget ile Tüm Siteyi Statik Olarak İndirme

wget ile site klonlama, wget site indirme, site nasıl çalınır

wget kardeşi kullanarak mevcut var olan sitemizin statik bir şekilde lokale yedeğini almak veya çok sevdiğiniz bir sitenin içeriklerini kalıcı bir şekilde kayıt etmek için aşağıdaki yöntemi kullanabilirsiniz.

Bu sayede aktif olarak kullanmadığınız ama kullanıcıya gösterilmesi zorunlu alanlarda statikleştirme işlemi yapabilirsiniz.

wget --recursive 
     --no-clobber 
     --robots=on
     --page-requisites 
     --no-check-certificate 
     --html-extension 
     --convert-links 
     --limit-rate=10 
     --restrict-file-names=unix 
     --domains google.com 
     --no-parent 
     --no-cache 
     --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
     https://www.google.com/

Güvenlik amacı ile rate limit işlemini saniyede 10 istek olarak belirledim. Saniyede ne kadar istek atılması gerekiyorsa ona göre kendiniz ayarlayabilirsiniz. Genel olarak basit Ddos ve Botnet saldırılarına karşı saniyede 3 istek ve üzeri engelleniyor. Bunu göz önünde bulundurarak bir değer girmeniz daha mantıklı olacaktır.

Uyumluluk olarak ise dosyalar indiği andan itibaren unix olarak kodlanmasını sağlıyorum. Windows kullanıyorsanız lütfen --restrict-file-names= karşısında bulunan değeri windows olarak değiştiriniz.