July 07, 2017

Ana Sayfa >> Linux >> Wget ile Tüm Siteyi Statik Olarak İndirme

Wget ile Tüm Siteyi Statik Olarak İndirme

wget kardeşi kullanarak mevcut var olan sitemizin statik bir şekilde lokale yedeğini almak veya çok sevdiğiniz bir sitenin içeriklerini kalıcı bir şekilde kayıt etmek için aşağıdaki yöntemi kullanabilirsiniz.

Bu sayede aktif olarak kullanmadığınız ama kullanıcıya gösterilmesi zorunlu alanlarda statikleştirme işlemi yapabilirsiniz. Sitenizdeki istekleri azaltabilirsiniz veya en basitinden bir web sitesini direk olarak çalmaya yönelik işlemler yapabilirsiniz. (Önermem)

wget --recursive \
     --no-clobber \
     --robots=on
     --page-requisites \
     --no-check-certificate \
     --html-extension \
     --convert-links \
     --limit-rate=10 \
     --restrict-file-names=unix \
     --domains google.com \
     --no-parent \
     --no-cache \
     --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
     https://www.google.com/

Güvenlik amacı ile rate limit işlemini saniyede 10 istek olarak belirledim. Saniyede ne kadar istek atılması gerekiyorsa ona göre kendiniz ayarlayabilirsiniz. Genel olarak basit Ddos ve Botnet saldırılarına karşı saniyede 3 istek ve üzeri engelleniyor. Bunu göz önünde bulundurarak bir değer girmeniz daha mantıklı olacaktır.

Uyumluluk olarak ise dosyalar indiği andan itibaren unix olarak kodlanmasını sağlıyorum. Windows kullanıyorsanız lütfen --restrict-file-names= karşısında bulunan değeri windows olarak değiştiriniz.


Mertcan GÖKGÖZ Hakkında

Mertcan GÖKGÖZ Yönetim Bilişim Sistemleri Mezunu, Linux Hacısı, Ağ Yöneticisi, Araştırmacı, Yazılımcı, Güzel İnsan


Bir şeyler bu yazıda doğru ya da eksik değil mi? Düzenleyin ve pull request Oluşturun



Yorumlar