Mengusir Robot Jahat

Web crawler  yang tidak beritikad baik akan mengabaikan robots.txt, atau lebih parahnya, justru menggunakan robots.txt untuk mengakses direktori yang disallow, ia juga tidak perduli berapa sering mengunjungi sebuah website untuk mengambil konten yang diinginkan.

Untunglah masih ada cara untuk mengusirnya. Mengusir robot jahat cukup mudah. Jika anda administrator website, dapat membuat jebakan misalnya dengan mendefinisikan sebuah direktori (misalkan direktori itu bernama  /rahasia_5824, angka 5824 adalah angka acak agar direktori ini kecil kemungkinan diakses oleh user biasa/bukan web crawler) pada robots.txt dan set sebagai direktori yang disallow. Setiap akses yang terjadi pada direktori ini bisa diasumsikan merupakan web crawler yang tidak sopan, dan anda dapat memperoleh IP-nya melalui log file maupun database yang dihasilkan oleh script yang sengaja dipasang pada direktori tersebut. IP sang robot jahat dapat di blok melalui file .htaccess, contohnya dengan perintah berikut :

RewriteEngine on

Options +FollowSymlinks

RewriteBase /

RewriteCond %{REMOTE_HOST} ^xxx.xxx.xxx.xxx

RewriteRule ^.*$  x.html [L]

Perhatikan baris dengan perintah RewriteCond, ganti xxx.xxx.xxx.xxx dengan IP web crawler tersebut. Jika nama web crawler yang ingin diblok sudah diketahui, anda dapat juga menuliskannya, contoh :

RewriteCond %{HTTP_USER_AGENT} Slurp

RewriteRule ^*$ X.html [L]

Baris di atas akan memblok web crawler slurp (dari Yahoo!) jika karena satu dan lain hal, anda tidak menginginkan web crawler tersebut mengakses website anda.

01.29 | 1 komentar | Read More

Daftar Web Crawler

Beberapa contoh web crawler:

1.Teleport Pro

Salah satu software web crawler untuk keperluan offline browsing. Software ini sudah cukup lama popular, terutama pada saat koneksi internet tidak semudah dan secepat sekarang. Software ini berbayar dan beralamatkan di http://www.tenmax.com.

2.HTTrack

Ditulis dengan menggunakan C, seperti juga Teleport Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada harddisk anda, agar dapat dilihat secara offline. Yang menarik software ini free dan dapat di download pada website resminya di http://www.httrack.com

3.Googlebot

Merupakan web crawler untuk membangun index pencarian yang digunakan oleh search engine Google. Kalau website anda ditemukan orang melalui Google, bisa jadi itu merupakan jasa dari Googlebot. Walau konsekuensinya, sebagian bandwidth anda akan tersita karena proses crawling ini.

4.Yahoo!Slurp

Kalau Googlebot adalah web crawler andalan Google, maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.

5.YaCy

Sedikit berbeda dengan web crawler  lainnya di atas, YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan menggunakan java, dan didistribusikan pada beberapa ratus mesin computer (disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi index, sehingga tidak memerlukan server central. Contoh search engine yang menggunakan YaCy adalah Sciencenet (http://sciencenet.fzk.de), untuk pencarian dokumen di bidang sains. 

08.30 | 0 komentar | Read More

WEB CRAWLER

Page View atau request halaman website yang melonjak, bisa saja disebabkan oleh aplikasi yang sedang menelusuri halaman website anda satu per satu, mengambil konten, dan menyimpannya. Inilah yang dilakukan aplikasi web crawler.

Hal itu bukanlah sesuatu yang baru. Saat akses internet masih sangat terbatas pada satu atau dua decade yang lalu, orang mungkin memilih untuk men-download seluruh konten website yang ingin dibaca, agar kemudian dapat dibaca kapan saja secara offline. Ada juga yang melakukannya untuk tujuan lain, misalkan untuk mengumpulkan alamat email/telepon yang terdapat pada konten, atau mengumpulkan data specific seperti data gambar atau video.

Apakah sebenarnya aplikasi web crawler, dan benarkah selalu merugikan pemilik website?

KONSEP WEB CRAWLER

Web crawler adalah sebuah program/script otomatis yang memproses halaman web. Sering juga disebut dengan web spider atau web robot. Ide dasarnya sederhana dan mirip dengan saat anda menjelajahi halaman website secara manual dengan menggunakan browser. Bermula pada point awal berupa sebuah link alamat website dan dibuka pada browser, lalu browser melakukan request dan men-download data dari web server melalui protokol HTTP.

Setiap Hyperlink yang ditemui pada konten yang tampil akan dibuka lagi pada windows/tab browser yang baru, demikian proses terus berulang. Nah sebuah web crawler mengotomatisasikan pekerjaan itu.

Kesimpulannya, dua fungsi utama web crawler adalah:

1. Mengidentifikasikan Hyperlink.

   Hyperlink yang ditemui pada konten akan ditambahkan pada daftar visit, disebut juga dengan istilah frontier.

2. Melakukan proses kunjungan/visit secara rekursif.

  Dari setiap hyperlink, Web crawler akan menjelajahinya dan melakukan proses berulang, dengan ketentuan   yang disesuaikan dengan keperluan aplikasi.

Khusus untuk proses perulangan pengunjung hyperlink, dapat terjadi spider trap, yaitu proses berulang tanpa akhir karena Web crawler terperangkap untuk terus melakukan pencarian dalam jumlah tak terbatas. Hal ini dapat terjadi secara tidak sengaja maupun sengaja.

Ketidak sengajaan dapat terjadi karena terdapat kesalahan pada desain program web crawler sehingga membaca ulang hyperlink yang sudah diakses, atau sebuah website secara tidak sengaja memiliki halaman dinamis yang tak terbatas, contohnya halaman dinamis yang tercipta berdasarkan tanggal kalender.

Kesengajaan dapat terjadi jika website memang dirancang untuk melumpuhkan Web Crawler, misalnya dengan membuat halaman dinamis dengan angka tak terhingga.

Selain pengambilan konten untuk kepentingan tertentu. Web Crawler juga dapat mengakibatkan kerugian lain bagi pemilik website. Antara lain penggunaan resource yang meningkat, seperti pemakaian bandwidth dan CPU server, apalagi jika dua atau lebih web crawler mengakses website yang sama.

Salah satu solusinya, terdapat suatu standar untuk administrator website yang disebut dengan protokol Robots.txt, untuk menentukan bagian mana dari website yang tidak ingin diakses oleh web crawler.

Beberapa tool analitis statistik web seperti AWStats dapat mengidentifikasi Web Crawler.


Beberapa daftar web crawler 

Arsitektur Web Crawler

Sumber : PC Media

08.18 | 1 komentar | Read More

10 Tips Mengamankan Akun Facebook dari Hacking

1. Buat Enable Secure Browsing pada facebook:
Facebook kini telah mendukung fasilitas SSL encryption (https--Hypertext Transfer Protocol Secure) untuk semua akses browsing ke situs facebook, dan sebaiknya anda aktifkan jika anda sedang browsing dari tempat umum seperti cafe, hotel, bandara, atau dengan fasilitas hot spot yang menggunakan akses point umum.
Jika settingan pada facebook anda belum aktif, maka berikut adalah cara untuk mengaktifkannya:

Masuk ke Account Setting, klik pada ikon security yang berada di sebelah kiri lalu pilih Secure Browsing *Edit. Beri tanda centang pada "Browse Facebook on a secure connection (https) when possible." Lalu klik Save Changes, 


Selesai tip 1.

2. Aktifkan Login Notifications
Mengaktifkan login notifications akan memberitahukan kepada anda ketika Akun facebook anda sedang diakses oleh perangkat lain. Caranya sama seperti tip 1 di atas, tetapi kali ini pilih pada Notifications. Jika ada orang lain selain anda yang mengakses akun anda, maka anda akan memperoleh pemberitahuan melalui e-mail.

Jika Anda belum mengaktifkan Login notifications pada settingan facebook anda, maka berikut ini adalah cara untuk mengaktifkannya: Masuk ke Account Setting, klik pada ikon security yang berada di sebelah kiri lalu pilih Secure Browsing *Edit. Beri tanda centang pada "Email and Text message/Push 


notification" Lalu klik Save Changes, Selesai tip 2.

3. Gunakan App Passwords:
App passwords adalah  one-time passwords  yang Anda gunakan untuk login ke aplikasi Anda, tanpa perlu memasukkan password Facebook. Untuk mendapatkannya, masuk ke Setting Account, kemudian pilih tab Security. Klik "Edit" di samping App Passwords, lalu ikuti petunjuknya.

Saran saya, anda harus berhati-hati dan meninjau ulang izin yang anda berikan kepada aplikasi Facebook sebelum menginstal dan menggunakannya.

4. Hati-hati dengan apa yang anda tulis(share):

Informasi yang anda bagi(tulis) dalam profile anda kadang-kadang bisa dimanfaatkan oleh hacker dalam menjalankan aksinya. Misalkan informasi tentang tanggal lahir anda yang biasanya dipakai sebagai pertanyaan untuk keamanan pasword anda.
Berikut ada beberapa cara yang bisa kita lakukan:
Arahkan ke halaman Privacy Setting Page (Pengaturan Privasi) Anda dan klik "Edit  Setting" di samping"How Tags Work."

Lalu pilih opsi "Off"

5. Teratur untuk mengganti password yang anda Pakai:
Kita biasanya mengabaikan hal ini, tetapi jika Anda mendapatkan peringatan tentang seseorang mengakses account Anda selain Anda, atau melihat postingan aneh tanpa anda pernah menulisnya, kemungkinan besar ada orang yang ingin meng "hack" anda. Langkah pertama yang anda ambil adalah sesegera mungkin untuk mengganti password akun facebook anda.

6. Jangan pernah mencoba untuk menginstal aplikasi untuk menghapus timeline Anda

7.  Log Out dari Facebook Ketika Anda Sudah Selesai :

Setelah selesai browsing Facebook, pastikan Anda log out. Ini akan mencegah ancaman, seperti 'Likejacking, "yang memanfaatkan log-in sesi ke Facebook.

8. Jangan aktifkan Pengingat Password (Remember Password) pada browser Anda bila berada di tempat umum:

Jika hal ini terjadi atau anda lupa untuk sign out, maka anda dapat log out jarak jauh, caranya: Dari halaman Pengaturan Akun (Account Setting), klik tab "Security" di sebelah kiri. Pilih "Edit" di sebelah  "Active Sessions". 

Informasi di atas akan menunjukkan tempat Anda login pada sebuah komputer, ketika Anda terakhir mengakses akun facebook anda dari komputer tersebut. Untuk log out dari salah satu sesi, cukup klik " End Activity ." 

9. Hindari Penggunaan Aplikasi yang tidak perlu: 

Cobalah untuk menghindari menggunakan aplikasi pihak ketiga yang tidak terpercaya. Hal ini bisa menjadi penyebab dari hilangnya akun facebook anda. Karena dengan mengijinkan pihak ketiga mengakses, maka mereka dapat mengakses informasi pribadi Anda seperti email id, hal ini dapat membantu hacker untuk menghack Id Facebook anda.

10. Jadilah Smart dan Jangan klik dan link Mencurigakan:
Gunakan kualitas perangkat lunak keamanan yang baik - anti-virus, anti-malware untuk melindungi dari Trojan akses key-logger atau remote (RAT). Jika Andamenemukan link yang mencurigakan atau link video porno di dinding, Jangan bereksperimen, langsung dihapus saja.

14.32 | 1 komentar | Read More

Pundi-Pundi Uang Microsoft, Apple, dan Google

Saya rasa pada saat ini tidak ada yang tidak kenal dengan Microsoft, Apple maupun Google, karena tidak dapat dipungkiri bahwa dalam aktivitas harian kita selalu menggunakan produk dari ketiga raksasa ini.
Sebagian besar dari kita mengetahui Microsoft adalah perusahaan pembuat software, sedangkan Apple adalah perusahaan pembuat hardware, tapi untuk google? Bergerak di bidang apakah google ini, apakah google menjadikan mesin pencarinya (search engine) sebagai bisnis utamanya? Mari kita cari tahu.
Berikut ini saya akan menunjukkan laporan keuangan dari ketiga perusahaan di atas yang saya peroleh dari www.zdnet.com, dari sini akan kita ketahui dari mana sebenarnya sumber pundi-pundi keuangan ketiga raksasa di atas.

Microsoft
Dalam beberapa tahun terakhir Microsoft berhasil membius konsumennya dengan menggelontorkan produk perangkat hiburan  Xbox 360 dan Kinect .  Perusahaan ini memiliki harapan tinggi pada layanan online mereka. (Sumber: 10QFY12 Q2, filed Januari 2012).

Apple
Salah satu perusahaan yang paling sukses dengan produk hardwarenya. Lima tahun lalu  IPhone dan iPad bukanlah sesuatu, tapi pada kuartal terakhir mereka menyumbang lebih dari $ 33 miliar dari hasil penjualan IPhone dan iPad. (Sumber: Q1 FY12 Formulir 10-Q [PDF], filed Januari 2012)

Google
"Kami menghasilkan pendapatan kami hampir seluruhnya dari iklan ... Pendapatan iklan terdiri 97% dari pendapatan kami pada tahun 2009 dan 96% dari pendapatan kami di tahun 2010 dan 2011." (Sumber:  Form 10-K for the fiscal year ended December 31, 2011, filed Januari 2012)
 


Dari ke tiga diagram ini dapat kita ketahui darimana sebenarnya sumber pundi-pundi keuangan mereka.
1. Microsoft : memiliki sumber penghasilan yang lebih variatif (tidak bergantung pada satu resource)
2. Apple : Penghasilan utamanya dari Produk Iphone dan Ipad mereka.
3. Google : Ternyata 96% pendapatan google datang dari iklan.


Semoga bisa diambil manfaatnya...

10.09 | 0 komentar | Read More