Web Crawlers

 

TUGAS PENGANTAR WEB SCIENCE








NAMA    : Ralfatihanur Ziafiq Makpal

KELAS    : 2IA2O
 
NPM        : 51420051



WEB CRAWLERS

    Web Crawlers  adalah program yang menelusuri jaringan secara otomatis dan terorganisir. Perayap web juga disebut sebagai semut, pengindeks otomatis, bot, cacing dan Laba-laba juga. Proses yang dilakukannya disebut sebagai perayapan Web. Dimaksudkan untuk merangkak melalui internet dan mengumpulkan informasi yang diinginkan. Umumnya crawler digunakan oleh mesin pencari untuk mengumpulkan informasi, Ini mengumpulkan link yang dikunjungi dan banyak informasi yang lebih penting bahwa mesin pencari menggunakan dalam algoritma ada.


Crawler berbasis mesin pencari melakukan tiga langkah :

1. Crawling    : Ini secara rekursif mengikuti hyperlink yang ada untuk menemukan dokumen lainIni secara rekursif mengikuti hyperlink yang ada untuk menemukan dokumen lain.

2. Indexing    : Ini membantu untuk menyukai informasi dengan cara yang lebih cepat. Indeks ini sebenarnya adalah catlog. Perubahan Evrey di halaman web dicatat di sini.

Ini terdiri dari dua langkah :

Penguraian    : Ini menghapus tautan untuk perayapan lebih lanjut, menghapus JavaScript, tag, komentar, dll.

Hashing    : Setelah penguraian dilakukan, itu dikodekan ke dalam angka.


3. Searching    : Dari jutaan dokumen hanya halaman yang relevan teratas yang ditampilkan. Ini melibatkan langkah-langkah tertentu untuk diikuti:

-    Mengurai query

-    Mengonversi kata ke WordID menggunakan fungsi hash

-    Peringkat komputasi untuk setiap dokumen

-    Penyortiran dokumen

-    Mencantumkan dokumen teratas


Selection Policy

    Melihat volume besar web, hampir tidak mungkin untuk mengunduh seluruh web dan merayapi, sehingga mengunduh bagian web dan mengerjakannya. Ini memiliki kebijakan untuk memprioritaskan halaman web. Pentingnya halaman web diputuskan dan kemudian diprioritaskan.

Re-visit Policy

    Kami tahu bahwa sifat web sangat dinamis, pada saat perayapan situs selesai banyak peristiwa terjadi yang mencakup pembuatan, pembaruan, atau penghapusan baru. Ada banyak kebijakan yang sedang dikunjungi kembali yang diterapkan yang mencakup kebijakan Seragam, kebijakan Proporsional dan kebijakan optimal.

Politeness Policy

    Ini termasuk seberapa sedikit membebani situs web. Perayap web menggunakan banyak sumber daya.

Parallelization Policy

    Ini menyatakan bahwa crawler menjalankan beberapa proses secara paralel. Ini memaksimalkan unduhan dan meminimalkan overhead. Singkatnya mengkoordinasikan perayap Web terdistribusi.

Komentar

Posting Komentar

Postingan populer dari blog ini

Pengelolaan Web

Gambar
  TUGAS PENGANTAR WEB SCIENCE Nama     : Ralfatihanur Ziafiq Makpal Kelas     : 2IA20 NPM     : 51420051 Institusi: W3C, IETF, dan ICANN W3C      W3C atau nama lengkapnya Worldwide Web Consortium adalah sebuah komunitas internasional yang bekerja untuk menstandarkan web. W3C dipimpin oleh pengembang web sendiri, yaitu Tim Berners-Lee dan seorang CEO Jeffery Jaffe. Tujuan utama W3C adalah membuat web menjadi web yang penuh dengan potensi. W3C juga punya visi bagaimana web di masa depan. W3C ingin web penuh dengan interaksi. Maksudnya adalah web dijadikan sebagai alat komunikasi agar siapapun dan dimanapun dapat berbagi informasi. W3C mempunyai visi seperti ini karena awalnya web bersifat read-only. Informasi hanya dibagikan secara satu arah. Visi yang lain adalah web sebagai data dan service serta web sebagai kepercayaan. IETF      IETF atau Internet Engineering Task Force adalah komunitas internasional yang berisikan netwo...
Baca selengkapnya

Search Engines

Gambar
  WEB CRAWLING      Web crawler adalah tool yang sangat penting dan memungkinkan mesin pencari (search engine) dapat menampilkan informasi (artikel, gambar, suara, hingga video) dengan cepat dan akurat. Web crawler berfungsi untuk meningkatkan ranking website karena semakin cepat konten pada sebuah website muncul di mesin pencarian, website tersebut dapat dimunculkan di halaman pertama search engine.     Web crawler adalah sebuah bot milik search engine (contohnya Google) yang mengunduh dan mengindeks semua konten yang ada di internet. Bot crawler ini akan merayapi halaman website dan ‘mempelajarinya’ agar saat pengguna mencari informasi tentang sesuatu dapat ditampilkan hasil yang relevan. Sebenarnya, web crawling adalah sebuah istilah teknis untuk mengakses sebuah website dan mendapatkan data melalui program software. Terdapat tiga aturan yang harus dipertimbangkan oleh web crawler, yaitu: -      Meninjau Kembali Halaman -  ...
Baca selengkapnya

Ekonomi Web

Gambar
PENGANTAR WEB SCIENCE Nama     : Ralfatihanur Ziafiq Makpal Kelas     : 2IA20 NPM     : 51420051 Ekonomi Web Ekonomi Web adalah  ilmu  yang mempelajari aktivitas manusia yang berhubungan dengan produksi, distribusi, dan konsumsi terhadap barang dan jasa yang berbasis Web. Istilah ekonomi digital (digital economy) dikenalkan oleh Don Tapscott di tahun 1995 lewat bukunya berjudul The Digital Economy: Promise and Peril in the Age of Networked Intelligence. Ekonomi digital adalah kegiatan ekonomi yang didasarkan pada teknologi digital internet. Ekonomi digital disebut juga dengan sebutan internet economy, web economy, digital-based economy, new economy knowledge, atau new economy. Era digital economy atau era new economy muncul sewaktu organisasi mulai mengawinkan produktivitas TI dari sumber daya aktiva dengan knowledge dari sumber daya manusia untuk menjangkau transaksi global lintas batas dalam bentuk connected economy. Di new economy, organisasi m...
Baca selengkapnya