Lewati ke konten

Teknis

Apa itu web scraping: cara kerja, contoh pemakaian, batas hukumnya, dan cara melindungi website Anda

Apa itu web scraping? Pelajari cara kerjanya, contoh pemakaian untuk usaha, batas etika dan hukum di Indonesia, serta cara melindungi website Anda dari scraping berlebihan.

22 Oktober 2026 Tim Jasa Pembuatan Website Indonesia 11 menit baca
Ilustrasi vektor datar jendela browser berisi blok konten dan kartu produk, lengan robot kecil dengan kaca pembesar mengangkat kartu dari halaman, panah titik-titik membawa kartu ke tabel lembar kerja di kanan, dan perisai bercentang di samping browser

Apa itu web scraping? Singkatnya, web scraping adalah pengambilan data dari website secara otomatis memakai program. Program mengunduh halaman, membaca strukturnya, mengambil bagian yang dibutuhkan seperti nama produk, harga, atau alamat, lalu menyimpannya ke lembar kerja atau basis data.

Bagi pemilik usaha, istilah ini muncul dari dua sisi. Di satu sisi, scraping bisa membantu riset pasar dan memantau harga pesaing. Di sisi lain, website Anda sendiri bisa menjadi sasaran scraper yang membebani server atau menyalin isi halaman. Artikel ini menjelaskan cara kerja web scraping, contoh pemakaiannya, batas etika dan hukumnya di Indonesia, serta cara melindungi website Anda.

Pengertian web scraping

Wikipedia mendefinisikan web scraping, juga disebut web harvesting atau web data extraction, sebagai bentuk pengambilan data dari website. Prosesnya bisa dilakukan manual oleh manusia, tetapi istilah ini umumnya merujuk pada proses otomatis yang dijalankan bot atau web crawler. Hasilnya adalah salinan data tertentu yang disimpan ke basis data atau lembar kerja untuk dianalisis kemudian.

Tangkapan layar artikel Web scraping di Wikipedia bahasa Inggris dengan paragraf pembuka yang menyebut web harvesting dan web data extraction, daftar isi Techniques dan Legal issues di kiri, serta panel Appearance di kanan
Artikel Web scraping di Wikipedia menjelaskan definisi, teknik, dan isu hukum di beberapa negara. Tangkapan layar: en.wikipedia.org (tab baru), diambil 23 Oktober 2026 untuk keperluan ulasan.

Cara paling sederhana sebenarnya menyalin dan menempel data dari halaman ke lembar kerja secara manual. Cara ini tidak butuh alat apa pun, tetapi lambat dan rawan salah kalau datanya banyak. Karena itu, kebanyakan orang memakai program agar pekerjaan yang sama bisa dilakukan ribuan kali dalam waktu singkat.

Web scraping bekerja di atas fondasi yang sama dengan website biasa. Program meminta halaman lewat protokol HTTP, persis seperti browser saat Anda membuka sebuah alamat. Kalau istilah ini masih asing, baca dulu protokol yang dipakai untuk mengakses halaman web dan anatomi link website.

Cara kerja web scraping

Wikipedia membagi scraping halaman menjadi dua langkah besar: mengambil (fetching) dan mengekstrak (extraction). Mengambil berarti mengunduh halaman, sama seperti yang dilakukan browser saat Anda melihat sebuah halaman. Setelah halaman terunduh, isinya diurai, dicari, dan disusun ulang, lalu datanya disalin ke lembar kerja atau basis data.

Diagram empat kartu berjudul Empat tahap kerja web scraper: Ambil untuk mengunduh halaman, Urai untuk membaca struktur HTML yang disorot hijau, Simpan untuk merapikan jadi tabel, dan Ulangi untuk pindah ke halaman lain
Ilustrasi konsep: empat tahap kerja web scraper. Tahap ambil dan ulangi adalah bagian yang menambah beban server situs sumber.

Secara lebih rinci, alurnya biasanya seperti ini:

  1. Menentukan target. Pembuat scraper memilih halaman dan data yang ingin diambil, misalnya daftar produk di sebuah kategori.
  2. Mengunduh halaman. Program mengirim permintaan HTTP ke server dan menerima kode HTML halaman.
  3. Mengurai struktur. Program membaca HTML dan mencari elemen tertentu, misalnya teks di dalam kelas judul produk atau harga.
  4. Menyimpan data. Data yang ditemukan disusun ke kolom lembar kerja atau tabel basis data.
  5. Mengikuti tautan. Program pindah ke halaman berikutnya, misalnya halaman 2 dari daftar produk, lalu mengulang prosesnya.

Untuk situs yang isinya dimuat lewat JavaScript, scraper sederhana kadang hanya mendapat halaman kosong. Wikipedia mencatat bahwa pengembang bisa memakai program seperti Selenium atau Playwright untuk mengendalikan browser sungguhan, memuat halaman sampai lengkap, lalu membaca strukturnya. Ada juga alat tanpa kode dengan antarmuka visual untuk menandai data yang ingin diambil.

Web scraping, web crawling, dan API

Tiga istilah ini sering tertukar. Ketiganya sama-sama cara program mengakses data dari web, tetapi tujuan dan caranya berbeda. Wikipedia menyebut crawling sebagai komponen utama scraping, karena halaman harus diambil dulu sebelum datanya diekstrak. Sementara itu, API adalah pintu resmi yang sengaja disediakan pemilik layanan.

Tabel ini lebih lebar dari layar. Geser ke samping untuk melihat seluruh kolom.

Perbedaan web scraping, web crawling, dan API
AspekWeb scrapingWeb crawlingAPI
Tujuan utamaMengambil data tertentu dari halamanMenjelajah dan mengunduh banyak halamanBertukar data lewat jalur resmi
Contoh pelakuAlat pemantau harga, riset pasarCrawler mesin pencariAplikasi yang memakai data layanan lain
Bentuk data yang diterimaHTML yang harus diuraiHTML dan berkas lainData terstruktur, biasanya JSON
Izin pemilik situsSering tidak dimintaDiatur lewat robots.txtDiberikan lewat kunci akses dan syarat pemakaian
KestabilanMudah rusak saat tampilan situs berubahTergantung struktur tautanStabil selama versi API tidak berubah

Wikipedia mencatat bahwa pada tahun 2000, Salesforce dan eBay meluncurkan API mereka sendiri, sehingga pemrogram bisa mengakses sebagian data publik secara resmi. Sejak itu, banyak situs menyediakan API. Kalau sebuah layanan punya API, jalur ini hampir selalu lebih baik daripada scraping karena lebih stabil dan jelas izinnya. Penjelasan dasar tentang pertukaran data antaraplikasi ada di artikel web service adalah.

Contoh pemakaian web scraping untuk usaha

Wikipedia menyebut sejumlah pemakaian web scraping, di antaranya pemantauan perubahan harga dan perbandingan harga, pengumpulan ulasan produk untuk memantau persaingan, pengumpulan daftar properti, pemantauan data cuaca, deteksi perubahan website, riset, serta pemantauan reputasi online. Berikut gambaran penerapannya untuk usaha di Indonesia.

  • Memantau harga pesaing. Toko online mencatat harga produk serupa di beberapa situs untuk menentukan harga jual. Kalau Anda sedang menyiapkan toko sendiri, baca cara membuat toko online.
  • Mengumpulkan ulasan. Tim produk merangkum keluhan yang sering muncul di ulasan publik untuk memperbaiki layanan.
  • Memantau perubahan halaman. Bagian legal atau pemasaran diberi tahu saat halaman tertentu, misalnya syarat layanan mitra, berubah.
  • Riset pasar. Mengumpulkan daftar produk di satu kategori untuk melihat rentang harga dan fitur yang umum.
  • Memeriksa website sendiri. Alat audit SEO pada dasarnya merayapi website Anda untuk mencari tautan rusak, judul ganda, atau halaman tanpa deskripsi. Contoh pemeriksaan seperti ini ada di checklist website siap SEO.

Jenis alat yang dipakai untuk scraping

Wikipedia membagi alat scraping menjadi dua kelompok besar: berbasis kode dan tanpa kode. Alat tanpa kode memakai antarmuka visual, sehingga pengguna cukup menandai bagian halaman yang ingin diambil. Wikipedia menyebut contoh alat komersial seperti Octoparse, Import.io, ParseHub, dan WebHarvy. Kelompok berbasis kode ditulis pengembang dengan bahasa pemrograman dan pustaka khusus untuk mengunduh serta mengurai halaman.

Untuk halaman yang isinya baru muncul setelah JavaScript berjalan, pengembang memakai otomasi browser seperti Selenium atau Playwright. Cara ini lebih berat karena setiap halaman dimuat lengkap seperti di browser biasa, tetapi hasilnya lebih mirip dengan yang dilihat pengunjung. Pilihan alat sebaiknya disesuaikan dengan jumlah data, seberapa sering data diperbarui, dan apakah ada jalur resmi yang lebih tepat.

Bagi pemilik usaha yang tidak menulis kode, alat tanpa kode sudah cukup untuk riset kecil. Untuk kebutuhan rutin dan berskala besar, biasanya dibutuhkan pengembang yang memahami etika scraping, misalnya memberi jeda antarpermintaan, menghormati robots.txt, dan berhenti saat server membalas tanda kelebihan beban.

Yang perlu dicatat, semua contoh di atas menyangkut data yang memang tampil untuk publik dan tidak menyasar data pribadi. Begitu data yang diambil berisi nama, nomor telepon, atau email orang, risikonya berubah, seperti dibahas di bagian berikutnya.

Batas etika dan hukum web scraping di Indonesia

Apakah web scraping legal? Jawabannya tergantung data apa yang diambil, bagaimana caranya, dan untuk apa dipakai. Wikipedia mencatat bahwa isu hukum web scraping berbeda antara Amerika Serikat, Uni Eropa, Australia, dan India, sehingga tidak ada jawaban yang berlaku sama di semua negara. Artikel ini bukan nasihat hukum. Untuk kasus nyata, konsultasikan dengan ahli hukum.

Di Indonesia, rujukan penting adalah UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi, yang ditetapkan dan berlaku sejak 17 Oktober 2022. Menurut ringkasan di basis data peraturan JDIH BPK, UU ini mengatur jenis data pribadi, hak subjek data pribadi, pemrosesan data pribadi, kewajiban pengendali dan prosesor data, larangan dalam penggunaan data pribadi, sampai ketentuan pidana.

Tangkapan layar halaman Database Peraturan JDIH BPK untuk Undang-undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi, berisi kotak Materi Pokok Peraturan, tombol Preview dan Download berkas PDF, serta tabel metadata peraturan
Halaman resmi UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi di Database Peraturan JDIH BPK. Tangkapan layar: peraturan.bpk.go.id (tab baru), diambil 23 Oktober 2026 untuk keperluan ulasan.

Artinya, scraping yang mengumpulkan data pribadi orang lain, misalnya daftar nama dan nomor telepon dari direktori online, masuk wilayah berisiko walaupun datanya terlihat di halaman publik. Wikipedia menyebut praktik ini sebagai contact scraping. Selain soal hukum, ada juga pertimbangan etika dan syarat layanan situs sumber yang bisa melarang pengambilan data otomatis.

Beberapa pertanyaan yang bisa Anda ajukan sebelum memakai atau memesan scraper:

  1. Apakah data yang diambil berisi data pribadi orang lain?
  2. Apakah situs sumber menyediakan API resmi yang bisa dipakai?
  3. Apakah syarat layanan situs sumber melarang pengambilan data otomatis?
  4. Apakah kecepatan permintaan cukup pelan sehingga tidak membebani server orang lain?
  5. Apakah hasil scraping akan dipublikasikan ulang, atau hanya dipakai untuk analisis internal?

Peran robots.txt dan batasnya

Robots.txt adalah berkas teks di akar domain yang memberi tahu crawler bagian mana dari situs yang boleh diakses. Dokumentasi Google Search Central menyebut berkas ini terutama dipakai untuk menghindari server kelebihan permintaan, dan menegaskan bahwa robots.txt bukan mekanisme untuk menyembunyikan halaman dari Google. Untuk itu, Google menyarankan tag noindex atau perlindungan kata sandi.

Tangkapan layar dokumentasi Google Search Central berjudul Introduction to robots.txt dengan paragraf yang menyebut robots.txt bukan mekanisme untuk menjaga halaman keluar dari Google, catatan untuk pengguna CMS seperti Wix atau Blogger, dan bagian What is a robots.txt file used for
Dokumentasi Google tentang robots.txt menegaskan bahwa berkas ini mengatur lalu lintas crawler, bukan pengaman halaman. Tangkapan layar: developers.google.com (tab baru), diambil 23 Oktober 2026 untuk keperluan ulasan.

Dokumentasi yang sama menulis bahwa Googlebot dan crawler lain yang terpercaya mematuhi instruksi di robots.txt, tetapi crawler lain belum tentu. Standar resminya, RFC 9309 tentang Robots Exclusion Protocol yang terbit September 2022, bahkan menegaskan bahwa aturan robots.txt bukan bentuk otorisasi akses. RFC ini mencatat protokolnya pertama kali didefinisikan Martijn Koster pada 1994.

Tangkapan layar dokumen RFC 9309 Robots Exclusion Protocol di rfc-editor.org dengan status Proposed Standard, tanggal terbit September 2022, daftar penulis, bagian Abstract, dan daftar isi di kanan
RFC 9309 adalah standar resmi Robots Exclusion Protocol yang diterbitkan IETF pada September 2022. Tangkapan layar: rfc-editor.org (tab baru), diambil 23 Oktober 2026 untuk keperluan ulasan.

Jadi robots.txt tetap berguna sebagai rambu untuk bot yang sopan, termasuk mesin pencari. Namun jangan mengandalkannya untuk melindungi data. Halaman yang memuat informasi sensitif harus dilindungi login, bukan sekadar dilarang di robots.txt. Untuk situs WordPress, pengaturan akses di tingkat server juga bisa dibantu lewat berkas .htaccess.

Cara melindungi website Anda dari scraping berlebihan

Tidak semua bot perlu diblokir. Crawler mesin pencari justru Anda butuhkan agar halaman muncul di hasil pencarian. Yang perlu dicegah adalah bot yang meminta halaman terlalu sering sampai membebani server, atau yang mengambil data yang seharusnya tidak dibagikan.

Diagram empat kartu berjudul Lapisan perlindungan website dari scraping berlebihan: robots.txt, Batas permintaan dengan respons 429 yang disorot hijau, Login dan izin, serta Pantau log
Ilustrasi konsep: empat lapisan perlindungan yang saling melengkapi. Tidak ada satu lapisan yang menutup semua celah.

Salah satu lapisan terpenting adalah pembatasan jumlah permintaan atau rate limiting. Menurut MDN, kode status 429 Too Many Requests menandakan klien mengirim terlalu banyak permintaan dalam waktu tertentu. Server bisa menyertakan header Retry-After untuk memberi tahu berapa lama klien harus menunggu. Pembatasan ini biasanya berdasarkan alamat IP, tetapi bisa juga per pengguna atau per aplikasi.

Tangkapan layar halaman MDN Web Docs tentang kode status HTTP 429 Too Many Requests yang menjelaskan rate limiting, header Retry-After, dan pembatasan berdasarkan alamat IP klien, dengan daftar kode status lain di kiri
Dokumentasi MDN menjelaskan kode status 429 dan pembatasan permintaan yang umum dipakai untuk menahan bot agresif. Tangkapan layar: developer.mozilla.org (tab baru), diambil 23 Oktober 2026 untuk keperluan ulasan.

Tabel ini lebih lebar dari layar. Geser ke samping untuk melihat seluruh kolom.

Lapisan perlindungan website dari scraping berlebihan
LapisanCara kerjaYang dicegahBatasnya
robots.txtMemberi rambu bagian yang boleh dirayapiCrawler patuh masuk ke area yang tidak perluBot nakal bisa mengabaikannya
Rate limiting (429)Membatasi jumlah permintaan per IP dalam waktu tertentuLonjakan permintaan yang membebani serverScraper bisa memakai banyak alamat IP
Login dan izin aksesData hanya tampil untuk pengguna yang berhakData sensitif terbaca publikTidak cocok untuk konten yang memang publik
Firewall aplikasi webMenyaring permintaan berdasarkan pola botBot yang dikenal berbahayaPerlu disetel agar tidak memblokir pengunjung asli
Pemantauan logMencatat dan memeriksa pola trafikSerangan yang tidak terdeteksi lapisan lainButuh waktu dan orang yang memeriksa

Langkah praktis untuk pemilik usaha:

  1. Pastikan data yang tidak untuk publik, seperti daftar pelanggan atau dokumen internal, tidak pernah diletakkan di halaman terbuka.
  2. Minta pengelola hosting atau developer mengaktifkan pembatasan permintaan di server atau lewat layanan CDN.
  3. Periksa robots.txt agar tidak memblokir mesin pencari secara tidak sengaja.
  4. Pantau kecepatan situs. Penurunan mendadak tanpa penambahan pengunjung asli bisa menjadi tanda bot agresif. Cara mengukurnya ada di cara cek kecepatan website.
  5. Kalau memakai WordPress, gunakan plugin keamanan yang tepercaya. Pilihannya dibahas di artikel plugin WordPress.

Dampak scraping pada server dan hosting

Setiap permintaan dari scraper diproses server sama seperti permintaan dari pengunjung asli. Server harus membaca berkas, menjalankan kode, dan sering kali mengakses basis data. Kalau scraper mengirim ratusan permintaan per menit, sumber daya yang seharusnya melayani pelanggan ikut terpakai.

Dampaknya paling terasa di hosting dengan sumber daya terbatas. Halaman bisa melambat, dan pada kasus berat situs sulit diakses. Pemahaman tentang peran server membantu Anda membaca gejala seperti ini. Baca penjelasan web server adalah dan perbedaan jenis layanan di apa itu hosting dan domain.

Situs toko online dengan ribuan halaman produk termasuk sasaran yang sering dirayapi, karena datanya bernilai untuk perbandingan harga. Saat merencanakan website seperti ini, sebaiknya bahas sejak awal dengan developer soal pembatasan permintaan, caching, dan pemantauan log. Gambaran peran developer ada di artikel web developer adalah.

Kesalahan umum soal web scraping

Anggapan: data yang terlihat publik bebas diambil untuk apa saja. Fakta: data publik bisa tetap berisi data pribadi yang dilindungi UU PDP, dan situs sumber bisa punya syarat layanan sendiri.

Anggapan: robots.txt sudah cukup melindungi website. Fakta: Google dan RFC 9309 sama-sama menegaskan robots.txt hanya rambu bagi crawler yang patuh, bukan otorisasi akses.

Anggapan: semua bot harus diblokir. Fakta: crawler mesin pencari dibutuhkan agar halaman Anda muncul di Google. Memblokir semua bot justru merugikan visibilitas situs.

Anggapan: scraping selalu lebih mudah daripada API. Fakta: scraper mudah rusak saat tampilan situs sumber berubah. Kalau ada API resmi, jalur itu biasanya lebih stabil dan jelas izinnya.

Kesimpulan

Web scraping adalah pengambilan data dari website secara otomatis. Teknik ini berguna untuk riset pasar, pemantauan harga, dan pemeriksaan website sendiri, tetapi punya batas etika dan hukum, terutama bila menyentuh data pribadi yang diatur UU Nomor 27 Tahun 2022.

Sebagai pemilik website, Anda tidak perlu takut pada semua bot. Pastikan data sensitif tidak tampil di halaman publik, aktifkan pembatasan permintaan, periksa robots.txt, dan pantau kecepatan situs. Kalau Anda sedang merencanakan website baru, mulai dari dasar di website adalah dan rencanakan keamanannya sejak awal.

Sumber

Ditulis dan diperiksa oleh tim studio

Studio pembuatan website di Yogyakarta. Cara kami menulis: setiap klaim faktual disertai sumber yang bisa Anda buka sendiri, harga yang dikutip dicatat bersama tanggal pengecekannya, dan artikel diperiksa ulang bila sumbernya berubah.

Tanya jawab

Pertanyaan yang sering masuk

Apa itu web scraping?

Web scraping adalah pengambilan data dari website secara otomatis memakai program. Program mengunduh halaman, membaca struktur HTML-nya, mengambil bagian yang dibutuhkan seperti nama produk atau harga, lalu menyimpannya ke lembar kerja atau basis data untuk dianalisis.

Apa bedanya web scraping dan web crawling?

Web crawling adalah kegiatan menjelajah dan mengunduh banyak halaman dengan mengikuti tautan, seperti yang dilakukan mesin pencari. Web scraping berfokus mengambil data tertentu dari halaman yang sudah diunduh. Dalam praktik, scraper biasanya memakai crawler untuk mengambil halaman sebelum datanya diekstrak.

Apa contoh pemakaian web scraping untuk usaha?

Contoh yang umum adalah memantau harga produk pesaing, mengumpulkan ulasan produk, memantau perubahan halaman, mengumpulkan data properti atau cuaca, serta riset pasar. Semua contoh ini tetap harus memperhatikan aturan situs sumber dan hukum yang berlaku.

Apakah web scraping legal di Indonesia?

Tidak ada jawaban tunggal. Mengambil data publik untuk riset berbeda dengan mengumpulkan data pribadi orang lain. UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi mengatur pemrosesan data pribadi dan larangan penggunaannya, jadi scraping yang menyentuh data pribadi berisiko. Untuk kasus nyata, konsultasikan dengan ahli hukum.

Apakah robots.txt bisa mencegah scraping?

Tidak sepenuhnya. Google menulis bahwa crawler yang patuh mengikuti robots.txt, tetapi crawler lain belum tentu. RFC 9309 juga menegaskan bahwa aturan robots.txt bukan bentuk otorisasi akses. Jadi robots.txt adalah rambu, bukan kunci pintu.

Bagaimana cara melindungi website dari scraping berlebihan?

Gabungkan beberapa lapisan: robots.txt untuk crawler yang patuh, pembatasan jumlah permintaan per alamat IP dengan respons 429 Too Many Requests, menaruh data yang tidak untuk publik di balik login, dan memantau log server untuk lonjakan trafik yang mencurigakan.

Apakah scraping bisa membuat website lambat?

Bisa. Scraper yang mengirim banyak permintaan dalam waktu singkat menambah beban server, sama seperti lonjakan pengunjung. Pada hosting dengan sumber daya terbatas, beban ini bisa membuat halaman lambat atau bahkan sulit diakses pengunjung asli.

Apakah semua bot yang mengunjungi website saya adalah scraper?

Tidak. Banyak bot justru bermanfaat, misalnya crawler mesin pencari yang membuat halaman Anda muncul di hasil pencarian. Yang perlu diwaspadai adalah bot yang meminta halaman terlalu sering, mengabaikan robots.txt, atau mengambil data yang seharusnya tidak dibagikan.

Langkah berikutnya

Kerjakan sendiri dulu, daftar periksanya kami buka

Artikel ini ditulis untuk dipakai, bukan untuk menggiring Anda memesan. Pakai daftar periksa 10 poin yang kami centang sebelum serah terima untuk menguji hasil Anda. Kalau ada satu langkah yang mandek, tanyakan lewat WhatsApp tanpa kewajiban lanjut. Kalau suatu saat hitungan waktunya tidak masuk, harga dan total tiga tahun kami terbuka tanpa perlu chat lebih dulu.

  • Domain dan akun atas nama Anda
  • Harga final sampai tahun ketiga
  • Tanggal tayang mengikat
  • Lembar Cakupan dikirim sebelum Anda bayar
Chat WhatsApp (membuka WhatsApp di tab baru) Lihat harga