Rancang Bangun Mesin Crawler di Instagram dan Pinterest untuk Kebutuhan Data pada Riset Visual

Abstract

Media sosial memberikan bonus berupa data yang dapat dikelola menjadi informasiyang bermanfaat. Dalam penelitian ini, kami mengembangkan mesin crawler untukmedia sosial Instagram dan Pinterest. Mesin crawler ini digunakan sebagaiinfrastruktur pendukung untuk mengambil data di media sosial. Data yang dihasilkanoleh mesin crawler selanjutnya digunakan sebagai bahan riset visual untukmerancang kemasan produk bagi konsumen menengah ke atas. Hasil uji cobamenunjukkan bahwa penggunaan Apache MesOS dapat mempercepat prosescrawling dari 30 jam menjadi 1 jam. Dalam hal seleksi data, pada Pinterest, mesincrawler ini dapat mencapai akurasi hingga 100%. Sementara itu, pada Instagram,nilai Presisi tidak stabil dan berada pada rentang 34.8% hingga 90.0%. Sedangkannilai recall dan akurasinya konsisten di bawah 70%. Hal ini menunjukkan bahwaarsitekturr mesin crawler sudah sesuai untuk menyelesaikan permasalahan. Namun,perbaikan masih dibutuhkan dari sisi algoritma seleksi agar nilai Presisi, Recall danAkurasi pada Instagram dapat ditingkatkan lagi

Implementation of Web Scraping to Build a Web-Based Instagram Account Data Downloader Application

“…Research on downloading Instagram account data has been conducted before by Sa'dyah, et al, in 2019 [5]. In their study, a crawler engine was built to get Instagram data by utilizing Apache Spark and Apache Kafka.…”