Otomatisasi Pipeline ETL Menggunakan Machine Learning untuk Integrasi Data Heterogen pada Sektor Retail

Abstract

Penelitian ini membahas otomatisasi pipeline Extract, Transform, Load (ETL) menggunakan Machine Learning untuk integrasi data heterogen pada sektor retail. Permasalahan utama yang diangkat adalah perbedaan format, struktur, dan penamaan atribut pada data operasional retail, khususnya pada retail berskala mikro hingga menengah. Kondisi tersebut menyebabkan proses rekapitulasi dan integrasi data masih banyak dilakukan secara manual. Penelitian ini merancang pipeline ETL otomatis dengan fokus pada tahap transformasi data menggunakan pendekatan Hybrid Schema Matching. Pendekatan ini menggabungkan alias dictionary, token hints, value regex, serta Machine Learning similarity berbasis TF-IDF Vectorization dan Logistic Regression untuk menstandarkan atribut data ke dalam skema target. Hasil penelitian ini diharapkan mampu menghasilkan data yang lebih konsisten, terstruktur, dan siap dimuat ke dalam data warehouse untuk mendukung kebutuhan analisis Business Intelligence. Dengan demikian, sistem yang dikembangkan dapat membantu meningkatkan efisiensi integrasi data retail dan mengurangi ketergantungan terhadap proses transformasi manual.