mediasumatera.id – Penggunaan teknologi AI untuk membaca buku tebal lebih mudah dengan Retrieval Augmented Generation (RAG). Kita terhindar dari rasa bosan dan usang serta jangan bergantung pada chatbot. Membaca buku tebal sangat membosankan namun hal itu dapat kita hindari dengan teknologi AI yang baru sehingga kita mudah membaca dokumen seperti buku hukum, asuransi, dan sejarah yang jumlahnya bisa mencapai ratusan dan ribuan halaman.
Siapa yang terbiasa membaca buku tebal seperti sejarah perjuangan, hukum dan dokumen tebal? Jumlah yang harus dibaca mencapai ratusan bahkan ribuan halaman—dalam teks manual atau teks hukum yang ekstensif, dan merupakan informasi penting namun butuh waktu untuk membacanya. Tujuan membaca suatu dokumen adalah untuk menemukan semua entri yang relevan dngan kebutuhan yang membaca. Glosarium yang tidak mengetahui istilah pencarian dan referensi silang yang tak terhitung jumlahnya membuat pembaca buku lebih sulit dan menjenuhkan.
Masalah seperti di atas akan segera menjadi masa lalu berkat penemuan tim ahli Fraunhofer IWU yang mencapai solusi berupa teknologi AI dengan “menyediakan” teks teknis dan hukum yang ekstensif sesuai kebutuhan.
Tim ahli menyiapkan masukan eksternal sehingga kueri pencarian (perintah) mengarah pada informasi yang tepat dan lengkap. Aplikasi penghasilan augmentasi pengambilan atau Retrieval Augmented Generation (RAG) memungkinkan kemudahan.
Model Bahasa Besar atau Large Language Models (LLM) sering kali memberikan hasil yang layak untuk pertanyaan sehari-hari dengan chatbot. Untuk orientasi awal, jawaban biasanya lebih dari cukup.
Akan tetapi, seseorang harus menyadari keterbatasannya bahwa mengumpulkan data pelatihan mungkin tidak lengkap atau ketinggalan zaman, dan beberapa informasi mungkin tidak jelas atau salah. Oleh karena itu, memverifikasi informasi yang diterim tetap disarankan.
Mengenai masalah hukum, seseorang tidak boleh bergantung sepenuhnya pada chatbot. Apa yang harus Anda lakukan ketika keselamatan mungkin bergantung pada informasi yang diberikan? Haruskah Anda kembali mempelajari dokumen tebal yang relevan secara terperinci?
RAG memastikan pernyataan tentang peraturan mesin
Anda tidak perlu membaca dokumen tebal karena RAG memberikan pedoman tambahan untuk model bahasa. Model tersebut yang kemudian mampu memindai teks atau bagian teks yang penting sesuai kebutuhan Anda.
Untuk mencapai tujuan itu, model bahasa tidak dilatih ulang tetapi diperluas secara selektif. Tim ahli Fraunhofer IWU tengah mengintegrasikan Peraturan Mesin UE (2023/1230) ke dalam LLM dan akan diuji coba.
Tim memilih LLaMA singkatan dari Large Language Model Meta AI sebagai model yang tepat dan cukup besar serta bertenaga meski tidak mengalahkan daya komputasi dan kartu grafis PC standar yang berkualitas tinggi.
Mesin lokal milik perusahaan yang tetap memegang kendali atas data mereka. Ketika perusahaan memproses data dengan tingkat kekritisan yang lebih rendah atau tidak sama sekali, operasi cloud dapat menjadi pilihan yang baik.
Cara Kerja RAG: Dalam beberapa langkah untuk mendapatkan jawaban berbasis fakta
Pertama, data yang dipilih untuk diimpor ke LLM perlu direduksi menjadi teks biasa (pembersihan).
Kedua, teks yang telah dibersihkan disegmentasi menjadi bagian-bagian yang lebih kecil (potongan; unit yang dapat ditemukan).
Ketiga, membangun sistem pencarian (Sistem Pengambilan) yang dapat mencari potongan-potongan ini secara efisien.
Potongan-potongan tersebut disusun berdasarkan bagian-bagian yang relevan dan disimpan dalam basis data vektor, yaitu, diubah menjadi vektor matematika yang mewakili maknanya.
Pencarian semantik atau prompt juga diubah menjadi vektor. Dengan cara ini, model dapat mencari kata-kata dalam permintaan dan secara bersamaan “memahami” prompt (pencarian semantik).
Model kini dapat mempersingkat, menyusun ulang, mengekstrak informasi yang paling relevan, dan menggabungkannya ke dalam konteks yang mudah dipahami.
Saat pengguna memasukkan kueri pencarian tertentu, potongan-potongan yang dipilih tersedia, dan model dapat memberikan jawaban yang lengkap dan berdasarkan fakta. Model belajar dari konteks potongan-potongan tersebut dan tidak memerlukan pelatihan ulang.
Perkakas mesin merupakan salah satu kompetensi inti dari Fraunhofer IWU. Tim dari departemen ‘Pembelajaran Mesin dalam Produksi’ mengetahui filter dan pra-penataan apa yang penting untuk mencapai bagian-bagian penting dari Peraturan Mesin.
Perhatian utama para ahli untuk masa depan penemuan mereka adalah cara mengintegrasikan berbagai sumber data, termasuk tabel dan gambar agar mudah ditemukan dari dalam dokumen tebal.
Peraturan Mesin bertujuan untuk memastikan standar yang seragam di Uni Eropa. Misalnya, teks ini … mendefinisikan kapan perubahan pada mesin dan peralatan memerlukan penilaian kesesuaian baru.
Sebagai contoh teks hukum yang kompleks, teks ini menjadi titik awal untuk aplikasi demonstrasi atau uji coba yang dilakukan di Fraunhofer IWU. Di masa mendatang, perusahaan kecil dan menengah tanpa tim ahli tidak perlu lagi khawatir dengan teks-teks yang rumit.
Tim ahli yang berbasis di kota Chemnitz, Jerman, menawarkan keahlian metodologisnya untuk membantu perusahaan yang berminat membangun aplikasi yang sesuai kebutuhan pengguna.
Penawaran ini mencakup manual, menyiapkan penawaran, mengotomatiskan tugas pemrograman dalam produksi, atau kewajiban pelaporan yang berat.
Pencarian dengan manual melalui dokumen internal, peraturan, perjanjian perusahaan, atau data operasional juga akan segera menjadi masa lalu dan usang berkat teknologi AI yang baru. Jadi, membaca dokumen teknis seperti buku hukum yang tebal yang membutuhkan banyak waktu dan sulit menemukan informasi yang relevan kini dipermudah dengan teknologi AI baru.
Teknologi AI membantu chatbot berbasis model bahasa besar (LLM) memberikan jawaban yang lebih akurat dengan mengintegrasikan dokumen teknis dan hukum ke dalam sistem pencarian.
RAG memungkinkan pencarian informasi yang lebih cepat dan akurat tanpa perlu membaca seluruh dokumen. Model yang digunakan, LLaMA atau Large Language Model Meta AI, cukup kuat tetapi tetap dapat dijalankan di komputer standar tanpa memerlukan daya komputasi tinggi.
Perusahaan (pengguna) dapat memilih untuk menjalankan sistem secara lokal agar tetap memiliki kendali penuh atas data mereka, atau menggunakan cloud jika data tidak terlalu sensitif.
Teknologi RAG memiliki potensi besar untuk diterapkan di Indonesia, terutama di industri yang membutuhkan akses cepat ke informasi yang kompleks.
Beberapa sektor di Indonesia seperti hukum, kesehatan, asuransi, dan pemerintahan, membutuhkan sistem yang dapat mengakses dan menganalisis dokumen dengan cepat.(mmINDUSTRI.co.id/daris)
