20.7 Arsitektur Referensi: membaca dokumen, menata dokumen, dan membuat pengetahuan bisa dicari Berbasis AI

Bayangkan sebuah perusahaan logistik yang setiap hari menerima ratusan dokumen masuk: surat jalan, invoice, bukti pengiriman, laporan kerusakan, dan korespondensi pelanggan. Dokumen-dokumen ini datang dalam format PDF, foto hasil scan, atau bahkan gambar yang difoto dari ponsel. Selama ini, staf operasional harus membuka satu per satu, membaca, dan memasukkan informasi penting ke sistem secara manual. Prosesnya lambat, rawan salah, dan membuat orang-orang lelah.

Berikut diagram alur arsitektur referensi yang menghubungkan ketiga komponen utama tersebut.

flowchart TD A[Dokumen Masuk: PDF, Scan, Foto] --> B[Pembacaan Teks / OCR] B --> C[Ekstrak Metadata: Tanggal, Jenis, Pengirim] C --> D[Sistem Pengelolaan Dokumen] D --> E[Penyimpanan dengan Metadata] D --> F[Manajemen Versi & Akses] D --> G[Siklus Hidup Dokumen] E --> H[Indexing & Pemotongan Informasi] H --> I[Pusat Pengetahuan Berbasis AI] I --> J[Pencarian & Tanya Jawab Natural] J --> K[Knowledge Siap Pakai] style A fill:#e1f5fe style B fill:#b3e5fc style C fill:#81d4fa style D fill:#4fc3f7 style E fill:#29b6f6 style F fill:#03a9f4 style G fill:#039be5 style H fill:#0288d1 style I fill:#0277bd style J fill:#01579b style K fill:#0d47a1

Perusahaan ingin mengotomatisasi pemrosesan dokumen masuk ini. Tapi pertanyaannya: bagaimana memulainya? Di sinilah kita perlu melihat tiga komponen utama yang bekerja bersama: membaca dokumen, menata dokumen, dan membuat pengetahuan bisa dicari.

Kemampuan membaca teks dari gambar dan dokumen adalah komponen pertama. Ketika sebuah dokumen masuk—baik berupa PDF scan atau foto—AI akan membaca setiap karakter dan mengubahnya menjadi teks yang bisa diproses. Ini seperti memberikan kemampuan membaca kepada sistem. Tanpa kemampuan ini, dokumen gambar tetap menjadi gambar yang tidak bisa dicari atau dianalisis.

Setelah teks berhasil diambil, dokumen perlu disimpan dan diatur. Di sinilah tempat penyimpanan dokumen yang teratur berperan. Tempat ini bukan sekadar folder digital. Ia bisa menyimpan dokumen dengan metadata: tanggal masuk, jenis dokumen, pengirim, nomor referensi, dan status pemrosesan. Tempat ini juga mengatur versi, akses, dan siklus hidup dokumen. Dokumen yang sudah diproses bisa ditandai selesai, dokumen yang masih menunggu review bisa dikelompokkan terpisah.

Tapi menyimpan dokumen saja tidak cukup. Perusahaan perlu mengambil knowledge dari dokumen-dokumen itu dan membuatnya bisa dipakai ulang. Di sinilah pusat pengetahuan masuk. Pusat pengetahuan adalah lapisan di atas sistem pengelolaan dokumen yang menggunakan AI untuk membuat informasi bisa dicari dan dijawab secara natural. Seorang staf operasional tidak perlu lagi membuka folder dan membaca dokumen satu per satu. Ia cukup bertanya: “Apakah ada keluhan dari pelanggan A tentang pengiriman yang terlambat bulan lalu?” Pusat pengetahuan akan mencari dokumen yang relevan, membaca isinya, dan memberikan jawaban lengkap dengan sumbernya.

Arsitektur referensi ini bekerja dalam alur yang sederhana. Dokumen masuk pertama kali melewati pembacaan teks dari dokumen. Teks hasil pembacaan dikirim ke sistem pengelolaan dokumen bersama metadata yang diekstrak—misalnya nomor invoice, tanggal, dan nama pengirim. sistem pengelolaan dokumen menyimpan dokumen dan teksnya. Kemudian, pusat pengetahuan mengambil teks dari sistem pengelolaan dokumen, memprosesnya menjadi potongan informasi yang bisa dicari, dan menyimpannya di basis pengetahuan yang terhubung dengan AI. Ketika seseorang bertanya, AI akan mencari potongan informasi yang relevan, membaca konteksnya, dan menghasilkan jawaban.

Yang menarik, arsitektur ini tidak harus dibangun dari nol. Banyak perusahaan sudah punya sistem pengelolaan dokumen. Kemampuan membaca teks dari dokumen sudah tersedia sebagai layanan dari berbagai penyedia. Pusat pengetahuan bisa dibangun di atas platform AI yang sudah ada. Tugas arsitek bukan menulis semua komponen, tetapi merancang bagaimana ketiganya terhubung: bagaimana dokumen mengalir dari pembacaan dokumen ke penyimpanan teratur, bagaimana metadata diselaraskan, bagaimana pusat pengetahuan mengambil data tanpa menduplikasi penyimpanan, dan bagaimana akses kontrol dijaga di setiap lapisan.

Berikut contoh konfigurasi YAML yang mendefinisikan pipeline pemrosesan dokumen dari input hingga indexing.

pipeline:
  name: dokumen-pipeline
  input:
    sources:
      - type: pdf
        path: /data/dokumen/pdf/
      - type: image
        path: /data/dokumen/scan/
  ocr:
    engine: tesseract
    language: ind
    preprocessing: true
  chunking:
    strategy: recursive
    chunk_size: 512
    overlap: 64
  embedding:
    model: text-embedding-ada-002
    dimension: 1536
  indexing:
    target: vector-db
    type: pinecone
    index_name: pengetahuan-perusahaan
    metric: cosine

Dengan arsitektur ini, perusahaan logistik tadi bisa mengotomatisasi pemrosesan dokumen masuk. AI membaca invoice, sistem pengelolaan dokumen menyimpannya dengan metadata yang benar, dan pusat pengetahuan memungkinkan staf bertanya: “Invoice mana yang belum dibayar dari pelanggan B?” tanpa harus membuka satu per satu file. Proses yang tadinya memakan waktu berjam-jam bisa selesai dalam hitungan detik.

Setelah arsitektur ini berjalan, pertanyaan berikutnya adalah: bagaimana memastikan bahwa semua komponen ini bekerja dengan baik dalam skala besar? Bagaimana jika ada dokumen yang salah terbaca? Bagaimana jika pusat pengetahuan memberikan jawaban dari dokumen yang sudah kedaluwarsa? Pertanyaan itu menjadi bahan subbab berikutnya, tentang monitoring dan evaluasi arsitektur AI di perusahaan.