20.6 Tata Kelola Kerja AI: Persetujuan Manusia, Ambang Keyakinan, dan Jejak Audit

Setelah memahami situasi yang perlu dikendalikan, pertanyaan berikutnya adalah: bagaimana perusahaan bisa memakai AI dengan percaya diri? Jawabannya adalah membangun tata kelola kerja yang jelas, bukan menahan adopsi.

Bayangkan seorang staf compliance yang menggunakan AI untuk membantu mereview dokumen kontrak. Ia mendapat output yang rapi dan meyakinkan. Tapi ia ragu: apakah informasi ini benar? Apakah sumbernya valid? Apakah ia boleh langsung memakai hasil ini, atau perlu verifikasi dulu? Keraguan seperti ini wajar, dan justru menunjukkan bahwa organisasi perlu sistem yang membantu manusia memutuskan kapan harus percaya pada AI.

Tata kelola kerja AI dimulai dari satu konsep sederhana: tidak semua output AI perlu ditindaklanjuti dengan cara yang sama. Ada output yang bisa langsung dipakai, ada yang perlu direview manusia, dan ada yang harus ditolak. Pertanyaannya, bagaimana menentukan kategori ini?

Berikut diagram alur keputusan yang merangkum mekanisme ambang keyakinan, persetujuan manusia, dan pencatatan audit trail.

flowchart TD A[Output AI] --> B{Cek Confidence Score} B -->|> 95%| C[Langsung Dipakai] B -->|70-95%| D[Review Manusia] B -->|< 70%| E[Kembali ke Sistem / Gagal] D --> F{Keputusan Reviewer} F -->|Setuju| C F -->|Tolak| E C --> G[Audit Trail: Catat Skor, Sumber, Keputusan] D --> G E --> G

Jawabannya ada pada ambang keyakinan. Setiap kali AI menghasilkan output, sistem harus memberi skor keyakinan. Skor ini bisa berasal dari seberapa cocok jawaban dengan sumber yang ditemukan, seberapa lengkap informasi yang tersedia, atau seberapa sering pola serupa muncul di data sebelumnya. Jika ambang keyakinan tinggi—misalnya di atas 95%—maka output bisa langsung masuk ke tahap berikutnya. Jika sedang, output perlu lewat review manusia. Jika rendah, output dikembalikan ke sistem untuk dicari ulang atau dinyatakan gagal.

Berikut contoh konfigurasi YAML yang mendefinisikan ambang keyakinan dan tindakan yang sesuai.

# config/ai-governance.yaml
confidence_thresholds:
  high:
    min_score: 0.95
    action: auto_approve
  medium:
    min_score: 0.75
    max_score: 0.94
    action: human_review
  low:
    max_score: 0.74
    action: reject

audit_trail:
  enabled: true
  log_fields:
    - query
    - sources
    - confidence_score
    - action_taken
    - reviewer_id
    - decision
    - timestamp

Tapi ambang keyakinan saja tidak cukup. Manusia perlu terlibat di titik-titik kritis. Di sinilah konsep persetujuan manusia bekerja. Manusia tidak perlu mengecek setiap output, tetapi harus ada di titik keputusan penting: saat AI tidak yakin, saat output menyangkut data sensitif, saat keputusan berdampak finansial atau hukum, atau saat ada perubahan kebijakan yang belum tercermin di data latih. Ini bukan berarti semua orang harus menjadi reviewer. Ini berarti organisasi perlu menentukan siapa yang berwenang mereview, kapan review dilakukan, dan apa yang terjadi jika review tidak selesai dalam batas waktu tertentu.

Selanjutnya, setiap keputusan yang melibatkan AI harus tercatat. Inilah fungsi audit trail. Setiap kali AI mengeluarkan output, sistem harus mencatat: pertanyaan apa yang diajukan, sumber mana yang digunakan, skor keyakinan berapa, siapa yang mereview (jika ada), keputusan apa yang diambil, dan apakah output itu akhirnya dipakai atau ditolak. Audit trail bukan hanya untuk kepentingan compliance atau audit eksternal. Ia juga berguna saat tim ingin mengevaluasi kinerja AI: apakah ambang keyakinan sudah tepat? Apakah ada pola output yang sering salah? Apakah ada sumber yang perlu diperbarui?

Tentu saja, tidak semua permintaan bisa dijawab dengan baik. Karena itu setiap cara kerja AI perlu memiliki jalur cadangan. Jika AI tidak bisa menjawab dengan keyakinan yang cukup, sistem harus tahu harus ke mana: apakah meneruskan ke manusia, mencari di sistem lain, atau mengembalikan pertanyaan dengan permintaan informasi tambahan. Jalur cadangan yang baik membuat cara kerja tetap berjalan meskipun AI gagal.

Semua komponen ini perlu dipantau secara berkelanjutan. Monitoring bukan sekadar melihat apakah sistem berjalan atau tidak. Monitoring berarti melihat: berapa banyak output yang langsung dipakai? Berapa banyak yang direview? Berapa banyak yang gagal? Apakah ada pola penurunan kualitas? Apakah ada feedback dari pengguna yang menunjukkan bahwa AI mulai memberikan jawaban yang tidak relevan? Data monitoring ini kemudian menjadi masukan untuk evaluasi setelah digunakan—proses mengevaluasi apakah AI masih layak dipakai, apakah ambang perlu disesuaikan, atau apakah ada sumber baru yang perlu ditambahkan.

Tata kelola kerja AI bukan lapisan yang menghambat. Ia adalah lapisan yang membuat organisasi berani bergerak lebih cepat karena mitigasinya jelas. Dengan persetujuan manusia, ambang keyakinan, audit trail, jalur cadangan, monitoring, dan evaluasi berkala, perusahaan bisa memakai AI di cara kerja kritis dengan kendali yang tetap jelas.

Setelah tata kelola kerja terbentuk, kita bisa mulai membayangkan arsitektur yang lebih utuh: bagaimana AI membaca teks dari dokumen, sistem pengelolaan dokumen menyimpan dan mengatur, dan pusat pengetahuan membuat informasi bisa dicari dengan bantuan AI. Subbab berikutnya menyatukan komponen-komponen itu sebagai arsitektur referensi.