Sepsis adalah kondisi darurat medis yang terjadi ketika respons tubuh terhadap infeksi justru merusak organ-organnya sendiri. Setiap tahun, kondisi ini menyerang hampir 49 juta orang di seluruh dunia dan merenggut sekitar 11 juta nyawa — hampir 20 persen dari seluruh kematian global. Di ruang ICU, dua keputusan terapi yang paling kritis adalah: seberapa banyak cairan infus yang harus diberikan, dan apakah pasien membutuhkan vasopressor untuk menopang tekanan darahnya. Keputusan ini harus dibuat cepat, berulang kali, dalam kondisi yang berbeda pada setiap pasien. Tidak mengherankan jika praktik klinis antarrumah sakit, bahkan antardokter, sangat bervariasi.
Pertanyaan yang mendorong penelitian ini sederhana namun penting: apakah ada pola dalam data rekam medis yang bisa mengajarkan komputer untuk merekomendasikan dosis terapi yang lebih baik dari yang selama ini dilakukan? Tim peneliti dari Departemen Teknik Biomedis ¶«¾©ÈÈ mencoba menjawab pertanyaan tersebut melalui pendekatan yang disebut offline reinforcement learning — sebuah metode di mana agen kecerdasan buatan belajar dari data historis tanpa perlu berinteraksi langsung dengan pasien. Ini adalah aspek keamanan yang sangat penting dalam konteks medis.
Agen yang dikembangkan menggunakan arsitektur Dueling Double Deep Q-Network (Dueling DDQN), sebuah jaringan saraf tiruan yang dirancang khusus untuk pengambilan keputusan bertahap. Agar agen tidak “berimprovisasi” di luar batas terapi yang pernah dilakukan dokter — yang bisa berbahaya karena efeknya tidak diketahui — ditambahkan mekanisme penalti berbasis divergensi KL. Penalti ini mendorong agen untuk tetap berada dalam rentang tindakan klinis yang realistis, namun tetap cukup fleksibel untuk mengidentifikasi pola dosis yang selama ini kurang dimanfaatkan.
Data yang digunakan berasal dari MIMIC-III, basis data ICU publik yang berisi lebih dari 50.000 rekam medis dari sebuah rumah sakit akademik di Amerika Serikat. Setelah penyaringan berdasarkan kriteria Sepsis-3, penelitian ini berhasil mengumpulkan hampir 19.000 pasien dewasa yang menghasilkan lebih dari 364.000 jendela keputusan berdurasi 4 jam. Setiap jendela digambarkan oleh 48 variabel klinis mencakup tanda-tanda vital, hasil laboratorium, parameter ventilasi, hingga keseimbangan cairan. Tindakan terapi didefinisikan sebagai 25 kombinasi dosis cairan infus dan vasopressor yang dihasilkan dari diskretisasi kuartil, membentuk ruang aksi yang terstruktur dan dapat diinterpretasikan secara klinis.
Sinyal reward yang diberikan kepada agen mencerminkan dua hal sekaligus: perbaikan fisiologis jangka pendek melalui perubahan skor SOFA dan kadar laktat, serta keluaran jangka panjang berupa kelangsungan hidup di rumah sakit. Desain reward ini terbukti bermakna secara klinis — pasien yang selamat menunjukkan tren reward yang terus meningkat dari waktu ke waktu, sementara yang tidak selamat mengalami penurunan, memvalidasi bahwa sinyal pembelajaran mencerminkan variasi fisiologis yang relevan.
Karena agen tidak pernah diujikan langsung pada pasien, evaluasi dilakukan menggunakan tiga metode off-policy evaluation (OPE) yang saling melengkapi, yaitu Weighted Importance Sampling (WIS), Fitted Q-Evaluation (FQE), dan Weighted Doubly Robust (WDR). Hasilnya konsisten: agen RL yang terpilih secara konsisten melampaui kebijakan historis dokter pada ketiga estimator di set pengujian (WIS: 9,18 vs. 8,60; FQE: 18,42 vs. 17,76; WDR: 17,80 vs. 17,50). Konsistensi lintas tiga metode independen inilah yang memperkuat kredibilitas temuan ini.
Yang tidak kalah menarik adalah analisis interpretabilitas yang dilakukan menggunakan permutation feature importance. Analisis ini mengungkap bahwa tekanan darah sistolik adalah variabel yang paling berpengaruh dalam pengambilan keputusan agen, diikuti oleh pH arteri, natrium, INR, dan skor komorbiditas Elixhauser — semua merupakan penanda klinis utama yang lazim dipantau intensivist dalam manajemen syok septik. Keselarasan antara apa yang “dipelajari” komputer dengan apa yang dianggap penting secara klinis memberikan kepercayaan bahwa agen tidak sekadar menemukan pola statistik semata, melainkan kebijakan yang berakar pada logika fisiologis yang solid.
Penelitian ini belum berarti agen siap digunakan di samping tempat tidur pasien. Datanya bersumber dari satu institusi, dan diskretisasi dosis tentu membatasi nuansa klinis yang dapat ditangkap. Namun temuan ini meletakkan fondasi penting: bahwa offline reinforcement learning dapat menghasilkan kebijakan terapi yang konservatif, dapat diinterpretasikan, dan berasosiasi dengan estimasi hasil yang lebih baik. Langkah selanjutnya adalah validasi multi-senter, pemodelan dosis yang lebih kontinyu, serta evaluasi berbasis simulasi sebelum penerapan klinis dapat dipertimbangkan secara bertanggung jawab.
Penulis: Endah Purwanti, S.Si., M.T.
Informasi detail dari riset ini dapat dilihat pada tulisan kami di:
Purwanti, E., Kasih, F. H. P., Arisgraha, F. C. S. (2026). Offline Reinforcement Learning for Sepsis Management: A Dueling Double Deep Q-Network Approach. International Journal of Online and Biomedical Engineering (iJOE), 22(5), pp. 156–170.
DOI:
