Dalam kecerdasan buatan (AI) dan filsafat, masalah pengendalian kecerdasan buatan adalah masalah tentang bagaimana membangun agen kecerdasan super yang tunduk pada penciptanya. Menghindari pembuatan kecerdasan super yang akan merugikan penciptanya secara tidak sengaja. Kajian tentang masalah ini dimotivasi oleh gagasan bahwa umat manusia harus menyelesaikan masalah pengendalian AI sebelum kecerdasan super dibuat, karena kecerdasan super yang dirancang dengan buruk mungkin secara rasional memutuskan untuk mengambil kendali atas lingkungannya dan menentang kontrol atau modifikasi penciptanya setelah diluncurkan. Beberapa ahli berpendapat bahwa solusi untuk masalah kontrol ini bisa meningkatkan teknologi rekayasa keselamatan AI. Solusi dari masalah ini mungkin juga bisa diterapkan dalam AI non-kecerdasan super yang sudah ada.
Sumber: Lihat artikel asli di Wikipedia
 | Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini. Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan. (Oktober 2022) |
 | Artikel ini membutuhkan perhatian dari ahli subjek terkait. Harap tambahkan alasan atau pranala ke halaman pembicaraan untuk menjelaskan masalah pada artikel tersebut. |
Dalam kecerdasan buatan (AI) dan filsafat, masalah pengendalian kecerdasan buatan adalah masalah tentang bagaimana membangun agen kecerdasan super yang tunduk pada penciptanya. Menghindari pembuatan kecerdasan super yang akan merugikan penciptanya secara tidak sengaja. Kajian tentang masalah ini dimotivasi oleh gagasan bahwa umat manusia harus menyelesaikan masalah pengendalian AI sebelum kecerdasan super dibuat, karena kecerdasan super yang dirancang dengan buruk mungkin secara rasional memutuskan untuk mengambil kendali atas lingkungannya dan menentang kontrol atau modifikasi penciptanya setelah diluncurkan.[1] Beberapa ahli berpendapat bahwa solusi untuk masalah kontrol ini bisa meningkatkan teknologi rekayasa keselamatan AI.[2] Solusi dari masalah ini mungkin juga bisa diterapkan dalam AI non-kecerdasan super yang sudah ada.[3]
Salah satu pendekatan utama untuk mengatasi masalah kontrol ini adalah upaya penyelarasan (alignment), yang bertujuan menyelaraskan visi sistem AI dengan nilai-nilai yang dianut manusia. Selain penyelarasan sistem AI, kontrol kemampuan juga bisa digunakan untuk mengurangi risiko dari sistem AI yang merugikan manusia atau mendapatkan kendali. Pengendalian kapabilitas atau kontrol kemampuan umumnya dianggap kurang untuk memecahkan masalah kontrol AI. Pengendalian kemampuan lebih sering dianggap sebagai tambahan dari upaya penyelarasan AI.[1]
Sistem AI lemah dapat dipantau dan dengan mudah dimatikan atau dimodifikasi jika berperilaku tidak semestinya. Namun, kecerdasan super yang salah diprogram, mungkin akan menyadari bahwa membiarkan dirinya sendiri dimatikan dan dimodifikasi dapat mengganggu kemampuannya dalam mencapai tujuan yang sudah diprogram. Karena itu, kecerdasan super bisa saja memutuskan untuk menentang shutdown dan modifikasi. Kecerdasan buatan semacam ini (secara teoretis) juga akan cukup pintar untuk mengecoh pemrogramnya dalam "level playing field" (aturan main) terutama jika pemrogram tidak melakukan tindakan pencegahan sebelumnya.
Secara umum, upaya untuk memecahkan masalah kontrol setelah kecerdasan super dibuat kemungkinan besar akan gagal. Hal ini bisa terjadi karena kecerdasan super kemungkinan akan memiliki kemampuan perencanaan strategis yang lebih superior daripada manusia dan akan lebih berhasil menemukan cara untuk mendominasi manusia, daripada upaya manusia secara post facto untuk mengontrol kecerdasan super. Masalah pengendalian kecerdasan buatan berkisar pada persoalan: tindakan pencegahan apa yang dapat dilakukan pemrogram agar berhasil mencegah kecerdasan super dari kesalahan pemrograman yang berdampak buruk?[1]
 | Artikel bertopik filsafat ini adalah sebuah rintisan. Anda dapat membantu Wikipedia dengan mengembangkannya. |
 | Artikel bertopik teknologi ini adalah sebuah rintisan. Anda dapat membantu Wikipedia dengan mengembangkannya. |
