Estimasi kemungkinan maksimum

Dalam statistika, estimasi kemungkinan maksimum atau estimasi maksimum likelihood adalah metode mengestimasi parameter dari suatu distribusi peluang yang diasumsi apabila diketahui data hasil observasi. Metode ini didapatkan dengan memaksimalisasikan suatu fungsi likelihood, sehingga di bawah penggambaran pemodelan statistika, data hasil observasi itu yang mungkin terjadi. Berdasarkan hasil estimasi tersebut, terdapat titik berada di dalam ruang parameter yang memaksimumkan fungsi likelihood, dan titik itulah yang dinamakan estimasi maksimum likelihood.^[1] Logika dibalik metode ini bersifat intuitif dan fleksibel, sehingga kegunannya menjadi peran penting dalam inferensi statistik.^[2][3][4]

Prinsip

Himpunan observasi dimodelkan sebagai sampel acak dari distribusi peluang gabungan yang tidak diketahui, dinyatakan sebagai kumpulan parameter. Tujuan estimasi maksimum likelihood adalah untuk menentukan parameter, sehingga data hasil observasi memiliki peluang gabungan tertinggi. Disini, parameter yang menentukan distribusi gabungan dinyatakan dalam bentuk vektor${\displaystyle \theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\mathsf {T}}}$ sehingga distribusi tersebut termasuk suatu keluarga parametrik ${\displaystyle \{f(\cdot \,;\theta )\mid \theta \in \Theta \}}$, dengan ${\displaystyle \Theta }$ adalah ruang parameter, yakni subhimpunan berdimensi terhingga dari ruang Euklides. Mengevaluasi kepadatan gabungan pada sampel data hasil observasi ${\displaystyle \;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;}$memberikan suatu fungsi bernilai real, $${\displaystyle {\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta$$ ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )\;,} yang dinamakan fungsi likelihood. Untuk variabel acak bebas, fungsi ${\displaystyle f_{n}(\mathbf {y}$ ;\theta )} akan menjadi hasil kali dari fungsi-fungsi kepadatan univariat: $${\displaystyle f_{n}(\mathbf {y}$$ ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k};\theta )~.}

Tujuan estimasi maksimum likelihood adalah mencari nilai dari parameter model yang memaksimalkan fungsi likelihood di ruang parameter.^[5] Dalam artian, $${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$$

Secara intuitif, estimasi maksimum likelihood memilih nilai parameter yang menjadikan data hasil observasi mungkin terjadi. Nilai istimewa ${\displaystyle {\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta }$ yang memaksimalkan fungsi likelihood ${\displaystyle {\mathcal {L}}_{n}}$dinamakan estimasi maksimum likelihood. Lebih lanjut, jika fungsi ${\displaystyle {\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta }$ yang didefinisikan sebagai fungsi terukurkan, maka fungsi itu adalah estimator maksimum likelihood. Suatu fungsi umumnya didefinisikan di ruang sampel, dalam artian mengambil suatu sampel yang diketahui sebagai argumennya. Adapun suatu syarat cukup tapi tak perlu mengenai keberadaannya, yakni bahwa fungsi likelihood adalah kontinu di suatu ruang parameter kompak ${\displaystyle \Theta }$.^[6] Apabila ruang parameter ${\displaystyle \Theta }$ terbuka, fungsi likelihood dapat menaik tanpa benar-benar mencapai suatu nilai supremum.

Pada prakteknya, estimasi maksimum likelihood seringkali mudah dikerjakan bersamaan dengan logaritma natural dari fungsi likelihood, yang dinamakan log-likelihood: $${\displaystyle \ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$$Karena fungsi logaritma bersifat monotonik, nilai maksimum dari fungsi ${\displaystyle \ell (\theta \,;\mathbf {y} )}$ muncul pada nilai yang sama dari ${\displaystyle \theta }$, sebagaimana halnya dengan nilai maksimum dari ${\displaystyle {\mathcal {L}}_{n}}$.^[7] Apabila fungsi ${\displaystyle \ell (\theta \,;\mathbf {y} )}$ terdiferensialkan di ruang parameter ${\displaystyle \Theta }$, syarat yang perlu terjadinya maksimum (atau minimum) adalah$${\displaystyle {\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0.}$$Semua persamaan tersebut dinamakan persamaan likelihood. Untuk pemodelannya, persamaan-persamaan tersebut secara eksplisit dapat diselesaikan untuk ${\displaystyle {\widehat {\theta \,}}}$. Akan tetapi, secara umum solusi bentuk tertutup untuk permasalahan maksimisasi masih belum diketahui, ataupun belum tersedia. Estimasi maksimum likelihood hanya dapat ditemukan melalui optimisasi numerik. Permasalahan lainnya adalah bahwa dalam sampel terhingga, terdapat banyak akar untuk persamaan likelihood.^[8] Menentukan akar ${\displaystyle {\widehat {\theta \,}}}$ dari persamaan-persamaan likelihood yang tentunya suatu maksimum (lokal) tergantung pada apakah matriks dari turunan parsial orde kedua dan parsial campuran$${\displaystyle \mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~,}$$

adalah semidefinit negatif di ${\displaystyle {\widehat {\theta \,}}}$, karena matriks ini mengindikasi kecekungan lokal. Matriks ini dinamakan matriks Hessian. Biasanya, distribusi peluang yang paling umum, terutama dalam keluarga eksponensial, adalah fungsi cekung secara logaritmik.^[9][10]

Referensi