Dalam kiprahnya berpolitik, ia bergabung dengan Partai Golongan Karya dan pernah menjabat sebagai Wakil Presiden Indonesia selama dua periode masa jabatan secara tidak berturut-turut. Periode pertamanya, pria yang populer dengan nama akronim JK ini maju sebagai calon wakil presiden mendampingi Susilo Bambang Yudhoyono.
Partai Golongan Karya mengusung JK pada Pemilu Presiden 2009 sebagai calon presiden bersama dengan Wiranto dari Partai Hati Nurani Rakyat sebagai calon wakil presiden. Akan tetapi, perolehan suaranya kurang melebihi ambang batas pencalonan presiden dan kalah dari pasangan calon Susilo Bambang Yudhoyono dan Boediono.
