前夫霸占我的房子,怎么办?2010年…

前夫霸占我的房子,怎么办?2010年4月我与前夫结婚,2010年5月我们共同买房,房子总值约80万元,二人各出21万元首付,另外38万元以我的名义办理公积金贷款(当时夫妻共同签名),并且全额由我的公积金自动扣款。2011年4月因为家庭暴力问题离婚。离婚协议:房产归我,我于2011年10月给前夫31万元,公积金贷款由我来归还。现在的情况是:2011年10月我已经给前夫31万元,但是前夫以贷款上有他的名字为由,拒绝搬出房子,现在我因为害怕暴力只能搬入单位单身宿舍;同时房子确实因为债务问题不能在房地局过户至我名下,我该怎么办?