你好！我们已经离婚两年了，为了面子还在一起生活，可他天天管着我，连门都不出去，当初离婚孩子房子归他，我一无所有，但房子的户名是我，离婚协议书上房子归他，我们房子是贷款买，但现在他说房子他不要，让我拿24万给他，我该怎么办