你好，我去年十月份办的离婚证，当时是为了买房子才办的离婚，现在感情破裂了，真的要离婚，我们离婚后买了一套房子，我出了二十万他出了十万，但是我是贷款的十万，贷款利息他说让我一个人拿，然后现在房子我俩都不想要，退房需要拿四万的违约金，这个违约金应该谁拿呢