根据法律规定，如果一方在婚姻关系存续期间所负的债务属于夫妻共同债务，则另一方也有义务偿还。因此，在您父亲有欠高利贷的情况下，即使当时离婚协议中约定房子归您的母亲，也应当由双方共同承担还款责任。建议您与父亲沟通，协商解决此事，并寻求专业人士的帮助和指导。