如果按照你们之间的约定，由前夫负责偿还房屋贷款，那么在离婚时，法院可能会要求前夫支付剩余未还清的贷款。然而，在这种情况下，你需要确保你有足够的时间和金钱来处理这种情况，并且你已经采取了所有必要的措施来保护你的权益。如果你无法支付剩余的贷款，可能需要考虑与银行协商以达成一个合理的还款计划。此外，你也应该考虑聘请一名专业的法律顾问来帮助你了解你的权利和义务，并为可能出现的情况做好准备。