在您离婚时，您和前配偶同意放弃房产并各分一半。因此，在这种情况下，您的配偶有权要求您偿还贷款。然而，如果您已经支付了部分或全部贷款，并且该部分或全部已用于购买房屋或其他共同财产，则可能不会对您造成不利影响。请注意，具体责任应根据相关法律规定和协议条款进行判断。建议您详细阅读协议文本以及与银行协商还款事宜。