我结婚的时候婆家同意给买个楼房，但是资金不足，我同意贷款，我们签订一个协议，如果这个钱他们还不起，就用地跟机器换，现在好几年过去了，他们依旧没有还上，但是我现在想离婚，房照在银行抵押，名字是我的，如果我现在离婚的，这笔钱得怎么办？我送还这笔钱吗？