我与前夫离婚之前，他问王先生贷款了十万元，当时我并不知道他具体贷款的数额，因为贷款需要我签字，我就签了。后来，我在王先生那里存了十万元，因为说是利息比较高。离婚协议说自己的债务自己承担，但是现在王先生那里我的十万元他不愿意归还，说我前夫欠钱不还，所以不能把十万元归还。我应该怎么办