我在不知情没签字的情况下在信用社有个20万的贷款。我去找信用社去处理，过了两天钱不知道谁给还了，但是我有逾期了。现在影响我贷款办信用卡。后来信用社主任找了个人和我解决，那个人以私人名义借我20万，可是钱却没到我手，我给那个人打了个20万借条，三间房抵押。协商五年不去银行说这个事。但是现在我钱没见到。那个人又叫我还钱，请问我该怎样办