我于2011年将十万元接给A女，但是期间A女因罪入狱，A女的哥哥B男承诺替她向我还款，每年一万，如果某一年未还，我有权处置B男的房产，同时立下了字据。去年B男因病去世，依旧欠款5万元未还。今年B男的儿子C男出狱，要求我返还B男之前分四次还我的四万元。如果不还，就要闹到我的公司。剩余的五万元因为A女同样在今年出狱，我已经在向A女追讨，并未要求C男还。我该怎么办