五年前我借给弟弟56万买房，当时弟弟弟妹写了借条，并答应每个月还我3000元，结果，他们只还了三个月就没有继续还债。因为他们生活条件不好，五年中我没有跟他们提过要钱的事。现在，我需要钱用，让他们还款，我弟妹不承认，说这笔钱是我爸妈的，如果我非得要钱，她就离婚，拿一百万走人（目前房子市值190万），请问，我现在该怎么办？