2016年4月份订婚女方收了男方十万元彩礼，因为女方未到结婚年龄所以没有领证，在此期间多次出轨，且男方有证据证明，现在男方不想继续生活下去，提出要回彩礼钱，女方不同意且恶意中伤男方父亲，说其父亲强奸她，男方现在应该怎么办？