我是男方，与女方有办婚礼到没有领结婚证，办婚礼时女方要求男方拿彩礼并表示婚礼过后会把彩礼钱退回，后面确实有返还一部分，后因女方生病在家修养，女方父亲将其叫回家后再未返回，后来其父亲打电话要求我方返还彩礼钱并表示若不给将对我暴力解决，这样的情况怎么解决