我是男方！我跟我老婆是自由恋爱！是一个县的，已有两个女儿，大的六岁，小的两岁多，去年才领结婚证，还没办酒席，之前多多少少也给了女方父母一些钱！现在女方父母因为彩礼没给够逼着自己女儿离婚！还扬言要叫人打男方父亲！这事该怎么办？