和男方感情破裂，但我父亲去世我当时没想那么多，只想着法律上还是夫妻关系就告诉他，当时没想到要他花钱，只想着钱我来给，可他把钱丢给我就说这钱给你了，不要就丢掉吧！之后协商离婚都说好了，可到那天他就告诉我他是不会去的，还要求我自己一个人去他家算账，他之前说过威胁我和我家人的话，我没敢去，之后他告诉我你起诉去吧！现在我起诉了我可以把钱还给他吗？这件事会影响我们离婚吗？