您好，我想请问一下夫妻一方老是怀疑对方出轨了，但问题是对方没出轨，只是因为女方和别人聊天了并且见了面吃了个饭，而且还带着孩子，但是被另一方说成出轨，就因为这个事情男方有了抑郁症，然后现在就是要离婚，而且还有孩子，但是孩子归女方，但男方还要女方给男方五万块钱男方才肯签字离婚，我想问一下这个钱女方应该给吗？