您的情况涉及家庭纠纷和民事诉讼。首先，您需要收集证据证明您弟弟的不当行为，并确保在发生此类事件时，有明确的规定或协议可以遵循。其次，您可以与妇女协商解决此事，要求其退还5000元并赔偿损失，或者通过法律途径解决。如果妇女拒绝支付款项，您可以考虑向法院提起诉讼，请求法院支持您的主张。在此过程中，请注意保护自己的权益，避免情绪激动导致事态扩大。最后，建议您寻求专业的法律帮助来处理这一复杂的情况。