根据我国相关法律规定，如果男方拒绝离开婚姻关系中的家庭，且没有合法的正当理由，那么他可能会被认为侵犯了另一方的人身自由和财产安全。这种行为可能构成非法拘禁或非法限制人身自由罪，具体需要依据具体情况来判断。 如果您遇到此类情况，建议您及时寻求专业的法律帮助，以确保自己的合法权益得到保护。同时，在处理此类案件时，也应注意遵守相关的法律法规，避免因不当行为而引发更严重的问题。