首先，根据法律规定，未经对方同意擅自进入他人住宅属于非法侵入行为。因此，在这种情况下，如果该男人未经你允许就进入了你的住宅，那么他的行为可能构成违法。 然而，你需要明确的是，这个案件的复杂性和争议性在于其涉及到家庭暴力和婚姻关系的问题。在这种情况下，你可能需要考虑聘请一位专业的法律顾问来处理这个问题。他们可以提供更具体和深入的专业建议，并确保你的权益得到保护。此外，你可以寻求社会服务或法律援助机构的帮助，以获得更多的支持和资源。最后，请记住，无论发生什么情况，保持冷静和理智是至关重要的。