您好！根据我国相关法律规定，未经对方同意进入他人的住宅是违法的。如果您或您的家人在未得到他人许可的情况下进入他人的住宅，可能会构成非法侵入住宅罪。这种行为可能侵犯了他人的隐私权和居住安宁权，因此建议您与相关人员沟通并寻求合法途径解决问题。同时，为了避免类似情况的发生，建议双方在交往中遵守约定和尊重彼此的权利。