根据我国相关法律规定，夫妻双方应当互相忠实、互敬互爱、互谅互助。如果夫妻一方擅自离开家庭，并且对家庭成员造成伤害，如虐待、遗弃等行为，可能会构成犯罪，需要承担相应的法律责任。 具体来说，如果夫妻一方因赌博、吸毒等原因而离家出走，并且导致家庭财产损失或其他后果的，可能构成遗弃罪或者其他形式的犯罪。在这种情况下，另一方有权要求公安机关介入调查，并向人民法院提起诉讼，要求追究其刑事责任。 因此，在处理此类案件时，需要综合考虑双方的具体情况和法律规定，以确保公正合理的处理方式。同时，也建议双方在处理家庭纠纷时，应尽量通过沟通协商的方式解决矛盾，避免采取极端措施。