您的情况很复杂，建议您先与法律顾问或律师进行详细咨询。根据我国法律规定，如果对方存在欺诈行为或者恶意诽谤等行为，确实可能构成侵权或名誉损害。在这种情况下，您可以考虑通过法律途径来维护自己的权益。同时，也需要考虑到家庭和社会的影响，以及对家庭成员的情感和心理支持。在处理此类事件时，需要综合考虑多种因素，并寻求专业的意见和帮助。