您好，根据您提供的情况，如果您和那位男士的关系并非出于自愿，并且他持续威胁和纠缠您，影响您的家庭生活，您和您的丈夫可以采取法律行动。如果那位男士的行为构成了骚扰、威胁或其他侵犯您权利的行为，您可以向法院提起民事诉讼，要求停止侵害、赔偿损失等。 在准备诉讼时，您需要收集相关证据，包括但不限于：威胁的信息、通话记录、目击者证言等，以证明对方的不当行为。此外，如果对方的行为严重到触犯了刑法，比如构成了敲诈勒索、非法侵入住宅等，您还可以向公安机关报案，寻求刑事责任的追究。 请注意，具体的胜诉可能性取决于多种因素，包括证据的充分性、法律的适用等。建议您咨询专业律师，以便获得更具体的法律意见和帮助。