首先需要明确的是，您所描述的情况涉及复杂的法律和情感问题。如果您有任何具体的法律或财务问题，请提供更多的细节以便我能为您提供更准确的帮助。 关于您的问题，如果确实存在诈骗行为，即一方利用他人信任或脆弱状态进行欺诈活动以获取利益，则可能构成诈骗罪。诈骗罪是指故意采用虚构事实或隐瞒真相的方法，使他人基于错误认识而处分财产或其他财物的行为。 根据您提供的信息，男方多次利用与离异女之间的关系来获取其经济上的好处，并且还有证据显示他的行为已经导致了对方的经济困难。这种情况下，即使没有直接向对方索要金钱，也可能被认定为诈骗罪的一部分。 此外，对于男方的行为是否属于“不正当交往”（如通过发送短信、微信等方式进行性骚扰等），也需要具体情况具体分析。这涉及到对个人隐私权和个人尊严的保护以及社会道德观念的考量。 请注意，上述解释仅供参考，具体法律适用情况可能会因地区差异而有所不同。因此，在处理此类案件时，建议寻求专业的法律顾问或律师的帮助，以便获得最准确的法律意见。