这个情况涉及到合同法和婚姻法的相关规定。首先，根据我国的《民法典》，一方当事人在订立合同时存在欺诈行为时，另一方有权要求撤销合同，并且可以要求对方返还财产。 其次，在婚姻法中，男女双方之间的婚前财产属于个人所有，除非有证据证明该财产为夫妻共同财产。因此，即使男方花费巨资追求女方，但如果女方明确表示不同意或者没有接受这些财物，则这些财物不应当被视为夫妻共同财产。 综上所述，如果女方明确拒绝与男方发生性关系，则男方所花费的80万人民币可能需要退还给女方。但是，这取决于具体的情况和证据。建议您在处理此类案件时，寻求专业的法律意见以确保您的权益得到保护。