在婚姻关系中，双方共同承担家庭开支的责任。对于男方给情人的支出，如果该款项属于个人财产，则无需返还；如果是夫妻共同财产，那么应根据具体情况决定是否需要返还。如果女方同意或认可这些花费，并且认为是合理的，通常情况下不会要求退还。但需要注意的是，这种处理方式必须基于双方的真实意愿和明确的协议。如果您有具体的情况，请咨询专业的法律顾问以获取更准确的建议。