这个问题涉及到法律上的财产返还请求权。首先，根据我国法律规定，一方不同意与另一方结婚或分手时，如果双方之间存在合法的婚姻关系，并且有共同生活的情况，那么在分手后的一年内，任何一方都有权利向对方主张财产返还请求权。 在这种情况下，如果男方已经支付了媒人的费用，则男方有权要求女方退还这部分费用。然而，女方拒绝退还这一部分费用可能违反了相关法律法规。因此，在这种情况下，建议男方寻求法律帮助，以确保自己的合法权益得到保护。 同时，男方还应该注意的是，如果女方同意将所有未使用过的男方赠予媒人的款项退还给男方，那么男方可以考虑是否接受这个条件，因为这可能会减少他需要赔偿的部分金额。此外，男方也可以考虑聘请专业的律师来处理此事，以便更好地维护自己的权益。