您好，根据我国法律规定，婚姻自由是公民的基本权利之一，在缔结婚姻过程中，双方当事人有权决定是否结婚以及何时结婚，并且在结婚后有权对婚姻状况进行变更或解除。因此，您有权拒绝男方的退婚要求，并保留部分聘礼作为补偿和证明您的权益。此外，如果男方有证据表明您存在欺诈或其他不当行为，您也可能面临一定的法律责任。建议您与律师详细讨论并寻求专业的法律帮助。