根据我国相关法律规定，婚姻自由是公民的基本权利之一。在婚姻关系中，一方要求解除婚姻关系时，另一方不得擅自剥夺对方的财产。因此，在你的情况下，如果你们已经协商一致同意离婚，并且男方已经退还了一部分彩礼金，那么剩余的彩礼金应该归男方所有。 此外，如果你对男方的行为有任何不满或者不接受其提出的条件，你可以考虑通过法律途径维护自己的合法权益，例如申请法院调解或判决，以确保你的权益得到保障。 请注意，以上建议仅供参考，具体情况需要结合实际情况和法律法规进行分析。如果您有具体的问题，建议您咨询专业的法律人士以便获得更准确的答案。