根据法律规定，一方在婚姻中对另一方进行人身伤害或者遗弃的，无过错方有权请求损害赔偿。如果男方要求退还金首饰而不愿退还金钱，建议女方先尝试与男方沟通协商解决，了解对方的具体需求和理由，寻找双方能够接受的解决方案。同时，女方也可以考虑聘请律师介入调解或诉讼程序，维护自身权益。无论如何，处理这类争议时应秉持公正、尊重的原则，避免采取极端措施。