根据我国婚姻法的规定，夫妻双方自愿离婚的，应当签订书面协议。在协商一致的情况下，一方要求解除婚姻关系，并且已经达成离婚协议，那么对方不得再要求返还彩礼。因此，如果男方不同意离婚并且不愿意继续共同生活，他有权拒绝退还已给付的彩礼。但是，在这种情况下，建议你们可以考虑其他解决方式，如调解或诉讼等方式来处理这个问题。同时，也建议你们在离婚时明确约定关于财产分割和子女抚养权的问题，以免日后产生纠纷。