您好！根据法律规定，如果您在合同中明确约定了不履行义务时的违约责任和相应的违约金条款，并且您已经支付了该违约金，那么您有权要求退还这部分金额。如果对方拒绝退还保证金并声称存在违约金，则建议您与对方协商解决或寻求法律援助以保护您的权益。同时，请确保保留所有相关的证据文件，以便日后可能需要提供给法庭作为参考。