根据《中华人民共和国劳动民法典》的规定，劳动者应当按照约定履行劳动义务，并不得违反法律法规的规定和用人单位的规章制度。如果您在合同中明确约定了违约责任，且没有违反相关法律规定或未严重损害用人单位的利益，您可以拒绝支付违约金。如果您认为自己没有违反合同约定或者没有严重损害用人单位利益，则可以拒绝支付违约金。但是，建议您先仔细阅读合同条款，了解自己的权利和义务，然后再做出决定。如果您对合同条款有任何疑问，建议咨询专业的法律顾问以获得更详细的解答。