在您与销售中心签订的意向房源确认单中，通常会包含一些关于双方权利和义务的规定。根据这些规定，如果一方想要解除合同，可能需要承担一定的责任或赔偿。在这个情况下，如果您不再想购买该房产，您有权要求对方退还您的预付款（如果有）。然而，如果您拒绝支付任何费用，这可能会被视为违约行为。 为了确定是否需要支付违约金，建议您仔细阅读您与销售中心之间的所有书面协议，并确保了解您是否有权拒绝支付违约金。此外，您可以考虑聘请一位法律顾问来帮助您理解您的权益并制定一个合理的解决方案。 请注意，以上信息仅供参考，具体法律适用应依据当地法律规定以及您与销售中心之间具体的约定条款。在处理此类纠纷时，最好寻求专业的法律意见。