根据法律规定，合同双方应当按照约定履行义务。如果一方违反了合同约定的条款，另一方有权要求其承担相应的违约责任。在这种情况下，如果你已经支付了部分款项，并且对方拒绝返还剩余款项，你可能需要采取法律行动来维护自己的权益。建议你尽快联系专业的法律顾问，以了解你的具体权利和可能的解决方案。同时，也需要注意收集证据，以便在必要时支持你的主张。