您好，根据法律规定，当事人签订的合同应当公平、合法。如果合同中存在显失公平或欺诈的情况，可以请求法院撤销该合同。在您的情况下，由于您已经支付了一定比例的款项，且对方也同意解除合同，因此，在不违反法律法规的前提下，您可以要求对方退还剩余款项，并承担相应的违约责任。建议您与对方协商解决，达成一致后再采取进一步的行动。如果您需要具体的法律意见，请联系专业的律师进行咨询。