根据法律规定，您有权要求对方支付已经使用部分的款项。但是，如果双方之间存在合同关系，且该合同对支付和退回有明确约定，则按照合同约定处理。如果您与对方没有签订书面合同或协议，建议先进行协商解决争议，若无法达成一致意见，可以考虑通过诉讼方式解决问题。