您好！根据您的描述，您与对方之间存在争议。如果您决定不继续购买该房产，并且对方已经支付了部分款项，您可以要求对方退还剩余的款项。在处理这类争议时，建议双方保持沟通，寻求和平解决的方式。如果无法达成一致，可以考虑通过法律途径解决。 希望这些建议对您有所帮助。如果有任何疑问或需要进一步的帮助，请随时联系我。