根据法律规定，您有权在不违反合同条款的前提下单方面解除购房合同。然而，在这种情况下，由于您已经支付了一部分定金和偿还了贷款的一部分，您的损失可能需要通过协商或诉讼来解决。 建议您先与卖家沟通，尝试达成一致解决方案。如果无法达成协议，您可以考虑聘请律师帮助您处理相关法律事务，并确保您的权益得到保护。同时，也可以考虑寻求其他途径解决问题，如向法院提起诉讼等。请注意，以上信息仅供参考，具体法律问题应由专业人士进行解答。