根据您描述的情况，如果双方在购房时约定按照各自出资比例分配房产收益或者共同承担损失，则您可以不承担该部分房款。然而，如果没有明确的协议或约定，建议您与对方沟通确认具体的责任分配情况，并考虑寻求法律帮助以保护自己的合法权益。