根据相关法律规定，如果您已经与对方签订了购房协议，并且该协议中明确约定您有权保留房屋以供自己使用，那么您可以拒绝履行合同中的义务。在这种情况下，买方可以向法院提起诉讼，但需要提供充分的证据证明您的行为违反了合同条款。 建议您在处理此类情况时，保持冷静，仔细审查合同条款，确保自己的权益得到保障。同时，寻求专业的法律顾问帮助，以便更好地理解和应对可能出现的问题。