您好，根据《中华人民共和国民法典》的规定，一方违约时，另一方有权要求其承担违约责任。如果房屋存在质量问题，且该瑕疵影响到您的购房计划，您有权要求解除合同并要求对方退还定金。此外，由于房屋质量问题给您带来的损失（如修复费用）也应该由对方赔偿。建议您尽快与卖房人沟通协商，并保留相关证据以支持您的主张。