根据您提供的情况，您与卖方之间存在房屋买卖合同关系。卖方未能按照约定的时间交付房屋，且使用您提供的款项未用于还款，这构成了违约行为。按照合同约定，单方违约需要支付20%的违约金。 首先，您应与卖方进行沟通，明确其违约责任，并要求其按照合同约定交付房屋。如果卖方仍然拒绝交付房屋，您可以根据合同约定要求其支付违约金。 其次，如果卖方既无法交付房屋，也不愿意支付违约金，您可以选择向法院提起诉讼，要求卖方履行合同义务，交付房屋或支付违约金。在诉讼过程中，您需要提供合同、付款凭证等证据，证明卖方的违约行为。 最后，如果房屋存在贷款问题，您需要关注房屋的产权情况，确保房屋在交易后能够顺利过户到您的名下。如果卖方无法解决贷款问题，可能影响房屋的交易和过户。 总之，您应根据合同约定和实际情况，采取相应的措施维护自己的合法权益。如果需要法律帮助，建议咨询专业律师，为您提供更具体的法律建议和解决方案。