您好，我在武汉永丰清华园买房，（订房交首付期间销售员没说也没提我买房注意事项没收集资料看我能不能具备贷款条件）首付八万，后来征信问题没贷成，其他本地银行可以跟我贷，永丰不同意，他指定的银行说可以已我老婆的名义贷也不同意，现在我五月内付清全款都不愿意，要我退房，扣我违约金一万二，应为贷款没贷下来违约了，三月十七付首付，三月二十八通知没带下来，到现在，，永丰这样做合法吗，我该付违约金吗