最好跟开发商都协商好，看如果贷款没有办下来的话，一旦你们想退房，是不是可以不用缴纳违约金。双方解除合同需要协商一致之后办理，您这种情况建议您向开发商提出，通常合同中对退房以及相关的违约责任等会有约定，如果有明确的约定的，即按合同中约定来处理，如果没有，就需要和开发商沟通协商，可能开发商会扣取部分违约金。