春节期间去看房子，调了购房意向书，购房意向书是写五月一号回去签合同，五一回去的时候，发现房子的设计没有按前面看房时候的广告来建筑，不能解决，所以生气后就没有签合同。他们也没有提，我是有交五万的定金。他们会不会拿这个生事？