之前签合同时候交了定金，然后我们临时加了一个人住，那个合同里也没写必须几个人住，我们是整租，然后房东知道我们加了一个人，就想让我们加钱租房，我们一开始不同意，后来说了一堆，也同意了，但是他又让我们看看其他的房子，就是不想租给我们了。这样算谁违约？我们之前交的定金能退回来吗？