请问我是外地的在上海买了一套二手集资房，就在前几天我们去中介挂牌了，后来中介就带人来看房，要买，于是我们也就打算卖了，和买家签了合同收了2万元定金，当时我们买房的时候买卖合同上写的我们夫妻名字，卖房的时候就我老公一个人签的：我没签，但是由于我们回老家现在没有社保也不能买房，所以我们不打算卖了，对方要我们返还4万元，我们不同意，对方如果打官司的话我们会要给对方4万吗