我在中介公司签订了一份二手房购房合同，我是买家，当时卖方在没有委托书的情况下跟我签订合同（房产证上跟卖家不是同一人）后来过了两个月补办了委托书。现在那房子我不买了，对方说我违约要违约金，我是否可以认为当时在没有委托书的情况下，卖家跟我签订的合同我是否可以方面解除合同