房屋卖买合同协议签定后，我为履行合同协议而将室内物品物品扔掉，现在对方反悔不买了，对方把我起诉到法院，法院调节时并没化分违约责任，让我以把定金退回五分之一，我以退回，请问我可以起诉到要求被告赔偿吗？