我之前服务过一家公司，雇佣关系结束后，由于财务的疏忽，给我停了社保，却没有停缴税，导致几年后我申请公租房的时候被经济核查办从税局那边查出我的收入与我自己申报的收入不相符，因此造成了一些影响和损失，我能通过法律手段讨会我的损失吗？，这样做麻烦吗？