我是建档立卡户，大队通知我们养上三头猪说给我们打三千元，我在外打工没法养，老婆供娃娃上学。结果上面查开了就叫我们在谁家养猪就到跟前照个相给他们发过去，给我们打了三千元，这是一七年的事，可到一八年乡政府说这是违规发方的原把这钱要去了，可是和我们一样的人家没有上交这笔钱，而又在我的扶贫手册上填写的这三千元，除过这三千元，还有上面填写的五千多元不复请教一下我们该怎么办？