我们是失地农民，公家征用了我们的土地，然后给了我们一个自留地，但是当我们想去自留地上做房子就又要交钱给政府，一会这个单位要交钱，一会又那个单位要交钱，现在公安局又说我们非法买卖了集体土地，又要我们一家交十几万，感觉那就是个填补满的坑，请问我该怎么办