我家邻居在政府已经拆迁的房屋（当地动迁换房只把房盖拆了就剩个房子的墙）改建要盖猪舍，我家地在已经拆迁的房子挨着因为他要盖猪舍我家地妨碍他，他在不做任何告知的情况下毁了我家大概半亩地地里种的粮食已经快成熟了，我们告到当地派出所，派出所只做了调解，调解了一次他拒绝赔偿派出所就推脱要我们去法院起诉，我们该怎么办只能起诉么，派出所推脱对么，我该怎么解决这件事