我于2014年春在自己家可耕地违法建房，刚打完地基就被传到土管所立案并进行了行政处罚我交过罚款和土地占用费，让我回家再建没有人再找我的事了，还可以补办手续。可过五年土管所长换个新人，到我家来说我家的房子被卫星拍照了，要拆除我的房子除非拿钱摆平。请问这样是不是第二次行政处罚，这样合法吗？我该怎么办？