俺老家门前空地自己掏钱想做地面硬化，起初东边邻居不愿意，经过乡派出所，大队协调后签有协议，硬化后还是属于公用的，但是硬化后西边邻居又不愿意，非说俺占他地了，门前最早是个垃圾坑，后来慢慢填平了，跟他家院子还隔十几米呢，中间他还种的有树，现在就是蛮不讲理非要说占他一点儿地了，派出所出警了六次，大队也一直在协调，现在地面已经硬化过了，还是不依不饶，又闹到国土局，昨天有工作人员来下发个文件让整改，想问下，这种情况俺如果坚持不动，会受到行政处罚吗？