我在不清楚的情况下对方说周围邻居签字了就我这家没签字然后他执笔写了个协议让我同意修建然后我签了字按了手印协议内容就是让我同意他修建，离刘某家墙3.4米弄坏了刘某墙修补好。这个协议我不同意了会负法律责任吗？吕某留的3.2米并且损害了刘某家墙。还有他们家是私自修建这种弄坏我们家房子。我们可以告他什么罪