邻居盖房子要占了我家出去的路，我奶不同意。就和他家吵了起来，打了一架。他家趁机要了几万块钱。当时不在家，不知道我爷当时是害怕还是其他原因。尽然同意了，被他家讹了两三万，好像签了合同。钱已经给了。怎么办？起诉吗？