因我家有一块地在他家门，离我家较远而对方想出不合理的价格，想要买了那块地，但因价格不合理，我家没卖。现在我家盖房不影响他人家，他却在我家建房的工地上闹事，请问这算违法行为吗？会负什么样的法律后果？