律师你好，我在新修的菜场路边建了房，当时为了扩宽路我的土地和对方土都占用了一部分。现在已是路了。可是对方强势，应说路全是他家的土地让出来的。经当地政府协商解决无效第1次对方要我5万以上才能解决问题。可第2次政府再次解决，对方不要钱，就是想方设法阻止我的建房，甚至在我的门前，私设摊位租给别人摆摊。有意阻挡我房子建成没有路出入，并且多次辱骂威胁。请问一下律师，这样的事情我该怎么办？