一户农名承包我家农田五年，到现在已经两年了，在农种季节之前他就不承包了，但他却在我家农田盖了房子，现在刚好是农种季节，他却不把他盖的房子拆除，耽误我家种地，他要求我家把他盖在我家地里的房子买了，我家看在是乡里乡亲的份上，愿意少拿个钱买了，但是他却要求我们拿很多钱，并且他还说要告我家，我想请问律师这件事用法律该怎么解决