我是农村的，当年建房时，为了方便，我把后院一间房拆了给对方建房，对方把前院一间房拆了给我建，并签了协议。现我已拆了给对方建好房，而对方却一直拖着不给我建。这其中请村委会调和，对方拒不执行协议(已20年了)我该怎么办?