根据《中华人民共和国农村土地承包法》第二十六条规定，任何组织和个人不得以任何理由侵占集体所有的土地或者个人所有的土地。因此，如果农民自愿放弃承包权并同意将土地交由他人耕种，该行为是合法的。然而，在这种情况下，如果土地被占用或破坏，应当依法恢复原状，并给予相应的赔偿。 在您的案例中，虽然您已经与村委会签订了协议，但没有明确表示您有权使用这块土地进行农业活动或其他用途。如果您认为自己的权益受到了损害，建议及时向当地人民政府或相关部门反映情况，寻求解决办法。同时，也可以考虑通过法律途径维护自己的合法权益。