根据《中华人民共和国土地管理法》的相关规定，承包人有权在合同规定的范围内进行生产经营活动，并可以依法转让或出租其承包地使用权。如果承包人在与花卉公司的租赁协议中明确约定不得用于其他用途，则花卉公司在地上建设宿舍的行为可能侵犯了承包人的合法权益。因此，承包人有权要求花卉公司停止在其承包地上建设宿舍，并恢复原状。此外，承包人还可以向法院提起诉讼，请求解除租赁协议并获得赔偿。最终的处理结果将取决于具体的事实和法律规定。建议承包人及时采取措施保护自己的权益。