根据《中华人民共和国土地管理法》的规定，农民在自己合法拥有的土地上建设简易羊舍饲养奶山羊的行为不属于违法行为。然而，您需要确保该行为不违反其他相关法律法规，如环境保护法规或食品安全规定。 此外，如果您认为您的土地证上注明可以种植和养殖，那么您可能有权利保留这些设施，并继续从事相应的活动。但是，这取决于当地的具体法律规定和实际情况。建议您联系当地的政府部门或法律顾问以获取更详细的信息和建议。