根据《中华人民共和国渔业法》的规定，禁止任何单位和个人侵占、毁坏或者擅自移动河堤、水库等水利工程设施。因此，如果你需要清理自家鱼塘中的淤泥和杂物，应该通过合法途径进行处理，如与村委会协商并得到同意后，将其运送到指定地点处置，以避免触犯相关法律法规。 同时，在考虑是否采取行动之前，建议你先咨询专业的环保顾问或法律顾问，确保你的行为符合当地的法律规定，并且不会对环境造成负面影响。此外，也可以考虑使用一些环保技术来减少污染，例如采用湿式脱泥等方式，减少对周围环境的影响。