在处理此类案件中，关键在于了解具体情况。如果您的建筑项目已经合法取得土地使用权，并且在使用过程中依法依规进行管理，则不应认为该行为违法。 然而，如果这些废弃的粘土属于国家禁止开采的资源（如石灰岩），或者您未按照规定程序获得开采矿产资源的许可，则可能违反相关法律法规。此外，如果这些废土对环境造成了污染或破坏性影响，也可能构成违法行为。 因此，建议您详细检查所涉及的土地使用情况和矿产资源管理规定，确保符合相关规定。同时，您可以考虑与当地的环境保护部门沟通，获取更专业的意见。在任何情况下，都应遵守相关的法律规定，避免因不当行为导致的法律责任。