根据《中华人民共和国城乡规划法》规定，任何单位和个人都不得擅自改变建筑物的用途和布局。因此，在不违反城乡规划的前提下，您可以自行对房屋进行改造。 如果您认为自己的行为是合理的，并且没有违反相关法律法规，则可以继续进行改造工作。如果城管部门认为您的行为不符合相关规定，建议您与城管部门沟通协商，寻求解决问题的方法。同时，也可以考虑聘请专业的法律顾问协助处理此事。