根据我国相关法律规定，户外广告的设置应当经城市规划部门批准，并符合有关技术标准和安全要求。如果在室内窗户上安装广告灯属于违法行为，可能需要遵守相关的法律法规。 城管部门是否有权管理这个问题取决于具体的城市法规和规章。一般来说，城市管理机构负责对城市公共设施进行监管，包括但不限于户外广告的设置。但是，具体的管理和处罚措施应由相应的法规来规定。 如果您遇到此类情况，建议您查阅当地的法规或向当地的城市管理机构咨询，以获取更准确的信息和指导。同时，也要注意保护自己的合法权益不受侵犯。