根据《中华人民共和国城乡规划法》的规定，任何单位和个人不得占用乡村规划区内的土地进行非农业建设。因此，如果村委会将集体所有的土地用于建设工厂，那么该行为违反了城乡规划法的相关规定。 此外，根据《中华人民共和国建筑法》和《中华人民共和国城乡规划法》的规定，任何单位和个人在建造房屋前，应当依法申请建设工程规划许可证，并按照许可的内容进行施工。否则，将可能构成违法行为。 综上所述，村委会将集体所有的土地用于建设工厂的行为是不合法的，同时也违反了相关法律法规。建议村委会遵守法律规定，及时整改并取得必要的审批手续。同时，也应避免在未经批准的情况下擅自进行建筑物的建造活动。