我以一建筑公司的名义承包一栋楼，分包給劳务队伍，合同履行到主体结束，由于工程款支付不及时，致使进度慢，甲方在没与我商量的情况下单方终止了合同，但劳务队伍没换，现在劳务工程款没给结清，为什么法院只判我一人承担责任