你好，我承包了一个60万的监控工程，中途让我干了这工程外的活，大概6万元的施工费，中途我垫付了两万元材料款，这些都是当时口头协议没有合同的。60万的工程款以付清，我怕老板不给补这些钱，就私自把老板开发票的回款拿了八万。现在老板让我必须给他补八万元钱，然后再算追加和垫付的。可是我这八万已经全部付工人工资了，没钱给他，他说我骗他开发票私自拿他钱，他要高我诈骗。请问我这属于诈骗么？我该怎么办？