二零一五年十月份，一个老板说有工程让我做，让我缴五万保证金，当时他说在浙江温州工地等我，我从四川老家过去看了工地，也签了一个协议，在我的坚持下答应先交二万，余下三万保证金进场再交，然后我回到家之后就打了二万在他卡上，只有转账记录，然后工地到现在也没开工，找他退钱就一拖再拖，请问他这种属于诈骗罪吗？