我和男友，认识几年他结过两次婚两小孩，和他认识第二年时他说想换大卡车二手的他想贷款，在我面前说这哪的，我的可以带三万，他的只能带1.5后来贷了，贷了正好可以直接拿到我去银行取钱把钱给他了！他说先给两万现金给老板其他现金备用修车！让后厂里工资扣一万！因为在一起，他也一直还贷，后来我觉得他对我别有用心我就走了，现在他拿这威胁我不还了！我也没办法证明这钱给他了！还有他的侦查能力很强！我该怎么办？