首先，您需要收集并保存好与老板之间的所有往来记录和证据，包括但不限于合同、支付凭证、通话录音等。其次，您可以向当地劳动监察大队或者人力资源和社会保障局举报该情况，由相关部门进行调查处理。此外，如果情况严重，甚至可能涉及到诈骗行为，建议及时报警。在解决过程中，一定要保持冷静，避免情绪激动，以免造成更大的损失。