根据您描述的情况，您与老板之间的债务纠纷可能涉及不当得利或合同违约等问题。建议您及时收集相关证据，如书面协议、录音录像等，并向有关机构投诉或提起诉讼以维护自己的权益。同时，也要谨慎处理款项的支付，避免因错误操作而造成损失。在处理此类争议时，请务必寻求专业的法律意见和帮助。