侵占罪是指以非法占有为目的，将他人财物非法占为己有，数额较大或者多次盗窃的行为。在您的情况下，如果对方已经投资建厂使用了资金，那么可能涉嫌诈骗行为。 根据《中华人民共和国刑法》第266条的规定，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。因此，如果对方已经投资建厂使用了资金，您应该收集证据证明自己是合法持有这些资金，同时要考虑到对方的投资是否合理和合法。 建议您尽快与对方协商解决，必要时可以向公安机关报案，由警方进行调查处理。同时，也可以考虑聘请律师帮助您维护合法权益。