无合伙协议，一起经营3年，一方出资，一方出力。口头约定利益平分，中途我本人因事故坐牢一年，未参与经营，出狱回来后双方出现破裂关系，厂内一切事物不予我参与，跟我说让他独自经营两年不让我参与，两年后让我出他投资的40万给他，厂子所有归属归我。我本人感觉这事不合理，凭什么我让他独自经营两年然后我出钱给他所有投资钱款。请问我该怎么办！