我和一个人合伙做生意，没写合同。对方投资了5万多然后一幅机器（新的大概5、6万左右）现在亏了大概20万左右。对方现在不认账，然后厂房是我自己租的，租金是我一个人垫付的。租厂房的合同也是我自己的名字。那厂房里的东西我可以不给他一点吗？（意思把他机器扣下来）