51人委托一个人去厂家商讨赔偿事宜，最后厂家同意赔偿30万元。但最终被委托人把中间这30万非法侵占了。现在这51人中只有4个人愿意去法院起诉，不当得利，要求被委托人退还。请问法院会以4个人对这30万，无法分配或者事实不清为由，判决败诉吗