去年从厂家买材料公户没钱，我们用私户给厂老板打钱。后来公户钱到账以后，厂里把发票开出来，我们公户给厂里转钱。现在让他把私户钱退给我，也退了一部分。还剩下5万块钱迟迟不退。我可以去法院起诉他吗？