我谈了一个对象，当时他说他已经离婚了，我们在一起了，前段时间他给我付了首付10万元买了一套房，昨天才发现他并没有离婚，，如果现在跟他分手，他要向我索要他所给我花的钱，我想请问，在法律上，我应该归还他吗？