我和前男友分手好几年了，可是当时和他一起把钱给农村的他的父母盖房子和办理退休，分手的时候，因为他当时没有钱，所以没有让他还我，可如今我有经济困难了，他不肯还我了，说是那时候在一起的时候是我自愿的，还让他老婆来回绝我！他老婆还说，这个事情都过了这么久了，让我不要纠缠他们，这样的钱，还能要回来吗吗？