婚内男方给女方转账做试管婴儿的钱，在检查过程中发现有其他的病灶，拿了转账的钱治病花销了，男方在婚姻存续期间一直跟前妻居住在一起，对合法妻子不管不问，现在离婚了，男方要求转账的四万全部返还，这种情况应该返还吗？