我和老公意外怀孕结婚，他家里拿了10万本来是要给我，因为我妈说不要彩礼，就说给我孩子和我的费用，我想着让我爸放着，我要得时候再跟他要，他当时也说好，现在我要钱却非常困难，因为我两也没有经济收入，他家里条件也差，我家条件好，请问应该要这钱吗？应该怎么办？