在我老公几个月的时候他的妈妈就离开这个家出去打工，一直都是我老公的爸爸抚养他长大成人。直到我老公20岁结婚前他妈妈才回来，以前回来过几次，但都是不长住，她自己挣的钱没给过家里，我俩结婚的时候给了我老公三四万块钱用。现在我俩结婚已有一女，他妈妈精神有点不太正常，经常与我们吵闹，还经常会说让我老公把那几万块还给她，不然就法庭见。我老公的妈妈户口不在这边，也就是与我老公的爸爸没有实质性的婚姻关系。我老公有义务赡养他妈妈吗？有必要还给她钱吗？