我和前夫没有结婚证酒席情况下，生下了儿子，在孩子一岁时，我离开了，当时孩子也放在了我妈家，到孩子去年被他爸爸要回去，孩子走后我就再婚，生一个女儿，但是孩子爸爸今年得了癌症，生前和我联系说孩子让我放心他弟弟和小姑他们会照顾好，他死后我还给他弟弟和小姑孩子生活费，今年过年去时说好的孩子接我妈家一起过个年。我送孩子过去时还是照样给了生活费，但是现在他们就让我自己带走。说他们不管了。我现在公婆又不肯接受，说我带回去要不然和老公带着我现在女儿出去住，要不然就离婚，我们都是打工的，我和老公带两个孩子他一个上班，根本不行。我想问问要是打官司孩子必须跟我吗？