根据我国法律规定，对于子女的抚养权归属，法院会考虑双方的具体情况。如果你们两个在婚姻期间共同抚养孩子，且双方都愿意继续共同抚养孩子的，那么法院一般不会判决一方单独承担抚养费的责任。然而，如果一方不愿意继续共同抚养孩子或者有其他不可抗力的原因无法继续共同抚养孩子，那么法院可能会支持另一方的请求。 在这种情况下，建议你先与你的丈夫进行沟通，了解他的具体诉求和理由，并尝试找到解决问题的方法。如果你们仍然无法达成一致，可以考虑寻求法律援助，通过诉讼的方式来解决这个问题。同时，也可以考虑聘请专业的家庭咨询师或调解员来帮助你们解决矛盾，寻找一种更加和谐的生活方式。