根据《中华人民共和国民法典》的规定，父母和子女的姓氏可以自由选择。因此，在您这种情况中，您的孩子可以根据自己的意愿来决定是否跟随您的姓氏。如果您希望孩子跟随母亲的姓氏，这是完全可行的，并且在法律上没有明确的限制或要求。您可以与配偶协商并达成一致意见，然后按照当地法律法规办理相关手续。