根据《中华人民共和国民法典》第36条的规定，父母对子女有抚养教育的义务，不直接抚养非婚生子女的一方应当负担必要的生活费和教育费的一部分或全部。因此，在没有其他法律规定的情况下，您有权单独抚养您的孩子，并且在必要时可以将孩子带到外婆家。 如果您的行为违反了相关法律法规或者侵犯到了孩子的合法权益，您可以考虑通过法律途径解决。但是请注意，任何非法的行为都是不可取的，建议您在处理此类事务时遵守相关法律法规，同时保护好自己的权益。