根据我国相关法律规定，如果您的丈夫在外有外遇并因此与您离婚，且在协议离婚时同意将子女归您抚养，则该协议应当是合法有效的。然而，在实际操作中，由于情况复杂多变，建议您在处理此类案件时，首先应当咨询专业的法律顾问或律师，以获取更准确的法律意见和指导。 对于是否能够通过诉讼手段要求对方返还孩子给您，这需要结合具体案情进行分析。一般来说，法院会综合考虑多个因素来判断是否有权获得孩子的监护权或者探视权。这些因素可能包括但不限于孩子的年龄、健康状况、生活环境等。此外，考虑到双方的情况和利益平衡，以及对未成年子女成长的影响，法院可能会倾向于保护未成年子女的利益，而非直接强制执行某一方的要求。 最终能否获得孩子的监护权或探视权，取决于具体的证据支持和法庭的裁决。如果您认为自己的条件更适合抚养孩子，并且希望获得孩子的监护权，那么可以在诉讼过程中提交相应的证据材料证明这一点。同时，也需要确保自身有足够的经济能力来承担抚养孩子的责任。 请记住，任何涉及未成年人权益的问题都应谨慎对待，特别是在涉及到家庭纠纷的情况下，更应该寻求专业人士的帮助。祝您一切顺利！