在双方已达成离婚协议并就孩子的抚养权做出了约定的情况下，如果女方想要求回孩子，通常情况下需要重新协商或者通过法院的判决来解决。由于您提到男方为残疾人士，这种情况下，法院可能会考虑到残疾人的特殊需求和困难，可能倾向于支持女方的要求。 然而，在处理这类案件时，重要的是尊重各方的权利和利益，并且确保整个过程中的公正性和合法性。如果您或您的家人遇到类似的情况，请考虑寻求专业的法律帮助以获得更好的解决方案。