首先，根据您提供的信息，双方已经离婚并就子女抚养权达成了一致意见。关于房屋所有权的问题，由于男方已婚且有子女，他作为产权人享有房屋的所有权。然而，在处理此类争议时，需要考虑多个因素，包括但不限于家庭成员之间的关系、子女抚养情况等。 至于是否能够要求返还财产或部分财产，这取决于具体情况。如果离婚协议中明确约定了财产分割，并且符合法律规定，则可能有权要求相应比例的财产。但需要注意的是，即使协议中没有明确规定，也应尽量寻找其他证据来支持您的主张。 对于房产的管理，通常情况下，未成年人的监护人（如父母）有权利代为保管他们的财产。因此，如果女方母亲想要代管房产，她应当向法院提出申请，并提供相关证明材料，以证明其合法地位和理由。 最终，建议您与法律顾问详细讨论这些具体细节，并寻求专业的法律建议。