根据《中华人民共和国民法典》的规定，夫妻双方对共同财产的处理应当公平合理。在离婚协议中明确房产归女方和子女所有，并且男方享有居住权是合法的。因此，在这种情况下，男方仍然有权在约定的时间内使用该房产，但必须遵守相关法律规定，如不得损害他人的合法权益等。同时，为了保护双方的利益，建议在签订协议时详细列出各方的权利义务，以避免未来的纠纷。