根据我国相关法律规定，夫妻在婚姻关系存续期间取得的财产属于共同共有。因此，在离婚时分割财产时应当按照各自的份额进行分配。如果你们已经达成协议并签订了书面协议，那么该协议应该得到认可和执行。 在这种情况下，你可以要求将你认为合适的部分房产归还给你。但是，请注意，这种请求需要基于你们之间的具体约定，并且需要遵循相应的法律程序，如法院诉讼等。 此外，关于孩子的抚养权和探视权的问题也需要考虑。如果您希望保留对孩子的抚养权或探视权，您可能需要与对方协商并达成一致意见。 总之，建议您在处理此类事务时寻求专业的法律帮助，以确保您的权益得到有效保护。