在离婚时，双方应当就子女的抚养权、共同财产的分割等问题进行协商。如果你们已经达成协议并履行了相应的义务，那么根据法律规定，您有权要求对方按照协议约定退还房产。但是，在这种情况下，您需要证明您的确有合理理由无法及时搬出该房产，并且需要提供相关证据支持您的主张。 另外，如果您确实需要继续居住在该房产内以照顾孩子或处理孩子的日常事务，您可以考虑通过与男方沟通，提出具体的诉求，比如延长租期或者寻找其他解决方案等。但请注意，这都需要您能够证明自己确实存在必要的理由无法及时搬出该房产。 最后，请务必注意，任何行为都应在合法合规的前提下进行，避免可能带来的法律风险。建议您寻求专业的法律帮助，以便更好地维护自己的合法权益。