根据法律规定，离婚后一方的财产可以作为夫妻共同财产进行分割。在您的情况下，如果离婚协议中明确约定房屋归双方共同所有，那么该房屋应该被视为夫妻共同财产。因此，您有权要求将该房产视为自己的个人财产，并要求父亲退还。 此外，如果您愿意放弃对房产的所有权，您可以选择签署一份放弃房产所有权的文件。但是，在这种情况下，您可能需要支付一定的补偿金来确保父亲能够负担得起孩子的抚养费用。 最后，请注意，您可以在起诉前与对方协商解决这个问题，或者寻求专业的法律帮助以保护您的权益。