在您描述的情况下，如果您是孩子的法定监护人，并且该房产属于您的财产，则您有权要求对方返还赠与行为。但是，在这种情况下，如果赠与行为发生在夫妻关系期间，即在婚姻存续期间，那么该赠与行为可能被认定为夫妻共同财产的一部分。 在这种情况下，孩子可能会被视为该赠与行为的一部分受益人，因此，即使赠与行为是由前夫做出的，也有可能导致相关财产的归属变得复杂。在这种情况下，建议您尽快咨询专业的法律人士以获得更详细的法律意见和指导。