您的情况可能涉及到复杂的法律关系和纠纷。在考虑是否要回房产时，请务必咨询专业的房地产律师或法律顾问。 首先，您有权要求对方归还房产。根据我国法律规定，房屋属于夫妻共同财产，在婚姻存续期间由双方共有。如果您是该房产的唯一所有权人，并且已经将房产赠与他人，那么您有权要求对方归还房产。 其次，关于您弟弟的行为，如果他是出于善意并基于诚实信用原则而接受了房产的赠与，则您可以要求其返还。然而，如果他是恶意骗取或者以其他非法手段获得房产，则您可能无法主张权利。 最后，关于小楼的问题，如果该小楼是在赠与过程中附带赠送的，则可以视为赠与的一部分，您可以要求对方返还。但如果没有明确约定，那么这可能需要通过诉讼等方式来解决。 请注意，以上建议仅供参考，具体情况需根据当地法律法规以及合同条款进行分析。在决定行动前，建议您咨询专业人士的意见。