在这种情况下，要回房子的可能性取决于多个因素，包括婚姻财产的共同性、赠与行为的合法性以及赠与目的的实现情况等。 首先，根据婚姻法的相关规定，婚姻关系存续期间所得的财产，除非有约定，否则属于夫妻共同财产。如果男方在婚姻期间未经配偶同意，擅自使用夫妻共同财产为情人购房，这可能构成对配偶财产权的侵犯。 其次，如果男方的赠与行为是基于不正当关系，如出轨，那么这种赠与可能因违反公序良俗原则而无效。在这种情况下，原配偶可以主张赠与无效，要求返还财产。 再者，如果赠与行为是基于特定目的，比如维持与情人的关系，而现在情人已经与他人结婚，意味着赠与目的已经无法实现。原配偶可以基于目的落空，要求撤销赠与并返还房产。 最后，实际操作中，可能需要通过法律途径解决，比如提起民事诉讼，要求确认赠与无效或撤销赠与，并要求返还财产。这通常需要提供相应的证据，如房产购买记录、赠与行为的证据、婚姻状况证明等。 总之，要回房子的可能性存在，但需要依据具体情况和法律规定，通过法律程序来争取。建议咨询专业律师，获取详细的法律意见和帮助。