如果购房人是善意的话，且是以合理价格取得房屋的话，是不能以不知道为由，要回房产的。

夫妻双方对于共同财产有平等的占有、使用、收益和处分的权利。原则上，夫妻处置共有财产，应当平等协商，取得一致意见，任何一方不能对夫妻共同财产擅自进行处置尤其是重大处置。但是如果夫妻一方私下出卖共同财产时，而购买人是善意的，也就是购买人有理由相信该出卖行为是夫妻共同的行为，且价格合理并办理了产权登记手续的，购买人是无需返还的。但是，由于一方擅自处分共同财产的行为，已经给另一方造成损失的，另一方可在离婚时请求赔偿损失。    

法律依据：

《中华人民共和国婚姻法婚姻法》第十七条第二款 ；

夫妻对共同所有的财产，有平等处理权。 ；

最高人民法院《关于适用〈中华人民共和国婚姻法〉若干问题的解释（一）》第十七条  ； ；

（一）夫或妻在处理夫妻共同财产上的权利是平等的。因日常生活需要而处理夫妻共同财产的，任何一方均有权决定。 ；

（二）夫或妻非因日常生活需要对夫妻共同财产做重要处理决定，夫妻双方应当平等协商，取得一致意见。他人有理由相信其为夫妻共同意思表示的，另一方不得以不同意或不知情为由对抗善意第三人。 ；

最高人民法院《关于适用〈中华人民共和国婚姻法〉若干问题的解释（三）》第十一条 ；

一方未经另一方同意出售夫妻共同共有的房屋，第三人善意购买、支付合理对价并办理产权登记手续，另一方主张追回该房屋的，人民法院不予支持。夫妻一方擅自处分共同共有的房屋造成另一方损失，离婚时另一方请求赔偿损失的，人民法院应予支持。