根据我国相关法律规定，夫妻在婚姻关系存续期间所取得的财产属于共同财产。因此，在离婚时，如果一方主张对方归还借款，应当提供相应的证据证明该借款是用于家庭生活需要或者双方约定为个人债务等事实。同时，由于房屋是双方共同购买的，且房产证上也标注了“共同所有”，所以离婚时对于房屋分割也有一定限制，通常情况下，房产会按照比例进行分割，并不会全部归一方所有。具体到您的情况，建议您可以向法院提起诉讼，通过合法途径解决争议。