根据我国相关法律规定，如果夫妻双方在婚姻关系存续期间共同取得的财产为夫妻共同财产。因此，在没有明确约定的情况下，男方姑姑所借给女方的20万元应当视为夫妻共同财产。但需要注意的是，具体的处理方式还需要结合具体案件情况和法律法规进行分析。建议您与专业的法律顾问进行详细咨询。