在婚姻关系中，彩礼是双方家庭之间的一种习俗，通常会涉及一定的经济赠予。您提到的情况中，您已经支付了彩礼，并且在购买房屋时也使用了这些款项的一部分。根据中国的法律规定和司法实践，如果男方没有过错，彩礼属于个人财产，在离婚时应归还给男方。 然而，您提到的5万元是女方从您的彩礼中拿走的部分，这部分金额是否应该归还给女方，需要结合具体情况来判断。首先，这5万元是否属于婚前个人财产？其次，这笔资金是否用于了共同生活或为夫妻共同利益而支出？ 如果您认为这5万元属于自己的财产，那么它应该作为您的个人财产被返还给您；但如果这5万元是在婚姻关系存续期间用于共同生活的，或者是为了满足家庭共同需求，则可能属于共同财产范围，需要由双方协商决定如何处理。 最终的判决结果将取决于具体的证据和事实情况，建议咨询专业的法律人士以获得更准确的法律意见。同时，请注意保护好相关证据材料，以便将来解决问题时能够提供有力的支持。