我是男方，结婚的时候我家拿了18万出来结婚，给他们家买了各种东西作为聘礼。现在婚后我要拿这笔钱买房，女方不同意，如果离婚，这笔钱会怎么处理？这笔钱目前在男方这里，之前女方有主动把银行卡和密码告诉我。