根据我国婚姻法的规定，婚后由一方父母出资购买的不动产，产权登记在出资人子女名下的，视为只对自己子女一方的赠与，该不动产应认定为夫妻一方的个人财产。因此，在您所描述的情况下，除非有其他证据证明该房产是你们共同出资或共有，则首付部分可能被视为女方的个人财产。但是，具体的处理还需要结合实际情况和相关法律规定进行详细分析。建议您咨询专业的律师以获取更准确的法律意见。