我们的离婚协议书，签的楼房归女方所有，房钱是我们男方出了三分之二，女方出了三分之一，这个协议已经签了两年了，女方正在卖楼，而且我们离婚时，双方的父母都不知情，我有权利要回我们男方出的买房钱吗？