根据您提供的情况，您与前配偶通过协议离婚，并且有公证的协议书，其中约定您的房产份额作为孩子的抚养费。如果对方现在既不退还抚养费，也不支付抚养费，您可以采取以下措施： 1. **沟通协商**：首先尝试与前配偶进行沟通，看是否能够达成新的共识或解决当前的争议。 2. **法律途径**：如果协商无效，您可以依据公证的离婚协议书，向法院提起诉讼，要求对方履行协议中的抚养费支付义务。同时，您可以要求法院确认您对房产的份额，并要求对方按照协议执行。 3. **抚养权变更**：如果对方不履行抚养义务，您可以申请变更孩子的抚养权，要求法院判决孩子由您抚养，并要求对方支付相应的抚养费。 4. **财产分割**：如果对方拒绝支付抚养费，您也可以要求法院对房产进行分割，将您的份额变现，用于孩子的抚养。 5. **强制执行**：如果法院判决对方支付抚养费或分割财产，对方仍不履行，您可以申请法院强制执行。 请注意，具体操作需要根据当地法律和司法实践进行，建议咨询专业律师以获得更准确的法律指导。