如果孩子的抚养权归您所有，并且协议中明确表示不允许对方抚养孩子，那么您有权拒绝对方的要求。您可以要求法院判决对方支付必要的抚养费用，包括但不限于生活费、教育费等。 此外，如果您认为对方的行为对孩子的成长不利，比如频繁更换居住地或者对孩子进行限制性措施，也可以向法院申请变更抚养权或探视权。在任何情况下，确保孩子得到适当的照顾和关爱是最重要的。