在您和您的丈夫就孩子的抚养权达成协议的情况下，如果一方要求改变探视权的安排，应当根据双方的具体情况协商解决。通常情况下，法院会优先考虑维护儿童的最大利益，并且会根据实际情况来决定如何分配探视时间和地点。如果您认为对方的行为侵犯了您的探视权，您可以向法院提出申请，请求变更或解除协议中的相关条款。同时，也可以寻求法律帮助，以确保您的权益得到保护。