您好！根据您描述的情况，您有权要求对方遵守协议中的约定。如果您认为对方未履行协议中关于“随时探望孩子的义务”，您可以考虑通过诉讼途径解决纠纷。在提起诉讼之前，建议您详细了解相关法律规定和证据收集技巧，以确保您的权益得到充分保障。同时，也可以考虑寻求律师的帮助来处理这一问题。