根据中国相关法律规定，父母对子女的抚养义务是不可剥夺的。如果双方协商一致，可以协议确定孩子的抚养权归属；如果没有达成协议，则通常会由法院判决。 如果您认为对方的行为违反了法律或道德准则，并且造成了您的困扰和不便，您可以向当地人民法院提起诉讼，请求确认孩子的抚养权归属并要求对方遵守约定的时间安排。同时，您也可以考虑寻求法律援助以维护自己的权益。 请注意，上述信息仅供参考，具体情况可能因地区差异而有所不同。建议您咨询专业的法律顾问，以便获得更准确的法律意见。