根据我国《民法典》规定，父母对子女有抚养教育的义务。因此，即使在离婚时，父母双方都有抚养孩子的责任和义务。如果一方不愿意继续履行抚养义务，另一方可以向法院申请变更抚养关系或者直接提起诉讼要求变更抚养权。需要注意的是，在处理此类案件时，应当充分考虑孩子的利益，并尽可能地保护其合法权益。同时，也应考虑到双方的具体情况和实际情况，寻求公平合理的解决方案。