一般理解是没有抚养义务，但因你作为孩子的继父，则有抚养义务，如果不想抚养，那么可能需要考虑解除婚姻关系。

孩子与父母的之间的关系，是基于血缘关系产生的。根据我国目前的法律规定，非婚生子女享有与婚生子女同等的权利，其中即包括要求父母支付抚养费的权利。所以，即使是婚外情所生的子女，血缘上有亲属关系的父亲(即男方)任然有抚养义务。