根据我国相关法律规定，子女应当随父或者母抚养。在夫妻双方协商一致的情况下，孩子可以跟随一方生活，另一方则需要支付相应的抚养费。如果一方不履行抚养义务，可能会影响到孩子的权益保护。 至于您提到的“如果不养父亲”，这涉及到法律责任的问题。如果子女确实不履行对父亲的抚养义务，可能会导致其行为构成犯罪，具体而言是遗弃罪。遗弃罪是指以抛弃的态度对待自己的父母或其他亲属的行为。这种行为违反了家庭伦理和社会道德，严重者可能导致刑事责任的追究。 因此，在处理此类案件时，应该依据法律法规进行判断和处理，并确保公正合理地维护各方利益。同时，也需要加强家庭教育，引导子女树立正确的家庭观念和责任意识，避免类似情况的发生。