离婚四年了，作为孩子的父或母亲，想要回对子女的直接抚养权，可以起诉的。但是，是否能直接抚养子女，如果双方协商不成，得由人民法院根据子女的权益和双方的具体情况判决为准。 到对方户口所在地人民法院起诉解决，因为，依据法律规定，离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。