《中华人民共和国行政诉讼法》第二十五条规定。“公民、法人或者其他组织直接向人民法院提起诉讼的，作出具体行政行为的行政机关是被告。”因此，如果村民认为乡政府的行为侵犯了其合法权益，应当以乡政府为被告提起行政诉讼。根据法律规定，乡政府应当在收到起诉状副本之日起15日内提出答辩状，并提交有关证据和材料。 在这一过程中，如果乡政府拒绝接受或拖延答复，或者没有提供任何理由和依据，这可能被视为一种违法行为。在这种情况下，村民可以考虑通过法律途径寻求救济，例如申请行政复议或者直接向法院提起诉讼。同时，村民也可以向有关部门反映情况，督促乡政府履行职责，保护自己的合法权益不受侵害。