根据《中华人民共和国劳动法》规定，劳动者有义务遵守劳动纪律和职业道德。如果生产员工不参加公司的搬运工作，可能会被视为违反了劳动纪律或职业道德，这可能会影响其与公司的关系，并可能导致被公司解雇或其他不利后果。 然而，在实际操作中，具体是否需要对不参与搬运的员工进行处罚，以及如何处理这样的情况，通常取决于公司的政策和当地法律法规。建议您直接联系您的雇主以获取更准确的信息。