如果只是民事责任，则先动手的人当然是承担主要责任。至于怎么样的归责，或者是责任的分配，要看相关部门对事件的调查，看谁该承担多少。但如果是先动手的人受伤严重达到轻伤以上程度，则需要承担刑事责任（故意伤害罪），这时候，被伤害方先动手打人是其过错，法院对打人者量刑时会考虑该情节对打人者从轻处理。