依据案件具体造成的损害程度决定。公安机关来认定。根据《中华人民共和国刑法》第234条中规定到：对故意伤害他人处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡的，处十年以上有期徒刑。在按照《人体轻伤鉴定标准》中规定到，如果构成轻伤的标准后，是要按照故意伤害罪进行处理的。因此在对双方打架是否要进行拘留是要对双方进行损害程度的认定的。故意伤害罪是指对他人进行身体上的损害，并且是非法进行的。在主观上来看是明知道这样的行为会对他人造成损伤，但是依然放任这样的情况发生的，就属于故意伤害罪了。