小孩今年13岁了，一直在女方家长大，女方跟父母一起扶养，男方也会分担一点的，户口也在女方家。现在女方跟男方离婚了，男方要把孩子带走，户口也要迁回老家，小孩也愿意跟男方走。女方家扶养了这么多年，男方家该不该给损失费？