根据我国法律规定，结婚应当具备一定的条件，其中法定结婚年龄是男不得早于二十二周岁，女不得早于二十周岁。如果双方没有达到法定结婚年龄，那么他们之间的婚姻关系就属于无效或者可撤销的婚姻。 在这种情况下，女方有权要求返还彩礼，并且可以主张损害赔偿。至于男方是否需要承担责任，这主要取决于他在与女方交往过程中是否有过错行为，例如是否存在不正当的行为导致双方感情破裂等。如果存在这些情况，男方可能需要承担相应的法律责任。