在处理家庭纠纷时，重要的是要基于事实和法律依据来做出决定。根据您提供的信息，双方都有一定的问题，但目前缺乏足够的证据证明男方确实存在家暴行为、酗酒或赌博。然而，在这种情况下，考虑孩子的最佳利益是至关重要的。 如果孩子是法定监护人，并且他们希望保留对子女的抚养权，那么法院可能会倾向于支持他们的主张。在这种情况下，孩子是否愿意与母亲一起生活是一个重要因素。通常情况下，孩子们更倾向于留在父母一方身边，除非有充分的理由表明他们应该被置于另一方的照顾之下。 因此，尽管没有确凿的证据显示男方存在严重的问题，考虑到孩子的需要以及双方的实际情况，最终的判决可能会偏向于女方。但是，请注意，这仅是一个基本概述，具体的情况需要由专业的法律顾问进行详细的分析和判断。