根据法律规定，遗产继承应当遵循法定继承原则。对于您父亲留下的二十四万元存款，首先应由您的母亲作为第一顺序的法定继承人进行继承。其次，由于您父亲生前曾口头表示将十二万元用于盖房，因此这部分款项也应当作为您的母亲的遗产的一部分。 至于您的大哥和二哥是否需要参与分割这笔钱的问题，取决于他们是否同意参与。如果他们不愿意参与或不同意，那么这笔钱可能不会被分配给任何人。在这种情况下，您可以考虑向法院申请强制执行，以确保您的母亲能够得到应有的遗产份额。 总之，在处理此类遗产继承问题时，建议您与您的家人进行协商，并寻求专业的法律意见。同时，也要注意保护自己的合法权益，避免因不恰当的行为而引发不必要的纠纷。