你好，我有叫律师写了一份离婚协议，我老公也签了，手印也印了，但是现在他却说是我比他签的，那么这份协议还有效吗？我该怎么做才能让他没有孩子的抚养权，是他出轨在先，开始是每天都凌晨两三点才回来，现在干脆直接搬出去，两个孩子不管有没有生病一直以来都是我在照顾，他都是不管的，整天说他工作，应酬，没空，忙，我现在应该要怎么做？