您好，我老公有外遇了，我提出离婚，他不同意，他说如果非要离婚的话，孩子现在小可以给我，但是如果我要再婚的话必须把孩子还给他，还叫我写进离婚协议里。我不同意，他说那就不离，可是我实在受不了了，我想问问我现在应该怎么做，孩子我是肯定不会给他的，因为他对孩子一点感情都没有，一天都没有带过，根本没尽过当父亲的责任。他说写进协议里的那个条件有法律效应吗？如果我不执行的话，算是违约吗？