在处理涉及家庭成员之间财产分割和抚养权的问题时，通常需要遵循公正、公平的原则。如果法院已经判决女方返还男方4万元的彩礼，并且该判决已经被法院执行，那么男方应该按照判决支付相应的款项。 然而，在这种情况下，如果男方拒绝履行抚养费的义务，可能会导致一系列法律后果。首先，男方可能面临被法院强制执行的情况，这意味着他将被迫支付抚养费。其次，如果女方决定向法院提起诉讼，男方可能面临着更多的法律风险和责任。 因此，建议男方尽快与女方进行沟通，讨论如何解决这个问题。如果双方无法达成一致，女方可以考虑通过法律途径来维护自己的权益。同时，男方也应该积极寻找解决问题的方法，避免因为疏忽而引发不必要的纠纷。