男方拿东西砸我和4个月的孩子，我们协议离婚，大儿子六周岁跟男方，小儿子4个月跟女方，没有要求抚养费，现在发现原来在女方生孩子前，男方已背叛女方，和别女人在来往，现在想要求男方给小儿子抚养费到6周岁，因为大儿子是女方照顾到6周岁才离婚的，这样可以吗？