根据中国相关法律规定，父母对子女有抚养教育的义务。如果一方不履行抚养义务，另一方有权要求对方承担相应的法律责任，包括支付抚养费用等。 在您提到的情况中，由于男方未能按照协议约定支付抚养费用或履行其他抚养义务，导致您和孩子的生活受到了影响。如果您认为孩子应当跟随父亲生活，那么您可以考虑采取法律手段维护自己的权益。 具体来说，您可以寻求家庭暴力或者遗弃儿童的法律救济。在中国，对于这类情况，法院可能会判决变更监护权或者解除抚养关系，并且可能会要求被告支付一定数额的抚养费用。此外，您也可以考虑聘请专业的法律顾问帮助处理此事，以确保您的合法权益得到保护。 请注意，上述建议基于一般情况下的法律适用原则，具体情况可能需要结合实际情况进行分析和决策。因此，在处理此类案件时，建议您及时咨询专业的律师，以便获得更准确和具体的指导。