作为专业的法律顾问，我必须提醒您，关于是否需要承担法律责任的问题，应该由专业律师进行详细分析和解答。通常情况下，在中国法律规定下，如果您没有参与导致婚姻关系破裂的决定，如协议离婚或诉讼离婚等，并且在协议中明确表示不希望孩子跟随父亲生活，则您的责任较为轻微。 然而，如果您的行为违反了相关法律法规，例如遗弃、虐待儿童等行为，可能会构成犯罪，从而可能面临刑事处罚。此外，您也可能面临民事赔偿责任，包括经济补偿、精神损害抚慰金等。 因此，建议您寻求专业律师的帮助，以便获得更准确的信息和指导。同时，请记住，任何涉及到家庭事务的决策都应谨慎考虑并遵循相应的法律程序。