您的情况确实较为复杂，涉及多个方面。首先，关于孩子的监护权问题，您和您的前夫在离婚协议中已明确约定由前夫抚养您的孩子，并且您有权利随时探视您的孩子。这种情况下，除非您有证据证明前夫对您的孩子存在虐待或忽视的行为，否则法院一般不会支持您直接带走孩子的请求。 其次，关于是否可以起诉前夫以维护自己的权益，这需要具体情况具体分析。如果您有足够的证据证明前夫确实存在限制您探视孩子的情况，或者前夫试图通过其他方式控制您的生活，那么您可以考虑提起诉讼来维护自己的合法权益。但需要注意的是，诉讼是一个严肃的程序，涉及到大量的法律文件和手续，需要您事先咨询专业的律师进行详细的规划和准备。 最后，关于是否会被前夫利用来抚养孩子的问题，这也需要根据实际情况来判断。如果前夫真的想利用您的弱势地位来控制您的行为，那么可能需要采取更积极的措施，如寻求第三方的帮助和支持，或者考虑与律师合作，共同制定有效的应对策略。 总之，在处理类似问题时，建议您寻求专业的法律帮助，以便更好地了解自己的权利和义务，以及如何保护自己免受不当行为的影响。同时，也要保持冷静，理性地面对问题，避免冲动行事。