根据您提供的情况，您可以通过法律途径尝试变更孩子的抚养权。首先，您可以与前夫进行协商，看是否能够达成共识。如果协商不成，您可以向法院提起诉讼，请求变更抚养权。 在诉讼中，法院会考虑多种因素，包括但不限于双方的经济能力、抚养条件、孩子的意愿以及孩子的最佳利益等。由于孩子一直由您抚养，并且孩子年龄较小，法院可能会考虑这些因素。同时，如果能够证明男方拒绝您与孩子联系，这也可能成为法院考虑变更抚养权的因素之一。 您需要准备相关证据，如抚养孩子的证据、与孩子的亲密关系证据、男方拒绝您联系的证据等，以支持您的诉讼请求。建议您咨询专业律师，获取更具体的法律建议和帮助，以便更有效地维护您的权益。