尊敬的客户。 关于您所遇到的问题，我将尽力提供一些建议和帮助。 首先，根据我国婚姻法的相关规定，如果夫妻双方已经离婚，则子女归一方抚养。因此，在这种情况下，孩子的抚养权通常会归属于被指定为抚养人的那一方。然而，由于您提到的情况是您和您的丈夫在结婚时就确定了由男方负责照顾孩子，而且孩子一直跟随女方长大，这可能会影响孩子的归属权的判断。 其次，虽然您提到男方没有固定的收入来源，但如果您愿意的话，您可以考虑通过申请法院调解或者诉讼来解决这个问题。在这种情况下，法院可能会考虑到孩子的最佳利益以及双方的经济状况等因素来做出决定。 最后，作为成年人，建议您与您的丈夫进行沟通，看看是否有共同解决问题的方法。如果你们无法达成一致，您可以考虑寻求法律援助，以获得专业的意见和支持。 希望以上信息对您有所帮助。如有其他疑问或需要进一步的帮助，请随时联系我。