你好！作为律师，在处理此类案件时需要谨慎考虑各方利益。在你提供的信息中，我没有看到明确的证据表明媒人对女方不归婆家负有直接责任。然而，媒人的行为可能会对女方造成负面影响，因此建议你与媒人进行沟通，了解他们是否知道女方的情况，并讨论如何帮助解决问题。 同时，你也可能需要考虑到婚姻法中的相关规定，以及当地社会习俗和法律规定。这些因素可能会影响媒人是否应该承担责任。 如果你需要进一步的帮助或咨询，请提供更多的背景信息，以便我能更好地为你服务。