在您与中介方签订合同时，双方应当就可能存在的限制条件进行充分沟通和理解。如果中介方未对这些限制条件做出明确的说明，并且您未能注意到这一点，那么根据国际劳工组织的规定，雇主不得以员工的种族、肤色、性别、宗教信仰或其他个人特征作为拒绝雇佣或解雇员工的理由。 在这种情况下，如果您认为存在遣返的风险，建议您立即联系当地的移民局或者相关机构，了解具体的遣返程序和可能的救济途径。此外，您可以考虑向有关国家的人权组织报告这一情况，以寻求进一步的帮助和支持。 对于您目前遇到的问题，中介方是否应该对此承担责任取决于具体的情况和相关的法律规定。通常情况下，中介方会尽力帮助客户实现出国的目的，但如果在合同中没有明确规定，也可能不承担法律责任。因此，在处理此类问题时，建议您采取积极措施，保护自己的权益。