我与某劳务公司签订了份劳务分包合同并交纳了30万的合同覆约金，担保人在公司开给我的转账收据单上签字：本人愿意担保．姓名，现因甲方违约超过约定半年都不能开工，我要求公司和担保人退还保证金公司不退，担保人还说你没有资质承包该工程打官司也赢不了，你签订的合同无效我的担保也无效，请问担保人是否有责任？