在您与中介签订的房屋买卖合同中，应当明确约定买方需要按照合同约定的方式支付购房款以及办理相关手续。如果您已经明确表示不同意使用公积金贷款，并且已经签订了书面协议，那么在买房人提出公积金贷款需求时，您可以依据合同条款拒绝接受这一请求。 此外，根据《中华人民共和国消费者权益保护法》的规定，如果中介未能及时提供买房所需贷款文件，或者没有履行告知义务，可能构成违约行为。在这种情况下，您可以向中介发出正式的书面警告，并要求其立即采取行动来解决问题。同时，您可以考虑寻求专业的法律帮助，以维护您的合法权益。