在您的情况下，您丈夫作为中介人，应当确保交易的顺利进行。如果他未能履行合同义务，即未将该款项交给您或用于约定用途，那么他可能需要承担一定的法律责任。 根据相关法律规定，当一方不按照合同约定履行义务时，另一方有权要求其赔偿损失，并追究其违约责任。在这种情况下，如果您认为您的权益受到了损害，您可以向法院提起诉讼，要求被告赔偿因延迟支付导致的损失和相应的利息等费用。 此外，建议您保留与买卖房屋相关的所有证据，包括但不限于书面合同、转账记录、通话录音等相关文件，以便将来维护自己的合法权益。同时，也可以考虑寻求法律援助或委托律师协助处理此事。