您的房屋使用了含有有害物质的建筑材料可能会对居住者健康产生影响。如果发现房顶或墙壁有大量掉渣现象，建议您采取以下措施。 请专业的建筑公司或检测机构进行检查和评估。 如果发现问题，应立即停止使用该建筑物，并通知相关政府部门或安全监督部门。 根据情况考虑是否需要更换建筑材料或者采取其他补救措施。 同时，您可以向当地消费者保护协会或质量监督部门投诉，以获得更具体的解决方案。请注意保留与房屋质量问题相关的证据，如照片、视频等，以便在必要时提供给相关部门。