在处理建筑纠纷时，重要的是要确保双方都遵守合同中的约定。根据您提供的信息，合同中明确约定了按照建筑面积进行计算，而图纸上的面积则显示为640多平方。如果您认为实际施工的面积与合同约定不符，并且已经按照合同要求进行了施工，则可能存在争议。 在这种情况下，您可以考虑以下几种解决方案。 与对方协商。直接与对方沟通，表达您的不满和担忧，并尝试找到一个双方都能接受的解决方案。 提交仲裁或诉讼。如果无法通过协商解决，可以考虑提交给仲裁机构或者法院进行裁决，以确定实际施工面积是否符合合同规定。 向政府相关部门反映情况。向当地建设行政管理部门反映此情况，由其介入调查并作出裁决。 请注意，在采取任何行动之前，请确保所有相关文件齐全，并充分了解当地的法律法规。同时，建议聘请专业的法律顾问协助处理，以避免不必要的纠纷和损失。