您好！根据您提供的信息，如果该房屋是在20年前由特吕单位分配给您的，并且您在后来购买了新房，并且搬出后一直在该房内空置，那么目前该房屋属于您的所有物。但是，在进行房屋买卖时，需要对房屋的真实状况进行充分了解和确认，以避免未来发生纠纷。 如果您现在想要追究对方的责任并要求赔偿，建议您首先与对方协商解决，尝试达成一致的解决方案。如果无法通过协商解决问题，可以考虑聘请律师介入处理，以便更好地保护自己的合法权益。 同时，建议您收集证据证明该房屋的实际所有人是谁，并尽可能地保留好相关文件和记录，以备将来需要时使用。 最后，为了确保自己的权益得到保障，建议您在处理此类案件时寻求专业的法律帮助，以便更有效地维护自己的合法权益。