在处理此类争议时，重要的是要确保遵循相关的法律规定。首先，您需要确定两个房主之间的买卖合同是否有效，并且是否存在有效的权利转让。如果存在这样的合同和权利转让，那么新的房主有权要求更换杂物房。 然而，需要注意的是，在交换过程中，您作为卖方应当确保对方支付了合理的对价。这包括检查交易过程中的所有文件和证据以确认对价的真实性。此外，您还需要确保双方都遵守当地的房地产法规和政策。 如果您认为您已经履行了自己的义务并且没有违反任何规定，则可以拒绝交换杂物房。在这种情况下，您可以考虑聘请一位专业的房地产律师来帮助您解决这一问题，并确保您的权益得到保护。 请注意，以上建议仅供参考，具体情况可能因地区而异，请务必根据当地法律法规进行判断。