首先，根据您提供的信息，您在建造房屋时已经与他人达成了一项口头协议，即您将另一块土地的使用权转让给对方，并且对方同意让出一块土地以供您的房屋使用。 然而，即使有口头协议存在，这并不意味着您必须无条件地返还土地给对方。相反，您有权要求对方支付相应的补偿费用，例如通过协商或诉讼程序来解决争议。 如果您选择进行调解，请确保保留所有沟通记录和相关文件，以便将来可能需要提供证据证明双方之间的协议及其履行情况。 如果调解失败，您可以考虑提起民事诉讼，要求对方按照口头协议的内容履行其义务并赔偿您因此遭受的损失。在起诉过程中，您可以收集相关证据（如照片、录音等），以支持您的主张。 最终，是否应该归还土地以及如何处理这一纠纷，应由您自己决定，并基于对事实的了解和法律依据来做出决策。建议您寻求专业的法律意见，以便更好地保护自己的权益。