您好！根据《中华人民共和国民法典》的规定，继承权是基于亲属关系而产生的权利。在您的情况下，您和您的父亲共同签订了赡养协议，并且同意放弃拆迁所得的房屋。这表明你们之间已经存在了明确的财产分配协议。 如果您的父亲和您都愿意遵守这个协议，那么您不应该起诉要求他们归还房产。相反，您可以考虑通过其他方式解决争议，例如调解或仲裁。 如果您认为赡养协议不公平或者不合理，您可以向法院提起诉讼，请求确认该协议无效。但是，在提出诉讼之前，建议您先尝试与您的父亲进行沟通，看看是否能够达成共识。 无论如何，重要的是要尊重双方的意愿和平等协商的原则。希望我的回答对您有所帮助。如果有任何疑问，请随时联系我。