首先，您需要明确您的具体诉求和事实情况。如果您的哥哥在您家的院子里居住了很长时间，并且有稳定的居住条件和生活习惯，那么他有权继续使用该土地。 然而，在某些情况下，例如如果您是该土地的所有权人或拥有使用权，则可能需要向法院提起诉讼以确定所有权或使用权的归属。在诉讼过程中，您需要提供充分的证据证明您对土地拥有合法权利。 此外，即使您无法直接要求收回土地，您也可以考虑通过与您的哥哥进行沟通和协商来解决争议，或者寻求其他途径如调解、仲裁等来解决问题。 请注意，上述建议仅供参考，具体情况应根据实际情况分析并由专业人士进行处理。