您好！根据您的描述，您与他人共同租赁了一块土地，并且在此过程中出现了两人退出的情况。另外，还有四人在租赁期间各自支付了10万元，并且其中一个人修建了别墅。关于这种情况，我建议您首先与退租的两人进行协商，了解他们是否愿意继续履行合同义务并承担相应的责任。如果无法达成一致，您可以考虑向法院提起诉讼，要求对方按照合同约定承担责任。 同时，由于涉及的金额较大，建议您聘请专业的律师协助处理此事，以确保自己的权益得到保护。希望这些建议对您有所帮助，如有其他疑问或需要进一步的帮助，请随时联系我。