您好！根据您所描述的情况，如果该员工在签署内部员工购房协议时已经明确表示同意支付剩余的款项并承担相关责任，则您可以拒绝退还房屋。然而，在此情况下，您需要确保您有充分的理由和证据证明您的决定是合理的，并且遵循法律规定进行。 如果您对员工提出的要求有任何疑问或担忧，请考虑寻求法律顾问的意见，以确保您的权益得到保护。此外，建议您与员工沟通，了解他们的需求和顾虑，以便更好地处理此事。希望这些建议能帮助到您。