您好，根据法律规定，如果双方在租赁合同中明确约定了租金支付方式和时间，并且对方未能按照约定支付租金，则出租人有权要求解除合同并收回房屋。在这个情况下，除非合同中有明确规定的情况，否则您不应该退还剩余的租金给承租人。 然而，如果您与承租人有其他协议或约定，比如提前终止合同需要赔偿等，那么您可以考虑在合同中加入相应的条款以保护您的权益。建议您详细阅读合同中的相关条款，并确保在任何情况下都遵守诚实守信的原则，避免因违约而产生纠纷。同时，建议您及时联系专业的律师进行咨询和指导，以便更好地维护自己的合法权益。