您好！根据我国《民法典》的规定，租赁期限未满，承租人擅自解除租赁合同的，应当向出租人支付违约金。违约金是基于实际损失的一种补偿方式，并且不得超过因违约给对方造成的损失。 在您的情况下，如果房东将您的厂房租给了他人，这可能意味着您与房东之间的租赁关系已经终止，而新的承租方有权继续使用该厂房。在这种情况下，如果您想要退回剩余的租期租金，应该直接与新的承租方进行协商和沟通，以确定是否可以接受退款并达成协议。 此外，如果房东拒绝您的请求，并坚持要求您现在搬出，您可以考虑采取法律途径来解决这个问题。例如，您可以向法院提起诉讼，要求房东退还剩余的租期租金，并赔偿由此给您带来的损失。 请注意，在处理此类争议时，建议您寻求专业的法律顾问的帮助，以便更好地维护自己的合法权益。