根据我国相关法律法规的规定，出租人不得将房屋用于非法用途，如用于生产、经营等。如果您只是将您的个人住宅租赁给他人，并且没有进行任何违法活动，那么这种行为是合法的。 然而，在实际操作中，您需要确保您的租赁合同明确约定租赁物的用途，以及在租赁期间内是否允许改变用途。此外，如果该工厂存在安全隐患或者其他不合规的行为，可能会违反相关的法律法规，对您和承租人都可能产生不利影响。 因此，建议您在与他人签订租赁合同时，详细列出租赁物的使用限制，并在租赁过程中保持良好的沟通和协作，以避免不必要的纠纷。如果您有任何疑问或需要进一步的帮助，请随时联系我。