你好！根据法律规定，你作为房屋的名义所有人，并不意味着你可以强制要求对方在你的工厂工作。这种行为可能会涉及到侵犯他人权益的问题。建议双方通过协商解决，寻求公正合理的解决方案。如果情况复杂，可以考虑聘请专业的法律顾问进行咨询和指导。