您好！根据法律规定，您有权要求对方在您的房屋买卖合同上签字，并且需要按照约定支付相应的购房款。如果您已经向工厂缴纳了购房款并完成了相关手续，那么您可以依据合同条款主张权利。如果对方拒绝签署合同或者不履行付款义务，您可以考虑通过诉讼等方式维护自己的权益。同时，建议您与工厂协商解决争议，以避免进一步的纠纷和损失。希望我的解答对您有所帮助！