作为上门女婿，你首先需要了解的是，婚姻关系中的权利和义务是平等的，不论你是上门女婿还是其他形式的婚姻。如果你被赶出家门，这可能涉及到家庭暴力或家庭纠纷的问题。在这种情况下，你可以寻求法律援助，向法院申请保护令，保护自己的人身安全。 关于女方不上班和出轨的问题，根据《中华人民共和国婚姻法》的规定，夫妻双方都有忠诚的义务。如果女方出轨，这属于婚姻中的过错行为。在离婚诉讼中，你可以提出对方有过错，请求法院在分割共同财产时给予你适当的照顾。 至于离婚对你是否有处罚，一般来说，离婚本身不会对无过错方产生处罚。但如果在婚姻中存在过错，如家庭暴力、虐待家庭成员、重婚等，可能会影响财产分割和孩子抚养权的判决。如果你没有过错，通常不会受到处罚。 建议你在决定离婚前，先尝试与对方沟通，看是否能够解决问题。如果沟通无效，可以寻求专业律师的帮助，了解自己的权利，并依法维护自己的合法权益。