根据我国婚姻法的规定，如果双方没有办理结婚登记手续，即使共同生活多年也视为事实婚姻。因此，在这种情况下，男方可以主张与女方解除婚姻关系。 至于房屋的归属问题，需要具体情况具体分析。如果是夫妻共同出资购买，并且用于家庭共同生活的，那么房屋应当认定为夫妻共同财产。但是，如果只是女方一方出资建造，则可能属于个人财产。 关于男方索要5万元的问题，这需要看具体情况。如果男方有证据证明是对方故意拖欠款项，或者该款项是由于对方的行为导致的损失，那么男方有权要求对方赔偿。但是，如果没有足够的证据支持，或损害是由于不可抗力等原因造成的，那么男方的要求可能会被法院驳回。 总的来说，解决这个问题的关键在于收集证据并明确各自的诉求，以便更好地维护自己的权益。