您好！根据我国相关法律规定，如果双方因感情破裂而决定解除婚姻关系，并且已达成一致意见并签署了离婚协议书，则该房产将被视为夫妻共同财产。因此，在这种情况下，您和您的男朋友都有权要求法院判决房产归各自所有或由法院进行分割。 然而，需要注意的是，如果您们尚未签署正式的离婚协议书，而是通过口头形式表示同意解除婚姻关系，那么可能需要考虑其他因素来确定是否能将房产退还给对方。例如，你们是否有约定将房产出售给第三方？如果有，那么第三方是否愿意支付购房款以换取房屋所有权？ 总之，建议您尽快与您的男朋友协商解决这个问题，并寻求专业的法律帮助，以便更好地保护自己的权益。