在离婚时双方达成的协议中明确了房产归女方所有，并约定男方只需偿还至2014年的贷款余额。根据法律规定，离婚后，如果一方已经完全履行了还款义务，则另一方应当将房屋所有权转移给对方。因此，为了使房子与男方再无关系，你需要确保他已经完全偿还了剩余贷款，并且已经取得了房产的所有权。建议你向当地的房地产交易中心或相关政府部门咨询，以了解具体的手续和程序。同时，你也需要考虑是否还有其他途径来实现这一目的，例如通过诉讼手段或其他合法途径来解决这个问题。