《中华人民共和国民法典》规定了离婚时夫妻共同财产的分割原则和方法。在您所描述的情况下，如果您的配偶存在出轨行为，并且在离婚协议中明确表示放弃对房屋的一半产权，那么该部分房产应该归无过错一方所有。 然而，在实际操作中，情况可能会有所不同。因为离婚协议是双方自愿达成的协议，因此在某些情况下，即使一方同意放弃房产的一部分，另一方也可能不同意或无法接受这一条款。在这种情况下，您可以考虑通过法律途径来维护自己的权益。 具体来说，您可能需要向法院提起诉讼，请求确认离婚协议中的条款无效或者重新协商分配方式。同时，您也可以考虑聘请一位经验丰富的律师来帮助您处理相关事宜，以确保自己的合法权益得到充分保护。 总之，对于这种情况下的纠纷，建议您寻求专业的法律意见，以便更好地理解和应对可能出现的问题。