根据《中华人民共和国仲裁法》的规定，人民法院审理案件时应当按照法律规定的方式和程序进行。在司法实践中，如果一方或者双方当事人对已经达成的调解协议有异议，并且认为该调解协议不符合法律规定，法院可以依法审查并作出裁决。 因此，在这种情况下，即使法官没有按照双方当事人的约定做出调解协议，也不一定意味着这个调解协议是违法的。具体的判决结果需要根据具体情况来确定，包括但不限于调解协议的内容是否合法有效以及是否存在违反相关法律法规的情形。 需要注意的是，任何法律关系的形成和变更都必须遵循法定程序和法律规定，否则可能会导致纠纷的产生或解决过程中的障碍。对于任何涉及法律问题的情况，建议寻求专业的法律意见以获得更准确的理解和指导。