根据法律规定，法院有权对案件进行审理和作出裁决，并且有权决定是否将判决书送达给当事人。在本案中，如果双方已经签署了离婚协议，并且在法庭上达成了共识，那么法院应当按照协议的内容来做出判决并送达给双方。因此，法官有权利扣留被告人的判决书，但必须确保这符合法律程序。 如果您认为自己的权益受到了损害，请及时寻求专业的法律帮助，以维护您的合法权益。同时，您也可以向有关机构投诉该法官的行为，以保障公正审判。