婚后买房，双方家长共同出资首付，前夫家父母出了50万，后因前夫出轨，协商离婚，离婚协议上写明房子归我，剩余房贷他还，房贷还完后过户给我。现在他父母提出要要回当初买房的50万，能要的回吗？如果我不同意打官司法庭会支持谁？谢谢！