你好！首先，你弟弟与该女友之间的关系是基于恋爱关系，因此不存在婚姻法意义上的婚姻关系。其次，你们可以考虑通过协商解决问题。如果对方坚持要你支付剩余的5万元，你可以尝试寻求第三方调解或仲裁来解决这个问题。如果第三方调解或仲裁无法达成一致意见，那么可能需要考虑向法院提起诉讼。但请注意，在任何情况下，都应遵守当地的法律法规，并尊重他人的权利和尊严。