律师您好，我是单身和一个已婚男士相处一年，现在他提出分开并且给我打了借条18万愿意补偿我，一份借条一份协议书由中间人见证亲自写的，目前我收到4万，我现在想把钱退回去，请问签了协议我有权利退吗？目前中间人和对方都不接受我退款，我是否有责任，包括中间人是否有责任，我该怎么进行，谢谢