您好！根据您提供的信息，如果在离婚时双方已经签订了书面协议，并且有相应的证据证明该协议的内容，那么按照法律规定，一方应当承担相应的法律责任。关于对方要求返还的五万元钱，您可以考虑通过法律途径来解决这个问题。如果您需要进一步的帮助或建议，请及时联系专业的法律顾问进行详细咨询和处理。