在处理此类情况时，首先需要明确的是，您的行为是否合法。根据中国法律，您有权要求对方归还借款，并且如果对方拒绝还款，您可以考虑通过法律途径解决。然而，在任何情况下，请确保您有充分的证据证明双方存在婚外关系的事实，以及对方的行为已经严重侵犯了您的权益。同时，建议您寻求专业的法律帮助，以确保自己的合法权益得到保护。