首先，您需要确定这20万元是否是合法收入或非法所得。如果它是非法所得，那么您可能有权要求返还。 其次，您需要考虑是否有任何协议或合同约束您必须偿还这笔款项。如果没有，您可以选择拒绝支付。 最后，如果您认为小三的行为不道德或违法，请考虑寻求法律帮助以保护自己的权益。在处理此类案件时，重要的是要确保您的行为符合法律规定，并且您有充分的理由来拒绝支付这笔款项。