在您的情况下，您与借款人就借款事宜签订了借款协议，并约定了借款期限为二十年，且明确规定了借款人在借款期间内不得无故要求退款或提前还款。然而，在借款后不久，借款人突然提出要退还全部本金和利息，并声称这是由于借款人个人原因导致的。 在这种情况下，您作为借款方有权拒绝借款人的要求。根据双方签订的借款协议，借款人必须在借款期内履行其义务，包括按时偿还本金和利息。如果您已经支付了大部分款项，而借款人突然要求退款，这可能被视为违反了借款协议中的条款，因为借款人未能按照协议的要求履行其义务。 因此，建议您及时与借款人沟通，明确告知他们借款协议中的规定，并解释为什么您不能接受他们的要求。如果必要的话，您可以考虑向法院提起诉讼，以保护自己的权益不受侵犯。同时，也建议您保留好所有相关证据，以便将来需要时使用。