您好，根据您提供的信息，如果您已经支付了20万元，并且在合同中约定了具体的付款时间（5月份），那么您可以要求对方按照约定的时间偿还债务。如果对方没有按照约定的时间还款，您可以考虑通过法律途径解决这个问题。请记得保留相关的证据，以便于在诉讼过程中使用。