在这种情况下，如果手写协议中明确约定了退货条款，并且你已经按照协议履行了你的义务，但对方拒绝退货，你有权通过法律途径解决这一问题。首先，你需要准备相关的证据，包括手写协议的原件、货物的交付记录、以及你尝试退货的证据等。 在起诉前，你可以尝试与对方进行协商，看是否能够达成和解。如果协商无果，你可以向法院提起民事诉讼，要求对方履行协议中的退货条款，并返还货款。在诉讼过程中，法院会根据你提供的证据来判断协议的有效性和对方是否违约。 请注意，起诉是一个正式的法律程序，需要支付一定的诉讼费用，并且可能需要一定的时间来完成。在决定起诉之前，建议你咨询专业的律师，以获取更具体的法律建议和帮助。