《中华人民共和国民法典》第一百九十六条明确指出。“当事人约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。”因此，您与房产公司的协议中关于“按总房款的五分之一”返还的具体数额是否合理，以及这种支付方式是否符合法律规定，需要由法院或仲裁机构进行审查和判断。如果协议中的支付方式不合理，可能会导致您的权益受损。建议您咨询专业的法律顾问，以确保自己的合法权益得到保护。