我有一套房子要出售，在出售的过程中出现了问题，我和要买我房子的人达成协议以64万元的价格出售，买房人交了1万元预付定金，他承诺一周内再付24万首付，然后我把房子过户给买房人，他们再贷款，三月一日前付完尾款，但是现在买房人称无法筹齐首付款，要求延长时间，但又不定日期，今天要求退预付定金，请问我该怎么办？能否要去对方支付违约金？是按照放款总额的百分之十要去支付可以吗？