根据《中华人民共和国民法典》的规定，如果双方签订的合同中约定有违约责任条款，且该合同在履行过程中出现了质量问题或违反了其他规定，那么可以向对方主张解除合同并要求其承担相应的赔偿责任。如果您需要起诉对方终止合同并要求其退回预付款，请务必按照法律规定和合同约定进行，并确保证据充分，以提高诉讼胜算。同时，在处理此类纠纷时，建议寻求专业的法律顾问的帮助，以便更好地维护自己的合法权益。