我老公在2015年广西购置一套末交公房子，手付己交2万八千元，后期我老公因患肝硬化无法在续交后期房扻，我们有医院检查报告，有病期间我们多与卖方联系取消购房合同，但卖方不同，因我老公那时己病重，己卧床无法去广西，现在卖方告我们违约，交违约金5万，求咨询律师怎么办？