跟老公认识十年，结婚四年，一直没有买房，近期因为买房的事情吵架，他每个月的工资都花光，30岁了没有存下一分钱。目前因为买房，我让他把工资卡交给我办理贷款、还款事宜，他立马就翻脸，宁愿选择离婚也坚决不同意把工资卡交给我。因为我是在县城，他在乡镇，办理贷款我这边要方便点，他属于没有规划的类型，不会想着存款。有钱就购物、借给牌友，对我很小气。因为由小孩，所以我一直下定不了决心离婚，我该怎么办？