我是女方，婚后丈夫出资6万，我出资20万，共同交了一套房的首付。但在买房之前，丈夫与他人借钱赌博（欠条写的用于做生意），欠下巨款，我并不知情。买房一年后，我俩离婚，离婚协议书写明房子归我。现在债主将前夫告上法庭，并将我列为第二被告，请问会影响到我的房产吗？