首先，您需要考虑的是您的经济状况和子女抚养权的问题。如果您没有足够的经济能力支付给对方20万元，并且您不愿意接受房子作为赔偿的一部分，那么您可以选择不签署离婚协议书。 其次，您也可以考虑寻求法律援助或聘请律师来帮助您处理这个问题。律师可以帮助您了解自己的权利和义务，并为可能的纠纷提供法律支持。 最后，无论您做出何种决定，都要确保您和孩子的生活安全和稳定。希望我的建议能对您有所帮助。