根据我国相关法律规定，如果您的丈夫在婚姻关系存续期间犯有诈骗罪并被判刑，那么他可能会被认为缺乏家庭责任感和道德标准。在这种情况下，法院可能不会支持您与他的离婚请求，并且可能会将孩子归还给被告方。 此外，即使您没有住房或收入不足以抚养两个孩子的经济能力，这也不应该是判决是否给予孩子抚养权的考虑因素。法院更关心的是孩子的情感需求和未来的发展。 建议您尽快联系当地的法律援助机构或律师事务所，以获取专业的法律帮助和支持。他们可以为您提供关于如何维护自己权益的信息和指导，并确保您的孩子能够获得最好的照顾和保护。