根据我国《民法典》规定，对于子女的抚养权问题，法院会综合考虑父母双方的经济状况、教育能力、家庭环境、健康状况等多方面因素进行判决。一般情况下，法院会优先考虑有利于孩子的健康成长原则，以及保护弱者权益的原则来做出判决。 在您的情况下，您有二个子女，年龄分别为一岁和四岁。由于您只有一个住房，考虑到您的经济条件和居住条件可能有限，建议您可以与对方协商决定谁将照顾两个孩子，并且可以考虑让一方负责一个孩子的照顾，另一方则负责另一个孩子的照顾。这样既可以保证每个孩子都有足够的关注，也可以减轻您的一方负担。 另外，如果双方无法就抚养权达成一致意见，可以通过诉讼程序向人民法院提起诉讼，由法官依法裁决。在这个过程中，您可以聘请专业的律师协助，以确保自己的合法权益得到充分保障。