根据我国相关法律规定，夫妻双方在离婚时应当公平分割财产。如果一方不同意离婚，并且要求对方归还贷款购买的房屋，那么另一方可以考虑通过法律途径解决。具体来说，您可以在法院提起诉讼，请求对方返还购房款以及相关的利息和费用。 此外，关于孩子的抚养权问题，也需要考虑到孩子的年龄、健康状况等因素进行判决。如果您需要进一步的帮助或者建议，请及时联系专业的律师进行咨询。