根据法律规定，夫妻双方对子女抚养权的分配应当基于有利于孩子的成长原则进行。在您的情况下，您和丈夫都同意将孩子给对方抚养，那么法院通常会按照这一原则来判决。 然而，在这种情况下，由于被告方的家庭背景不佳，可能会影响其对孩子教育的影响，因此，您可以考虑与对方协商，尝试找到一种既符合法律规定又能让双方满意的解决方案。例如，可以提议由您承担更多的抚育费用或者共同参与孩子的教育，以此弥补被告方在经济上可能存在的不足。 此外，如果孩子确实需要更多关注和照顾，比如健康状况或者其他特殊需求，您也可以考虑提出让孩子随自己生活的要求，并且尽可能地提供更好的生活环境和支持。 最后，建议您及时寻求专业的法律帮助，以便更好地保护自己的合法权益。同时，也要考虑到社会环境的变化和个人意愿等因素，做出最适合自己的决定。