根据法律规定，您作为孩子的父亲享有与孩子共同生活的权利。在任何情况下，您都有权要求子女保持通讯，并且可以安排他们来您的住所过暑假。如果您认为孩子不再愿意接听电话或者不愿意回来居住，您可以考虑通过合法途径解决问题，比如寻求家庭暴力或虐待的指控，或者向法院申请变更监护权等。同时，建议您在处理此事时尽量采取和平的方式解决，以避免不必要的冲突和纠纷。