根据法律规定，父母对未成年子女有抚养教育的义务。在您和孩子的父亲协议离婚并确定由您单独抚养孩子的情况下，您的权利是明确的。 如果您发现孩子回来时身上存在不良习惯或行为问题，您可以考虑与孩子父亲沟通解决这些问题，并寻求适当的解决方案。这可能包括共同寻找辅导或治疗方案，或者通过家庭会议讨论如何改善孩子的行为习惯。 然而，如果孩子父亲拒绝按照约定的时间和方式探望孩子，您可以尝试与他进行沟通，解释这种行为对孩子的情感健康和社会适应能力的影响。如果沟通无效，您可以向法院申请改变监护人的情况，要求孩子父亲按约定探视孩子。 请注意，在处理这类问题时，应当尊重孩子的意愿和感受，并尽可能地为孩子创造一个安全、健康的成长环境。同时，维护好自己的权益，确保自己得到应有的经济支持也是很重要的。