非常抱歉听到您的困境。根据您提供的信息，如果贷款合同中明确约定了逾期还款的罚息条款，并且该罚款没有超出法律规定或合理范围，那么可能可以要求对方返还部分或者全部逾期罚息。 此外，如果您认为对方在催款过程中存在不当行为，例如威胁人身安全等，您可以考虑向相关机构投诉，如中国人民银行或消费者协会，以维护自己的权益。同时，建议您及时与债权人沟通协商，寻求合理的解决方案。 请注意，以上仅为一般性建议，具体情况需要具体分析。对于具体的法律问题，建议您咨询专业的法律顾问进行详细解答和指导。