根据《中华人民共和国道路交通安全法》第九十三条的规定，对违反道路交通安全法律、法规关于机动车停放、临时停车规定的，可以指出违法行为，并予以口头警告，令其立即驶离。机动车驾驶人在现场但拒绝立即驶离，妨碍其他车辆、行人通行的，处二十元以上二百元以下罚款，并可以将该机动车拖移至不妨碍交通的地点或者公安机关交通管理部门指定的地点停放。在道路上发生交通事故，未造成人身伤亡，当事人对事实及成因无争议的，可以即行撤离现场，恢复交通，自行协商处理损害赔偿事宜；不即行撤离现场的，应当迅速报告执勤的交通警察或者公安机关交通管理部门。在道路上发生交通事故，仅造成轻微财产损失，并且基本事实清楚的，当事人应当先撤离现场再进行协商处理。因此，在您描述的情况下，如果驾驶人已经坐在车内并接受了口头警告，但拒绝立即驶离现场，导致交通堵塞或影响道路畅通，此时交警有权对其进行罚款处罚。然而，如驾驶人确实需要离开车辆以解决紧急情况或其他原因，则应在得到交警允许后方可离开。在此情况下，如果驾驶人没有离开车辆而继续留在现场接受处罚，那么他可能面临更严重的罚款和/或扣分等处罚措施。建议在遇到此类情况时，尽量避免阻碍交通，遵守交通规则，确保自己和其他人的安全。