Устройство слежения за состоянием водителя NSControl

В последнее время увеличивается численность и разновидности транспортного потока. Транспортом управляют люди разных возрастов, стажа и опыта вождения. Ни для кого не секрет, что водитель устаёт за рулём, а иногда и засыпает. И это проблема. Ежегодно в ДТП по этой причине попадает большое количество людей. [1] Результаты опроса 200 водителей: «Согласно данным проведенного опроса 42 % водителей автомобиля однажды попадали в сложную ситуацию в результате отвлечения. 11 % из них совершили в связи с этим наезд на другой автомобиль. Часто причиной отвлечения были пассажиры и дети в салоне автомобиля, телефонные разговоры и SMS.

16 % водителей автомобилей посылали во время езды SMS, 15 % утверждали, что пытались послать SMS. 14 % водителей автомобиля уже однажды засыпали за рулем, 30 % – «чуть не задремали».» [2 с. 261–262]. Уже появились устройства, которые отслеживают состояние водителя за рулём, но далеко не всегда их функционал устраивает потребителей. Поэтому актуальность проблемы не вызывает сомнений. Кроме того, 2021 год в России объявлен годом науки и технологий, так появилась идея создания устройства, реагирующего на засыпание или отвлечение водителя, например, на телефон.

Для осуществления этой идеи была поставлена цель: создание прототипа устройства слежения за состоянием водителя, который можно использовать в любом транспортном средстве.

Цель была достигнута после решения следующих задач: изучение литературы и интернет-источников по проблеме засыпания водителя за рулём; выбор аппаратного обеспечения; разработка модели и конструирование устройства; выбор программного обеспечения; создание программного кода;

тестирование устройства; анализ результатов и корректировка.

Перед началом работы была сформулирована гипотеза: созданное устройство не позволит уснуть или отвлечься водителю за рулём, что в свою очередь должно уменьшить количество дорожно-транспортных происшествий.

Были определены объект исследования (устройство обнаружения засыпания человека за рулем и оповещение его) и предмет исследования (аппаратное и программное обеспечение).

Для работы были выбраны следующие методы исследования: наблюдение, сравнение, анализ, моделирование, прототипирование, конструирование, программирование, тестирование.

Прежде чем приступить к воплощению идеи, необходимо изучить аналоги. Анализ информации на сайтах производителей, отзывов и мнений пользователей аналогичных устройств позволил определить принцип работы, а также достоинства и недостатки. Патентов в настоящее время немного. Большинство систем, предотвращающих засыпание за рулем, представляют способ предупреждения водителя об усталости за счет получения изображения лица, обнаружения глаз, определения направления взгляда и частоты морганий.

Одно из наиболее известных и функциональных устройств –

Dunobil Insomnia (рис.1) [3].

Принцип работы: предупреждение водителя об усталости за счет получения изображения лица, обнаружение глаз, определение направления взгляда и частоты морганий (рис.2).  

Достоинства: лёгкая и надёжная установка, точное отслеживание.

Недостатки: отсутствие GPS логирования, угол обзора 60⁰

               Рис. 1. Dunobil Insomnia       Рис. 2. Система отслеживающая лицо человека

Устройство под названием «Антисон» выполнено в виде наушника, реагирующего на наклон головы (рис.3).

Принцип работы: оповещение водителя об усталости путём отслеживания наклона головы [4].

Достоинства: доступная цена, лёгкий и удобный наушник, который хорошо сидит на ухе и не мешает.

Недостатки: большим минусом является то, что до момента засыпания и наклона головы может пройти большое количество времени, что может также привести к дорожно-транспортному происшествию. Техническим недочетом является то, что устройство срабатывает только при наклонах вперед.

Рис. 3. Устройство “Антисон”

Ещё известен аналог «Attention Assist» от компании Mercedes (рис.4) [5]

Принцип работы: отслеживание манеры вождения водителя (сила нажатия на педали, реакция на состояние дорожного покрытия и др.).

Достоинства: система постоянно анализирует манеру вождения и движения рулевого колеса.

Недостатки: высокая стоимость, сложность внедрения, узкая линейка автомобилей и невозможность работы на машинах другой марки.

Рис. 4. Attention Assist от компании Mercedes

Ещё одной из систем слежения является система «Нейро-кепка», которая использует встроенные датчики ЭЭГ (электроэнцефалограмма) и ЭМГ (электромиография), которые регистрирует электрическую активность мозга водителя и на основе этого делают вывод о состоянии его усталости. В случае приближения, собранных данных к критическим, служебный модуль передает импульс в синхронизированный с ней браслет, который начинает активно вибрировать (рис.5). [6]

Принцип работы: отслеживание электрической активности мозга (рис.6)

Достоинства: высокая точность определение засыпания. 

Недостатки: большая цена.

Рис.5. Sleep Alert                                 Рис.6. Sleep Alert на водителе.

Существуют также система, состоящая из браслетов и перстней. В качестве примеров можно привести такие устройства как браслет «STEER» [7] от компании Creative Mode из Латвии (рис.7).

Рис. 7. Браслет STEER от компании Creative Mode

Принцип работы: отслеживание частоты сердечных ритмов и проводимости кожи.

Достоинства: простота работы и установки, высокая длительность использования.

Недостатки: недостаточная точность определения засыпания, так как сопротивление кожи зависит от многих факторов: состояние эпидермиса (сухая или чистая, если же на коже есть порезы, царапины, микротравмы, они способны сильно снизить сопротивление тела человека), от общего психологического и физиологического состояния, от внешних условий (температуры, давления, влажности, плотности), питания, образа жизни, а также болезней. [8]

Был проведён сравнительный анализ аналогов, описанных выше. Обычно в подобных устройствах выделяются следующие критерии: точность определения засыпания, возможность работы от аккумулятора, логирование данных GPS, оповещение, работа в ночное время, цена и т.д.  

Таким образом, все рассмотренные устройства имеют возможность определять момент засыпания и оповещать об этом водителя, работать в достаточно большом диапазоне температур и освещённости, иметь удобный способ установки и эксплуатации, записывать и отправлять диспетчеру данные скорости и местоположения на базе GPS.

Было решено изготовить действующий прототип устройства, позволяющего отслеживать состояние водителя за рулём и оповещать его при засыпании.

Проект был реализован поэтапно в течение 4-х месяцев:

Подготовительный этап: изучение интернет источников по проблеме; выбор оборудования для реализации устройства.

Основной этап: создание набросков и чертежей; установка операционной системы и драйверов для подключаемого оборудования; загрузка и настройка зависимостей и библиотек; создание программного кода для инициализации камеры, обработки изображения, обнаружения и распознавания лиц, динамиков, кнопок; моделирование корпуса и частей крепления устройства; печать готовых моделей на 3Д принтере.

Заключительный этап: тестирование устройства; анализ и корректировка.

NSControl является самостоятельным устройством, имеет простоту и вариативность установки в любом транспорте при необходимости, будь то кабина простого автомобиля, подвижного железнодорожного локомотива или кабина самолёта. NSControl может питаться, как от аккумуляторной батареи, так и от бортовой сети. Стоимость данного устройства не сопоставима с жизнями, которые можно спасти.

Исходя из поставленных задач и опыта использования аналогичных устройств, устройство NSControl удовлетворяет следующим требованиям:

1. Не наносить вред человеку
2. Точно определять засыпание.
3. Должно иметь возможность установки в любом ТС.
4. Работать ночное время.
5. Должно быть удобным в эксплуатации.

Потребителями разработанного устройства может являться любой человек, управляющий транспортным средством.

Для создания устройства NSControl потребовалось оборудование, описанное в Таблице 1. Аппаратное обеспечение.

Таблица 1.

Таблица 2. Аппаратное обеспечение

Для автоматизации работы системы одного оборудования будет недостаточно. В ходе работы над проектом использовалось необходимое программное обеспечение.

Микрокомпьютер Nvidia Jetson Nano работает на базе комплекта для разработки программного обеспечения JetPack SDK, включающего в себя пакет драйверов (L4T), операционную систему Linux и ускоренные библиотеки CUDA-X и API для глубокого обучения, компьютерного зрения, ускоренных вычислений и мультимедии.

Функция обработки исходного изображения с камеры осуществляется библиотеками OpenCV, numpy обнаружение и распознавание лица реализуется за счёт библиотеки Dlib).

Для разработки моделей необходимо программы КОМПАС-3D и Autodesk Inventor.

Составление схем осуществлялось в программе EasyEDA

Для написания программного кода в среде Visual Studio Code использовался язык программирования Python.

Вот так выглядит, например, фрагмент программного кода отслеживания закрывания глаз (рис.8).

Рис.8. Программный код отслеживания закрывания глаз

В функции задаются начальные параметры (вводные данные) и происходит отслеживание 6 точек глаза (рис.9). Затем вычисляется разница между открытым глазом и полученным состоянием. Полученное значение возвращается в функцию.

Рис.9. Точки-ориентиры лица

Принцип действия устройства заключается в сканировании области лица и шеи человека, управляющего транспортным средством. Система по определённому алгоритму сравнивает и анализирует положение лица, век и глаз человека и по заданным условиям производит оповещение об отклонениях. Для коммерческого транспорта возможно дополнение системы функцией логирования и сопоставления данных со скоростью и координатами движения, а также отправки информации о нештатной ситуации на пульт диспетчера.

Камера и GPS получают данные, информация поступает в контроллер, обрабатывается.  При наличии отклонений сигнал отправляется на пьезодинамик для оповещения водителя. Если он не реагирует на звуковой сигнал и продолжает движение, система автоматически оповещает экстренную службу о данной ситуации с помощью GSM модуля. Группа кнопок отвечает за управлением звуком и калибровкой изображения.

Рис. 10. Схема устройства NSControl

Корпус был смоделирован в Компасе-3Д и напечатан на 3Д принтере. Вот так выглядит NSControl - общий вид и вид «внутри» (рис. 11).

Рис. 11. Готовая модель NSControl

Решением данной проблемы уже занимаются в мире, существуют модели устройств, контролирующие состояние водителя за рулём. Новизна и практическая значимость устройства NSControl заключается в следующем:

Возможность установки в любое транспортное средство.

Возможность выноса камеры в зону, определяемую по желанию водителя.

Использование сенсорных кнопок в качестве элементов управления (управление звуком, калибровки устройства).

Угол обзора 220⁰.

Устройство NSControl способно отслеживать момент засыпания или несосредоточенности водителя за рулём и оповещать его об этом звуковым сигналом.

При помощи созданного прототипа устройства, не позволяющего уснуть или отвлекаться водителю за рулём, получится уменьшить количество дорожно-транспортных происшествий по причине усталости. Таким образом гипотеза будет оправдана.

В завершении работы над проектом, был проведён сравнительный анализ аналогов с моим устройством NSControl, описанными выше. Результаты сравнения занёс в Таблицу 2. Сравнительный анализ Dunobil Insomnia, Антисон, STEER, Sleep Alert, NSControl.

Таблица 2.

Сравнительный анализ Dunobil Insomnia, Антисон, STEER, Sleep Alert, NSControl

Работа устройства была продемонстрирована на различных площадках и вызвала интерес.

В перспективе планируется следует уменьшить размеры устройства путем замены микроконтроллера nvidia jatson nano на подобный аналог меньших размеров или на собственный сбалансированный микрокомпьютер. Также оптимизировать программный код и операционную систему для обеспечения более высокой производительности системы.

1. Статистика по количеству дорожно-транспортных происшествий. [Электронный ресурс]. Режим доступа:  https://www.sleepnet.ru/son-za-rulem/faktyi-i-statistika/, свободный
2. Шиенкова Анна Сергеевна, Подгайный Андрей Михайлович «Состояние усталости за рулем как угроза безопасности дорожного движения» [Литература]. Режим доступа: https://cyberleninka.ru/article/n/sostoyanie-ustalosti-za-rulem-kak-ugroza-bezopasnosti-dorozhnogo-dvizheniya, свободный.
3. Устройство Dunobil Insomnia - Инновационное устройство активного контроля состояния водителя. [Электронный ресурс]. Режим доступа: http://dunobil.ru/page1885790, свободный.
4. Устройство Антисон: что это такое и кому нужно. [Электронный ресурс]. Режим доступа: https://zakonguru.com/transport/antison-dlya-voditeley.html, свободный.
5. Система контроля усталости водителя (Attention Assist Mercedes): принцип работы. [Электронный ресурс]. Режим доступа: https://moj-vnedorozhnik.ru/v-pomoshch-voditelyu/attention-assist-mercedes, свободный.
6. Sleep Alert - обзор умной кепки. Новый гаджет, который поможет вам не уснуть за рулем. [Электронный ресурс]. Режим доступа: https://boomstarter.ru/projects/620159/sleep_alert_sistema_kontrolya_bodrstvovaniya_144003, свободный.
7. Браслет Steer не даст вам уснуть за рулем. [Электронный ресурс]. Режим доступа: https://stoneforest.ru/look/gadgets/braslet-steer/, свободный.
8. Сопротивление тела человека - от чего зависит и как может изменяться. [Электронный ресурс]. Режим доступа: http://electrik.info/main/fakty/1223-soprotivlenie-tela-cheloveka-ot-chego-zavisit-i-kak-mozhet-izmenyatsya.html, свободный.