Офисный консьерж

Аппаратно-программная система для контроля дисциплины в офисе на базе компьютерного зрения

С чего всё началось

Система «Офисный консьерж» выросла из проекта CodeInside, созданного в рамках хакатона. 

Мы придумали кейс с созданием сервиса автоматического заказа питьевой воды, и решили написать приложение с использованием нейросети и веб-камеры. Уже в ходе эксперимента мы поняли, что нашего обычного подхода и инструментария не хватает, чтобы быстро справиться с процессом обучения нейросети. Идея сервиса автоматического формирования заказов на доставку питьевой воды в офис была основана на принципе отличия по изображениям пустых бутылок от полных по целостности этикетки.

Бутыли

Казалось, что обучить сеть распознавать пустые бутылки и формировать бланк заказа автоматически, а затем отсылать письмо поставщику воды, легко. Но хакатон показал, что нам нужно научиться работать с нейросетями, и принцип работы с этой технологией отличается от привычных стандартов.

Несмотря на то, что нам не удалось создать прототип действующей модели, наш эксперимент вышел удачным. Во-первых, мы проверили команду CodeInside в новом деле ‒ поняли, что AI и ML требуют от разработчиков совершенно иных навыков и подходов, в отличие от стандартного разработки софта.

Максим Семенкин
Максим Семёнкин
CEO CodeInside

Сложности

Основные сложности у команды возникли в первый день работы над проектом. Они были связаны с обучением нейросетей ‒ для работы нужно было иное аппаратное обеспечение, стандартных мощностей не хватало. Как только участники хакатона увидели первые результаты обучения нейросети, стало понятно, как надо подготовить изображения и какие технологии применить, чтобы обучение пошло быстрее.
Когда проблемы с обучением нейросети были устранены, у команды CodeInside появились новые идеи применения технологии уже в нашей постоянной работе. Так, мы впервые задумались о том, чтобы использовать полученный опыт для создания системы по распознаванию людей в офисе.

Первые результаты

В рамках хакатона был создан «каркас» приложения:

  • серверная и клиентские части;
  • интеграция с IP-камерой;
  • интеграция с TensorFlow.

Кроме того, CodeInside получил локальную базу предобученных данных, которую можно использовать в дальнейшей работе и создавать другие модели. Фактически мы начали осваивать облачные хостинги для того, чтобы обучать модели. Во время хакатона мы научились интеграции web-камеры. Программисты всерьез заинтересовались работой с нейросетями и на заключительной сессии хакатона решили изучать технологию и теорию нейросетей.

Развитие проекта

Распознавание движения и эмоций людей — следующий шаг на пути к созданию системы «Офисный консьерж».

В 2020-м году компания CodeInside приняла участие в фестивале «Витамин науки», в рамках которого запустила проект «Как роботы видят мир».

Суть проекта заключалась в том, чтобы посетители, которые попадают в объектив камеры, видели на экране отображение своих скелетов в виде графа и смайлик-маркер настроения над головой. Помимо определения эмоций, система позволяла вести подсчет количества людей и распознанных эмоций.

В том же году проект, созданный для того, чтобы развлечь посетителей фестиваля, перерос в полноценную систему для контроля дисциплины в офисе «Офисный консьерж».

Функция подсчета и распознавания объектов позже стала основой для детектора транспортного потока Smart Traffic System. Прочитать кейс о том, как мы создавали наш флагманский продукт, можно здесь.

Результаты проекта

Разработана программно-аппаратная система «Офисный консьерж», предназначенная для:

  • получения данных, в том числе статистических, о перемещении сотрудников и других лиц на территории офиса;
  • повышение дисциплины среди сотрудников путем вовлечения их в процесс геймификации на основе данных, полученных от системы.

Система включает в себя:

  • сравнение лиц с заданными шаблонами;
  • ручную корректировку ошибок распознавания;
  • ведение журнала фиксации распознавания лиц.

Технологии

  1. Python
  2. NVIDIA Jetson Nano
  3. OpenCV
  4. Dlib

Смотреть еще

Услуги



ЕСТЬ ВОПРОС?

Напишите нам

Заполните форму,
и мы свяжемся с вами
в ближайшее время

    captcha

    Контакты

    Штаб-квартира:

    г. Пенза, Суворова 66, 6 этаж

    Обсудить разработку:

    request@codeinside.ru+7 (8412) 45-84-19

    Отправить резюме:

    job@codeinside.rut.me/viorde

    Остальные вопросы:

    office@codeinside.ru+7 (8412) 63-67-36