Мобильный робот с элементами искусственного интеллекта

Abstract

Представлен программно-аппаратный прототип мобильного робота с элементами искусственного интеллекта. Робот разработан в рамках технологии периферийных вычислений edge AI. В рамках этой технологии основные операции обработки данных выполняются непосредственно на борту устройства без постоянного обращения к внешним вычислительным ресурсам. Структура системы является двухуровневой. На верхнем уровне одноплатный компьютер Raspberry Pi 5 с нейроускорителем Hailo-8L выполняет обработку видеопотока, нейросетевой инференс, реализацию веб-интерфейса управления, а также речевое и локальное языковое взаимодействие. На нижнем уровне микроконтроллер STM32G431CBU6 обеспечивает управление приводами, обработку сигналов датчиков, выполнение функций реального времени и контуров безопасности. Для компьютерного зрения используется модель YOLOv8n, для распознавания речи применяется Vosk, для синтеза речи – Piper, для локального речевого взаимодействия – компактная модель семейства Qwen. Сенсорная система включает широкоугольную камеру IMX708, инерциальный измерительный модуль IMU и четыре датчика расстояния ToF. Передача видеопотока организована по технологии WebRTC, а обмен управляющими командами и служебной информацией осуществляется по протоколу WebSocket. Робот поддерживает ручной режим управления, функции антиколлизии и аварийной остановки, а также автономное энергоснабжение бортовой вычислительной платформы. Практическая значимость работы состоит в создании действующего прототипа, который может использоваться как основа для дальнейшей разработки функций автономного движения мобильной робототехнической платформы на основе данных камеры, ToF-датчиков и инерциального модуля. Полученные результаты подтверждают возможность практического применения локального нейросетевого инференса, бортовой обработки видеоданных и распределённой архитектуры управления в компактной мобильной edge AI системе. The work presents a software and hardware prototype of a mobile robot with elements of artificial intelligence. The robot is built on edge AI computing technology. In this technological framework, primary data processing tasks are executed locally on the device, bypassing the requirement for persistent connections to external computational resources. The system has a two-level structure. The upper tier comprises a Raspberry Pi 5 single-board computer with a Hailo-8L neural accelerator, performing video stream processing, neural network inference, web interface management, and local speech/language interaction. At the lower level, the STM32G431CBU6 microcontroller controls the drives, processes sensor signals, and performs real-time and safety functions. The YOLOv8n model is used for computer vision. Vosk is used for speech recognition. Piper is used for speech synthesis. A compact Qwen-family model is used for local language interaction. The sensor system includes an IMX708 wide-angle camera, an IMU, and four ToF distance sensors. Video streaming is implemented through WebRTC. Control commands and service data are exchanged through WebSocket. The robot supports manual control, anti-collision functions, and emergency stop. It also has an autonomous power supply for the onboard computing platform. The practical value of the work is the creation of a working prototype. The practical value of the work is the creation of a working prototype that can be used as a basis for further development of autonomous movement functions for a mobile robotic platform using data from the camera, ToF sensors, and the inertial module. The results confirm the practical use of local neural network inference, onboard video processing, and a distributed control architecture in a compact mobile robotic system.