STM32H7 Aphasia Helper

失语症患者辅助设备，全国大学生嵌入式芯片与系统设计竞赛，嵌入式人工智能赛道。

基于CubeMX、Keil、X-Cube-AI开发。

Table of Contents

• Features
• Product
• X-Cube-AI
• Hardware
  • Connection
• PCB
• 3D Model
• Pins Configuration
• UI
• File Structure
• Project Configuration
• Encoding
• References

Features

屏幕上有三个选项，通过左右倾斜设备，陀螺仪会读取角度，切换不同的带选项。患者通过拂过（遮挡后松开）红外传感器，进行确认选项。相比手机等设备的点触，不容易选错选项，对于难以精准控制自己肢体动作的患者更加友好，操作的鲁棒性更强。并且本身握持的设备，进行倾斜设备和手指拂动的操作，更加简便。

进行确认选项后，设备震动给予患者“选择成功”的反馈，利于患者适应操作流程。

选择“吃饭/喝水、上厕所”选项时，会播放特定的音乐呼叫家属，屏幕界面有对应显示。家属或患者可以再次轻拂过红外传感器，关闭音乐。

而选择“找东西”选项时，设备调用设备底部的摄像头，用户抬起设备像“望远镜”一样找东西，屏幕显示画面与内置的CUBE-AI物体识别结果，辅助患者寻找辨别东西。找到目标时，同样可以呼叫家属。

交互简易，易于患者与家属的理解，可大大促进双方的交流，免于说话交流的不便。

Product

X-Cube-AI

Hardware

• STM32H7A3ZI-Q (MCU)
• OV7670 (Camera): 320x240, 30fps, RGB565
• ST7735 (2.8" TFT LCD): 240x320, RGB565
• ATK-MPU6050 (Gyroscope)
• SYN6288 (Voice Synthesis)
• LD3320 (Voice Recognition) (Not used)
• Passive Buzzer
• Infra-red Sensor
• Vibration Motor
• Lithium Battery (5V, Micro USB)

Connection

PCB

3D Model

Based on Rhino 3D

Pins Configuration

UI

• Home

• Calling

File Structure

├─imgs                 # Images
├─3d_model             # 3D model (Rhino 3D)
└─project              # Main project directory
    ├─H7_Ultimate.ioc  # STM32CubeMX project configuration file
    ├─.ai
    ├─AI-Data          # AI data generated by X-Cube-AI
    ├─AI-run           # AI related code (Image Processing, Inference, etc.)
    ├─Core             # Core code (main.c, gpio.c, spi.c, etc.)
    ├─Drivers          # Device drivers (HAL)
    ├─Hardware         # Hardware specific code (initialization, low-level operations)
    │  ├─GUI           # TFT GUI code for user interface
    │  ├─LD3320        # LD3320 (Not used)    
    │  ├─mpu6050       # MPU6050
    │  ├─Music         # Music
    │  ├─SCCB          # SCCB protocol code for OV7670
    │  ├─SYN6288       # SYN6288 (Voice Recognition)
    │  └─SYSTEM        # System define and delay
    ├─MDK-ARM          # Keil Project
    ├─Middlewares      # X-Cube-AI
    └─X-CUBE-AI        # X-Cube-AI

Project Configuration

• Target: Use MicroLIB
• Debug: ST-Link Debugger

Encoding

• GB2312

References

• Hardware SPI Register
• RGB565 to RGB888
• X-Cube-AI MCUNet