01 / AI & EMBEDDED SYSTEM

POCO

AI 자세 코칭 모니터암

🏅 임베디드 소프트웨어 경진대회 결선 진출

사용자의 자세를 분석해 피드백하고, 정상 자세에서 모니터 위치와 수평을 조절하는 시스템입니다. 비전 기반 코칭으로 시작해 실제 작업 환경을 조절하는 모니터암으로 확장했습니다.

01

프로젝트 개요

프로젝트
Raspberry Pi 기반 AI 자세 코칭 시스템
개발 인원
4명 · 팀 프로젝트
진행 단계
V1 비전 코칭 / V2 모니터암 확장 완료
담당 역할
PyQt UI, Streamlit 리포트, 구조 설계·코드 통합, 멀티프로세싱, IMU PID 수평 보정
기여 범위
사용자 실행 흐름과 프로세스 연결, Motor 3·4 수평 제어를 직접 구현하고 팀 기능을 통합
POCO 모니터암 정면과 측면

사용 기술스택

언어·실행 환경

  • Python
  • Raspberry Pi 5

UI·리포트 · 직접 구현

  • PyQt5
  • QThread · Signal/Slot
  • Streamlit
  • Plotly

병렬 처리·프로세스 통신 · 직접 구현

  • Multiprocessing
  • Shared Memory Ring
  • Queue
  • RLock

센서·모터 제어 · 직접 구현·통합

  • IMU
  • PID Control
  • I2C
  • Serial

비전·AI · 팀 시스템

  • OpenCV
  • MediaPipe
  • TensorFlow Lite
  • GRU

프로필·측정 기록

  • JSON
  • CSV

개발 배경과 목표

자세를 알려주는 것만으로는 사용자의 작업 환경이 바뀌지 않습니다. 반대로 모니터가 사용자를 무조건 따라가면 잘못된 자세까지 따라갈 수 있습니다. 자세 판단과 환경 조절을 함께 연결할 필요가 있었습니다.

사용 흐름

카메라 영상으로 정상 자세·거북목·턱 괴기·비대칭 자세를 구분합니다. 잘못된 자세에는 교정 정보를 보여주고, 정상 자세에서는 센서와 제어 조건을 확인해 모니터가 사용자의 위치를 따라 움직이도록 합니다.

01

사용자별 보정

정상 자세와 거리·IMU 기준값 설정

02

AI 자세 판단

정상·비대칭·거북목·턱 괴기 분류

03

피드백·환경 조절

자세 피드백, 모니터 위치 추종과 수평 유지

04

일일 리포트

측정 기록을 자세 분포와 누적 시간으로 확인

V1 · 자세를 분석하고 기록하는 코칭
V2에서는 정상 자세를 기준으로 모니터 위치와 수평을 조절하는 기능을 결합했습니다.

02

주요 기능과 설계

실제 동작

POCO 실제 동작 시연
현재 자세와 주요 비정상 자세를 화면에 표시하고 피드백합니다.

사용자별 보정, 자세 피드백, 위치 추종, 수평 보정 장면을 선택할 수 있습니다.

전체 시연 영상 보기
PyQt 자세 측정과 제어 화면
PyQt · 프로필, 보정, 측정과 장치 상태를 연결한 화면. 장치 미연결 초기 상태.
Streamlit 일일 자세 분석 리포트
Streamlit · 일일 자세 분포와 기록 집계. 화면 확인용 예시 데이터이며 평가 결과가 아닙니다.

IMPLEMENTATION

사용자 흐름을 연결한 UI와 리포트

사용자가 기준 자세를 등록하고, 측정 결과를 화면과 일일 리포트로 확인하도록 구현했습니다.

신규 사용자는 모니터암 준비와 기준값 보정을 거쳐 측정을 시작하고, 기존 사용자는 저장된 프로필을 적용합니다. 자세·거리·IMU 기준값과 모터 각도를 함께 관리하고, 측정 기록을 CSV로 저장해 Streamlit 리포트로 연결했습니다.

리포트는 timestamp 기준 중복을 처리하고 세션을 나누어 집계했습니다. 1초당 1행을 기록하는 조건에서 기록 수를 시간으로 환산했습니다.

IMPLEMENTATION

UI·비전·하드웨어 처리 분리

자세를 분석하는 동안에도 화면과 모터 제어가 각자의 작업을 수행하도록 실행 구조를 나눴습니다.

연산량이 큰 분석과 센서·모터 제어를 별도 프로세스로 실행했습니다. UI는 하드웨어에 직접 접근하는 대신 명령을 보내고 결과와 최신 상태를 받아 표시합니다.

데이터 / 자원설계 방식
영상 프레임공유 슬롯을 복사한 뒤 반환하고, 추론은 로컬 복사본으로 수행
현재 상태최신값을 우선 반영해 오래된 상태가 누적되지 않도록 구성
명령·완료·오류순서 유지 Queue로 전달하고 전송 실패를 별도로 처리
장치 접근Hardware Process가 I2C·Serial 접근을 담당
종료자식 프로세스 종료 후 공유 메모리를 해제
01

기준값 비교

IMU 기준값과 현재 기울기 차이 계산

02

PID 연산

오차에 대한 보정 각속도 산출

03

목표 각도 갱신

제어 주기 반영, 안전 범위 제한

04

모터 명령 전달

공통 MotorService로 명령 전송

IMPLEMENTATION

IMU 기반 PID 수평 보정

기울기 센서(IMU)로 화면의 기울어짐을 읽고, PID 제어로 두 모터를 조절해 수평을 보정했습니다.

사용자 보정 시 저장한 IMU 기준값으로 오차를 계산합니다. PID 출력을 각속도로 사용하고 제어 주기만큼 목표 각도에 반영해 Motor 3·4를 갱신했습니다.

Motor 3은 IMU Y축, Motor 4는 X축을 기준으로 보정합니다. 모터의 안전 범위를 제한하고 기존 위치 추종 제어와 함께 실행하도록 통합했습니다.

구현 코드와 실행 구조 확인
03

구현 결과

🏅 임베디드 소프트웨어 경진대회 결선 진출

POCO 팀 프로젝트 성과

사용자 보정, 실시간 자세 피드백, 기록 리포트와 모니터암 제어를 하나의 실행 흐름으로 연결했습니다. 직접 적용한 프레임 소비 정책의 개선 결과는 다음과 같습니다.

자세 판단 완료 지연1.35s → 50ms

현재 입력을 더 빠르게 반영

프레임 처리 지연1.3s → 15ms

누적 프레임 대기 감소

대기 프레임32 → 1–3

최신 프레임 우선 처리

개발완료보고서의 당시 32슬롯 환경에서 측정한 근삿값입니다. 현재 코드는 4슬롯이며, 모델 자체의 추론 속도 향상이 아닌 프레임 대기 지연 개선 결과입니다.

구분확인한 결과
사용자 흐름프로필 보정·측정·기록·리포트 연결
실행 구조PyQt에서 카메라를 관리하고 Pose·Hardware 프로세스를 분리
수평 보정IMU PID 기반 Motor 3·4 제어 및 기존 모니터암 기능 통합
팀 모델 평가보고서의 단일 평가 세션에서 Accuracy 93.90% · 1,066개 윈도우. 개인 모델 개발 성과나 전체 사용자에 대한 일반화 수치로 제시하지 않습니다.
개발완료보고서에서 측정 근거 확인
04

문제 해결 과정

PROBLEM SOLVING · UI RESPONSE

01. 분석·장치 처리 중 화면이 멈춰 보이는 문제

01

문제 발생

자세 분석과 장치 제어처럼 시간이 걸리는 작업을 처리하는 동안에도, 사용자의 입력과 화면 갱신은 이어져야 했습니다. UI 프리징에 대응하기 위해 화면 처리와 무거운 작업의 실행 흐름을 분리했습니다.

02

해결 과정

카메라 수집은 CameraWorker(QThread)에서 처리하고, 자세 추론과 하드웨어 제어는 별도 프로세스로 실행했습니다. 영상은 Shared Memory Ring으로 전달하고, 상태·명령은 Queue로 주고받도록 구성했습니다. UI는 결과 신호를 받아 화면을 갱신하도록 연결했습니다.

03

구현 결과

UI가 분석·장치 작업을 직접 수행하는 대신, 작업 요청과 결과 표시를 맡는 구조로 바꿨습니다. 화면 응답을 위한 실행 분리와, 이후 발생한 영상 대기 지연 개선은 별개의 문제로 다뤘습니다.

CameraWorker와 결과 전달 구현 확인 ↗
BEFORE

들어온 영상을 순서대로 처리

카메라 입력 → 영상 대기 증가 → 과거 자세 표시

자세 판단 완료 지연 약 1.35초
AFTER

대기 중인 최신 영상을 우선 처리

카메라 입력 → 최신 영상 선택 → 현재 자세 반영

자세 판단 완료 지연 약 50ms

개발완료보고서의 당시 32슬롯 환경 기준. 모델의 추론 속도가 아닌 영상 대기 지연을 개선했습니다.

PROBLEM SOLVING

02. 영상이 쌓이면서 늦어진 자세 피드백

01

문제 발생

카메라 입력은 약 30 FPS, 분석은 약 25~29 FPS로 차이가 있었습니다. 대기 프레임이 누적되면서 현재가 아닌 과거 자세를 뒤늦게 판단했습니다.

02

해결 과정

버퍼를 늘리는 대신 소비 정책을 바꿨습니다. 대기 프레임 중 최신 프레임을 선택하고 과거 프레임을 건너뛰도록 수정했습니다.

03

결과

자세 판단 완료 지연이 약 1.35초에서 50ms로 감소했습니다. 보고서의 당시 32슬롯 환경에서 측정한 값이며, 모델 연산 속도가 아닌 대기 지연을 개선한 결과입니다.

Overrun과 Skip을 구분한 이유

Overrun은 빈 슬롯이 없어 새 입력을 버리는 경우이고, Skip은 최신 프레임을 처리하기 위해 과거 프레임을 의도적으로 건너뛰는 경우입니다. 누적 카운터만으로 현재의 정체를 판단하지 않고 대기량과 지연을 함께 확인했습니다.

PROBLEM SOLVING

03. 자세 분석을 기다리느라 끊긴 피로도 분석 입력

01

문제 발생

자세와 피로도 분석을 하나의 동기 흐름에서 처리하면서 자세 추론이 길어질수록 피로도 분석에 전달되는 연속 프레임이 부족해졌습니다.

02

해결 과정

분석 작업을 별도 프로세스로 나누고 공유 메모리 링으로 영상을 전달하는 구조를 적용했습니다. 이후 Pose의 누적 지연에는 최신 프레임 소비 정책을 적용했습니다.

03

결과

작업을 분리할 수 있는 실행 구조를 마련했습니다. 최종 활성 구성은 Pose와 하드웨어 제어이며, Face 분석 성능과 연속 프레임 확보까지 검증을 완료한 것은 아닙니다.

PROBLEM SOLVING

04. 정상 자세를 거북목으로 판단한 문제

01

문제 발생

체형·착석 위치·카메라 각도에 따라 특징값이 달라져 정상 자세를 거북목으로 분류하는 사례가 발생했습니다.

02

해결 과정

팀에서 사용자 정상 자세의 Baseline을 입력에 반영했습니다. 저는 기준값을 측정하고 사용자 프로필에 저장·복원하는 UI 흐름과 연결했습니다.

03

결과

보고서에서 정상 자세의 오분류 사례 개선을 확인했습니다. 모델 보정은 팀 성과이며, 저는 사용자 보정·프로필 저장·복원 흐름을 담당했습니다.

05

회고

데이터마다 필요한 전달 방식이 다릅니다

영상과 현재 상태는 최신성이 중요하지만, 제어 명령과 처리 결과는 순서를 유지해야 합니다. 프로세스를 나누는 것과 함께 데이터의 소비 정책, 자원 소유와 반환 시점까지 설계해야 한다는 점을 배웠습니다.

통합 이후의 동작까지 확인합니다

UI·분석·제어가 각각 동작해도 함께 실행하면 지연과 자원 문제가 드러났습니다. 다음에는 종료·재시작과 장시간 실행을 포함한 통합 검증을 더 일찍 진행하고, 프로세스별 지연을 함께 기록하고 싶습니다.

다음 프로젝트KICK-CAN