1-9. 미디어파이프 AI 구축

import cv2 import mediapipe as mp import numpy as np import serial import time # 시리얼 포트 설정 (COM19) ser = serial.Serial('COM19', 9600) # 포트와 보드레이트 설정 time.sleep(2) # 시리얼 통신 안정화 대기 # 미디어파이프 손인식 모듈 초기화 mp_hands = mp.solutions.hands hands = mp_hands.Hands(max_num_hands=1) # 한 손만 인식하도록 설정 mp_draw = mp.solutions.drawing_utils # 버튼 클래스 정의 class Button: def __init__(self, pos, text, color): self.pos = pos # (x, y, width, height) self.text = text self.color = color def draw(self, img): x, y, w, h = self.pos cv2.rectangle(img, (x, y), (x + w, y + h), self.color, cv2.FILLED) cv2.putText(img, self.text, (x + 10, y + h - 10), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2) def is_pressed(self, x, y): bx, by, bw, bh = self.pos if bx < x < bx + bw and by < y < by + bh: return True return False # 버튼 생성 buttons = [ Button((50, 50, 150, 100), "Red", (0, 0, 255)), Button((250, 50, 150, 100), "Blue", (255, 0, 0)), Button((450, 50, 150, 100), "Yellow", (0, 255, 255)) ] # 웹캠 영상 캡처 객체 생성 cap = cv2.VideoCapture(0) selected_color_text = "" prev_selected_color = "" while True: success, img = cap.read() if not success: break img = cv2.flip(img, 1) # 좌우 반전 # 이미지 색상 변환 (BGR에서 RGB로) img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 손 랜드마크 감지 results = hands.process(img_rgb) # 버튼 그리기 for button in buttons: button.draw(img) if results.multi_hand_landmarks: for hand_lms in results.multi_hand_landmarks: # 랜드마크 그리기 mp_draw.draw_landmarks(img, hand_lms, mp_hands.HAND_CONNECTIONS) # 검지 끝부분 좌표 가져오기 (랜드마크 번호 8번) h, w, c = img.shape lm = hand_lms.landmark[8] x, y = int(lm.x * w), int(lm.y * h) # 검지 끝에 원 그리기 cv2.circle(img, (x, y), 10, (255, 0, 255), cv2.FILLED) # 버튼 터치 여부 확인 for button in buttons: if button.is_pressed(x, y): selected_color_text = button.text # 이전에 선택된 색상과 다를 때만 시리얼로 전송 if selected_color_text != prev_selected_color: # 색상에 따른 명령어 전송 if selected_color_text == "Red": ser.write(b'RED\n') elif selected_color_text == "Blue": ser.write(b'BLUE\n') elif selected_color_text == "Yellow": ser.write(b'YELLOW\n') prev_selected_color = selected_color_text else: selected_color_text = "" prev_selected_color = "" # 선택된 색상 텍스트 출력 if selected_color_text != "": cv2.putText(img, selected_color_text, (50, 200), cv2.FONT_HERSHEY_SIMPLEX, 2, (0, 0, 0), 4) # 결과 영상 출력 cv2.imshow("Hand Touch Buttons", img) if cv2.waitKey(1) & 0xFF == ord('q'): break # 자원 해제 cap.release() cv2.destroyAllWindows() ser.close()