Dự án này tập trung vào việc nhận diện cử chỉ của cánh tay thông qua cảm biến gia tốc MPU6050. Bằng cách sử dụng Machine Learning và AI, hệ thống có thể nhận dạng các cử chỉ khác nhau để ứng dụng vào điều khiển thiết bị thông minh, giao diện người-máy.
- 📌 Thu thập dữ liệu: Sử dụng cảm biến MPU6050 để thu thập dữ liệu gia tốc và con quay hồi chuyển theo thời gian thực.
- 🤖 Xử lý bằng AI: Ứng dụng Machine Learning để nhận diện các cử chỉ cánh tay như vẫy, nâng, hạ, xoay...
- 🎮 Ứng dụng thực tế: Điều khiển thiết bị thông minh, chơi game bằng cử chỉ hoặc hỗ trợ phục hồi chức năng.
- 📊 Lưu trữ và quản lý dữ liệu: Sử dụng tệp CSV để lưu trữ dữ liệu cảm biến, thuận tiện cho xử lý và huấn luyện mô hình.
├── 📁 Mô hình # Chứa mô hình AI đã huấn luyện
│ ├── lstm_gesture_model.pkl # Mô hình đã lưu
│ ├── lstm_train.py # Notebook huấn luyện mô hình
│
├── 📁 dulieududoan # Dữ liệu đầu vào để dự đoán
│
├── 📁 guidulieu # Hướng dẫn xử lý dữ liệu
│
├── 📁 image # Hình ảnh minh họa
│
├── 📁 static # CSS, JS, hình ảnh tĩnh phục vụ giao diện web
│
├── 📁 templates # HTML template cho Flask server
│
├── 📁 thuchienhanhdong # Mã nguồn nhận diện cử chỉ cánh tay
│
├── 📁 thudulieu # Lưu dữ liệu cử chỉ được ghi nhận
│
├── .gitignore # Danh sách file cần bỏ qua khi push lên Git
│
├── Dudoan.py # Chương trình chính để nhận diện và dự đoán hành động
│
├── dudoanCSV.py # Xử lý dữ liệu từ file CSV để huấn luyện mô hình
│
├── dulieu1.csv # Dữ liệu mẫu dùng cho huấn luyện
│
├── README.md # Tài liệu hướng dẫn dự án
- ESP8266 (hoặc ESP32) để thu thập dữ liệu từ cảm biến.
- MPU6050 - Cảm biến gia tốc và con quay hồi chuyển.
- LED chỉ báo để hiển thị trạng thái nhận diện cử chỉ.
- LED hồng ngoại (tùy chọn) để hỗ trợ một số chức năng điều khiển.
- 🐍 Python 3+ (Yêu cầu thư viện: NumPy, Pandas, Flask, TensorFlow, Scikit-learn, Matplotlib).
- 📡 Flask Server để xử lý dữ liệu và dự đoán cử chỉ.
- 📊 CSV để lưu trữ dữ liệu đầu vào và đầu ra của mô hình.
Để chạy dự án, bạn cần cài đặt các thư viện sau bằng lệnh:
pip install numpy pandas flask tensorflow scikit-learn matplotlib pyserial
1️⃣ Chuyển kênh 🔄
- Sang phải → Tăng kênh 📡
- Sang trái → Giảm kênh 🔄
2️⃣ Tăng/Giảm âm lượng 🔊🔉
- Nâng tay lên trên ⬆️ → Tăng âm lượng 🔊
- Hạ tay xuống dưới ⬇️ → Giảm âm lượng 🔉
1️⃣ Bật đèn 💡
- Nâng tay lên trên ⬆️ → Đèn bật.
2️⃣ Tắt đèn 🌑
- Hạ tay xuống dưới ⬇️ → Đèn tắt.
- Đảm bảo ESP8266 đã kết nối với WiFi và nhận tín hiệu từ MPU6050.
- Khi thực hiện cử chỉ, giữ tư thế ổn định để tránh sai lệch.
- Nếu hệ thống không phản hồi, kiểm tra kết nối với Flask Server.
Dự án được phát triển bởi 4 thành viên:
| Họ và Tên | Vai trò |
|---|---|
| Phan Đình Quang Vinh | Phát triển toàn bộ mã nguồn, kiểm thử, triển khai dự án, PowerPoint, và thực hiện video giới thiệu. |
| Bạch Công Quân | Biên soạn tài liệu Overleaf, Poster, thuyết trình, đề xuất cải tiến, và hỗ trợ bài tập lớn. |
| Nguyễn Viết Trọng | Hỗ trợ bài tập lớn, đề xuất cải tiến. |
| Nguyễn Thị Linh Chi | Hỗ trợ bài tập lớn, PowerPoint, thực hiện video giới thiệu. |
© 2025 NHÓM 6, CNTT16-02, TRƯỜNG ĐẠI HỌC ĐẠI NAM