Thị giác cho robot thám hiểm tự hành
Nhận thức đa phương thức giúp robot di chuyển an toàn trên địa hình chưa biết.
- Thời gian
- tháng 1 năm 2024 - nay
- Kinh phí
- Quỹ Nghiên cứu Mẫu, mã số EX-2024-017
- Thành viên
- Lê Thu Hà, Nguyễn Bảo Châu, Trần Minh Khoa
Mục tiêu
Xây dựng bộ nhận thức giúp robot tự hành ước lượng độ sâu, phân đoạn địa hình và hiểu chỉ dẫn bằng ngôn ngữ tự nhiên khi thiếu dữ liệu có nhãn.
Phương pháp
Học tự giám sát từ chuỗi ảnh và LiDAR, kết hợp mô hình đa phương thức để gắn câu lệnh với quan sát.
Kết quả
Hai paper đã công bố: Self-Supervised Depth Estimation for Planetary Terrain và Multimodal Grounding of Natural-Language Instructions for Mobile Robots.
- thị giác máy tính
- robot tự hành