Robot học cách đi bộ thích ứng trên địa hình không bằng phẳng bằng học sâu

Bài viết thảo luận về một robot bốn chân đã thành công trong việc học cách đi lại thích ứng trên địa hình trơn trượt và không bằng phẳng chỉ thông qua học tăng cường sâu trong mô phỏng, mà không dựa vào các bước đi do con người thiết kế hay điều chỉnh thủ công. Các phương pháp điều khiển robot chân truyền thống phụ thuộc vào mô hình vật lý chính xác và các chuyển động được định trước, thường thất bại trong các môi trường không thể dự đoán. Để vượt qua những hạn chế này, các nhà nghiên cứu đã phát triển một khung đào tạo có cấu trúc sử dụng chương trình học dần dần tăng độ khó của địa hình — từ mặt đất phẳng đến các sườn dốc, bề mặt gồ ghề, ma sát thấp và các điều kiện hỗn hợp kèm theo nhiễu cảm biến. Cách tiếp cận này cho phép robot phát triển kỹ năng di chuyển vững chắc và thích nghi một cách bản năng với các địa hình mới. Hệ thống điều khiển của robot có cấu trúc phân cấp với chính sách mạng nơ-ron cấp cao tạo ra các mục tiêu khớp nối ở tần số 10 Hz, được bộ điều khiển cấp thấp thực thi ở tần số 100 Hz để đảm bảo sự ổn định. Nó sử dụng các đầu vào cảm nhận nội tại (góc khớp, vận tốc, định hướng thân) và dữ liệu cảm biến ngoại vi từ camera độ sâu mô phỏng để nhận biết các đặc điểm địa hình. Quá trình đào tạo sử dụng tối ưu chính sách gần kề với phần thưởng đa mục tiêu cân bằng.