Học các bộ điều khiển mạnh mẽ hoạt động hiệu quả trong nhiều môi trường quan sát một phần - Robohub

Bài viết thảo luận về thách thức trong việc thiết kế các bộ điều khiển bền vững cho các hệ thống thông minh hoạt động trong môi trường quan sát một phần và không chắc chắn, chẳng hạn như robot tự hành điều hướng với thông tin không đầy đủ. Các mô hình truyền thống như quá trình quyết định Markov quan sát một phần (POMDP) xử lý sự không chắc chắn trong quan sát và hành động nhưng giả định một mô hình môi trường cố định, hạn chế khả năng tổng quát hóa qua các biến thể trong động lực hệ thống hoặc nhiễu cảm biến. Để giải quyết vấn đề này, các tác giả giới thiệu khuôn khổ POMDP mô hình ẩn (HM-POMDP), đại diện cho một tập hợp các môi trường có cấu trúc chung nhưng khác biệt về động lực hoặc phần thưởng. Các bộ điều khiển được thiết kế theo HM-POMDP phải hoạt động đáng tin cậy trên tất cả các biến thể này, đảm bảo tính bền vững bằng cách tối ưu hóa hiệu suất trong trường hợp xấu nhất. Đột phá chính là phát triển các bộ điều khiển bộ nhớ hữu hạn bền vững, tích hợp các trạng thái bộ nhớ nội bộ để xử lý đồng thời sự quan sát một phần và không chắc chắn về mô hình. Các bộ điều khiển hữu hạn trạng thái này là các biểu diễn chính sách thực tiễn và hiệu quả, cập nhật trạng thái nội bộ dựa trên quan sát và hành động, cho phép ra quyết định tốt hơn mặc dù thông tin không đầy đủ. Bài viết nhấn mạnh công trình của các tác giả tại IJCAI 202...