Học các bộ điều khiển mạnh mẽ hoạt động hiệu quả trong nhiều môi trường quan sát một phần - Robohub

Bài báo thảo luận về thách thức trong việc thiết kế các bộ điều khiển mạnh mẽ cho các hệ thống thông minh hoạt động trong môi trường quan sát một phần và không chắc chắn, chẳng hạn như robot tự hành điều hướng với cảm biến nhiễu và mô hình không hoàn hảo. Các phương pháp truyền thống mô hình hóa việc ra quyết định dưới sự không chắc chắn bằng các quá trình quyết định Markov quan sát một phần (POMDP), giả định một môi trường duy nhất đã biết nhưng khả năng quan sát trạng thái bị hạn chế. Tuy nhiên, các tình huống thực tế thường bao gồm sự không chắc chắn không chỉ trong quan sát mà còn trong chính mô hình môi trường, như vị trí chướng ngại vật không xác định hoặc động lực thay đổi, điều mà POMDP không thể mô tả đầy đủ. Để giải quyết vấn đề này, các tác giả giới thiệu khung POMDP mô hình ẩn (HM-POMDP), đại diện cho một tập hợp các POMDP có sự khác biệt về động lực hoặc phần thưởng nhưng cùng cấu trúc. Các bộ điều khiển thiết kế cho HM-POMDP phải có tính mạnh mẽ, hoạt động tốt trên tất cả các mô hình có thể mặc dù môi trường thực sự bị ẩn. Tính mạnh mẽ được đo bằng hiệu suất trong trường hợp xấu nhất trên tập mô hình, đảm bảo hoạt động đáng tin cậy bất kể môi trường cụ thể nào được gặp phải. Bài báo nhấn mạnh nghiên cứu của họ tại IJCA