Ứng dụng AI mới giúp người khiếm thị tìm các vật dụng hàng ngày nhanh hơn

Các nhà nghiên cứu tại Penn State đã phát triển NaviSense, một ứng dụng điều hướng AI trên điện thoại thông minh được thiết kế để giúp người khiếm thị tìm kiếm các vật dụng hàng ngày nhanh hơn và chính xác hơn. Khác với các công cụ hỗ trợ hiện có dựa vào thư viện vật thể được tải sẵn hoặc sự trợ giúp của con người, NaviSense kết nối với các mô hình ngôn ngữ lớn (LLMs) và mô hình ngôn ngữ-thị giác (VLMs) bên ngoài để nhận diện vật thể theo thời gian thực dựa trên lệnh thoại. Cách tiếp cận này loại bỏ nhu cầu về cơ sở dữ liệu vật thể tĩnh, mang lại sự linh hoạt và phản hồi nhanh hơn. Ứng dụng cũng cung cấp phản hồi đàm thoại bằng cách đặt các câu hỏi làm rõ và có tính năng hướng dẫn tay, giúp chỉ dẫn tay người dùng về phía vật thể thông qua tín hiệu âm thanh và rung — một khả năng được xác định là nhu cầu quan trọng của người dùng qua các cuộc phỏng vấn sâu rộng với người khiếm thị. Trong các thử nghiệm có kiểm soát với 12 người tham gia, NaviSense đã vượt trội hơn hai sản phẩm thương mại khác bằng cách giảm thời gian tìm kiếm và cải thiện độ chính xác trong nhận diện vật thể, trong khi người dùng báo cáo trải nghiệm hài lòng hơn. Hệ thống lắng nghe các yêu cầu nói, lọc bỏ các vật thể không liên quan và hướng dẫn người dùng chính xác đến mục tiêu của họ, giải quyết những hạn chế lâu dài trong công nghệ điều hướng hỗ trợ. Nghiên cứu này...