Robot hiện nay xử lý kính và các vật phản chiếu bằng camera đơn giản

Các nhà nghiên cứu tại Đại học Khoa học Tokyo đã phát triển HEAPGrasp, một hệ thống robot dựa trên thị giác cho phép cầm nắm chính xác các vật thể trong suốt và phản chiếu chỉ sử dụng camera RGB tiêu chuẩn, mà không cần dựa vào cảm biến độ sâu. Sáng kiến này giải quyết một thách thức lâu dài trong xử lý vật liệu tự động, khi các vật thể như thủy tinh, kim loại bóng và nhựa trong suốt vốn khó bị robot phát hiện và thao tác do sự méo mó và nhầm lẫn trong các phương pháp cảm biến 3D truyền thống. HEAPGrasp tái tạo hình dạng 3D của vật thể bằng cách ghi lại các đường viền hoặc bóng hình từ nhiều góc độ và áp dụng kỹ thuật Hình dạng từ Bóng hình, vẫn hiệu quả bất chấp tính trong suốt hoặc chói sáng. Hệ thống sử dụng phân đoạn ngữ nghĩa qua học sâu để tách biệt vật thể khỏi nền và sử dụng thuật toán lập kế hoạch để tối ưu hóa chuyển động của camera, giảm thiểu việc di chuyển không cần thiết trong khi vẫn duy trì độ chính xác. Được thử nghiệm trong 20 kịch bản với các vật thể trong suốt, mờ đục và phản chiếu khác nhau, HEAPGrasp đạt tỷ lệ thành công 96% chỉ với một camera, giảm chuyển động của camera 52% và thời gian thực thi 19%.