AI sao chép các thao tác CAD của con người để biến bản phác thảo thành mô hình 3D nhanh chóng

Các kỹ sư tại MIT đã phát triển một mô hình AI mô phỏng các tương tác của con người trong phần mềm CAD để chuyển đổi các bản phác thảo 2D thành mô hình 3D bằng cách thực hiện các hành động giao diện người dùng chính xác như nhấp nút, kéo thả và chọn công cụ. Cách tiếp cận này nhằm giảm bớt độ khó trong việc học thiết kế CAD, giúp quá trình trở nên nhanh hơn và dễ tiếp cận hơn, đặc biệt đối với người mới bắt đầu. Trung tâm của nỗ lực này là việc tạo ra VideoCAD, một bộ dữ liệu chứa hơn 41.000 video ghi lại từng hành động chi tiết trên giao diện người dùng mà các nhà thiết kế thực hiện trong quá trình mô hình hóa. Bằng cách huấn luyện trên dữ liệu này, AI học cách tái tạo chính xác các chuỗi tương tác cần thiết để xây dựng các đối tượng 3D từ các bản phác thảo. Sáng kiến này dựa trên những tiến bộ trong các tác nhân giao diện người dùng do AI điều khiển nhưng giải quyết sự phức tạp lớn hơn của các tác vụ CAD, vốn đòi hỏi kiểm soát tinh vi trong việc chọn công cụ, xác định vùng và thao tác hình dạng. Hệ thống chuyển đổi các lệnh thiết kế cấp cao thành các thao tác giao diện người dùng ở cấp độ điểm ảnh, cho phép nó vận hành phần mềm CAD một cách tự động. Các thử nghiệm ban đầu cho thấy AI có thể tạo thành công cả các mô hình 3D đơn giản lẫn phức tạp.