Startup từ Caltech nhét AI 2 tỷ tham số vào kính thông minh Snapdragon — không cần internet vẫn hiểu anh em đang nhìn gì

PrismML, phòng lab AI do các nhà nghiên cứu Caltech sáng lập và có Ion Stoica (UC Berkeley) làm cố vấn, vừa giới thiệu model Bonsai 1-bit tại sự kiện Snapdragon Summit của Qualcomm — tối ưu riêng cho kính thông minh chạy chip Snapdragon.

Bonsai là model 2 tỷ tham số, xử lý cả hình ảnh lẫn ngôn ngữ, nhưng được nén xuống định dạng 1-bit giúp giảm kích thước tới 4 lần so với bản gốc mà hiệu năng trên các bộ benchmark chuẩn gần như không đổi. Phiên bản dành cho kính thông minh cho phép người dùng hỏi trực tiếp về những gì đang nhìn thấy trong thời gian thực — không cần gửi dữ liệu lên máy chủ để xử lý.

Đặt cược vào AI chạy tại chỗ, không phụ thuộc cloud

Theo PrismML, “mục tiêu lớn hơn của Prism là AI mã nguồn mở chạy được ngay trên thiết bị, tận dụng tốt hơn sức mạnh tính toán mà thiết bị đã có sẵn.” Đây là cách tiếp cận ngược với xu hướng phổ biến hiện nay, khi phần lớn AI tạo sinh vẫn phụ thuộc vào các mô hình độc quyền chạy trên cloud. Hiện tại PrismML chưa công bố sản phẩm kính thông minh thương mại nào dùng công nghệ này — mới dừng ở bản trình diễn kỹ thuật.

Cuộc đua thu nhỏ model để chạy trực tiếp trên thiết bị đeo đang nóng lên, và đây là dấu hiệu cho thấy giới hạn phần cứng không còn là rào cản lớn như vài năm trước. Anh em có tin AI chạy ngay trên kính, không cần internet, sẽ là bước ngoặt cho thiết bị đeo thông minh không? Để lại bình luận cho Cenix biết góc nhìn của anh em.

Nguồn: TechCrunch

Nguồn: TechCrunch