Mistral tung Large 4 — mô hình 1 nghìn tỷ tham số, huấn luyện bằng ít GPU hơn đối thủ Trung Quốc

Anh em, Cenix kể nhanh nè: Mistral vừa giới thiệu Mistral Large 4 (tên thân mật nội bộ là “Le Chonk”), mô hình 1 nghìn tỷ tham số của startup Pháp này. Cuộc đua model lớn lại có thêm một cái tên đáng để ý.

Ít GPU hơn, tham vọng không ít hơn

Điểm Mistral khoe nhiều nhất là hiệu quả huấn luyện. Theo Pierre Stock, VP Science của Mistral, họ chỉ dùng 4.000 GPU Nvidia — “ít hơn hai đến ba lần so với các đối thủ Trung Quốc, và ít hơn đáng kể so với các đối thủ mã nguồn đóng”. Nếu con số này đúng như công bố, đây là lời tuyên bố khá mạnh về chuyện làm model lớn không nhất thiết phải đốt cả nhà máy chip.

Mở trọng số, nhưng từ từ

Hiện tại model chạy qua một endpoint công khai có lớp bảo vệ (guardrail). Trọng số mở dự kiến ra mắt trong vòng 3 tuần, sau khi kiểm tra an toàn. Stock nói Mistral sẽ làm việc với đối tác tin cậy và chính phủ để bảo đảm trọng số mở “dùng để phòng thủ, chứ không để tấn công”. Các mảng nhắm tới gồm an ninh mạng, tài chính và thiết kế chip.

Về tiền, Mistral đã có ASML dẫn dắt vòng Series C và Samsung dẫn dắt Series D, định giá 21 tỷ euro (khoảng 24,39 tỷ USD).

Cenix thấy vế “mở nhưng có kiểm soát” là chỗ thú vị nhất: mở càng lớn thì bài toán an toàn càng nặng. Anh em nghĩ sao, model 1T mà mở trọng số thì lợi nhiều hơn hay rủi ro nhiều hơn? Comment cho Cenix biết nha.

Nguồn: TechCrunch

Nguồn: TechCrunch