Nvidia tung loạt model mở Nemotron 3.5 — agent chạy ngay trên máy PC của anh em

Nvidia không chỉ bán chip nữa, giờ còn đưa luôn model. Hãng vừa ra mắt bộ model open-weight Nemotron 3.5 cho agent chạy liên tục, từ doanh nghiệp tới máy tính cá nhân.

Ba model, ba tầng

Nemotron 3.5 Super VL có 120 tỷ tham số, nhắm tới agent doanh nghiệp. Nvidia nói nó đạt độ chính xác ngang bản Nemotron 3 Ultra lớn hơn trong các tác vụ làm theo chỉ dẫn và dùng công cụ. Hãng còn tuyên bố sau khi post-train cho từng việc như xử lý tài liệu, kế toán tài chính hay hồ sơ bảo hiểm y tế, Super VL hoàn thành tác vụ agent nhanh hơn các model của Anthropic và OpenAI.

Hai model Bolt chạy cục bộ trên AI PC dùng chip RTX Spark và máy trạm DGX Spark: Bolt 74B-A9B (74 tỷ tham số) cho tác vụ agent tại chỗ, và Bolt E4B nhỏ nhất cho agent hội thoại. Super VL và Bolt 74B-A9B có ngay bây giờ, còn Bolt E4B sẽ ra vào cuối tháng này. Các hãng như Skydance, EY, Ramp, Crowdstrike, Perplexity và Salesforce nằm trong danh sách người dùng được nhắc tới.

Kari Briski, phụ trách model mở của Nvidia, nói bất kỳ tổ chức nào muốn chạy agent trên hạ tầng Nvidia giờ đã có một model mở tối ưu cho đúng tầng của mình. Các so sánh hiệu năng ở đây là tuyên bố của Nvidia, anh em nên đợi benchmark độc lập.

Mấy fen thấy sao: agent chạy hẳn trên máy mình có đủ hấp dẫn để bỏ API cloud không? Comment chia sẻ nhé.

Nguồn: TechCrunch

Nguồn: TechCrunch