Amazon tung TorchNeuron — chuyển PyTorch sang chip Trainium chỉ bằng một dòng cấu hình

Mấy fen làm AI chắc biết nỗi đau này: code PyTorch chạy ngon trên GPU Nvidia, muốn đổi chip là phải sửa một đống. Amazon vừa ra tay giải bài toán đó bằng TorchNeuron, công cụ cho phép đưa ứng dụng PyTorch sang chip Trainium của AWS.

Một dòng cấu hình, không viết lại code

Theo Amazon, việc chuyển đổi chỉ cần một dòng cấu hình. Con số hãng đưa ra là khoảng 85% ứng dụng AI được viết bằng PyTorch, nên đây là cánh cửa rất lớn. Lâu nay CUDA của Nvidia gắn PyTorch với phần cứng Nvidia khá chặt; AWS muốn tháo cái ràng buộc đó và cam kết đóng góp ngược lên PyTorch để gỡ những đoạn code gắn cứng với từng loại chip.

Colin Brace, phó chủ tịch phần mềm tại AWS Annapurna Labs, nói rằng câu chuyện thật sự là loại bỏ sự khóa chặt khiến lập trình viên không có lựa chọn. AWS cũng dẫn ví dụ Deepgram: chuyển sang Trainium và xử lý được nhiều hơn 70% lượng audio trên mỗi đô la.

Cân nhắc

AWS còn khéo ngầm chê các nhà cung cấp neocloud như Coreweave hay Nebius là bị trói vào Nvidia. Nhưng giới quan sát cũng lưu ý: có thể đây là thêm lựa chọn cho developer, cũng có thể chỉ là thêm một đống rắc rối cấu hình. Chỉ khi anh em thử thật mới biết “một dòng” có đúng là một dòng không.

Fen nào đang train hoặc chạy inference trên Nvidia, có dám thử chuyển sang chip khác nếu rẻ hơn không? Để lại bình luận cho Cenix nhé.

Nguồn: TechCrunch

Nguồn: TechCrunch