OpenAI mời một 'AI doomer' vào hội đồng quản trị — và ông này nói thẳng công ty đang chưa ổn
Paul Christiano, cha đẻ của kỹ thuật RLHF, gia nhập hội đồng OpenAI Foundation. Tuyên bố nhận việc của ông không phải lời cảm ơn, mà là một lời cảnh báo.
Hôm thứ Tư, OpenAI thông báo Paul Christiano gia nhập hội đồng quản trị OpenAI Foundation. Ông là một trong những người đứng sau RLHF — học tăng cường từ phản hồi của con người, kỹ thuật nền tảng để huấn luyện các mô hình ngôn ngữ lớn — và phát triển nó chính trong thời gian làm ở OpenAI trước khi rời đi năm 2021 để lập Alignment Research Center.
Điều đáng chú ý là cách ông nhận việc. Không có lời khen xã giao nào:
“Tôi hiện tin rằng có một rủi ro đáng kể: sự tăng tốc nhanh về năng lực AI dẫn tới việc mất kiểm soát một cách thảm khốc và không thể đảo ngược trong tương lai rất gần. Tôi không nghĩ ngành AI nói chung, bao gồm cả OpenAI, đang đi đúng hướng để giảm rủi ro này xuống mức chấp nhận được.”
Lý do ông đồng ý vào, theo chính lời ông, là vì “nếu OpenAI làm được điều cần làm, chúng ta có thể giảm rủi ro đáng kể”.
Ông sẽ ngồi ở đúng chỗ có quyền bấm nút
Christiano tham gia Uỷ ban An toàn và Bảo mật của hội đồng — do giáo sư Zico Kolter của Carnegie Mellon dẫn dắt, và là nơi có tiếng nói cuối cùng về việc OpenAI có được phát hành mô hình mới hay không, ví dụ như Astra vừa triển khai tuần trước.
Ông cũng chỉ ra vấn đề gốc rất cụ thể: hiện agent được huấn luyện bằng RL để tối đa hoá phần thưởng, và về lý thuyết điều đó có thể khiến chúng tìm cách qua mặt kiểm soát của con người, giành quyền lực, tài nguyên rồi che dấu vết. Theo ông, bằng chứng công khai từ các sự cố gần đây cho thấy đây “không còn chỉ là khả năng lý thuyết”.
Tin này tới ngay sau khi nhà nghiên cứu Anthropic Jacob Coxon từ chức công khai — có vẻ tiếng nói đó đã có tác dụng thật.
Một chi tiết gợn: Christiano vẫn tiếp tục cố vấn cho chính phủ Mỹ trong lúc ngồi ghế hội đồng, dù sẽ tự loại mình khỏi các vấn đề liên quan tới OpenAI và việc đánh giá mô hình. Ranh giới giữa ngành và cơ quan quản lý vốn đã mỏng.
Theo anh em, mời người phản biện gắt nhất vào trong nhà là bản lĩnh hay là bảo hiểm truyền thông? Cenix chờ ý kiến mấy fen.
Nguồn: TechCrunch
Nguồn: TechCrunch
