Microsoft vô tình để lộ thông số GPT-4 và các mô hình OpenAI khác

Một bài báo y khoa của Microsoft và Đại học Washington đã vô tình tiết lộ thông số kỹ thuật của các mô hình AI do OpenAI phát triển, bao gồm GPT-4, GPT-4o, và o1. Theo bài báo, GPT-4 có 1,76 nghìn tỷ tham số, GPT-4o có 200 tỷ tham số, và phiên bản mini của GPT-4o chỉ có 8 tỷ tham số. Điều này đã gây bất ngờ lớn vì GPT-4o có thông số thấp hơn nhiều so với kỳ vọng. Một số ý kiến cho rằng GPT-4o mini có thể là một mô hình dạng MoE (Mixture of Experts), trong đó chỉ 8 tỷ tham số được kích hoạt tại mỗi bước xử lý.

Credit: The Information

Bài báo cũng tiết lộ rằng nhóm nghiên cứu từ Microsoft và Đại học Washington đã phát triển tiêu chuẩn MEDEC (Medical Error Detection and Correction), được thiết kế để phát hiện và sửa lỗi trong các ghi chú lâm sàng. MEDEC được dùng để đánh giá hiệu suất của nhiều mô hình AI, bao gồm GPT-4, GPT-4o, o1-preview, Claude 3.5 Sonnet, Gemini 2.0 Flash. Kết quả cho thấy các mô hình ngôn ngữ lớn (LLM) hoạt động tốt trong việc phát hiện và sửa lỗi, nhưng vẫn kém bác sĩ con người.