Hãng chip AMD bất ngờ tung ra mô hình AI đầu tiên
AMD vừa chính thức gia nhập cuộc đua trí tuệ nhân tạo với việc ra mắt OLMo, mô hình ngôn ngữ lớn (LLM) mã nguồn mở đầu tiên của hãng. Với 1 tỷ tham số, OLMo được huấn luyện trên GPU AMD Instinct MI250, hứa hẹn mang đến khả năng suy luận, tuân theo chỉ dẫn và tương tác trò chuyện vượt trội.
Việc mở mã nguồn OLMo, bao gồm dữ liệu, trọng số và quy trình huấn luyện, không chỉ củng cố vị thế của AMD trong lĩnh vực AI mà còn trao quyền cho cộng đồng phát triển. Các nhà phát triển có thể tự do sao chép, tùy chỉnh và phát triển dựa trên OLMo, mở ra tiềm năng đổi mới lớn.
Credit: CellphoneS
OLMo được huấn luyện trên một tập dữ liệu khổng lồ với 1,3 nghìn tỷ token, sử dụng 64 GPU AMD Instinct MI250. Quá trình huấn luyện diễn ra qua ba giai đoạn:
Huấn luyện ban đầu: Tập trung vào dự đoán token tiếp theo để nắm bắt mẫu ngôn ngữ.
Phiên bản Fine-tuned (SFT): Cải thiện khả năng tuân theo chỉ dẫn và hiệu suất trong các tác vụ khoa học, lập trình và toán học.
Phiên bản DPO (Direct Preference Optimization): Tinh chỉnh dựa trên phản hồi của con người, giúp ưu tiên các kết quả phù hợp với mong muốn của người dùng.
Credit: CellphoneS
Kết quả thử nghiệm cho thấy OLMo vượt trội so với các mô hình mã nguồn mở cùng kích thước như TinyLlama-1.1B và MobiLlama-1B. OLMo đạt được điểm số cao trong các bài kiểm tra tuân theo chỉ dẫn và khả năng trò chuyện, cho thấy tiềm năng lớn trong việc ứng dụng AI trong nhiều lĩnh vực.
Với sự ra mắt của OLMo, AMD không chỉ khẳng định vị thế của mình trong lĩnh vực AI mà còn mở ra nhiều cơ hội cho các nhà phát triển và doanh nghiệp. Mô hình này hứa hẹn sẽ là một đối thủ đáng gờm trong thị trường AI đang ngày càng phát triển.
Danh mục
Tin liên quan
