Mô hình ngôn ngữ nhỏ lên ngôi trong kỷ nguyên AI tiết kiệm năng lượng

Hiện nay, các nhà nghiên cứu đang chuyển hướng từ việc phát triển mô hình ngôn ngữ lớn (LLM) với hàng trăm tỷ tham số sang xây dựng các mô hình ngôn ngữ nhỏ (SLM) chỉ vài tỷ tham số nhằm phục vụ những nhiệm vụ chuyên biệt và tiết kiệm năng lượng hơn. Các mô hình LLM, như của OpenAI, Meta hay DeepSeek sở hữu khả năng mạnh mẽ nhờ lượng tham số khổng lồ giúp chúng nhận diện mẫu và xử lý thông tin hiệu quả. Tuy nhiên, sức mạnh này kéo theo chi phí đào tạo và vận hành cực kỳ cao, tiêu tốn rất nhiều tài nguyên tính toán và năng lượng khiến chúng trở thành những “kẻ ngốn điện” nổi tiếng.

Ảnh: Reuters

Để khắc phục nhược điểm đó, nhiều công ty công nghệ lớn như IBM, Google, Microsoft và OpenAI đã phát triển các SLM nhỏ gọn hơn, chỉ với vài tỷ tham số. Những mô hình này không nhằm thay thế các LLM đa năng, mà tập trung vào những nhiệm vụ cụ thể như tóm tắt cuộc trò chuyện, chăm sóc sức khỏe qua chatbot hay thu thập dữ liệu từ thiết bị thông minh. Với quy mô nhỏ, SLM có thể vận hành trên các thiết bị cá nhân như laptop hay smartphone mà không cần đến hệ thống máy chủ cỡ lớn, đồng thời vẫn đảm bảo hiệu quả cho nhiều ứng dụng thực tiễn.

Quá trình xây dựng SLM không đơn thuần là huấn luyện từ đầu. Các nhà nghiên cứu sử dụng kỹ thuật “chưng cất kiến thức”, trong đó LLM lớn tạo ra dữ liệu chất lượng cao để đào tạo mô hình nhỏ giúp SLM học hiệu quả hơn từ nguồn dữ liệu tinh lọc thay vì dữ liệu thô lộn xộn. Ngoài ra, phương pháp “cắt tỉa” mạng thần kinh – lấy cảm hứng từ cách não người tinh giản các kết nối thần kinh theo thời gian cũng được áp dụng. Theo nghiên cứu từ năm 1989 của Yann LeCun, việc loại bỏ đến 90% tham số trong mạng thần kinh mà không làm giảm hiệu quả là hoàn toàn khả thi.

Các nhà nghiên cứu có thể “cắt tỉa” để tối ưu hóa mô hình ngôn ngữ cho một nhiệm vụ nhất định. Ảnh: Celsius Pictor/Quanta Magazine

Mặc dù các mô hình LLM với quy mô lớn vẫn rất cần thiết cho những ứng dụng yêu cầu sức mạnh tổng hợp cao như chatbot đa năng, tạo ảnh hay khám phá thuốc mới, SLM lại mở ra cơ hội cho những dự án chi phí thấp, dễ thử nghiệm và dễ triển khai hơn. Với khả năng tiết kiệm chi phí, thời gian và tài nguyên tính toán, xu hướng phát triển mô hình ngôn ngữ nhỏ gọn đang ngày càng được các nhà nghiên cứu và doanh nghiệp quan tâm.