Phở GPT được viết tắt của Phở - Generative Pre-trained Transformer, là dự án mô hình ngôn ngữ lớn dành riêng cho tiếng Việt, do đội ngũ kỹ sư VinAI - thành viên của Tập đoàn Vingroup - thực hiện.

“Bắt kịp” nhịp công nghệ thế giới

Phở GPT sử dụng mã nguồn mở (Open-source) thay vì là phần mềm sở hữu riêng như ChatGPT của OpenAI. Nghĩa là mã nguồn của Phở GPT công khai, có sẵn và người sử dụng có thể đóng góp cho sự phát triển của Phở GPT thông qua những ứng dụng tuỳ chỉnh.

Theo giới thiệu của VinAI, Phở GPT có 7,5 tỷ tham số, được xây dựng trên nền tảng giải mã Transformer. Mô hình này được huấn luyện từ đầu, sử dụng những kỹ thuật tiên tiến nhất hiện có như cơ chế tập trung chớp nhoáng (Flash Attention) và ngoại suy độ dài ngữ cảnh AliBi.

Những kỹ thuật này không chỉ giúp Phở GPT hiểu sâu hơn về ngữ cảnh, mà còn làm tăng khả năng đối thoại, tương tác tự nhiên của ứng dụng trong quá trình sử dụng. Điều này giúp mô hình trở thành công cụ đa nhiệm và linh hoạt, có khả năng đáp ứng đa dạng nhu cầu ngôn ngữ của người sử dụng.

ông Bùi Hải Hưng, Tổng Giám đốc VinAI.

Chia sẻ về ý nghĩa của việc Phở GPT ra đời, ông Bùi Hải Hưng, Tổng Giám đốc VinAI, cho biết, mục tiêu của dự án là phát triển những mô hình tương tự ChatGPT cho tiếng Việt và văn hóa người Việt. Phở GPT có khả năng hiểu, viết văn phong tiếng Việt một cách vượt bậc so với các công nghệ về ngôn ngữ thế hệ trước. Mô hình cũng được huấn luyện từ đầu với tập dữ liệu tiếng Việt, không phụ thuộc bất cứ mô hình nào khác của thế giới, đảm bảo việc làm chủ công nghệ lõi tiên tiến cho Việt Nam.

Đáng nói, ngay khi thế giới đang xôn xao về sự ra đời của Chat GPT, một năm sau đó, Phở GPT đã xuất hiện tại Việt Nam. Theo chia sẻ của ông Bùi Hải Hưng, VinAI là đơn vị tiên phong tại Đông Nam Á cho ra mắt mô hình ngôn ngữ lớn với mã nguồn mở. Sau đó vài tuần, sản phẩm tương tự mới được ra mắt tại Singapore.

Nâng tầm AI Việt

Kết quả so sánh phiên bản Phở GPT-7B5-Instruct với ChatGPT mã nguồn đóng (GPT-3.5-turbo) và các mô hình mã nguồn mở khác cho thấy, Phở GPT đứng thứ hai, chỉ sau ChatGPT trong hầu hết mục đánh giá.

Phở GPT có nhiều điểm khác biệt so với những mô hình ngôn ngữ khác, đặc biệt là ChatGPT. Nó được thiết kế để hiểu và viết văn phong tiếng Việt một cách tự nhiên, phản ánh đúng ngữ cảnh, ngữ pháp, từ vựng, cách diễn đạt của người Việt. Nó có thể tương tác với người dùng theo chủ đề liên quan đến văn hoá, lịch sử, địa lý, xã hội, giải trí, thể thao… của Việt Nam.

Thêm nữa, Phở GPT sở hữu mã nguồn mở và linh hoạt. Người dùng có thể phát triển ứng dụng tùy chỉnh và độc đáo, đặc biệt là ứng dụng đòi hỏi sự bảo mật cao mà không phụ thuộc nguồn từ các phần mềm sở hữu riêng.

Đồng thời, điểm ưu tiên của Phở GPT còn là hiệu suất cao và tiết kiệm chi phí với việc được huấn luyện bằng kỹ thuật tối ưu hóa mới nhất, giúp giảm kích thước và tăng tốc độ của ứng dụng. Phở GPT cũng có thể chạy trên nền tảng tính toán nhỏ hơn, giúp giảm chi phí, tiết kiệm tài nguyên.

Được đào tạo với kho dữ liệu tiếng Việt có dung lượng lên đến 41GB, trong đó, 1GB văn bản Wikipedia và một biến thể 40GB đã loại bỏ phần trùng lặp từ tập dữ liệu tin tức, được huấn luyện cách sử dụng thư viện llm-foundry của Mosaicml llm, Phở GPT có thể sinh ra các đoạn văn bản theo yêu cầu của người dùng, như bài viết, thơ, bài hát, luận, bài phát biểu, giới thiệu… Phở GPT cũng có thể tạo ra nội dung sáng tạo, hài hước, như truyện ngắn, lời bình, châm ngôn, lời nhắn, tweet, meme… Đồng thời, nó còn đối thoại với người dùng theo chủ đề khác nhau như thời sự, giáo dục, sức khỏe, du lịch, ẩm thực, thể thao, giải trí… Bên cạnh đó, Phở GPT cũng có thể trả lời câu hỏi của người dùng, cung cấp thông tin, tư vấn, hỗ trợ, giải đáp thắc mắc…

Thêm nữa, Phở GPT có thể dịch các đoạn văn bản hoặc loại văn bản có tính chất khác nhau như văn bản chính thức, thương mại, học thuật, văn học… từ tiếng Việt sang ngôn ngữ khác và ngược lại.

Một tính năng nổi bật nữa đó là Phở GPT phân tích, xử lý các đoạn văn bản, như tóm tắt, phân loại, gán nhãn, trích xuất thông tin, phát hiện cảm xúc, phát hiện sai sót, cải thiện văn phong…

Trong tương lai, đội ngũ phát triển Phở GPT cho biết, họ tiếp tục cải tiến mô hình và mở rộng dự án cho ngôn ngữ khác, đặc biệt là trong khu vực Đông Nam Á.

“Việc Phở GPT ra đời đánh dấu lần đầu tiên Việt Nam có cơ hội “bắt kịp” thế giới trong mảng công nghệ tiến bộ này và sở hữu mô hình ngôn ngữ lớn với mã nguồn mở dành riêng cho người Việt, tối ưu với ngôn ngữ tiếng Việt, độc lập với thế giới. Đây chính là niềm tự hào của Vin AI nói riêng và người Việt nói chung”, đại diện VinAI nói thêm.