50 minutes ago
2
Theo Arstechnica, ByteDance - công ty mẹ của TikTok đang huấn luyện một mô hình trí tuệ nhân tạo có thể đạt quy mô 10.000 tỉ tham số. Nếu đạt mức này, mô hình mới sẽ có số tham số lớn hơn ba lần Kimi K3 của Moonshot AI, hệ thống được công bố với 2.800 tỉ tham số.
Mô hình của ByteDance hiện trong giai đoạn tiền huấn luyện. Quá trình này có thể kéo dài từ ba đến sáu tháng trước khi hệ thống được tinh chỉnh và tiến tới phát hành. Vì dự án chưa hoàn tất, quy mô cuối cùng của mô hình vẫn có thể thay đổi.
ByteDance đang đẩy mạnh đầu tư AI khi các công ty công nghệ Trung Quốc tăng tốc cạnh tranh với những đối thủ hàng đầu của Mỹ
ẢNH: TẠO BƠI AI
Con số 10.000 tỉ tham số tạo ra khoảng cách đáng kể so với nhiều mô hình lớn đang được phát triển tại Trung Quốc. Trước Kimi K3, LongCat-2.0 của Meituan và V4-Pro của DeepSeek có khoảng 1.600 tỉ tham số, trong khi một số hệ thống khác cũng đã vượt mốc 1.000 tỉ.
Tham số là những giá trị số mà mô hình học được trong quá trình huấn luyện, góp phần quyết định cách hệ thống nhận diện mẫu, xử lý thông tin và tạo câu trả lời. Số tham số thường được sử dụng để hình dung quy mô của một mô hình AI, nhưng nhiều tham số hơn không đồng nghĩa với hiệu năng tốt hơn.
Quy mô dự kiến của dự án cũng đưa ByteDance đến gần nhóm mô hình AI lớn của Anthropic. Tuy nhiên, các công ty AI hàng đầu của Mỹ thường không công bố số tham số của những hệ thống mới, khiến việc so sánh trực tiếp giữa các mô hình trở nên khó khăn.
Theo các ước tính, Mythos 5, hệ thống tiên tiến nhất của Anthropic, có khoảng 8.000 tỉ tham số, còn Fable 5 vào khoảng 5.000 tỉ. Nếu dự án ByteDance đạt mức 10.000 tỉ tham số, mô hình sẽ nằm trong cùng nhóm quy mô với những hệ thống AI lớn nhất được đề cập hiện nay.
Dự án diễn ra khi các công ty công nghệ Trung Quốc liên tục tăng quy mô và đẩy nhanh quá trình phát triển mô hình AI nhằm cạnh tranh với đối thủ Mỹ. Song số lượng tham số chỉ là một yếu tố. Năng lực thực tế còn phụ thuộc vào kiến trúc, dữ liệu, phương pháp huấn luyện và cách mô hình sử dụng tài nguyên tính toán.
Mô hình 10.000 tỉ tham số của ByteDance hiện vẫn ở giai đoạn đầu. Hệ thống cần hoàn tất tiền huấn luyện trước khi bước sang tinh chỉnh và chuẩn bị phát hành. ByteDance chưa bình luận về thông tin dự án, trong khi quy mô cuối cùng vẫn chưa được xác định.
