dots.llm1の紹介
dots.llm1は、Mixed Expertise（MoE）アーキテクチャを使用した、リトルレッドノートがオープンソース化した最初の大きな言語モデルです。このモデルはHugging Faceプラットフォーム上でホストされ、rednote-hilabチームによって開発されました。
コア機能
- パラメータスケールには1420億のパラメータがあるが、推論中にアクティブになるパラメータは140億だけであり、計算コストが大幅に削減される。
- トレーニングデータ出力品質を保証する11.2兆個の非合成高品質コーパスを用いて学習
- パフォーマンス中国でのテストの平均スコアは91.3点で、主流のオープンソース・モデルの数種類を上回った。
- 文脈的サポート32,768トークンという非常に長いコンテキスト処理に対応
- 展開の柔軟性DockerやvLLMを含む複数のデプロイオプションを提供します。
適用シナリオ
dots.llm1は、テキスト生成、対話システム、コンテンツ作成などのタスクに特に適しており、中国語処理にも優れている。
この答えは記事から得たものである。dots.llm1: リトル・レッド・ブックがオープンソース化した最初のMoE大規模言語モデルについて
無断転載を禁じます：AI生産性ツール " dots.llm1とは何ですか？
日本語 
简体中文 
English 
Deutsch 
Português do Brasil