Published: 2024-12-18 12:24
楽天、LLM「Rakuten AI 2.0」と同社初のSLM「2.0 mini」公開
楽天は、日本語に最適化した新たな大規模言語モデル(LLM)「Rakuten AI 2.0」と、同社初の小規模言語モデル(SLM)「Rakuten AI 2.0 mini」を発表した。これらは来春をめどにオープンソースコミュニティに向け公開する予定。
【この記事に関する別の画像を見る】
「Rakuten AI 2.0」は、'24年3月に公開した基盤モデル「Rakuten AI 7B」を元に開発された8x7B構成のMoE(Mixture of Experts)アーキテクチャ採用モデル。8つの約70億パラメータで構築された「エキスパート」と呼ばれるサブモデル群から、ルーターが入力トークンに最も適した2つを選び処理する仕組みが特徴。これにより計算効率と性能を両立し、8倍規模の高密度モデルに匹敵する出力性能を、約1/4の計算コストで実現できる。
「Rakuten AI 2.0 mini」は、約15億パラメータの基盤モデルであり、コンパクトな設計が特徴。内製の多段階データフィルタリングやアノテーションを経た日本語・英語データセットで学習し、高精度なテキスト生成を目指す。このSLMは、リモートサーバーへデータを送信せずとも動作が可能で、低遅延やプライバシー保護、コスト効率が求められる特定のアプリケーションに適した形で活用できる。モバイル端末やオンプレミス環境での運用にも向いており、汎用モデルとの差別化を図る。
'24年10月～12月にかけてLM Evaluation Harnessを使用した日本語と英語の能力測定では、「Rakuten AI 2.0」の平均日本語性能は、「Rakuten AI 7B」と比較して8つのタスクで62.93から72.29に向上している。
既存の「Rakuten AI 7B」の事前学習では、楽天が独自に設計したマルチノードGPUクラスターを拡張して大規模な学習プロセスを高速化をした。今回の「Rakuten AI 2.0」「Rakuten AI 2.0 mini」のオープンソースコミュニティへの公開を通じ、開発者や企業がモデルを活用できる環境を整えるとしている。
| # | 言葉 | 意味 |
|---|---|---|
| 4 | 日本語 | にほんご (日本語) : Japanese (language) |
| 3 | 公開 | こうかい (公開) : opening to the public; making available to the public; putting on display; exhibiting; showing (play, movie, etc.); holding (interview, etc.); open; public |
| 3 | 約 | やく (約) : 1. approximately; about 2. promise; appointment; engagement |
| 3 | 性能 | せいのう (性能) : ability; performance; efficiency |
| 3 | 学習 | がくしゅう (学習) : study; learning; tutorial |
| 2 | 楽天 | らくてん (楽天) : optimism |
| 2 | 大規模 | だいきぼ (大規模) : large-scale |
| 2 | 言語 | げんご (言語) : language |
| 2 | 基盤 | きばん (基盤) : 1. foundation; basis; base; footing; infrastructure 2. bedrock |
| 2 | 適する | てきする (適する) : to fit; to suit |
| 2 | 特徴 | とくちょう (特徴) : feature; trait; characteristic; peculiarity; distinction |
| 2 | 計算 | けいさん (計算) : 1. calculation; reckoning; count 2. forecast |
| 2 | 効率 | こうりつ (効率) : efficiency |
| 2 | 設計 | せっけい (設計) : plan; design; layout |
| 2 | 活用 | かつよう (活用) : 1. practical use; application 2. conjugation; inflection |
| 2 | 環境 | かんきょう (環境) : environment; circumstance |
| 1 | 最適化 | さいてきか (最適化) : optimization; optimisation |
| 1 | 新た | あらた (新た) : new; fresh; novel |
| 1 | 同社 | どうしゃ (同社) : the same firm |
| 1 | 初 | はつ (初) : first; new |
| 1 | 小規模 | しょうきぼ (小規模) : small scale |
| 1 | 発表 | はっぴょう (発表) : announcement; publication; presenting; statement; communique; making known; breaking (news story); expressing (one's opinion); releasing; unveiling |
| 1 | 来春 | らいしゅん (来春) : next spring |
| 1 | めど | めど (目処) : 1. aim; goal 2. prospect; outlook |
| 1 | 向ける | むける (向ける) : to turn towards; to point |
| 1 | 記事 | きじ (記事) : article; news story; report; account |
| 1 | 関する | かんする (関する) : to concern; to be related |
| 1 | 画像 | がぞう (画像) : image; picture; portrait |
| 1 | 開発 | かいはつ (開発) : development; exploitation |
| 1 | 構成 | こうせい (構成) : composition; construction; formation; makeup; structure; organization; organisation |
| 1 | 採用 | さいよう (採用) : 1. use; adoption; acceptance 2. appointment; employment; engagement; recruitment |
| 1 | 構築 | こうちく (構築) : construction; building; putting up; erecting; creation; formulation; architecture (systems, agreement, etc.) |
| 1 | 呼ぶ | よぶ (呼ぶ) : 1. to call out (to); to call; to invoke 2. to summon (a doctor, etc.) |
| 1 | 群 | ぐん (群) : 1. group; bunch; crowd; throng; swarm; band 2. group |
| 1 | 入力 | にゅうりょく (入力) : input; (data) entry |
| 1 | 最も | もっとも (最も) : most; extremely |
| 1 | 選ぶ | えらぶ (選ぶ) : to choose; to select |
| 1 | 処理 | しょり (処理) : processing; dealing with; treatment; disposition; disposal |
| 1 | 仕組み | しくみ (仕組み) : 1. structure; construction; arrangement; contrivance; mechanism; workings 2. plan; plot; contrivance |
| 1 | 両立 | りょうりつ (両立) : compatibility; coexistence; standing together |
| 1 | 規模 | きぼ (規模) : scale; scope; plan; structure |
| 1 | 高密度 | こうみつど (高密度) : high density |
| 1 | 匹敵 | ひってき (匹敵) : to be a match for; to rival; to equal; to compare with; to be equivalent to |
| 1 | 出力 | しゅつりょく (出力) : output (electrical, signal, etc.) |
| 1 | 実現 | じつげん (実現) : implementation (e.g. of a system); materialization; materialisation; realization; realisation; actualization; actualisation |
| 1 | 内製 | ないせい (内製) : in-house production |
| 1 | 段階 | だんかい (段階) : grade; level; stage; class; phase; steps; order; gradation |
| 1 | 経る | へる (経る) : 1. to pass; to elapse; to go by 2. to pass through; to go through |
| 1 | 精度 | せいど (精度) : precision; accuracy |
| 1 | 生成 | せいせい (生成) : creation; generation; formation; derivation |
| 1 | 目指す | めざす (目指す) : 1. to aim at (for, to do, to become); to try for; to have an eye on 2. to go toward; to head for |
| 1 | 送信 | そうしん (送信) : transmission; sending |
| 1 | 動作 | どうさ (動作) : action; movements; motions; bearing; behaviour; behavior; execution; actuation; operation; manners |
| 1 | 可能 | かのう (可能) : possible; potential; practicable; feasible |
| 1 | 低 | てい (低) : low (level, value, price, etc.) |
| 1 | 遅延 | ちえん (遅延) : delay; latency |
| 1 | プライバシー保護 | プライバシーほご (プライバシー保護) : privacy protection |
| 1 | 求める | もとめる (求める) : 1. to want; to wish for 2. to request; to demand; to require; to ask for |
| 1 | 特定 | とくてい (特定) : 1. specific; particular; designated; special 2. specifying; designating; identifying; pinpointing |
| 1 | モバイル端末 | モバイルたんまつ (モバイル端末) : mobile device |
| 1 | 運用 | うんよう (運用) : 1. making use of; application; practical use; effective management (e.g. of funds) 2. operation; handling; steering (esp. a boat) |
| 1 | 向く | むく (向く) : 1. to turn toward; to look (up, down, etc.) 2. to face (e.g. east); to look out on |
| 1 | 汎用 | はんよう (汎用) : generic; general purpose; all-purpose |
| 1 | 差別化 | さべつか (差別化) : differentiation |
| 1 | 図る | はかる (図る) : 1. to plan; to attempt; to devise 2. to plot; to conspire; to scheme |
| 1 | ～ | にょろ (～) : tilde; wave dash |
| 1 | 使用 | しよう (使用) : use; application; employment; utilization; utilisation |
| 1 | 能力 | のうりょく (能力) : ability; faculty |
| 1 | 測定 | そくてい (測定) : measurement |
| 1 | 平均 | へいきん (平均) : 1. average; mean 2. balance; equilibrium |
| 1 | 比較 | ひかく (比較) : comparison |
| 1 | 向上 | こうじょう (向上) : elevation; rise; improvement; advancement; progress |
| 1 | 既存 | きそん (既存) : existing |
| 1 | 事前 | じぜん (事前) : prior; beforehand; in advance; before the fact; ex ante |
| 1 | 独自 | どくじ (独自) : 1. original; unique; distinctive; characteristic; peculiar 2. independent; one's own; personal |
| 1 | 拡張 | かくちょう (拡張) : 1. expansion; extension; enlargement 2. escape; ESC |
| 1 | 高速化 | こうそくか (高速化) : increase in speed, acceleration |
| 1 | 今回 | こんかい (今回) : this time; now |
| 1 | 通ずる | つうずる (通ずる) : 1. to be open (to traffic); to lead to; to communicate (with) 2. to flow (liquid, current); to pass; to get through to |
| 1 | 開発者 | かいはつしゃ (開発者) : developer |
| 1 | 企業 | きぎょう (企業) : enterprise; business; company; corporation |
| 1 | 整える | ととのえる (整える) : 1. to put in order; to arrange; to tidy up; to straighten; to adjust; to fix 2. to get ready; to prepare; to arrange; to supply; to assemble; to buy |