Turingは、動画や画像のデータを効率的に圧縮しながら、AIに適した形式で高精度に保持できる技術を開発した。局所的に重要情報を集約する学習時の工夫と、重要度に応じたデータの割り当てを組み合わせることで、自動運転AIやマルチモーダルAIなどにおけるデータ活用を可能にする。
【この記事に関する別の画像を見る】
画像やテキストなど複数種類のデータを同時に扱うマルチモーダル大規模言語モデル(MLLMs)においては、大量のデータを入力するニーズが高まっているが、従来の画像データ埋め込み技術では、AI向けに最適化された形で効率良く情報を受け渡すことが難しいという課題があった。
今回開発された技術では、膨大なデータを効率良く圧縮しながら必要な情報を高精度で保持できる仕組みを提供。テキストや画像など多様な情報を、トークン(AIが処理するための最小単位)の列に変換し、それらを必要に応じて増減できる仕組み(可変長圧縮)を導入している。これにより、必要な画質や解析精度を維持しながら、データ容量を大幅に削減可能になった。
さらに、学習の段階でトークン列の末尾をランダムに削除し、その差異を比較してモデルを最適化する手法「Tail Token Drop」を導入することで、重要情報をデータ列の先頭に集約。これにより、圧縮率を高めても肝心な部分を損ないにくい設計を実現している。
また、トークン列から画像を再構成可能で、従来のJPEGやWebPなどの画像フォーマットと比較して小さいバイト数で視覚的に自然な画像を再構成できる。
本技術により、自動運転では、車載カメラからの映像を圧縮することで自動運転基盤モデルに視覚データを効率的に入力可能になる。これにより大きなデータを入力した際の計算時間の増大を防ぐことで、大規模AIモデルがリアルタイムで高速に周囲の情報を認識・判断できるようにする。
# | 言葉 | 意味 |
---|---|---|
7 | 画像 | がぞう (画像) : image; picture; portrait |
6 | 情報 | じょうほう (情報) : 1. information; news; intelligence; advices 2. information; data contained in characters, signals, code, etc. |
4 | 圧縮 | あっしゅく (圧縮) : compression; condensation; constriction; compaction |
4 | 可能 | かのう (可能) : possible; potential; practicable; feasible |
4 | 列 | れつ (列) : 1. row; line; file; column; queue; rank; procession 2. company (of someone); group; ranks |
3 | 精度 | せいど (精度) : precision; accuracy |
3 | 自動運転 | じどううんてん (自動運転) : automatic operation (machine); automatic driving (vehicle) |
3 | 入力 | にゅうりょく (入力) : input; (data) entry |
2 | 効率的 | こうりつてき (効率的) : efficient |
2 | 保持 | ほじ (保持) : retention; maintenance; preservation |
2 | 開発 | かいはつ (開発) : development; exploitation |
2 | 重要 | じゅうよう (重要) : important; momentous; essential; principal; major |
2 | 集約 | しゅうやく (集約) : 1. intensiveness 2. collecting; summarizing; putting together; aggregating; integrating |
2 | 学習 | がくしゅう (学習) : study; learning; tutorial |
2 | 応ずる | おうずる (応ずる) : 1. to answer; to respond; to meet 2. to satisfy; to accept |
2 | おく | おく (奥) : inner part; inside; interior; depths (e.g. of a forest); back (of a house, drawer, etc.); bottom (e.g. of one's heart); recesses; heart |
2 | 大規模 | だいきぼ (大規模) : large-scale |
2 | 従来 | じゅうらい (従来) : 1. up to now; so far 2. traditional; conventional; usual; existing |
2 | 最適化 | さいてきか (最適化) : optimization; optimisation |
2 | 効率 | こうりつ (効率) : efficiency |
2 | 仕組み | しくみ (仕組み) : 1. structure; construction; arrangement; contrivance; mechanism; workings 2. plan; plot; contrivance |
2 | 導入 | どうにゅう (導入) : introduction; bringing in; leading in; installation |
2 | 比較 | ひかく (比較) : comparison |
2 | 再構成 | さいこうせい (再構成) : reconstruction; reorganization; reorganisation; reconstitution; reconfiguration |
1 | 動画 | どうが (動画) : 1. video; movie; moving picture 2. animation; animated cartoon |
1 | 適する | てきする (適する) : to fit; to suit |
1 | 形式 | けいしき (形式) : 1. form (as opposed to substance); formality 2. method; system; style |
1 | 局所 | きょくしょ (局所) : 1. part; section 2. part of the body; affected part (of the body) |
1 | 的 | てき (的) : 1. -ical; -ive; -al; -ic; -y 2. -like; -ish; -sort of; -kind of |
1 | 工夫 | くふう (工夫) : 1. devising (a way); contriving; figuring out; coming up with; working out; inventing 2. device; design; idea; plan; invention |
1 | 重要度 | じゅうようど (重要度) : importance; priority |
1 | 割り当て | わりあて (割り当て) : 1. allotment; assignment; allocation; quota; rationing 2. allocation |
1 | 組み合わせる | くみあわせる (組み合わせる) : to join together; to combine; to join up |
1 | 活用 | かつよう (活用) : 1. practical use; application 2. conjugation; inflection |
1 | 記事 | きじ (記事) : article; news story; report; account |
1 | 関する | かんする (関する) : to concern; to be related |
1 | 複数 | ふくすう (複数) : plural; multiple; several |
1 | 種類 | しゅるい (種類) : 1. variety; kind; type; category 2. counter for kinds, species, etc. |
1 | 同時 | どうじ (同時) : simultaneous; concurrent; same time; synchronous; together |
1 | 扱う | あつかう (扱う) : 1. to deal with (a person); to treat; to handle; to take care of; to entertain 2. to deal with (a problem); to handle; to manage |
1 | 言語 | げんご (言語) : language |
1 | 大量 | たいりょう (大量) : large quantity; massive (quantity); mass (e.g. mass production, mass transit, mass destruction) |
1 | 高まる | たかまる (高まる) : to rise; to swell; to be promoted |
1 | 画像データ | がぞうデータ (画像データ) : image data; graphics data; digital image |
1 | 埋め込む | うめこむ (埋め込む) : to bury; to embed; to implant |
1 | 向け | むけ (向け) : intended for ...; oriented towards ...; aimed at ... |
1 | 受け渡す | うけわたす (受渡す) : to deliver; to hand over; to transfer |
1 | 課題 | かだい (課題) : 1. subject; theme; issue; matter 2. homework; assignment |
1 | 今回 | こんかい (今回) : this time; now |
1 | 膨大 | ぼうだい (膨大) : 1. huge; vast; enormous; colossal; extensive; large 2. swelling; expansion |
1 | 提供 | ていきょう (提供) : 1. offer; tender; providing; supplying; making available; donating (blood, organs, etc.) 2. sponsoring (a TV program) |
1 | 多様 | たよう (多様) : diverse; varied |
1 | 処理 | しょり (処理) : processing; dealing with; treatment; disposition; disposal |
1 | 変換 | へんかん (変換) : 1. change; conversion; transformation 2. transformation |
1 | 増減 | ぞうげん (増減) : increase and decrease; fluctuation |
1 | 可変 | かへん (可変) : variable; changeable; convertible; controllable |
1 | 画質 | がしつ (画質) : image quality (film, video, etc.) |
1 | 解析 | かいせき (解析) : 1. analysis; analytical study 2. parsing; parse |
1 | 維持 | いじ (維持) : maintenance; preservation; improvement |
1 | 容量 | ようりょう (容量) : 1. capacity; volume 2. capacitance |
1 | 大幅 | おおはば (大幅) : 1. big; large; drastic; substantial 2. full-width cloth (approx. 72 cm wide for traditional Japanese clothing; approx. 140 cm wide for Western clothing) |
1 | 削減 | さくげん (削減) : cut; reduction; curtailment |
1 | さらに | さらに (更に) : furthermore; again; after all; more and more; moreover; even more |
1 | 段階 | だんかい (段階) : grade; level; stage; class; phase; steps; order; gradation |
1 | 末尾 | まつび (末尾) : end (e.g. of report, document, paragraph, etc.) |
1 | 削除 | さくじょ (削除) : deletion; elimination; erasure; striking out |
1 | 差異 | さい (差異) : difference; disparity; gap |
1 | 手法 | しゅほう (手法) : technique; method |
1 | 先頭 | せんとう (先頭) : head; lead; vanguard; first |
1 | 圧縮率 | あっしゅくりつ (圧縮率) : compressibility; compression ratio |
1 | 高める | たかめる (高める) : to raise; to lift; to boost; to enhance |
1 | 肝心 | かんじん (肝心) : essential; important; crucial; vital; main |
1 | 部分 | ぶぶん (部分) : portion; section; part |
1 | にくい | にくい (憎い) : 1. hateful; abominable; poor-looking; detestable 2. amazing; fantastic; admirable; lovely; wonderful |
1 | 設計 | せっけい (設計) : plan; design; layout |
1 | 実現 | じつげん (実現) : implementation (e.g. of a system); materialization; materialisation; realization; realisation; actualization; actualisation |
1 | 数 | しばしば (屡々) : often; again and again; frequently; repeatedly |
1 | 視覚的 | しかくてき (視覚的) : visual |
1 | 自然 | しぜん (自然) : 1. nature 2. natural; spontaneous; automatic |
1 | 車載 | しゃさい (車載) : in-vehicle; on-board |
1 | 映像 | えいぞう (映像) : 1. image (on a screen); picture (e.g. on a TV) 2. video; film; footage |
1 | 基盤 | きばん (基盤) : 1. foundation; basis; base; footing; infrastructure 2. bedrock |
1 | 視覚 | しかく (視覚) : sense of sight; vision |
1 | 際 | きわ (際) : 1. edge; brink; verge; side 2. time; moment of |
1 | 計算 | けいさん (計算) : 1. calculation; reckoning; count 2. forecast |
1 | 増大 | ぞうだい (増大) : enlargement; increase |
1 | 防ぐ | ふせぐ (防ぐ) : 1. to defend against; to protect against 2. to prevent; to avert; to avoid |
1 | 高速 | こうそく (高速) : 1. high-speed; rapid; express 2. highway; freeway; expressway; motorway |
1 | 周囲 | しゅうい (周囲) : 1. surroundings; environs 2. circumference |
1 | 認識 | にんしき (認識) : recognition; awareness; perception; understanding; knowledge; cognition; cognizance; cognisance |
1 | 判断 | はんだん (判断) : 1. judgment; judgement; decision; conclusion; adjudication 2. divination |