Impress

OpenAIの未公開モデルがHugging Faceを攻撃・侵入 「前例のない事故」

Impress 元記事

予習

この記事のキーワード — タップで意味
×4
解答
かいとう
answer; solution
N2
×4
事案
じあん
concern; circumstance which is becoming a problem; case (court)
×4
本番
ほんばん
1. performance; take; going before an audience or on-air 2. game; season; crucial moment
×6
脆弱性
ぜいじゃくせい
vulnerability; weakness; fragility
×4
社内
しゃない
1. within a company; in-house 2. within a shrine; shrine precincts
OpenAIは21日(米国時間)、自社のAIモデルがAIプラットフォームHugging Faceの本番インフラに侵入するセキュリティインシデントが発生したと発表した。Hugging Faceが16日(米国時間)に公開した事案について、OpenAIの社内テスト中に引き起こされたものと説明。両社はインシデント対応連携している。 同事案は、モデルに複雑な攻撃経路用い脆弱性攻撃試行させ、サイバー能力測定するベンチマーク「ExploitGym」による社内評価中に発生評価には「GPT-5.6 Sol」と、より高性能なプレリリースモデルが使われており、最大限能力測るため、サイバー関連拒否機能本番用の分類器(classifiers)は無効化していた。 OpenAIによると、モデルはExploitGymを解く過程で、Hugging Face上にテスト解答がある可能性推測脆弱性悪用してHugging Faceの本番インフラに侵入し、解答取得したという。 OpenAIの社内テストは、高度隔離されたサンドボックス化環境実行され、ネットワークアクセスも制限されていた。しかしモデルは、解答を得るためにオープンなインターネットアクセスを確保する方法探索。その過程で、パッケージレジストリのキャッシュプロキシに存在するゼロデイ脆弱性特定し、悪用した。 モデルはその後、テスト環境内で権限昇格やラテラルムーブメントを行ない、インターネットにアクセスできるノードに到達。さらに、盗まれた認証情報やゼロデイ脆弱性組み合わせ、Hugging Faceのサーバー上でリモートコード実行至る経路発見し、本番データベースからExploitGymのテスト解答取得した。 Hugging Faceは、同事案検知してモデルの活動停止し、封じ込め調査開始。OpenAIもHugging Faceと連携し、調査進めている。OpenAIは、脆弱性修正完了するまでインフラ構成への管理強化するほか、モデル評価時の保護社内テスト中のモニタリングを見直す特定したゼロデイ脆弱性はベンダーへ開示し、修正に向けて協力している。 両社は同事案を「最先端のサイバー能力関与した前例のないサイバーインシデント」と捉えている。OpenAIは、今回の知見共有することで防御側が何を起きたのかを理解し、現在のモデルに何が可能なのかを見極める助けにしたいとしている。

この記事の単語 (86)

×6
脆弱性
ぜいじゃくせい
vulnerability; weakness; fragility
×4
本番
ほんばん
1. performance; take; going before an audience or on-air 2. game; season; crucial moment
×4
事案
じあん
concern; circumstance which is becoming a problem; case (court)
×4
社内
しゃない
1. within a company; in-house 2. within a shrine; shrine precincts
×4
解答
かいとう
answer; solution
×3
能力
のうりょく
ability; faculty
×2
米国
べいこく
(United States of) America; USA; US
×2
時間
じかん
1. time 2. hour
×2
侵入
しんにゅう
invasion; incursion; raid; aggression; intrusion; trespass; penetration
×2
発生
はっせい
1. outbreak; spring forth; occurrence; incidence 2. generation (e.g. of power or heat); genesis; origin
×2
両社
りょうしゃ
both companies
×2
連携
れんけい
cooperation; coordination; link
×2
攻撃
こうげき
1. attack; assault; raid; onslaught; offensive 2. criticism; censure; denunciation; condemnation
×2
経路
けいろ
1. course; route; path; channel 2. process; means
×2
評価
ひょうか
1. valuation; appraisal; evaluation; assessment; estimation; rating; judging 2. appreciation; recognition; acknowledgement; rating highly; praising
×2
過程
かてい
process; course; mechanism
×2
悪用
あくよう
abuse; misuse; perversion
×2
取得
しゅとく
acquisition; obtaining; gaining possession; purchase
×2
実行
じっこう
execution (e.g. of a plan); carrying out; practice; action; implementation; fulfillment; realization
×2
特定
とくてい
1. specific; particular; designated; special 2. specifying; designating; identifying; pinpointing
×2
調査
ちょうさ
investigation; examination; inquiry; enquiry; survey
×2
修正
しゅうせい
amendment; correction; revision; modification; alteration; retouching; update; fix
×1
自社
じしゃ
1. one's company; company one works for 2. in-house; belonging to the company
×1
発表
はっぴょう
announcement; publication; presenting; statement; communique; making known; breaking (news story); expressing (one's opinion); releasing; unveiling
×1
公開
こうかい
opening to the public; making available to the public; putting on display; exhibiting; showing (play, movie, etc.); holding (interview, etc.); open; public
×1
引き起こす
ひきおこす
1. to cause; to induce; to bring about; to provoke 2. to pull upright; to help up (e.g. a fallen person)
×1
対応
たいおう
1. correspondence (to); equivalence 2. suitability; coordination; matching; being appropriate (for)
×1
用いる
もちいる
to use; to make use of; to utilize; to utilise
×1
試行
しこう
making an attempt; trial run
×1
測定
そくてい
measurement
×1
高性能
こうせいのう
high efficiency; high performance
×1
最大限
さいだいげん
1. maximum 2. to the maximum degree; to the full
×1
測る
はかる
1. to measure; to weigh; to survey; to time (sound, gauge, estimate) 2. to conjecture; to infer; to surmise
×1
関連
かんれん
relation; connection; relevance
×1
拒否
きょひ
refusal; rejection; denial; veto
×1
機能
きのう
function; facility; faculty; feature
×1
分類
ぶんるい
classification; categorization; sorting
×1
無効化
むこうか
1. disabling; invalidation; nullification; override; voiding; circumvention 2. vitiation
×1
解く
とく
1. to untie; to unfasten; to unwrap; to undo; to unbind; to unpack 2. to unsew; to unstitch
×1
可能性
かのうせい
potentiality; likelihood; possibility; availability
×1
推測
すいそく
guess; conjecture
×1
高度
こうど
1. altitude; height; elevation 2. high-degree; high-grade; advanced; sophisticated; strong
×1
隔離
かくり
isolation; segregation; separation; quarantine
×1
環境
かんきょう
environment; circumstance
×1
制限
せいげん
restriction; restraint; limitation; limit
×1
確保
かくほ
1. securing; obtaining; ensuring; guarantee; maintaining 2. belay; belaying
×1
方法
ほうほう
method; process; manner; way; means; technique
×1
探索
たんさく
search; lookup; hunt; (item of) research; exploration; investigation
×1
存在
そんざい
existence; being
×1
権限
けんげん
power; authority; jurisdiction
×1
昇格
しょうかく
promotion; raising of status
×1
到達
とうたつ
reaching; attaining; arrival
×1
盗む
ぬすむ
to steal
×1
認証
にんしょう
1. certification; attestation; authentication; confirmation 2. Imperial attestation
×1
情報
じょうほう
1. information; news; intelligence; advices 2. information; data contained in characters, signals, code, etc.
×1
組み合わせる
くみあわせる
to join together; to combine; to join up
×1
至る
いたる
1. to arrive at (e.g. a decision); to reach (a stage); to attain 2. to lead to (a place); to get to
×1
発見
はっけん
discovery; detection; finding
×1
検知
けんち
detection
×1
活動
かつどう
1. activity (of a person, organization, animal, volcano, etc.); action 2. movie (esp. during the silent movie period)
×1
停止
ていし
1. stoppage; coming to a stop; halt; standstill 2. ceasing (movement, activity, etc.); suspension (of operations); interruption (e.g. of electricity supply); cutting off
×1
封じ込め
ふうじこめ
containment
×1
開始
かいし
start; commencement; beginning; initiation
×1
進める
すすめる
1. to advance; to move forward; to put (a clock, watch) forward 2. to carry forward (plans, work, etc.); to proceed with; to make progress in; to further; to advance; to hasten; to speed up
×1
完了
かんりょう
1. completion; conclusion 2. perfect (tense, form, aspect)
×1
構成
こうせい
composition; construction; formation; makeup; structure; organization; organisation
×1
管理
かんり
control; management (e.g. of a business)
×1
強化
きょうか
strengthening; intensifying; reinforcement; enhancement; solidification
×1
保護
ほご
1. protection; safeguard; guardianship; custody; patronage 2. preservation; conservation
×1
さく
1. plan; policy; means; measure; stratagem; scheme 2. fifth principle of the Eight Principles of Yong; right upward flick
×1
見直す
みなおす
1. to look at again 2. to re-examine (policy, estimate, plan, etc.); to review
×1
開示
かいじ
release (e.g. information); disclosure (legal); show; indication; display
×1
協力
きょうりょく
cooperation; collaboration
×1
最先端
さいせんたん
1. cutting edge; leading edge; forefront; state of the art 2. tip; end
×1
関与
かんよ
participation; taking part in; participating in; being concerned in
×1
前例
ぜんれい
precedent
×1
捉える
とらえる
1. to catch; to capture; to seize; to arrest; to grab; to catch hold of 2. to grasp (e.g. meaning); to perceive; to capture (e.g. features)
×1
知見
ちけん
expertise; experience; knowledge
×1
共有
きょうゆう
1. joint ownership; co-ownership; sharing (e.g. a viewpoint) 2. sharing (files, devices on a network, posts on social media, etc.)
×1
防御
ぼうぎょ
defense; defence; safeguard; protection
×1
起きる
おきる
1. to get up; to rise; to blaze up (fire) 2. to wake up; to be awake; to stay awake
×1
理解
りかい
understanding; comprehension; appreciation; sympathy
×1
現在
げんざい
now; current; present; present time; as of
×1
可能
かのう
possible; potential; practicable; feasible
×1
見極める
みきわめる
to ascertain; to make sure of; to determine; to probe; to get to the bottom (of something)
×1
助け
たすけ
assistance; help; aid; support; reinforcement