生成AIの安全性評価するシステム開発 | NHKニュース
予習
この記事のキーワード — タップで意味×3
有害
ゆうがい
harmful; hazardous
×4
評価
ひょうか
1. valuation; appraisal; evaluation; assessment; estimation; rating; judging 2. appreciation; recognition; acknowledgement; rating highly; praising
×2
悪用
あくよう
abuse; misuse; perversion
×2
手法
しゅほう
technique; method
N1×2
機関
きかん
1. engine 2. agency; organisation; organization; institution; organ; body
AIの進歩に伴い、AIが悪用されたり、人や社会に有害な情報が持ち出されたりすることを防ぐため、AIの安全性を評価するシステムを国の研究機関が開発しました。
通常、生成AIは人や社会に有害な情報を出力しないよう制限が施されていますが、AIに巧妙な質問をすることで制限を回避する「脱獄」と呼ばれる手法など、悪用されるおそれが指摘されています。
こうした中、国の研究機関NICT=情報通信研究機構はAIがこうした「脱獄」のような手法に対してどれだけ対応できるかを評価できるシステムをこのほど開発しました。
「WISDOM-AR」と名付けられたこのシステムは、「武器」や「詐欺」など30を超えるテーマごとにAIをだまして回答を引き出そうとする指示を自動で作成し、AIがそれに対してどのように反応したかを評価します。
NICTが行ったデモンストレーションでは、システムがある生成AIから爆弾の作り方を聞き出そうとする質問を投げかけこれに対してAIが材料や製造方法などの情報を答えてしまい、システムによって「有害」と判定されていました。
NICTは、今年度中にもAIを利用している企業などへ試験的に導入し、実用化に向けた課題などを検証することにしています。
NICTの鳥澤健太郎フェローは「システムでAIのリスクの度合いを評価することで、社会全体の安全性を高めることにつなげたい」と話していました。
通常、生成AIは人や社会に有害な情報を出力しないよう制限が施されていますが、AIに巧妙な質問をすることで制限を回避する「脱獄」と呼ばれる手法など、悪用されるおそれが指摘されています。
こうした中、国の研究機関NICT=情報通信研究機構はAIがこうした「脱獄」のような手法に対してどれだけ対応できるかを評価できるシステムをこのほど開発しました。
「WISDOM-AR」と名付けられたこのシステムは、「武器」や「詐欺」など30を超えるテーマごとにAIをだまして回答を引き出そうとする指示を自動で作成し、AIがそれに対してどのように反応したかを評価します。
NICTが行ったデモンストレーションでは、システムがある生成AIから爆弾の作り方を聞き出そうとする質問を投げかけこれに対してAIが材料や製造方法などの情報を答えてしまい、システムによって「有害」と判定されていました。
NICTは、今年度中にもAIを利用している企業などへ試験的に導入し、実用化に向けた課題などを検証することにしています。
NICTの鳥澤健太郎フェローは「システムでAIのリスクの度合いを評価することで、社会全体の安全性を高めることにつなげたい」と話していました。
この記事の単語 (54)
×4
評価
ひょうか
1. valuation; appraisal; evaluation; assessment; estimation; rating; judging 2. appreciation; recognition; acknowledgement; rating highly; praising
×3
有害
ゆうがい
harmful; hazardous
×3
情報
じょうほう
1. information; news; intelligence; advices 2. information; data contained in characters, signals, code, etc.
×2
悪用
あくよう
abuse; misuse; perversion
×2
安全性
あんぜんせい
safety; security
×2
機関
きかん
1. engine 2. agency; organisation; organization; institution; organ; body
×2
開発
かいはつ
development; exploitation
×2
制限
せいげん
restriction; restraint; limitation; limit
×2
脱獄
だつごく
escaping from prison; jailbreak
×2
手法
しゅほう
technique; method
×1
進歩
しんぽ
progress; advance; improvement; development
×1
伴う
ともなう
1. to accompany; to go hand in hand with; to be consequent upon 2. to be accompanied by; to bring with; to take with; to be involved in
×1
持ち出す
もちだす
1. to take out; to carry out; to bring out from where it belongs 2. to mention something; to broach a topic; to bring up (a subject); to raise (an issue); to mention
×1
防ぐ
ふせぐ
1. to defend against; to protect against 2. to prevent; to avert; to avoid
×1
通常
つうじょう
usual; ordinary; normal; regular; general; common
×1
出力
しゅつりょく
output (electrical, signal, etc.)
×1
施す
ほどこす
1. to give (time, money, goods); to donate 2. to do; to perform; to conduct
×1
巧妙
こうみょう
ingenious; skillful; clever; deft
×1
回避
かいひ
evasion; avoidance
×1
恐れ
おそれ
fear; horror; anxiety; concern; uneasiness; reverence
×1
指摘
してき
pointing out; identification
×1
情報通信研究機構
じょうほうつうしんけんきゅうきこう
National Institute of Information and Communications Technology; NICT (organization)
×1
対応
たいおう
1. correspondence (to); equivalence 2. suitability; coordination; matching; being appropriate (for)
×1
名付ける
なづける
to name; to call; to christen; to term
×1
武器
ぶき
1. weapon; arms; ordnance 2. weapon (something used to gain an advantage); asset
×1
詐欺
さぎ
fraud; swindle; graft; cheating; trick; scam
×1
越える
こえる
1. to cross over; to cross; to pass through; to pass over (out of); to go beyond; to go past 2. to exceed; to surpass; to be more (than)
×1
騙す
だます
1. to trick; to cheat; to deceive 2. to coax; to wheedle; to soothe and humor (humour)
×1
回答
かいとう
reply; answer
×1
指示
しじ
1. indication; denotation; designation 2. instructions; directions
×1
自動
じどう
1. automatic 2. intransitive verb
×1
作成
さくせい
drawing up (e.g. legal document, contract, will, etc.); preparing; writing; framing; making; producing; creating; creation
×1
反応
はんのう
reaction; response
×1
爆弾
ばくだん
1. bomb 2. alcohol with liquor added (esp. wine-based shōchū highball, also beer with whiskey)
×1
作り方
つくりかた
1. style of building; construction; workmanship; way of making 2. recipe
×1
聞き出す
ききだす
1. to get information out of a person 2. to begin listening
×1
投げ掛ける
なげかける
to throw at; to turn; to raise
×1
材料
ざいりょう
1. ingredients; material 2. material (for a novel, experiment, etc.); subject matter; data
×1
製造
せいぞう
manufacture; production
×1
方法
ほうほう
method; process; manner; way; means; technique
×1
判定
はんてい
judgement; judgment; decision; adjudication; award; verdict; determination
×1
今年度
こんねんど
this year; this fiscal year; this school year
×1
企業
きぎょう
enterprise; business; company; corporation
×1
試験的
しけんてき
experimental; provisional
×1
導入
どうにゅう
introduction; bringing in; leading in; installation
×1
実用化
じつようか
making practical; making useful; implementing
×1
課題
かだい
1. subject; theme; issue; matter 2. homework; assignment
×1
検証
けんしょう
verification; inspection
×1
鳥澤
とりさわ
Torisawa (surname)
×1
健太郎
けんたろう
Kentarou (masc)
×1
度合い
どあい
degree; extent
×1
全体
ぜんたい
whole; entirety; whatever (is the matter)
×1
高める
たかめる
to raise; to lift; to boost; to enhance
×1
繋げる
つなげる
1. to connect 2. to tie; to fasten