知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-12
(45)【発行日】2023-04-20
(54)【発明の名称】畳み込みニューラルネットワーク学習装置およびそのプログラム
(51)【国際特許分類】
G06N 3/08 20230101AFI20230413BHJP
G06N 3/04 20230101ALI20230413BHJP
G06T 7/00 20170101ALI20230413BHJP
【ＦＩ】
G06N3/08
G06N3/04
G06T7/00 350C
【請求項の数】
6
(21)【出願番号】P 2019108418
(22)【出願日】2019-06-11
(65)【公開番号】P2020201731
(43)【公開日】2020-12-17
【審査請求日】2022-05-10
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】遠藤 伶
(72)【発明者】
【氏名】河合 吉彦
【審査官】青木 重徳
(56)【参考文献】
【文献】特開２０１７－５８８７７（ＪＰ，Ａ）
【文献】米国特許第９５５２５４９（ＵＳ，Ｂ１）
【文献】中国特許出願公開第１０９７２６６８２（ＣＮ，Ａ）
【文献】渡邊 滉大 ほか，ＲＧＢ画像とオプティカルフローを用いた３ＤＣＮＮによる手話認識に関する検討，電子情報通信学会技術研究報告 ［ｏｎｌｉｎｅ］，日本，情報処理学会，2019年03月07日，Ｖｏｌ．１１８ Ｎｏ．５０１ ，ｐ．２５１－２５５
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８
Ｇ０６Ｎ ３／０４
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
動画を構成する静止画をラベル列に翻訳するＣＮＮとＲＮＮとを連結した動画翻訳ニューラルネットワークに用いられる前記ＣＮＮを事前学習する畳み込みニューラルネットワーク学習装置であって、学習データである前記動画から前記静止画を順次切り出す静止画切り出し手段と、
前記ＣＮＮを用いて、前記静止画切り出し手段が切り出した前記静止画から、全ラベル数に対応する次元数のラベル確率分布を生成するラベル確率分布生成手段と、
前記ラベル確率分布生成手段が生成した複数のラベル確率分布から、ラベルごとに最大の確率値を選択し、ラベル最大値列を生成する最大値選択手段と、
前記学習データである前記動画に対応する正解データであるラベル列と、前記最大値選択手段で生成したラベル最大値列との誤差を計算する誤差計算手段と、
前記誤差計算手段が計算した前記誤差を小さくする方向に前記ＣＮＮのパラメータを更新するパラメータ更新手段と、
を備えることを特徴とする畳み込みニューラルネットワーク学習装置。
【請求項2】
前記ラベル確率分布生成手段は、前記静止画切り出し手段が切り出した前記静止画を前記ＣＮＮに入力し、前記全ラベル数に対応する次元数の数値列を画像特徴として抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出した前記画像特徴の数値列を正規化し、前記ラベル確率分布を生成する特徴量正規化手段と、
を備えることを特徴とする請求項１に記載の畳み込みニューラルネットワーク学習装置。
【請求項3】
前記ラベル確率分布生成手段は、前記静止画に前記動画を特定するための補助情報を付加するようにして前記ＣＮＮに入力することを特徴とする請求項１または請求項２に記載の畳み込みニューラルネットワーク学習装置。
【請求項4】
前記静止画切り出し手段１１から順次切り出される静止画間の変位を示すオプティカルフローを計算するオプティカルフロー計算手段をさらに備え、前記ラベル確率分布生成手段は、前記静止画に前記オプティカルフローを付加するようにして前記ＣＮＮに入力することを特徴とする請求項１から請求項３のいずれか一項に記載の畳み込みニューラルネットワーク学習装置。
【請求項5】
前記ＣＮＮは複数枚の静止画から画像特徴を抽出する３次元ＣＮＮであって、前記静止画切り出し手段は、前記動画から予め定めた数ごとに静止画を切り出し、
前記ラベル確率分布生成手段は、前記静止画切り出し手段が切り出した数ごとに静止画を前記３次元ＣＮＮに入力することを特徴とする請求項１から請求項４のいずれか一項に記載の畳み込みニューラルネットワーク学習装置。
【請求項6】
コンピュータを、請求項１から請求項５のいずれか一項に記載の畳み込みニューラルネットワーク学習装置として機能させるための畳み込みニューラルネットワーク学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画翻訳ニューラルネットワークに用いるＣＮＮを事前学習する畳み込みニューラルネットワーク学習装置およびそのプログラムに関する。
【背景技術】
【0002】
近年、いわゆる機械学習技術のひとつであるニューラルネットワーク／ディープラーニングを利用し、動画を翻訳（ラベル列に変換）する技術が提案されている（非特許文献１参照）。この技術によって、動画をその動画の内容を表す文章に変換したり、手話動画を音声言語に変換したり、といった翻訳処理を実現することができる。
【0003】
この動画翻訳のネットワークの構造には、画像認識等で使われる畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）と、翻訳技術等で使われるリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）とを連結した図１０に示すような構造を用いるのが一般的である。
従来の動画翻訳ニューラルネットワークＮは、図１０に示すように、動画Ｖを構成するフレームである静止画（Ｆ１，Ｆ２，Ｆ３，…，ＦＮ）をＣＮＮに入力し、画像特徴の列（静止画特徴シーケンスＦＳ）を生成する。そして、動画翻訳ニューラルネットワークＮは、静止画特徴シーケンスＦＳを、順次、ＲＮＮに入力することで、翻訳結果であるラベルの列（ラベルシーケンスＬＳ）を出力する。例えば、手話動画を単語に変換する手話翻訳であれば、動画翻訳ニューラルネットワークＮは、動画Ｖとして手話動画を入力し、手話に対応するラベル（単語等）を出力する。
従来の動画翻訳ニューラルネットワークＮは、図１０に示すように、動画Ｖを構成するフレームである静止画（Ｆ１，Ｆ２，Ｆ３，…，ＦＮ）をＣＮＮに入力し、画像特徴の列（静止画特徴シーケンスＦＳ）を生成する。そして、動画翻訳ニューラルネットワークＮは、静止画特徴シーケンスＦＳを、順次、ＲＮＮに入力することで、翻訳結果であるラベルの列（ラベルシーケンスＬＳ）を出力する。例えば、手話動画を単語に変換する手話翻訳であれば、動画翻訳ニューラルネットワークＮは、動画Ｖとして手話動画を入力し、手話に対応するラベル（単語等）を出力する。
【0004】
この動画翻訳ニューラルネットワークＮを学習するには、図１１に示すように、動画Ｖとラベル列（Ｌ１，Ｌ２，…）とが対になった学習データが大量に必要となる。
この場合、通常、動画翻訳ニューラルネットワークＮには、入力データとして動画Ｖを入力し、正解データとしてラベル列（Ｌ１，Ｌ２，…）を出力するように、ＣＮＮおよびＲＮＮのパラメータを学習する。
この場合、通常、動画翻訳ニューラルネットワークＮには、入力データとして動画Ｖを入力し、正解データとしてラベル列（Ｌ１，Ｌ２，…）を出力するように、ＣＮＮおよびＲＮＮのパラメータを学習する。
【0005】
しかし、このようなＣＮＮとＲＮＮとを連結した動画翻訳ニューラルネットワークＮを学習するには、ニューラルネットワーク全体の構造が複雑化し、学習時間が膨大になるため、このＣＮＮおよびＲＮＮの学習が困難である。
そこで、従来は、上述したＣＮＮおよびＲＮＮを同時に学習するのではなく、物体認識用のデータでＣＮＮを事前に学習し、動画翻訳ニューラルネットワークＮを学習する手法が用いられている。
そこで、従来は、上述したＣＮＮおよびＲＮＮを同時に学習するのではなく、物体認識用のデータでＣＮＮを事前に学習し、動画翻訳ニューラルネットワークＮを学習する手法が用いられている。
【0006】
従来のＣＮＮを事前に学習する手法は、図１２に示すように、動画を構成するフレームである静止画Ｆ１，Ｆ２，…，ＦＮに、それぞれ単独のラベルを正解データとして対応付けた学習データを用いる。例えば、図１２の例では、「明日」を示す手話動作中の静止画Ｆ１，Ｆ２，…には、それぞれ同じラベルＬ１として［明日］を対応付け、異なる動作である「です」を示す手話動作中の静止画ＦＮには、ラベルＬ４として［です］を対応付けて学習を行う。
すなわち、従来のＣＮＮの事前学習は、図１１に示した動画とラベル列とをペアとする学習データから、各ラベルに対応する範囲に動画を区切って、図１２に示した静止画と単独のラベルとをペアとする学習データを別途作成して、学習を行っている。
すなわち、従来のＣＮＮの事前学習は、図１１に示した動画とラベル列とをペアとする学習データから、各ラベルに対応する範囲に動画を区切って、図１２に示した静止画と単独のラベルとをペアとする学習データを別途作成して、学習を行っている。
【先行技術文献】
【非特許文献】
【0007】
【文献】Necati Cihan Camgoz and Simon Hadfield and Oscar Koller and Hermann Ney and Richard Bowden., ”Neural Sign Language Translation,”IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2018.
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述したように従来の手法は、静止画と単独のラベルとをペアとした学習データが必要となる。
しかしながら、この学習データを生成するには、動画とラベル列とをペアとする元の学習データから、各ラベルに対応する範囲に動画を区切る必要があり、膨大な人手がかかってしまう。そのため、このような学習データを事前に準備することは困難であるという問題がある。
さらに、必ずしもラベルごとに動画を区切ることができない場合がある。例えば、手話では右手と左手とで別個の意味を表現する場合には、１つの静止画に複数のラベルが対応することになるため、静止画と単独のラベルとをペアとした学習データを生成することができないという問題がある。
しかしながら、この学習データを生成するには、動画とラベル列とをペアとする元の学習データから、各ラベルに対応する範囲に動画を区切る必要があり、膨大な人手がかかってしまう。そのため、このような学習データを事前に準備することは困難であるという問題がある。
さらに、必ずしもラベルごとに動画を区切ることができない場合がある。例えば、手話では右手と左手とで別個の意味を表現する場合には、１つの静止画に複数のラベルが対応することになるため、静止画と単独のラベルとをペアとした学習データを生成することができないという問題がある。
【0009】
本発明は、このような問題に鑑みてなされたものであり、動画翻訳ニューラルネットワークに用いるＣＮＮを、動画とラベル列とのペアから、直接学習することが可能な畳み込みニューラルネットワーク学習装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0010】
前記課題を解決するため、本発明に係る畳み込みニューラルネットワーク学習装置は、動画を構成する静止画をラベル列に翻訳するＣＮＮとＲＮＮとを連結した動画翻訳ニューラルネットワークに用いられるＣＮＮを事前学習する畳み込みニューラルネットワーク学習装置であって、静止画切り出し手段と、ラベル確率分布生成手段と、最大値選択手段と、誤差計算手段と、パラメータ更新手段と、を備える構成とした。
【0011】
かかる構成において、畳み込みニューラルネットワーク学習装置は、静止画切り出し手段によって、学習データである動画から静止画を順次切り出す。
そして、畳み込みニューラルネットワーク学習装置は、ラベル確率分布生成手段によって、ＣＮＮを用いて、静止画切り出し手段が切り出した静止画から、全ラベル数に対応する次元数のラベル確率分布を生成する。この全ラベル数は、動画翻訳ニューラルネットワークが翻訳する単語等のラベルの数に相当する。
そして、畳み込みニューラルネットワーク学習装置は、ラベル確率分布生成手段によって、ＣＮＮを用いて、静止画切り出し手段が切り出した静止画から、全ラベル数に対応する次元数のラベル確率分布を生成する。この全ラベル数は、動画翻訳ニューラルネットワークが翻訳する単語等のラベルの数に相当する。
【0012】
そして、畳み込みニューラルネットワーク学習装置は、最大値選択手段によって、ラベル確率分布生成手段が生成した複数のラベル確率分布から、ラベルごとに最大の確率値を選択し、ラベル最大値列を生成する。このラベル最大値列は、学習データの１つの動画を構成するすべての静止画から選択したものであるため、１つの静止画に複数のラベルが対応することができない場合でも、動画全体を翻訳した際に含まれるラベルを示す指標となる。
そして、畳み込みニューラルネットワーク学習装置は、誤差計算手段によって、学習データである動画に対応する正解データであるラベル列と、最大値選択手段が生成したラベル最大値列との誤差を計算する。
そして、畳み込みニューラルネットワーク学習装置は、誤差計算手段によって、学習データである動画に対応する正解データであるラベル列と、最大値選択手段が生成したラベル最大値列との誤差を計算する。
【0013】
そして、畳み込みニューラルネットワーク学習装置は、パラメータ更新手段によって、誤差計算手段が計算した誤差を小さくする方向にＣＮＮのパラメータを、例えば、確率的勾配降下法により更新する。
これによって、ＣＮＮは、動画を構成する複数の静止画から、当該動画の翻訳結果に含まれるラベル列を画像特徴として抽出するように学習されることになる。
なお、ＣＮＮの入力には、動画を特定するための補助情報を静止画に付加してもよい。この場合、ラベル確率分布生成手段は、ＣＮＮを用いて、補助情報の特徴を付加したラベル確率分布を生成することになる。
これによって、ＣＮＮは、動画を構成する複数の静止画から、当該動画の翻訳結果に含まれるラベル列を画像特徴として抽出するように学習されることになる。
なお、ＣＮＮの入力には、動画を特定するための補助情報を静止画に付加してもよい。この場合、ラベル確率分布生成手段は、ＣＮＮを用いて、補助情報の特徴を付加したラベル確率分布を生成することになる。
【0014】
また、本発明は、コンピュータを、前記畳み込みニューラルネットワーク学習装置として機能させるための畳み込みニューラルネットワーク学習プログラムで実現することもできる。
【発明の効果】
【0015】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、静止画と単独のラベルとをペアとした学習データを生成することなく、動画とラベル列とのペアから、動画翻訳ニューラルネットワークに用いるＣＮＮを事前学習することができる。
そのため、本発明は、静止画と単独のラベルとを対応付けることができない動画からでも、ＣＮＮを学習することができる。
本発明によれば、静止画と単独のラベルとをペアとした学習データを生成することなく、動画とラベル列とのペアから、動画翻訳ニューラルネットワークに用いるＣＮＮを事前学習することができる。
そのため、本発明は、静止画と単独のラベルとを対応付けることができない動画からでも、ＣＮＮを学習することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係るＣＮＮ学習装置の構成を示すブロック構成図である。
【図3】正解データであるラベル列の一例を説明するための説明図である。
【図5】本発明の実施形態に係るＣＮＮ学習装置の動作を示すフローチャートである。
【図6】ＣＮＮの変形例を説明するために説明図である。
【図7】本発明の実施形態に係るＣＮＮ学習装置の変形例（その１）の構成を示すブロック構成図である。
【図8】本発明の実施形態に係るＣＮＮ学習装置の変形例（その２）の構成を示すブロック構成図である。
【図10】従来の動画翻訳ニューラルネットワークの構造を説明するための説明図である。
【図11】従来の動画翻訳ニューラルネットワークを学習するための学習データを説明するための説明図である。
【図12】従来の動画翻訳ニューラルネットワークのＣＮＮを事前学習するための学習データを説明するための説明図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について図面を参照して説明する。
＜ＣＮＮ学習装置の構成＞
まず、図１，図２を参照して、本発明の実施形態に係るＣＮＮ学習装置１の構成について説明する。なお、図２は、ＣＮＮ学習装置１のデータの流れを示し、図１のＣＮＮ学習装置１の構成の説明において適宜参照する。
＜ＣＮＮ学習装置の構成＞
まず、図１，図２を参照して、本発明の実施形態に係るＣＮＮ学習装置１の構成について説明する。なお、図２は、ＣＮＮ学習装置１のデータの流れを示し、図１のＣＮＮ学習装置１の構成の説明において適宜参照する。
【0018】
ＣＮＮ学習装置（畳み込みニューラルネットワーク学習装置）１は、動画翻訳ニューラルネットワークＮ（図１０参照）に用いるＣＮＮを事前に学習するものである。
ＣＮＮ学習装置１は、予め学習データとして対応付けられた、動画Ｖとそれに対応するラベル列ＬＣとからＣＮＮを学習する。なお、動画Ｖおよびそれに対応するラベル列ＬＣは、図示を省略した記憶手段に記憶され、ＣＮＮ学習装置１が順次読み込んで学習を行う。
ＣＮＮ学習装置１は、予め学習データとして対応付けられた、動画Ｖとそれに対応するラベル列ＬＣとからＣＮＮを学習する。なお、動画Ｖおよびそれに対応するラベル列ＬＣは、図示を省略した記憶手段に記憶され、ＣＮＮ学習装置１が順次読み込んで学習を行う。
【0019】
ラベル列ＬＣは、動画Ｖを翻訳した正解データである。例えば、ラベル列ＬＣは、動画Ｖを手話動画としたとき、手話の意味を示すテキストのラベルを示すデータである。
このラベル列ＬＣは、すべてのラベルの数を要素とし、動画Ｖを翻訳したラベルの位置に“１”をセットし、他のラベルの位置に“０”をセットした数値列である。
例えば、動画Ｖの翻訳結果を「明日の天気です」とした場合、ラベル列ＬＣは、図３に示すように、[明日]、[の]、[天気]、[です]の各ラベル位置に対応するビット値を“１”、その他のラベル位置のビット値を“０”とした数値列（ビット列）である。
このラベル列ＬＣは、すべてのラベルの数を要素とし、動画Ｖを翻訳したラベルの位置に“１”をセットし、他のラベルの位置に“０”をセットした数値列である。
例えば、動画Ｖの翻訳結果を「明日の天気です」とした場合、ラベル列ＬＣは、図３に示すように、[明日]、[の]、[天気]、[です]の各ラベル位置に対応するビット値を“１”、その他のラベル位置のビット値を“０”とした数値列（ビット列）である。
【0020】
なお、ラベルの単位は、使用する動画翻訳ニューラルネットワークと同じ単位とする。例えば、動画翻訳ニューラルネットワークが使用するラベルを単語単位とした場合、ラベル列ＬＣは、全単語のうち、対応する単語の位置のみに“１”をセットする。なお、ラベルの単位は、必ずしも単語である必要はない。例えば、頻出するフレーズを１ラベルとして区分したものを用いてもよい。これによって、ラベル数を減らして学習を行うことができる。
【0021】
図１に示すように、ＣＮＮ学習装置１は、モデル記憶手段１０と、静止画切り出し手段１１と、ラベル確率分布生成手段１２と、最大値選択手段１３と、誤差計算手段１４と、パラメータ更新手段１５と、を備える。
【0022】
モデル記憶手段１０は、学習対象であるＣＮＮとして、ＣＮＮの構造およびパラメータを記憶するものである。このモデル記憶手段１０は、半導体メモリ等の一般的な記憶媒体で構成することができる。
ＣＮＮは、畳み込み層、全結合層を含み、全ラベル数に対応する次元数の数値列として画像特徴を抽出する畳み込みニューラルネットワークのモデルであって、例えば、ＶＧＧ（Visual Geometry Group）や、ＲｅｓＮｅｔ等の一般的なモデルを用いることができる。
なお、ＣＮＮのパラメータの初期値は、予め定めた固定値であってもよいし、予め乱数によって生成された乱数値であってもよい。
モデル記憶手段１０に記憶されているＣＮＮ（構造およびパラメータ）は、ラベル確率分布生成手段１２によって参照される。また、ＣＮＮのパラメータは、パラメータ更新手段１５によって更新される。
ＣＮＮは、畳み込み層、全結合層を含み、全ラベル数に対応する次元数の数値列として画像特徴を抽出する畳み込みニューラルネットワークのモデルであって、例えば、ＶＧＧ（Visual Geometry Group）や、ＲｅｓＮｅｔ等の一般的なモデルを用いることができる。
なお、ＣＮＮのパラメータの初期値は、予め定めた固定値であってもよいし、予め乱数によって生成された乱数値であってもよい。
モデル記憶手段１０に記憶されているＣＮＮ（構造およびパラメータ）は、ラベル確率分布生成手段１２によって参照される。また、ＣＮＮのパラメータは、パラメータ更新手段１５によって更新される。
【0023】
静止画切り出し手段１１は、動画Ｖから静止画を切り出すものである。この静止画切り出し手段１１は、動画Ｖから、動画を構成するフレームを静止画として順次切り出す。
静止画切り出し手段１１は、切り出した静止画（フレーム）を、ラベル確率分布生成手段１２に出力する。
静止画切り出し手段１１は、切り出した静止画（フレーム）を、ラベル確率分布生成手段１２に出力する。
【0024】
なお、動画Ｖとしてカラー動画を用いる場合、静止画切り出し手段１１は、動画Ｖから、ＲＧＢ、Ｌａｂ等の３チャンネルのフレームを切り出して、ラベル確率分布生成手段１２に出力する。また、動画Ｖとしてモノクロ動画を用いる場合、静止画切り出し手段１１は、動画Ｖから１チャンネルのフレームを切り出して、ラベル確率分布生成手段１２に出力する。
また、静止画切り出し手段１１は、パラメータ更新手段１５から、静止画切り出しを指示された場合、再度、同じ動画から静止画を順次切り出して、ラベル確率分布生成手段１２に出力する。
また、静止画切り出し手段１１は、パラメータ更新手段１５から、静止画切り出しを指示された場合、再度、同じ動画から静止画を順次切り出して、ラベル確率分布生成手段１２に出力する。
【0025】
ラベル確率分布生成手段１２は、ＣＮＮを用いて、静止画切り出し手段１１から入力される静止画から、全ラベル数に対応する次元数のラベル確率分布を生成するものである。
ラベル確率分布生成手段１２は、特徴量抽出手段１２０と、特徴量正規化手段１２１と、を備える。
ラベル確率分布生成手段１２は、特徴量抽出手段１２０と、特徴量正規化手段１２１と、を備える。
【0026】
特徴量抽出手段１２０は、モデル記憶手段１０に記憶されているＣＮＮを用いて、静止画切り出し手段１１から入力される静止画から、画像特徴を抽出するものである。
特徴量抽出手段１２０は、モデル記憶手段１０に記憶されているＣＮＮのパラメータによりＣＮＮの演算を行うことで、静止画から全ラベル数に対応する次元数の数値列を画像特徴として抽出する。
特徴量抽出手段１２０は、抽出した画像特徴を特徴量正規化手段１２１に出力する。
特徴量抽出手段１２０は、モデル記憶手段１０に記憶されているＣＮＮのパラメータによりＣＮＮの演算を行うことで、静止画から全ラベル数に対応する次元数の数値列を画像特徴として抽出する。
特徴量抽出手段１２０は、抽出した画像特徴を特徴量正規化手段１２１に出力する。
【0027】
特徴量正規化手段１２１は、特徴量抽出手段１２０で抽出された画像特徴を、予め定めた基準で正規化するものである。
特徴量正規化手段１２１は、全ラベル数に対応する次元数の数値列である画像特徴を、その総和が“１”となるように正規化する。例えば、特徴量正規化手段１２１は、ソフトマックス（Ｓｏｆｔｍａｘ）関数を用いて、画像特徴を正規化する。
これによって、特徴量正規化手段１２１は、静止画の画像特徴から、当該静止画が表すラベル別の確率分布（ラベル確率分布）を生成することができる。
特徴量正規化手段１２１は、生成したラベル確率分布を最大値選択手段１３に出力する。
特徴量正規化手段１２１は、全ラベル数に対応する次元数の数値列である画像特徴を、その総和が“１”となるように正規化する。例えば、特徴量正規化手段１２１は、ソフトマックス（Ｓｏｆｔｍａｘ）関数を用いて、画像特徴を正規化する。
これによって、特徴量正規化手段１２１は、静止画の画像特徴から、当該静止画が表すラベル別の確率分布（ラベル確率分布）を生成することができる。
特徴量正規化手段１２１は、生成したラベル確率分布を最大値選択手段１３に出力する。
【0028】
このラベル確率分布生成手段１２は、図２に示すように、１つの動画Ｖに対して、動画Ｖを構成するフレームである静止画Ｆ１，Ｆ２，…，ＦＮから、順次、ＣＮＮにより画像特徴を抽出し、ソフトマックス（Ｓｏｆｔｍａｘ）関数の演算を行うことで、静止画の数だけ、ラベル確率分布ＬＰを生成する。
【0029】
最大値選択手段１３は、ラベル確率分布生成手段１２で生成された複数のラベル確率分布から、ラベルごとに最大の確率値を選択し、ラベル最大値列を生成するものである。ラベル最大値列の要素数は、個々のラベル確率分布と同じ、全ラベル数に対応する次元数である。
これによって、最大値選択手段１３は、１つの動画Ｖ全体において、特徴を表す度合いが大きいラベルを選択することができる。
最大値選択手段１３は、ラベル最大値列を誤差計算手段１４に出力する。
これによって、最大値選択手段１３は、１つの動画Ｖ全体において、特徴を表す度合いが大きいラベルを選択することができる。
最大値選択手段１３は、ラベル最大値列を誤差計算手段１４に出力する。
【0030】
ここで、図４を参照して、最大値選択手段１３の処理について具体的に説明する。
図４の例では、説明を簡単にするため、静止画の数を“２”、ラベルの数を“３”として説明する。
ここでは、静止画Ｆ１から生成されたラベル確率分布ＬＰ１は、ラベル［Ａ］の確率が“０．２”、ラベル［Ｂ］の確率が“０．６”、ラベル［Ｃ］の確率が“０．２”であったとする。また、静止画Ｆ２から生成されたラベル確率分布ＬＰ２は、ラベル［Ａ］の確率が“０．１”、ラベル［Ｂ］の確率が“０．５”、ラベル［Ｃ］の確率が“０．４”であったとする。
図４の例では、説明を簡単にするため、静止画の数を“２”、ラベルの数を“３”として説明する。
ここでは、静止画Ｆ１から生成されたラベル確率分布ＬＰ１は、ラベル［Ａ］の確率が“０．２”、ラベル［Ｂ］の確率が“０．６”、ラベル［Ｃ］の確率が“０．２”であったとする。また、静止画Ｆ２から生成されたラベル確率分布ＬＰ２は、ラベル［Ａ］の確率が“０．１”、ラベル［Ｂ］の確率が“０．５”、ラベル［Ｃ］の確率が“０．４”であったとする。
【0031】
この場合、最大値選択手段１３は、ラベル［Ａ］については確率値の大きいラベル確率分布ＬＰ１から“０．２”を選択する。また、最大値選択手段１３は、ラベル［Ｂ］については確率値の大きいラベル確率分布ＬＰ１から“０．６”を選択する。また、最大値選択手段１３は、ラベル［Ｃ］については確率値の大きいラベル確率分布ＬＰ２から“０．４”を選択する。これによって、最大値選択手段１３は、確率値の最大値のみで構成したラベル最大値列ＬＭＡＸを生成する。
この最大値選択手段１３は、図２に示すように、静止画Ｆ１，Ｆ２，…，ＦＮから生成された複数のラベル確率分布ＬＰから、それぞれラベルごとに確率値の最大値を選択することで、１つのラベル最大値列ＬＭＡＸを生成する。
図１に戻って、ＣＮＮ学習装置１の構成について説明を続ける。
この最大値選択手段１３は、図２に示すように、静止画Ｆ１，Ｆ２，…，ＦＮから生成された複数のラベル確率分布ＬＰから、それぞれラベルごとに確率値の最大値を選択することで、１つのラベル最大値列ＬＭＡＸを生成する。
図１に戻って、ＣＮＮ学習装置１の構成について説明を続ける。
【0032】
誤差計算手段１４は、最大値選択手段１３で生成されたラベル最大値列と、動画Ｖに対応する正解データであるラベル列ＬＣとの誤差を計算するものである。
なお、誤差計算手段１４の誤差の計算手法は、どのような手法でも構わない。例えば、誤差計算手段１４は、ラベルごとにバイナリ交差エントロピを計算してもよいし、最小２乗誤差を計算してもよい。
誤差計算手段１４は、計算した誤差をパラメータ更新手段１５に出力する。
なお、誤差計算手段１４の誤差の計算手法は、どのような手法でも構わない。例えば、誤差計算手段１４は、ラベルごとにバイナリ交差エントロピを計算してもよいし、最小２乗誤差を計算してもよい。
誤差計算手段１４は、計算した誤差をパラメータ更新手段１５に出力する。
【0033】
パラメータ更新手段１５は、誤差計算手段１４で計算された誤差に基づいて、モデル記憶手段１０に記憶されているＣＮＮのパラメータを更新するものである。
具体的には、パラメータ更新手段１５は、誤差計算手段１４で計算された誤差を小さくする方向にパラメータを修正する。このパラメータの修正には、例えば、確率的勾配降下法（ＳＧＤ：Stochastic Gradient Descent）、Ａｄａｍ（Adaptive moment estimation）法等、一般的な最適化手法を用いることができる。
パラメータを修正した場合、パラメータ更新手段１５は、静止画切り出し手段１１に、静止画切り出しを指示する。これによって、ＣＮＮ学習装置１は、更新されたパラメータを用いて、再度、ラベル確率分布生成手段１２においてラベル確率分布を生成し、最大値選択手段１３においてラベル最大値を生成し、誤差計算手段１４において新たに誤差を計算する。
具体的には、パラメータ更新手段１５は、誤差計算手段１４で計算された誤差を小さくする方向にパラメータを修正する。このパラメータの修正には、例えば、確率的勾配降下法（ＳＧＤ：Stochastic Gradient Descent）、Ａｄａｍ（Adaptive moment estimation）法等、一般的な最適化手法を用いることができる。
パラメータを修正した場合、パラメータ更新手段１５は、静止画切り出し手段１１に、静止画切り出しを指示する。これによって、ＣＮＮ学習装置１は、更新されたパラメータを用いて、再度、ラベル確率分布生成手段１２においてラベル確率分布を生成し、最大値選択手段１３においてラベル最大値を生成し、誤差計算手段１４において新たに誤差を計算する。
【0034】
なお、パラメータ更新手段１５は、誤差計算手段１４で計算された誤差をメモリ等の記憶媒体（不図示）に記憶し、前回の誤差との差が予め定めた閾値以下となるまで、パラメータを更新する。
すなわち、パラメータ更新手段１５は、図２に示すように、ラベル最大値列ＬＭＡＸとラベル列ＬＣとの誤差の変動が閾値以下となるまで、ＣＮＮのパラメータを繰り返し更新する。このパラメータ更新の終了条件は、誤差変動が閾値以下になった場合に限定されず、予め定めた回数更新した場合としてもよい。
なお、１つの動画について、誤差の変動が閾値以下となった場合、ＣＮＮ学習装置１は、他の学習データである動画Ｖとラベル列ＬＣとのペアにより、ＣＮＮの学習を行う。
すなわち、パラメータ更新手段１５は、図２に示すように、ラベル最大値列ＬＭＡＸとラベル列ＬＣとの誤差の変動が閾値以下となるまで、ＣＮＮのパラメータを繰り返し更新する。このパラメータ更新の終了条件は、誤差変動が閾値以下になった場合に限定されず、予め定めた回数更新した場合としてもよい。
なお、１つの動画について、誤差の変動が閾値以下となった場合、ＣＮＮ学習装置１は、他の学習データである動画Ｖとラベル列ＬＣとのペアにより、ＣＮＮの学習を行う。
【0035】
以上説明したようにＣＮＮ学習装置１を構成することで、ＣＮＮ学習装置１は、動画を構成する静止画に単独のラベルを対応付けることなく、動画Ｖと正解データであるラベル列ＬＣとのペアから、動画翻訳ニューラルネットワークに用いるＣＮＮを学習することができる。
なお、ＣＮＮ学習装置１は、コンピュータを、前記した各手段として機能させるためのＣＮＮ学習プログラムで動作させることができる。
なお、ＣＮＮ学習装置１は、コンピュータを、前記した各手段として機能させるためのＣＮＮ学習プログラムで動作させることができる。
【0036】
＜ＣＮＮ学習装置の動作＞
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係るＣＮＮ学習装置１の動作について説明する。なお、モデル記憶手段１０には、学習対象であるＣＮＮが記憶され、ＣＮＮのパラメータには、予め初期値が設定されているものとする。
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係るＣＮＮ学習装置１の動作について説明する。なお、モデル記憶手段１０には、学習対象であるＣＮＮが記憶され、ＣＮＮのパラメータには、予め初期値が設定されているものとする。
【0037】
ステップＳ１０において、静止画切り出し手段１１は、動画Ｖから、動画を構成するフレームを静止画として切り出す。例えば、動画Ｖがカラー動画の場合、静止画切り出し手段１１は、動画Ｖから、３チャンネルのフレームを順次静止画として切り出す。
ステップＳ１１において、ラベル確率分布生成手段１２は、モデル記憶手段１０に記憶されているＣＮＮにより、ステップＳ１０で切り出された静止画から、ラベル確率分布を生成する。
具体的には、ラベル確率分布生成手段１２の特徴量抽出手段１２０は、モデル記憶手段１０に記憶されているＣＮＮを用いて、ステップＳ１０で切り出された静止画から、全ラベル数に対応する次元数の数値列を画像特徴として抽出する。そして、ラベル確率分布生成手段１２の特徴量正規化手段１２１は、ソフトマックス関数を用いて、画像特徴を正規化し、ラベル確率分布を生成する。
ステップＳ１１において、ラベル確率分布生成手段１２は、モデル記憶手段１０に記憶されているＣＮＮにより、ステップＳ１０で切り出された静止画から、ラベル確率分布を生成する。
具体的には、ラベル確率分布生成手段１２の特徴量抽出手段１２０は、モデル記憶手段１０に記憶されているＣＮＮを用いて、ステップＳ１０で切り出された静止画から、全ラベル数に対応する次元数の数値列を画像特徴として抽出する。そして、ラベル確率分布生成手段１２の特徴量正規化手段１２１は、ソフトマックス関数を用いて、画像特徴を正規化し、ラベル確率分布を生成する。
【0038】
ステップＳ１２において、ラベル確率分布生成手段１２は、ステップＳ１０で切り出されたすべての静止画に対して、ラベル確率分布を生成したか否かを判定する。
ここで、まだ、すべての静止画に対してラベル確率分布を生成していない場合（ステップＳ１２でＮｏ）、ＣＮＮ学習装置１は、ステップＳ１１に戻って、他の静止画について、ラベル確率分布を生成する。
ここで、まだ、すべての静止画に対してラベル確率分布を生成していない場合（ステップＳ１２でＮｏ）、ＣＮＮ学習装置１は、ステップＳ１１に戻って、他の静止画について、ラベル確率分布を生成する。
【0039】
一方、すべての静止画に対してラベル確率分布を生成した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３において、最大値選択手段１３は、ステップＳ１１で生成されたすべての静止画に対するラベル確率分布から、ラベルごとに最大の確率値を選択し、ラベル最大値列を生成する。
【0040】
ステップＳ１４において、誤差計算手段１４は、ステップＳ１３で生成されたラベル最大値列と、正解データであるラベル列ＬＣとの誤差を計算する。例えば、誤差計算手段１４は、誤差としてバイナリ交差エントロピを計算する。
ステップＳ１５において、パラメータ更新手段１５は、ステップＳ１４で計算された誤差と前回計算された誤差との差が予め定めた閾値以下であるか否かを判定する。このとき、パラメータ更新手段１５は、ステップＳ１４で計算された誤差をメモリ等の記憶媒体に記憶し（ステップとして図示せず）、次回の判定に利用する。なお、前回の誤差が存在しない場合、パラメータ更新手段１５は、ステップＳ１６に動作を進める。
ステップＳ１５において、パラメータ更新手段１５は、ステップＳ１４で計算された誤差と前回計算された誤差との差が予め定めた閾値以下であるか否かを判定する。このとき、パラメータ更新手段１５は、ステップＳ１４で計算された誤差をメモリ等の記憶媒体に記憶し（ステップとして図示せず）、次回の判定に利用する。なお、前回の誤差が存在しない場合、パラメータ更新手段１５は、ステップＳ１６に動作を進める。
【0041】
ここで、誤差の差が閾値よりも大きい場合（ステップＳ１５でＮｏ）、ステップＳ１６において、パラメータ更新手段１５は、モデル記憶手段１０に記憶されているＣＮＮのパラメータを、確率的勾配降下法等により更新する。そして、ＣＮＮ学習装置１は、ステップＳ１０に戻って、同じ動画Ｖから静止画を順次切り出すことで、順次学習を行う。
【0042】
一方、誤差の差が閾値以下の場合（ステップＳ１５でＹｅｓ）、ＣＮＮ学習装置１は、１つの動画Ｖとラベル列ＬＣとを用いた学習を終了する。
なお、ＣＮＮ学習装置１は、これ以降、学習データとして、他の動画Ｖとラベル列ＬＣとの対を用いて順次同様の学習を行うが、図示を省略する。
以上の動作によって、ＣＮＮ学習装置１は、動画Ｖと正解データであるラベル列ＬＣとのペアから、動画翻訳ニューラルネットワークに用いるＣＮＮを学習することができる。
なお、ＣＮＮ学習装置１は、これ以降、学習データとして、他の動画Ｖとラベル列ＬＣとの対を用いて順次同様の学習を行うが、図示を省略する。
以上の動作によって、ＣＮＮ学習装置１は、動画Ｖと正解データであるラベル列ＬＣとのペアから、動画翻訳ニューラルネットワークに用いるＣＮＮを学習することができる。
【0043】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は、この実施形態に限定されるものではない。
以上、本発明の実施形態について説明したが、本発明は、この実施形態に限定されるものではない。
【0044】
＜変形例１＞
例えば、動画翻訳ニューラルネットワークＮ（図１０参照）に用いるＣＮＮが、静止画以外の情報を含んで画像特徴を抽出する場合、ＣＮＮ学習装置１は、同じ構造のＣＮＮを学習する。
具体的には、図６に示すように、ＣＮＮが、静止画Ｆ（３チャンネル〔ＲＧＢ等〕）と動画Ｖの種類を示す補助情報Ｈ（１チャンネル）とから画像特徴を抽出する場合、ラベル確率分布生成手段１２（特徴量抽出手段１２０）は、静止画切り出し手段１１で切り出される静止画Ｆに、補助情報Ｈを付加して画像特徴を抽出すればよい。
例えば、動画翻訳ニューラルネットワークＮ（図１０参照）に用いるＣＮＮが、静止画以外の情報を含んで画像特徴を抽出する場合、ＣＮＮ学習装置１は、同じ構造のＣＮＮを学習する。
具体的には、図６に示すように、ＣＮＮが、静止画Ｆ（３チャンネル〔ＲＧＢ等〕）と動画Ｖの種類を示す補助情報Ｈ（１チャンネル）とから画像特徴を抽出する場合、ラベル確率分布生成手段１２（特徴量抽出手段１２０）は、静止画切り出し手段１１で切り出される静止画Ｆに、補助情報Ｈを付加して画像特徴を抽出すればよい。
【0045】
なお、補助情報Ｈは、動画の内容を特定する情報であって、例えば、動画に映っている人物を特定する情報、動画のジャンル（アニメ、ドラマ、ニュース等）を特定する情報等である。
補助情報Ｈを、人物を特定する情報とする場合、特徴量抽出手段１２０は、静止画Ｆと同じ大きさの補助情報Ｈのすべての画素位置に、人物を特定する値（例えば、“１”等）を設定する。これによって、ＣＮＮは、特定の人物の特徴をより正確に抽出することが可能になる。
補助情報Ｈを、人物を特定する情報とする場合、特徴量抽出手段１２０は、静止画Ｆと同じ大きさの補助情報Ｈのすべての画素位置に、人物を特定する値（例えば、“１”等）を設定する。これによって、ＣＮＮは、特定の人物の特徴をより正確に抽出することが可能になる。
【0046】
また、補助情報Ｈとして、オプティカルフローを用いてもよい。その場合、ＣＮＮ学習装置１は、図７に示すように、静止画切り出し手段１１が時系列に順次切り出す静止画から、静止画間の変位（変位ベクトル）を求めるオプティカルフロー計算手段１６をさらに備えたＣＮＮ学習装置１Ｂとすればよい。この場合、特徴量抽出手段１２０は、静止画Ｆと、オプティカルフロー計算手段１６が計算する補助情報Ｈ（２チャンネル：水平方向の変位、垂直方向の変位）であるオプティカルフローとを用いて画像特徴を抽出する。これによって、ＣＮＮは、動きの特徴をより正確に抽出することが可能になる。
【0047】
＜変形例２＞
ここでは、ラベル確率分布生成手段１２を、特徴量抽出手段１２０と、特徴量正規化手段１２１とで構成した。
しかし、学習対象である動画翻訳ニューラルネットワークＮ（図１０参照）のＣＮＮの最終段にソフトマックス層が含まれている場合、ＣＮＮが出力する画像特徴は、ラベル確率分布となる。
この場合、ラベル確率分布生成手段１２は、構成から特徴量正規化手段１２１を省略すればよい。
ここでは、ラベル確率分布生成手段１２を、特徴量抽出手段１２０と、特徴量正規化手段１２１とで構成した。
しかし、学習対象である動画翻訳ニューラルネットワークＮ（図１０参照）のＣＮＮの最終段にソフトマックス層が含まれている場合、ＣＮＮが出力する画像特徴は、ラベル確率分布となる。
この場合、ラベル確率分布生成手段１２は、構成から特徴量正規化手段１２１を省略すればよい。
【0048】
＜変形例３＞
ここでは、ＣＮＮとして、１枚の静止画から画像特徴を抽出する２次元ＣＮＮを用いたが、複数枚の静止画から画像特徴を抽出する３次元ＣＮＮ（３ＤＣＮＮ）を用いてもよい。もちろん、この場合、学習対象である動画翻訳ニューラルネットワークのＣＮＮも３ＤＣＮＮとする。
ここでは、ＣＮＮとして、１枚の静止画から画像特徴を抽出する２次元ＣＮＮを用いたが、複数枚の静止画から画像特徴を抽出する３次元ＣＮＮ（３ＤＣＮＮ）を用いてもよい。もちろん、この場合、学習対象である動画翻訳ニューラルネットワークのＣＮＮも３ＤＣＮＮとする。
【0049】
ＣＮＮとして３ＤＣＮＮを用いたＣＮＮ学習装置１Ｃの構成を図８に示す。
図８に示すように、ＣＮＮ学習装置１Ｃは、モデル記憶手段１０Ｂと、静止画切り出し手段１１Ｂと、ラベル確率分布生成手段１２と、最大値選択手段１３と、誤差計算手段１４と、パラメータ更新手段１５と、を備える。
モデル記憶手段１０Ｂおよび静止画切り出し手段１１Ｂ以外の構成は、図１で説明したＣＮＮ学習装置１と同じ構成であるため、説明を省略する。
図８に示すように、ＣＮＮ学習装置１Ｃは、モデル記憶手段１０Ｂと、静止画切り出し手段１１Ｂと、ラベル確率分布生成手段１２と、最大値選択手段１３と、誤差計算手段１４と、パラメータ更新手段１５と、を備える。
モデル記憶手段１０Ｂおよび静止画切り出し手段１１Ｂ以外の構成は、図１で説明したＣＮＮ学習装置１と同じ構成であるため、説明を省略する。
【0050】
モデル記憶手段１０Ｂは、学習対象である３ＤＣＮＮとして、３ＤＣＮＮの構造およびパラメータを記憶するものである。このモデル記憶手段１０Ｂは、モデル記憶手段１０と記憶するモデルが異なるだけである。
【0051】
静止画切り出し手段１１Ｂは、動画Ｖから静止画を切り出すものである。この静止画切り出し手段１１Ｂは、動画Ｖから、動画を構成する静止画を予め定めた数ごとに順次切り出す。なお、静止画の切り出しは、複数の静止画ごとに区切って切り出してもよいし、一部重なりを設けて切り出してもよい。
【0052】
例えば、図９に示すように、静止画切り出し手段１１Ｂは、動画Ｖから静止画Ｆ１～Ｆ１６，Ｆ９～Ｆ２４，…を順次切り出す。この場合、静止画切り出し手段１１Ｂは、静止画を１６枚ごと、前後８枚の静止画を重ねて切り出すことになる。もちろん、静止画切り出し手段１１が切り出す静止画の枚数の単位は、１６枚に限定されず、８枚、３２枚等であってもよい。
なお、図９に示すＣＮＮ学習装置１Ｃのデータの流れは、ＣＮＮが３ＤＣＮＮとなって、３ＤＣＮＮに入力する静止画の数が異なるだけで、図２で説明した流れと同じである。
このように、ＣＮＮ学習装置１Ｃは、３ＤＣＮＮを学習することで、空間方向の特徴だけでなく、時間方向の特徴を抽出するＣＮＮを学習することができる。
なお、図９に示すＣＮＮ学習装置１Ｃのデータの流れは、ＣＮＮが３ＤＣＮＮとなって、３ＤＣＮＮに入力する静止画の数が異なるだけで、図２で説明した流れと同じである。
このように、ＣＮＮ学習装置１Ｃは、３ＤＣＮＮを学習することで、空間方向の特徴だけでなく、時間方向の特徴を抽出するＣＮＮを学習することができる。
【符号の説明】
【0053】
１，１Ｂ，１Ｃ ＣＮＮ学習装置（畳み込みニューラルネットワーク学習装置）
１０，１０Ｂ モデル記憶手段
１１，１１Ｂ 静止画切り出し手段
１２ ラベル確率分布生成手段
１２０ 特徴量抽出手段
１２１ 特徴量正規化手段
１３ 最大値選択手段
１４ 誤差計算手段
１５ パラメータ更新手段
１６ オプティカルフロー計算手段
１０，１０Ｂ モデル記憶手段
１１，１１Ｂ 静止画切り出し手段
１２ ラベル確率分布生成手段
１２０ 特徴量抽出手段
１２１ 特徴量正規化手段
１３ 最大値選択手段
１４ 誤差計算手段
１５ パラメータ更新手段
１６ オプティカルフロー計算手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】