知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024043184
(43)【公開日】2024-03-29
(54)【発明の名称】情報処理装置、判定方法、および判定プログラム
(51)【国際特許分類】
G06N 3/04 20230101AFI20240322BHJP
G06N 3/08 20230101ALI20240322BHJP
【ＦＩ】
G06N3/04
G06N3/08
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022148225
(22)【出願日】2022-09-16
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】並木 重哲
(72)【発明者】
【氏名】細井 利憲
(57)【要約】
【課題】推論時間を抑えつつ、必要な推論精度は担保する。
【解決手段】情報処理装置（１）は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち１段目の推論モデルに時系列を構成する入力データを入力して行う推論の難易度を算出する第１の難易度算出部（１１）と、前記難易度に基づいて２段目以降の推論モデルを用いるか否かを判定する第１の判定部（１２）と、を備える。
【選択図】図１
【解決手段】情報処理装置（１）は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち１段目の推論モデルに時系列を構成する入力データを入力して行う推論の難易度を算出する第１の難易度算出部（１１）と、前記難易度に基づいて２段目以降の推論モデルを用いるか否かを判定する第１の判定部（１２）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段と、
前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段と、を備える情報処理装置。
前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段と、を備える情報処理装置。
【請求項2】
１段目の推論モデルに入力される前記入力データを、当該入力データよりも時系列順で前の入力データである過去入力データから予測する第１のデータ予測手段を備え、
前記第１の難易度算出手段は、前記第１のデータ予測手段の予測誤差を、前記推論の難易度を示す値として算出する、請求項１に記載の情報処理装置。
前記第１の難易度算出手段は、前記第１のデータ予測手段の予測誤差を、前記推論の難易度を示す値として算出する、請求項１に記載の情報処理装置。
【請求項3】
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段と、
前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段と、を備える情報処理装置。
前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段と、を備える情報処理装置。
【請求項4】
前記複数段の推論モデルは、１つの多層ニューラルネットワークモデルに基づいて生成されたものであり、
２段目以降の推論モデルの学習では、前段の推論モデルの重み値も更新する推論モデル学習手段を備える、請求項３に記載の情報処理装置。
２段目以降の推論モデルの学習では、前段の推論モデルの重み値も更新する推論モデル学習手段を備える、請求項３に記載の情報処理装置。
【請求項5】
時系列を構成する前記教師データのうちある時点の教師データを、当該時点よりも時系列順で前の時点の教師データから第１の予測モデルを用いて予測する第１のデータ予測手段を備え、
前記第１の難易度算出手段は、前記第１のデータ予測手段の予測誤差を、前記ある時点の教師データを用いた推論の難易度を示す値として算出し、
時系列を構成する前記教師データを用いた学習により、前記予測誤差が小さくなるように前記第１の予測モデルを更新する第１の予測モデル学習手段を備える、請求項３または４に記載の情報処理装置。
前記第１の難易度算出手段は、前記第１のデータ予測手段の予測誤差を、前記ある時点の教師データを用いた推論の難易度を示す値として算出し、
時系列を構成する前記教師データを用いた学習により、前記予測誤差が小さくなるように前記第１の予測モデルを更新する第１の予測モデル学習手段を備える、請求項３または４に記載の情報処理装置。
【請求項6】
前記第１の判定手段は、前記難易度が第１の閾値を超える前記教師データを、２段目以降の推論モデルの学習に用いると判定し、
１段目の推論モデルに時系列を構成する前記教師データを入力して得られる複数の推論の結果に基づいて前記第１の閾値を更新する第１の閾値更新手段を備える、請求項３または４に記載の情報処理装置。
１段目の推論モデルに時系列を構成する前記教師データを入力して得られる複数の推論の結果に基づいて前記第１の閾値を更新する第１の閾値更新手段を備える、請求項３または４に記載の情報処理装置。
【請求項7】
少なくとも１つのプロセッサが、
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出することと、
前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定することと、を含む判定方法。
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出することと、
前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定することと、を含む判定方法。
【請求項8】
少なくとも１つのプロセッサが、
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出することと、
前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定することと、を含む判定方法。
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出することと、
前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定することと、を含む判定方法。
【請求項9】
コンピュータを、
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段、および
前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段、として機能させる判定プログラム。
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段、および
前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段、として機能させる判定プログラム。
【請求項10】
コンピュータを、
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段、および
前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段、として機能させる判定プログラム。
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段、および
前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段、として機能させる判定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
推論モデルを用いた推論に関する処理を行う情報処理装置等に関する。
【背景技術】
【0002】
近年、機械学習した推論モデルの実用化が様々な分野で急速に進展している。例えば、自動運転においては、機械学習した推論モデルを用いて、車載カメラで撮影した動画像からリアルタイムで物体認識し、その認識結果に応じた車両の制御が行われる。
【0003】
しかしながら、下記の非特許文献１に記載されているように、動画像からリアルタイムで物体認識を行う場合、物体検出の演算時間を考慮すれば、動画像の全てのフレームを物体認識の対象とすることは難しい。このため、動画像の一部のフレームからの物体認識結果に基づいて自動運転を行わざるを得ない。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Mengtian Li et. al.，Towards Streaming Perception，arXiv:2005.10420v2，2020
【発明の概要】
【発明が解決しようとする課題】
【0005】
一部のフレームを物体認識の対象外とした場合、対象外としたフレームに検出対象が写っていた場合に、その検出対象の検出漏れが発生してしまうおそれがある。また、一般に、機械学習した推論モデルは、推論精度が高いものほど推論時間も長くなる。このため、物体認識の対象外とするフレーム数を減らすために推論精度が低い推論モデルを適用した場合には、推論精度の不足による誤認識や認識漏れが生じ得る。
【0006】
つまり、時系列を構成するデータを推論モデルに入力して行う推論においては、推論時間の短さを重視すると推論精度が不足して推論結果の安定性を損ない、推論精度を重視すると処理できないデータが増えるという問題がある。このような問題は、動画像からの物体認識に限られず、時系列を構成する任意のデータを任意の推論モデルに入力することにより行われる推論において共通して生じ得る問題である。
【0007】
本発明の一態様は、上記の問題に鑑みてなされたものであり、時系列を構成するデータを推論モデルに入力して行う推論において、推論時間を抑えつつ、必要な推論精度は担保することが可能な情報処理装置等を提供することを一目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様に係る情報処理装置は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段と、前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段と、を備える。
【0009】
また、本発明の他の態様に係る情報処理装置は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段と、前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段と、を備える。
【0010】
本発明の一態様に係る判定方法は、少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出することと、前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定することと、を含む。
【0011】
また、本発明の他の態様に係る判定方法は、少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出することと、前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定することと、を含む。
【0012】
本発明の一態様に係る判定プログラムは、コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段、および前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段、として機能させる。
【0013】
また、本発明の他の態様に係る判定プログラムは、コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段、および前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段、として機能させる。
【発明の効果】
【0014】
本発明の一態様によれば、時系列を構成するデータを推論モデルに入力して行う推論において、推論時間を抑えつつ、必要な推論精度は担保することが可能になる。
【図面の簡単な説明】
【0015】
【図1】本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】本発明の例示的実施形態１に係る判定方法の流れを示すフロー図である。
【図3】本発明の例示的実施形態２に係る情報処理装置が行う処理の概要を示す図である。
【図4】本発明の例示的実施形態２に係る情報処理装置の構成例を示すブロック図である。
【図5】１段目処理部の構成例を示すブロック図である。
【図6】１段目処理部の他の構成例を示すブロック図である。
【図7】上記情報処理装置が推論時に行う処理の流れを示すフロー図である。
【図8】上記情報処理装置が学習時に行う処理の流れを示すフロー図である。
【図9】本発明の各例示的実施形態に係る各装置の各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【0016】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0017】
（情報処理装置の構成）
本例示的実施形態に係る情報処理装置１および２について図１を参照して説明する。図１は、情報処理装置１および２の構成を示すブロック図である。図示のように、情報処理装置１は、第１の難易度算出部１１と第１の判定部１２とを備えている。
本例示的実施形態に係る情報処理装置１および２について図１を参照して説明する。図１は、情報処理装置１および２の構成を示すブロック図である。図示のように、情報処理装置１は、第１の難易度算出部１１と第１の判定部１２とを備えている。
【0018】
第１の難易度算出部１１は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する。
【0019】
第１の判定部１２は、第１の難易度算出部１１が算出する難易度に基づき、上記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する。
【0020】
以上のように、本例示的実施形態に係る情報処理装置１は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出部１１と、第１の難易度算出部１１が算出する難易度に基づき、上記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定部１２と、を備える。このため、本例示的実施形態に係る情報処理装置１によれば、時系列を構成するデータを推論モデルに入力して行う推論において、推論時間を抑えつつ、必要な推論精度は担保することが可能になるという効果が得られる。
【0021】
一方、情報処理装置２は、第１の難易度算出部２１と第１の判定部２２とを備えている。第１の難易度算出部２１は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する。
【0022】
第１の判定部２２は、第１の難易度算出部２１が算出する難易度に基づき、上記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する。
【0023】
以上のように、本例示的実施形態に係る情報処理装置２は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出部２１と、第１の難易度算出部２１が算出する難易度に基づき、上記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定部２２と、を備える。このため、本例示的実施形態に係る情報処理装置２によれば、時系列を構成するデータを推論モデルに入力して行う推論において、推論時間を抑えつつ、必要な推論精度は担保することを可能にする複数段の推論モデルを生成することができる。そして、この推論モデルを用いることにより、推論時間を抑えつつ、必要な推論精度は担保することが可能になる。
【0024】
（判定プログラム）
上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係る判定プログラムは、コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出部１１、および第１の難易度算出部１１が算出する難易度に基づき、上記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定部１２、として機能させる。この判定プログラムによれば、推論時間を抑えつつ、必要な推論精度は担保することが可能になるという効果が得られる。
上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係る判定プログラムは、コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出部１１、および第１の難易度算出部１１が算出する難易度に基づき、上記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定部１２、として機能させる。この判定プログラムによれば、推論時間を抑えつつ、必要な推論精度は担保することが可能になるという効果が得られる。
【0025】
同様に上述の情報処理装置２の機能もプログラムによって実現することもできる。本例示的実施形態に係る他の判定プログラムは、コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出部２１、および第１の難易度算出部２１が算出する難易度に基づき、上記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定部２２、として機能させる。この判定プログラムによれば、推論時間を抑えつつ、必要な推論精度は担保することを可能にする複数段の推論モデルを生成することができるという効果が得られる。
【0026】
（判定方法の流れ）
本例示的実施形態に係る判定方法の流れについて、図２を参照して説明する。図２は、当該判定方法の流れを示すフロー図である。なお、図２に示す判定方法における各ステップの実行主体は、情報処理装置１または２が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
本例示的実施形態に係る判定方法の流れについて、図２を参照して説明する。図２は、当該判定方法の流れを示すフロー図である。なお、図２に示す判定方法における各ステップの実行主体は、情報処理装置１または２が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
【0027】
図２の左側に示すフロー図において、Ｓ１１では、少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する。
【0028】
Ｓ１２では、少なくとも１つのプロセッサが、Ｓ１１で算出された難易度に基づき、上記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する。
【0029】
以上のように、本例示的実施形態に係る判定方法においては、少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出すること（Ｓ１１）と、Ｓ１１で算出された難易度に基づき、上記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定すること（Ｓ１２）とを含む。よって、推論時間を抑えつつ、必要な推論精度は担保することが可能になるという効果が得られる。
【0030】
図２の右側に示すフロー図において、Ｓ２１では、少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する。
【0031】
Ｓ２２では、少なくとも１つのプロセッサが、Ｓ２１で算出された難易度に基づき、上記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する。
【0032】
以上のように、本例示的実施形態に係る判定方法においては、少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出すること（Ｓ２１）と、Ｓ２１で算出された難易度に基づき、上記教師データを２段目以降の推論モデルの学習に用いるか否かを判定すること（Ｓ２２）とを含む。よって、推論時間を抑えつつ、必要な推論精度は担保することを可能にする複数段の推論モデルを生成することが可能になるという効果が得られる。
【0033】
〔例示的実施形態２〕
（判定方法の概要）
図３に基づいて本例示的実施形態に係る情報処理装置３が行う処理の概要について説明する。図３は、本発明の例示的実施形態２に係る情報処理装置３が行う処理の概要を示す図である。
（判定方法の概要）
図３に基づいて本例示的実施形態に係る情報処理装置３が行う処理の概要について説明する。図３は、本発明の例示的実施形態２に係る情報処理装置３が行う処理の概要を示す図である。
【0034】
本例示的実施形態では、動画像から抽出したフレーム画像を入力データとして推論を行う例を説明する。フレーム画像は時系列を構成する入力データであり、時刻の経過と共に新たなフレーム画像が取得される。図３にはｘ１～ｘ９のフレーム画像が順次取得されている様子を示している。
【0035】
なお、推論内容は特に限定されず、例えばフレーム画像に写る物体の検出や分類等であってもよい。無論、情報処理装置３は、フレーム画像以外の任意の時系列データを入力データとして推論を行うことができる。このため、以下の説明における「フレーム画像」は時系列を構成する任意の「入力データ」に読み替えることができる。
【0036】
情報処理装置３は、１段目処理部、２段目処理部、および３段目処理部を備えており、これらの処理部により推論を行う。より詳細には、情報処理装置３は、通常は１段目処理部による推論を行い、１段目処理部にとって推論の難易度が高いフレーム画像については２段目処理部による推論を行い、２段目処理部にとって推論の難易度が高いフレーム画像については３段目処理部による推論を行う。
【0037】
１段目処理部では、後段のものを用いるほど推論精度が高くなるように構成された３段の推論モデルのうち１段目の推論モデルを用いる。また、２段目処理部では２段目の推論モデルを用い、３段目処理部では３段目の推論モデルを用いる。このため、３つの処理部のうち１段目処理部は推論精度が最も低いが推論時間は最も短く、３段目処理部は推論精度が最も高いが推論時間は最も長く、２段目処理部の推論精度と推論時間は１段目処理部と２段目処理部の中間である。
【0038】
例えば、図３に示されるフレーム画像ｘ３については、１段目処理部にとって推論の難易度が高いと判定されている。このため、フレーム画像ｘ３に基づく推論は２段目処理部によって行われている。また、フレーム画像ｘ６については、１段目処理部にとって推論の難易度が高いと判定されていると共に、２段目処理部にとっても推論の難易度が高いと判定されている。このため、フレーム画像ｘ６に基づく推論は３段目処理部によって行われている。
【0039】
このように、情報処理装置３は、推論の難易度が低いフレーム画像（例えばフレーム画像ｘ１、ｘ２、ｘ４、ｘ５等）については推論時間が短い１段目処理部で推論を行う。一方、１段目処理部にとって推論の難易度が高いフレーム画像（例えばフレーム画像ｘ３等）については推論精度がより高い２段目処理部で推論を行う。そして、２段目処理部にとって推論の難易度が高いフレーム画像（例えばフレーム画像ｘ６等）については推論精度が最も高い３段目処理部で推論を行う。
【0040】
これにより、推論の難易度が低いフレーム画像については推論時間が短い１段目処理部で高速に処理して平均処理時間を抑えることができると共に、推論の難易度がより高いフレーム画像については１段目処理部または２段目処理部で処理することにより推論精度の低下が抑えられる。よって、情報処理装置３によれば、推論時間を抑えつつ、必要な推論精度は担保することが可能になる。例えば、情報処理装置３によれば、取得されたフレーム画像の全てをリアルタイムで処理することも可能になる。
【0041】
（情報処理装置の構成）
情報処理装置３の構成を図４に基づいて説明する。図４は、情報処理装置３の構成例を示すブロック図である。情報処理装置３は、情報処理装置３の各部を統括して制御する制御部３０と、情報処理装置３が使用する各種データを記憶する記憶部３１を備えている。また、情報処理装置３は、情報処理装置３が他の装置と通信するための通信部３２、情報処理装置３に対する各種データの入力を受け付ける入力部３３、および情報処理装置３が各種データを出力するための出力部３４を備えている。
情報処理装置３の構成を図４に基づいて説明する。図４は、情報処理装置３の構成例を示すブロック図である。情報処理装置３は、情報処理装置３の各部を統括して制御する制御部３０と、情報処理装置３が使用する各種データを記憶する記憶部３１を備えている。また、情報処理装置３は、情報処理装置３が他の装置と通信するための通信部３２、情報処理装置３に対する各種データの入力を受け付ける入力部３３、および情報処理装置３が各種データを出力するための出力部３４を備えている。
【0042】
また、制御部３０には、データ取得部３０１、１段目処理部３０２－１、２段目処理部３０２－２、第１の判定部３０３－１、第２の判定部３０３－２、および第３の推論部３０４が含まれている。さらに、制御部３０には、学習に関するブロックとして、推論モデル学習部３０５、第１の予測モデル学習部３０６－１、第２の予測モデル学習部３０６－２、第１の閾値更新部３０７－１、および第２の閾値更新部３０７－２が含まれている。
【0043】
なお、第１の予測モデル学習部３０６－１および第２の予測モデル学習部３０６－２については、後記「予測モデルの更新」の項目で説明する。また、第１の閾値更新部３０７－１および第２の閾値更新部３０７－２については、後記「閾値の更新」の項目で説明する。
【0044】
データ取得部３０１は、推論に用いる入力データを取得する。また、データ取得部３０１は、推論に用いる推論モデルの学習用の教師データを取得する。例えば、データ取得部３０１は、動画像を構成する時系列のフレーム画像を入力データとして取得してもよいし、時系列のフレーム画像のそれぞれに推論の正解を示す正解データが対応付けられた教師データを取得してもよい。
【0045】
１段目処理部３０２－１は、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち１段目の推論モデルに、データ取得部３０１が取得する入力データの少なくとも１つを入力して推論を行う。また、２段目処理部３０２－２は、複数段の上記推論モデルのうち２段目の推論モデルを用いて推論を行う。なお、１段目処理部３０２－１および２段目処理部３０２－２の詳細は図５および図６に基づいて後述する。
【0046】
第１の判定部３０３－１は、２段目以降の推論モデルを用いるか否かを判定する。また、第２の判定部３０３－２は、３段目の推論モデルを用いるか否かを判定する。これらの判定の詳細についても図５および図６に基づいて後述する。
【0047】
第３の推論部３０４は、図３における３段目処理部に相当する。第３の推論部３０４は、第２の判定部３０３－２が３段目の推論モデルを用いると判定したときに、複数段の上記推論モデルのうち３段目の推論モデルを用いて推論を行う。
【0048】
推論モデル学習部３０５は、複数段の上記推論モデルの学習を行う。より詳細には、推論モデル学習部３０５は、データ取得部３０１が取得する教師データを用いて上記推論モデルの重み値を更新する。推論モデルの学習については後記「予測モデルの更新」の項目で説明する。
【0049】
（複数段の推論モデルについて）
情報処理装置３が用いる複数段の推論モデルは、後段のものを用いるほど推論精度が高くなるように構成されたものであればよく、その生成方法は特に限定されない。例えば、ニューラルネットワークの推論モデルであれば、基本的に中間層の数が多いほど推論精度が高くなるから、中間層の数が異なる複数の推論モデルをそれぞれ独立に生成し、それらを複数段の推論モデルとしてもよい。
情報処理装置３が用いる複数段の推論モデルは、後段のものを用いるほど推論精度が高くなるように構成されたものであればよく、その生成方法は特に限定されない。例えば、ニューラルネットワークの推論モデルであれば、基本的に中間層の数が多いほど推論精度が高くなるから、中間層の数が異なる複数の推論モデルをそれぞれ独立に生成し、それらを複数段の推論モデルとしてもよい。
【0050】
また、複数段の推論モデルは、１つの多層ニューラルネットワークモデルに基づいて生成されたものであってもよい。
【0051】
例えば、３段の推論モデルをＣＮＮ（Convolutional Neural Network）すなわち畳み込みニューラルネットワークで構築する場合、１つの推論モデルを構築した後、当該推論モデルの入力層と出力層（第１の出力層と呼ぶ）との間に、２つの追加の出力層（第２、第３の出力層と呼ぶ）を追加してもよい。なお、第２、第３の出力層はそれぞれ異なる位置に追加する。第１の出力層による推論はPrimary Taskといえ、第２、第３の出力層による推論はAuxiliary Taskといえる。そして、入力層から第１の出力層までの推論モデル全体を３段目の推論モデルとし、当該推論モデルの入力層から第２の出力層までの部分を１段目の推論モデルとし、当該推論モデルの入力層から第３の出力層までの部分を２段目の推論モデルとしてもよい。
【0052】
また、例えば、１つの推論モデルを構築した後、当該推論モデルを段階的に軽量化することにより、複数の推論モデルを生成してもよい。この場合、軽量化前の推論モデルを３段目の推論モデルとし、１段階軽量化したものを２段目の推論モデルとし、２段階軽量化したものを１段目の推論モデルとすればよい。軽量化の手法は特に限定されず、例えば、推論モデルを構成する層を間引くことにより軽量化してもよい。
【0053】
また、推論モデルをＲＮＮ（Recurrent Neural Network）すなわちリカレントニューラルネットワークで構築する場合、再帰的に実行される内部処理のニューラルネットワークの規模を段階的に大きくすることにより、複数段の推論モデルを生成してもよい。
【0054】
また、後段の推論モデルの一部に、前段の推論モデルの構造をコピーしてもよい。言い換えれば、後段の推論モデルと前段の推論モデルとで、重み値を共有してもよい。なお、重み値はモデルパラメータと呼ぶこともできる。
【0055】
以上のような各手法により、段階的に推論精度が高くなる３段の推論モデルを生成することができる。また、２段の推論モデルや、４段以上の推論モデルについても同様にして生成可能である。
【0056】
そして、１つの多層ニューラルネットワークモデルに基づいて生成された複数段の推論モデルを用いる場合、前段の推論結果を利用して後段の推論を行うこと、言い換えれば前段の推論結果からレジュームする形で後段の処理を開始することが可能になるという利点もある。例えば、１段目の推論モデルによりフレーム画像から第１の特徴量が抽出された場合、２段目の推論モデルによる推論の際には、当該第１の特徴量を入力データとして推論を行ってもよい。そして、２段目の推論モデルによる推論の際に第２の特徴量が抽出された場合、３段目の推論モデルによる推論の際には、当該第２の特徴量を入力データとして推論を行ってもよい。
【0057】
（１段目処理部の構成例１）
図５は、１段目処理部３０２－１の構成例を示すブロック図である。図示のように、１段目処理部３０２－１は、第１の推論部３０２１－１と、第１のデータ予測部３０２２－１と、第１の難易度算出部３０２３－１と、を含む。
図５は、１段目処理部３０２－１の構成例を示すブロック図である。図示のように、１段目処理部３０２－１は、第１の推論部３０２１－１と、第１のデータ予測部３０２２－１と、第１の難易度算出部３０２３－１と、を含む。
【0058】
なお、２段目処理部３０２－２は、１段目処理部３０２－１と同様の構成であり、第２の推論部３０２１－２と、第２のデータ予測部３０２２－２と、第２の難易度算出部３０２３－２と、を含む。また、情報処理装置３は、４段以上の推論モデルを用いてもよい。この場合、１段目から最終段のひとつ前の段までのそれぞれについて、図５に示すような処理部を設ければよい。つまり、（ｋ＋１）段の推論モデルを用いる情報処理装置は、１段目処理部３０２－１からｋ段目処理部３０２－ｋまでのｋ個の処理部と、（ｋ＋１）段目の推論モデルを用いて推論する第（ｋ＋１）の推論部とを備える。そして、ｋ段目処理部３０２－ｋは、第ｋの推論部３０２１－ｋと、第ｋのデータ予測部３０２２－ｋと、第ｋの難易度算出部３０２３－ｋと、を含む。
【0059】
第１の推論部３０２１－１は、１段目の推論モデルを用いて推論を行う。図示のように、第１の推論部３０２１－１は、ＣＮＮの推論モデルを用いて推論を行うものであってもよい。
【0060】
第１のデータ予測部３０２２－１は、時系列を構成するフレーム画像のうち、１段目の推論モデルによる推論に用いられるフレーム画像を、当該フレーム画像よりも時系列順で前のフレーム画像から予測する。この予測には、第１の予測モデルが用いられる。
【0061】
第１の予測モデルは、ある時点のフレーム画像を、当該時点よりも時系列順で前のフレーム画像から予測するものである。第１の予測モデルは、それらのフレーム画像間の関係を学習することにより生成された、ニューラルネットワーク等の機械学習モデルであってもよい。例えば、第１の推論部３０２１－１がＣＮＮの推論モデルを用いる場合には、第１の予測モデルもＣＮＮモデルとしてもよい。また、例えば、第１の推論部３０２１－１がＲＮＮの推論モデルを用いる場合には、当該推論モデルに入力データを予測する内部処理を行う層を追加してもよい。この場合、第１のデータ予測部３０２２－１は、当該推論モデルを用いて入力データを予測すればよい。
【0062】
また、複数段の推論モデルの学習時においては、第１のデータ予測部３０２２－１は、時系列を構成する教師データのうちある時点の教師データ（より正確には当該教師データに含まれるフレーム画像）を、当該教師データよりも時系列順で前の教師データから予測する。
【0063】
第１の難易度算出部３０２３－１は、複数段の推論モデルのうち１段目の推論モデルにフレーム画像を入力して行う推論の難易度を、当該フレーム画像に基づいて算出する。また、複数段の推論モデルの学習時においては、第１の難易度算出部３０２３－１は、複数段の推論モデルのうち１段目の推論モデルに教師データ（より正確には当該教師データに含まれるフレーム画像）を入力して行う推論の難易度を、当該教師データに基づいて算出する。より詳細には、第１の難易度算出部３０２３－１は、第１のデータ予測部３０２２－１の予測誤差を、推論の難易度を示す値として算出する。
【0064】
例えば、図５に示すように、フレーム画像ｘ３が取得されたときには、第１の推論部３０２１－１は、フレーム画像ｘ３を１段目の推論モデルに入力し、推論結果ｙ３を出力する。このとき、第１のデータ予測部３０２２－１は、１段目の推論モデルによる推論に用いられるフレーム画像ｘ３を、フレーム画像ｘ３よりも時系列順で前のフレーム画像であるフレーム画像ｘ１およびｘ２から予測する。予測されたフレーム画像はｘ３’である。そして、第１の難易度算出部３０２３－１は、第１のデータ予測部３０２２－１の予測誤差ｅ３を、推論の難易度を示す値として算出する。
【0065】
予測誤差の算出方法は特に限定されない。例えば、第１の難易度算出部３０２３－１は、フレーム画像ｘ３およびフレーム画像ｘ３’と誤差関数とを用いて予測誤差を算出してもよい。誤差関数としては、例えば、ＭＳＥ（Mean Squared Error）やＫＬ‐divergense等を用いることができる。
【0066】
第１の難易度算出部３０２３－１が予測誤差を算出する場合、第１の判定部３０３－１は、算出された予測誤差ｅ３に基づいて２段目の推論モデルを用いるか否かを判定する。例えば、第１の判定部３０３－１は、予測誤差ｅ３が予め定められた第１の閾値を超えている場合に２段目の推論モデルを用いると判定してもよい。誤差関数をｆ（ｘ）、第１の閾値をｔｈと表す場合２段目の推論モデルを用いる条件は、ｆ（ｘ３）＝ｅ３＞ｔｈと表される。
【0067】
以上のように、情報処理装置３は、１段目の推論モデルに入力される入力データであるフレーム画像を、当該フレーム画像よりも時系列順で前のフレーム画像（過去入力データ）から予測する第１のデータ予測部３０２２－１を備える。そして、第１の難易度算出部３０２３－１は、第１のデータ予測部３０２２－１の予測誤差を、１段目の推論モデルによる推論の難易度を示す値として算出する。
【0068】
一般に、入力データが急変したときには、その値を用いた推論の精度は低下しやすくなる。また、一般に、入力データが急変したときには上記の予測誤差は大きくなる。よって、本例示的実施形態に係る情報処理装置３によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、推論の精度の低下が見込まれるときに２段目以降の推論モデルを用いるようにすることが可能になるという効果が得られる。
【0069】
また、第１の判定部３０３－１が２段目の推論モデルを用いると判定した場合には、２段目処理部３０２－２による処理が行われる。この際、２段目処理部３０２－２に含まれる第２の推論部３０２１－２は、第１の推論部３０２１－１の推論の過程で抽出された第１の特徴量を、２段目の推論モデルに入力して推論を行ってもよい。
【0070】
このように、情報処理装置３は、１段目の推論モデルに入力データを入力して推論を行う第１の推論部３０２１－１と、第１の判定部３０３－１が２段目の推論モデルを用いると判定した場合に、第１の推論部３０２１－１の推論の過程で抽出された第１の特徴量を、２段目の推論モデルに入力して推論を行う第２の推論部３０２１－２と、を備える。よって、本例示的実施形態に係る情報処理装置３によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、２段目の推論モデルを用いた推論において、第１の特徴量を有効に活用した効率的な推論を行うことができるという効果が得られる。
【0071】
また、情報処理装置３は、第１の特徴量の抽出元となったフレーム画像よりも時系列順で前のフレーム画像（過去入力データ）から抽出された特徴量を用いて第１の特徴量を予測する第２のデータ予測部３０２２－２と、第２のデータ予測部３０２２－２の予測誤差を、２段目の推論モデルを用いた推論の難易度を示す値として算出する第２の難易度算出部３０２３－２と、第２の難易度算出部３０２３－２が算出する予測誤差に基づき、３段目以降の推論モデルを用いるか否かを判定する第２の判定部３０３－２と、を備える。
【0072】
上述のように、一般に、入力データが急変したときには、その値を用いた推論の精度は低下しやすくなると共に予測誤差は大きくなる。よって、上記の構成によれば、２段目の推論モデルによる推論の精度の低下が見込まれるときに３段目以降の推論モデルを用いるようにすることが可能になるという効果が得られる。
【0073】
なお、第２のデータ予測部３０２２－２は、ＲＮＮモデルを用いて第１の特徴量を予測してもよい。ＲＮＮモデルでは、過去の時刻の入力データを保持しておき、それを予測計算に用いることができる。これにより、２段目の推論モデルを用いた推論が行われるタイミングが不定期であることにより予測に用いる過去入力データがばらついても、安定した精度で第１の特徴量を予測することが可能になる。
【0074】
例えば、図３の例では、２段目処理部３０２－２は、フレーム画像ｘ３に関する処理を行った後、フレーム画像ｘ６に関する処理を行っている。この場合、第２のデータ予測部３０２２－２は、フレーム画像ｘ３から抽出された第１の特徴量が保持されたＲＮＮモデルを用いて、フレーム画像ｘ６から抽出される第１の特徴量を予測することにより妥当な予測結果を出力することができる。
【0075】
また、第２のデータ予測部３０２２－２は、ＣＮＮモデルを用いて第１の特徴量を予測してもよい。この場合、第２のデータ予測部３０２２－２は、過去のフレーム画像から抽出された第１の特徴量を保持しておき、それを予測計算に使用してもよい。例えば、第２のデータ予測部３０２２－２は、各時刻のフレーム画像から抽出された第１の特徴量をチャネル方向に連結したものを入力データとして第１の特徴量を予測してもよい。なお、どれくらいの時刻分の第１の特徴量を保持しておくかは予め定めておけばよい。
【0076】
例えば、図３の例において、２フレーム分の第１の特徴量を保持しておくとする。この場合、２段目処理部３０２－２は、フレーム画像ｘ６から抽出される第１の特徴量を予測する際に、フレーム画像ｘ１から抽出された第１の特徴量と、フレーム画像ｘ３から抽出された第１の特徴量とを用いる。
【0077】
なお、フレーム画像に写る対象物が変わる等の環境変化の度合いが予測誤差に反映されていれば、予測誤差が第１の閾値を超えるときの環境変化の度合いはある程度の範囲に収まると考えられる。このため、第１の特徴量の予測には、必ずしもＲＮＮモデルや複数のフレーム画像から抽出された第１の特徴量を用いる必要はない。
【0078】
また、第１の判定部３０３－１は、第１の難易度算出部３０２３－１が算出する難易度に基づき、入力データを用いた推論に２段目以降の何れの段の推論モデルを用いるかを判定してもよい。これにより、難易度に応じた段の推論モデルを用いることができる。例えば、１段目および２段目の何れの推論モデルにとっても難易度が高い推論を、２段目の推論モデルによる推論を省略して、３段目の推論モデルに推論させることも可能になる。
【0079】
推論の難易度と使用する推論モデルとの関係は予め規定しておけばよい。例えば、推論の難易度を示す予測誤差が閾値ｔｈ１以下であれば１段目の推論モデルを用い、予測誤差が閾値ｔｈ１より大きく閾値ｔｈ２（ｔｈ１＜ｔｈ２）以下であれば２段目の推論モデルを用い、予測誤差が閾値ｔｈ２より大きければ３段目の推論モデルを用いるようにしてもよい。
【0080】
（１段目処理部の構成例２）
図６は、１段目処理部３０２－１の他の構成例を示すブロック図である。図６に示す１段目処理部３０２－１は、第１の推論部３０２１－１と第１のデータ予測部３０２２－１がＲＮＮモデルで推論および予測を行う点で図５の１段目処理部３０２－１と相違している。なお、第１の難易度算出部３０２３－１が実行する処理は図５の例と同様であるからここでは説明を繰り返さない。
図６は、１段目処理部３０２－１の他の構成例を示すブロック図である。図６に示す１段目処理部３０２－１は、第１の推論部３０２１－１と第１のデータ予測部３０２２－１がＲＮＮモデルで推論および予測を行う点で図５の１段目処理部３０２－１と相違している。なお、第１の難易度算出部３０２３－１が実行する処理は図５の例と同様であるからここでは説明を繰り返さない。
【0081】
第１のデータ予測部３０２２－１は、ＲＮＮモデルで予測を行う場合、図６に示すように、第１の推論部３０２１－１が推論に用いたフレーム画像ｘ３よりも１時刻前のフレーム画像ｘ２のみを用いてフレーム画像ｘ３を予測してもよい。ＲＮＮモデルであれば、過去入力データ（ｘ２およびそれ以前のフレーム画像）を、当該ＲＮＮモデルの内部状態として反映させることが可能であるから、入力データとしてフレーム画像ｘ２のみを用いた場合であっても、フレーム画像ｘ１等についても考慮した予測が可能である。
【0082】
また、第２の推論部３０２１－２は、ＲＮＮモデルを用いる場合も、ＣＮＮモデルを用いる場合と同様に、第１の推論部３０２１－１の推論の過程で抽出された第１の特徴量を、２段目の推論モデルに入力して推論を行ってもよい。同様に、第３の推論部３０４は、第２の推論部３０２１－２の推論の過程で抽出された第２の特徴量を、３段目の推論モデルに入力して推論を行ってもよい。
【0083】
そして、第２のデータ予測部３０２２－２は、２段目の推論モデルに入力される入力データである第１の特徴量を、当該第１の特徴量よりも時系列順で前のフレーム画像から抽出された第１の特徴量（過去入力データ）から予測してもよい。例えば、第２のデータ予測部３０２２－２は、フレーム画像ｘ３から抽出された第１の特徴量を、フレーム画像ｘ２から抽出された第１の特徴量から予測してもよい。
【0084】
（推論時の処理の流れ）
図７は、情報処理装置３が推論時に行う処理の流れを示すフロー図である。なお、図７には、２フレーム目以降のフレーム画像を対象とした推論の際の処理の流れを示している。１フレーム目のフレーム画像については、データ予測部３０２２－ｋによる予測ができないから、１フレーム目のフレーム画像を用いた推論に何段目までの推論モデルを用いるかについては予め定めておけばよい。例えば、１フレーム目のフレーム画像については、３段目までの推論モデルを用いて推論するようにしてもよいし、１段目の推論モデルを用いて推論するようにしてもよい。また、図７には３段の推論モデルを用いる例を示しているが、２段または４段以上の推論モデルを用いた推論も同様のフローで実現できる。
図７は、情報処理装置３が推論時に行う処理の流れを示すフロー図である。なお、図７には、２フレーム目以降のフレーム画像を対象とした推論の際の処理の流れを示している。１フレーム目のフレーム画像については、データ予測部３０２２－ｋによる予測ができないから、１フレーム目のフレーム画像を用いた推論に何段目までの推論モデルを用いるかについては予め定めておけばよい。例えば、１フレーム目のフレーム画像については、３段目までの推論モデルを用いて推論するようにしてもよいし、１段目の推論モデルを用いて推論するようにしてもよい。また、図７には３段の推論モデルを用いる例を示しているが、２段または４段以上の推論モデルを用いた推論も同様のフローで実現できる。
【0085】
Ｓ３０１では、データ取得部３０１がフレーム画像を取得する。続いて、Ｓ３０２では、１段目処理部３０２－１に含まれる第１の推論部３０２１－１が１段目の推論モデルを用いて推論を行う。例えば、第１の推論部３０２１－１は、Ｓ３０１で取得されたフレーム画像を１段目の推論モデルに入力し、１段目の推論モデルに推論結果を出力させてもよい。また、例えば、第１の推論部３０２１－１は、Ｓ３０１で取得されたフレーム画像と、当該フレーム画像よりも時系列順で前の１または複数のフレーム画像とを１段目の推論モデルに入力し、１段目の推論モデルに推論結果を出力させてもよい。
【0086】
Ｓ３０３では、第１の難易度算出部３０２３－１が、Ｓ３０１で取得されたフレーム画像に基づき１段目の推論モデルによる推論の難易度を算出する。より詳細には、Ｓ３０３では、まず、第１のデータ予測部３０２２－１が、Ｓ３０１で取得されたフレーム画像よりも時系列順で前の１または複数のフレーム画像から、Ｓ３０１で取得されたフレーム画像を予測する。そして、第１の難易度算出部３０２３－１は、第１のデータ予測部３０２２－１が予測したフレーム画像とＳ３０１で取得されたフレーム画像とに基づいて、第１のデータ予測部３０２２－１の予測誤差を算出する。この予測誤差は、１段目の推論モデルによる推論の難易度を示している。
【0087】
Ｓ３０４では、第１の判定部３０３－１が、Ｓ３０３で算出された難易度に基づき、２段目以降の推論モデルを用いるか否かを判定する。例えば、第１の判定部３０３－１は、Ｓ３０３で算出された難易度が第１の閾値を超えている場合に２段目以降の推論モデルを用いると判定してもよい。
【0088】
Ｓ３０４でＹＥＳと判定された場合にはＳ３０５に進む。一方、Ｓ３０４でＮＯと判定された場合にはＳ３０９に進む。Ｓ３０４から遷移したＳ３０９では、第１の推論部３０２１－１がＳ３０２の推論結果を記憶部３１等に記録する。この後、処理はＳ３０１に戻り、次のフレーム画像が取得される。なお、情報処理装置３は、Ｓ３０９において、推論結果を、出力部３４等を介して出力してもよいし、推論結果に応じた処理を自動で実行するようにしてもよい。これは後述するＳ３０７またはＳ３０８からＳ３０９に遷移する場合においても同様である。
【0089】
Ｓ３０５では、２段目処理部３０２－１に含まれる第２の推論部３０２１－２が、２段目の推論モデルを用いて推論を行う。より詳細には、第２の推論部３０２１－２は、Ｓ３０２における第１の推論部３０２１－１の推論の過程で抽出された第１の特徴量を２段目の推論モデルに入力して推論を行う。なお、第２の推論部３０２１－２は、Ｓ３０１で取得されたフレーム画像を２段目の推論モデルに入力して推論を行ってもよい。
【0090】
Ｓ３０６では、第２の難易度算出部３０２３－２が、２段目の推論モデルによる推論の難易度を算出する。より詳細には、Ｓ３０６では、まず、第２のデータ予測部３０２２－２が、Ｓ３０１で取得されたフレーム画像よりも時系列順で前のフレーム画像からの推論の過程で抽出された第１の特徴量から、Ｓ３０２における推論の過程で抽出された第１の特徴量を予測する。そして、第２の難易度算出部３０２３－２は、第２のデータ予測部３０２２－２が予測した第１の特徴量と、Ｓ３０２における推論の過程で抽出された第１の特徴量とに基づいて、第２のデータ予測部３０２２－２の予測誤差を算出する。この予測誤差は、２段目の推論モデルによる推論の難易度を示している。
【0091】
Ｓ３０７では、第２の判定部３０３－２が、Ｓ３０６で算出された難易度に基づき、３段目の推論モデルを用いるか否かを判定する。例えば、第２の判定部３０３－２は、Ｓ３０６で算出された難易度が予め設定された第２の閾値を超えている場合に３段目の推論モデルを用いると判定してもよい。
【0092】
Ｓ３０７でＹＥＳと判定された場合にはＳ３０８に進む。一方、Ｓ３０７でＮＯと判定された場合にはＳ３０９に進む。Ｓ３０７から遷移したＳ３０９では、第２の推論部３０２１－２がＳ３０５の推論結果を記憶部３１等に記録する。この後、処理はＳ３０１に戻り、次のフレーム画像が取得される。
【0093】
Ｓ３０８では、第３の推論部３０４が、３段目の推論モデルを用いて推論を行う。より詳細には、第３の推論部３０４は、Ｓ３０５における第２の推論部３０２１－２の推論の過程で抽出された第２の特徴量を３段目の推論モデルに入力して推論を行う。なお、第３の推論部３０４は、Ｓ３０１で取得されたフレーム画像を３段目の推論モデルに入力して推論を行ってもよい。Ｓ３０８から遷移したＳ３０９では、第３の推論部３０４がＳ３０８の推論結果を記憶部３１等に記録する。この後、処理はＳ３０１に戻り、次のフレーム画像が取得される。
【0094】
（学習時の処理の流れ）
図８は、情報処理装置３が学習時に行う処理の流れを示すフロー図である。なお、図８の処理は、複数の教師データを含む教師データセットが取得された後で実行される。教師データは、フレーム画像に対して当該フレーム画像を用いた推論の正解を示す正解データが対応付けられたデータである。また、教師データセットに含まれる各フレーム画像は時系列を構成している。例えば、動画像から抽出したフレーム画像を用いて物体検出および検出した物体の分類を行う場合、動画像から抽出した時系列のフレーム画像に対して当該フレーム画像に写る物体の位置および範囲と当該物体の分類とが正解データとして対応付けられた教師データを用いればよい。
図８は、情報処理装置３が学習時に行う処理の流れを示すフロー図である。なお、図８の処理は、複数の教師データを含む教師データセットが取得された後で実行される。教師データは、フレーム画像に対して当該フレーム画像を用いた推論の正解を示す正解データが対応付けられたデータである。また、教師データセットに含まれる各フレーム画像は時系列を構成している。例えば、動画像から抽出したフレーム画像を用いて物体検出および検出した物体の分類を行う場合、動画像から抽出した時系列のフレーム画像に対して当該フレーム画像に写る物体の位置および範囲と当該物体の分類とが正解データとして対応付けられた教師データを用いればよい。
【0095】
なお、教師データセットの取得方法は特に限定されず、例えばデータ取得部３０１が、通信部３２を介して他の装置から教師データセットを取得してもよいし、入力部３３を介して入力される教師データセットを取得してもよい。また、学習の対象となる複数段の推論モデルについては、事前学習モデルを用いる等して、予めある程度の精度で推論が可能な状態としておく。また、図８には３段の推論モデルの学習を行う例を示しているが、２段または４段以上の推論モデルの学習も同様のフローで実現できる。
【0096】
Ｓ３１１では、第１の推論部２０２１－１が、上述の教師データセットから１つの教師データを取得する。そして、Ｓ３１２では、第１の推論部２０２１－１は、Ｓ３１１で取得した教師データに含まれるフレーム画像を入力データとし、１段目の推論モデルを用いて推論を行う。
【0097】
なお、図８では、Ｓ３１１において、時系列順で２番目以降のフレーム画像を含む教師データが取得された場合の処理を示している。時系列順で１番目のフレーム画像を含む教師データを、何段目までの推論モデルの学習に用いるかについては予め定めておけばよい。例えば、時系列順で１番目のフレーム画像を含む教師データについては、３段目までの推論モデルの学習に用いるようにしてもよいし、１段目までの推論モデルの学習に用いるようにしてもよい。
【0098】
Ｓ３１３では、第１の難易度算出部３０２３－１が、Ｓ３１１で取得された教師データに含まれるフレーム画像に基づき、当該フレーム画像を用いた１段目の推論モデルによる推論の難易度を算出する。より詳細には、Ｓ３１３では、まず、第１のデータ予測部３０２２－１が、Ｓ３１１で取得された教師データに含まれるフレーム画像よりも時系列順で前のフレーム画像から、Ｓ３１１で取得された教師データに含まれるフレーム画像を予測する。そして、第１の難易度算出部３０２３－１は、第１のデータ予測部３０２２－１が予測したフレーム画像とＳ３１１で取得された教師データに含まれるフレーム画像とに基づいて、第１のデータ予測部３０２２－１の予測誤差を算出する。この予測誤差は、１段目の推論モデルによる推論の難易度を示している。
【0099】
Ｓ３１４では、第１の判定部３０３－１が、Ｓ３１３で算出された難易度に基づき、Ｓ３１１で取得された教師データを、２段目以降の推論モデルの学習に用いるか否かを判定する。例えば、第１の判定部３０３－１は、Ｓ３１３で算出された難易度が予め設定された第１の閾値を超えている場合に２段目以降の推論モデルの学習に用いると判定してもよい。Ｓ３１４でＹＥＳと判定された場合にはＳ３１６に進む。一方、Ｓ３１４でＮＯと判定された場合にはＳ３１５に進む。
【0100】
Ｓ３１５では、推論モデル学習部３０５が、１段目の推論モデルを更新する。例えば、推論モデル学習部３０５は、Ｓ３１１で取得された教師データに含まれる正解データを用いて、Ｓ３１２の推論結果の誤差を計算すると共に、計算した誤差から１段目の推論モデルに含まれる各重み値の勾配を算出し、算出した勾配に基づいて各重み値を更新してもよい。この場合、勾配の計算には例えば誤差逆伝搬法が適用でき、重み値の更新には例えば確率的勾配降下法が適用できる。Ｓ３１５の終了後はＳ３２２に進む。
【0101】
Ｓ３１６では、２段目処理部３０２－１に含まれる第２の推論部３０２１－２が、２段目の推論モデルを用いて推論を行う。より詳細には、第２の推論部３０２１－２は、Ｓ３１２における第１の推論部３０２１－１の推論の過程で抽出された第１の特徴量を２段目の推論モデルに入力して推論を行う。なお、第２の推論部３０２１－２は、Ｓ３１１で取得された教師データに含まれるフレーム画像を２段目の推論モデルに入力して推論を行ってもよい。
【0102】
Ｓ３１７では、第２の難易度算出部３０２３－２が、２段目の推論モデルによる推論の難易度を算出する。より詳細には、Ｓ３１７では、まず、第２のデータ予測部３０２２－２が、Ｓ３１１で取得された教師データに含まれるフレーム画像よりも時系列順で前のフレーム画像からの推論の過程で抽出された第１の特徴量から、Ｓ３１１で取得された教師データに含まれるフレーム画像から抽出された第１の特徴量を予測する。そして、第２の難易度算出部３０２３－２は、第２のデータ予測部３０２２－２が予測した第１の特徴量と、Ｓ３１６の推論の際に抽出された第１の特徴量とに基づいて、第１のデータ予測部３０２２－１の予測誤差を算出する。この予測誤差は、２段目の推論モデルによる推論の難易度を示している。
【0103】
Ｓ３１８では、第２の判定部３０３－２が、Ｓ３１７で算出された難易度に基づき、Ｓ３１１で取得された教師データを、２段目以降の推論モデルの学習に用いるか否かを判定する。例えば、第２の判定部３０３－２は、Ｓ３１７で算出された難易度が、予め設定された第２の閾値を超えている場合に３段目の推論モデルの学習に用いると判定してもよい。Ｓ３１８でＹＥＳと判定された場合にはＳ３２０に進む。一方、Ｓ３１８でＮＯと判定された場合にはＳ３１９に進む。
【0104】
Ｓ３１９では、推論モデル学習部３０５が、２段目までの推論モデルを更新する。例えば、推論モデル学習部３０５は、Ｓ３１１で取得された教師データに含まれる正解データを用いて、Ｓ３１６の推論結果の誤差を計算すると共に、計算した誤差から２段目までの推論モデルに含まれる各モデルパラメータの勾配を算出し、算出した勾配に基づいて各重み値を更新してもよい。この場合、勾配の計算には例えば誤差逆伝搬法が適用でき、重み値の更新には例えば確率的勾配降下法が適用できる。Ｓ３１９の終了後はＳ３２２に進む。
【0105】
Ｓ３１９において、複数段の推論モデルが１つの多層ニューラルネットワークモデルに基づいて生成されたものである場合、推論モデル学習部３０５は、２段目の推論モデルの学習において前段の推論モデルの重み値も更新してもよい。例えば、Ｓ３１９において推論モデル学習部３０５が誤差逆伝搬法を適用して２段目の推論モデルの重み値の更新を行う場合、１段目の推論モデルの重み値も更新される。このように、複数段の推論モデルの学習においてはend to end学習が可能である。これにより、推論の難易度が高い教師データは後段の学習に用いつつ、前段の推論モデルの学習を重点的に進めることができる。なお、これは以下説明するＳ３２１の処理においても同様である。
【0106】
Ｓ３２０では、第３の推論部３０４が、３段目の推論モデルを用いて推論を行う。より詳細には、第３の推論部３０４は、Ｓ３１６における第２の推論部３０２１－２の推論の過程で抽出された第２の特徴量を３段目の推論モデルに入力して推論を行う。なお、第３の推論部３０４は、Ｓ３１１で取得された教師データに含まれるフレーム画像を３段目の推論モデルに入力して推論を行ってもよい。
【0107】
Ｓ３２１では、推論モデル学習部３０５が、３段目までの推論モデルを更新する。例えば、推論モデル学習部３０５は、Ｓ３１１で取得された教師データに含まれる正解データを用いて、Ｓ３２０の推論結果の誤差を計算すると共に、計算した誤差から３段目までの推論モデルに含まれる各重み値の勾配を算出し、算出した勾配に基づいて各重み値を更新してもよい。この場合、勾配の計算には例えば誤差逆伝搬法が適用でき、重み値の更新には例えば確率的勾配降下法が適用できる。誤差逆伝搬法を適用して推論モデルの更新を行う場合、Ｓ３２１では１段目および２段目の推論モデルの重み値も更新される。Ｓ３２１の終了後はＳ３２２に進む。
【0108】
Ｓ３２２では、推論モデル学習部３０５は、学習を終了するか否かを判定する。Ｓ３２２でＹＥＳと判定された場合には図８の処理は終了する。一方、Ｓ３２２でＮＯと判定された場合にはＳ３１１に戻り、時系列順で次のフレーム画像を含む教師データが取得される。なお、学習を終了する条件は予め定めておけばよい。例えば、推論モデル学習部３０５は、推論モデルの更新回数が所定回数に達したことを条件として学習を終了してもよい。
【0109】
以上のように、情報処理装置３が学習時に行う処理、すなわち推論モデルの生成方法は、複数段の推論モデルのうち１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を当該教師データに基づいて算出すること（Ｓ３１３）と、算出した難易度に基づいて当該教師データを２段目以降の推論モデルの学習に用いるか否かを判定すること（Ｓ３１４）と、を含む。
【0110】
これにより、１段目の推論モデルについては推論の難易度が低い教師データに特化した学習が行われる。よって、推論の難易度が低い入力データの処理に用いられる１段目の推論モデルを、推論の難易度が高い教師データで学習することにより生じる推論精度の低下を防ぐことができる。また、推論の難易度が高い教師データについては２段目以降の推論モデルの学習に用いられるため、２段目以降の推論モデルの推論精度も効果的に高めることができる。よって、当該推論モデルの生成方法によれば、情報処理装置３による推論に好適な複数段の推論モデルを生成することができる。
【0111】
（閾値の更新）
図８の処理の際に、第１の閾値更新部３０７－１は、Ｓ３１４の判定に用いられる第１の閾値の更新を行ってもよい。同様に、第２の閾値更新部３０７－２は、Ｓ３１８の判定に用いられる第２の閾値の更新を行ってもよい。
図８の処理の際に、第１の閾値更新部３０７－１は、Ｓ３１４の判定に用いられる第１の閾値の更新を行ってもよい。同様に、第２の閾値更新部３０７－２は、Ｓ３１８の判定に用いられる第２の閾値の更新を行ってもよい。
【0112】
第１の閾値と第２の閾値は、学習に用いた教師データセットに含まれる各フレーム画像が、当該フレーム画像を用いた推論の難易度に応じた適切な処理部（１段目処理部３０２－１、２段目処理部３０２－２、または第３の推論部３０４）に割り振られるように更新すればよい。
【0113】
例えば、第１の閾値更新部３０７－１は、Ｓ３１５における推論モデルの更新に用いられた教師データのうち、推論結果の誤差が所定の上限値を超えたものを特定してもよい。そして、第１の閾値更新部３０７－１は、特定した教師データについてのＳ３１４の判定結果がＹＥＳとなるように第１の閾値を更新してもよい。これにより、１段目の推論モデルにとって推論の難易度が高いフレーム画像についての推論に、２段目以降の推論モデルが用いられる可能性を高めることができる。
【0114】
同様に、第２の閾値更新部３０７－２は、Ｓ３１９における推論モデルの更新に用いられた教師データのうち、推論結果の誤差が所定の上限値を超えたものを特定してもよい。そして、第２の閾値更新部３０７－２は、特定した教師データについてのＳ３１８の判定結果がＹＥＳとなるように第２の閾値を更新してもよい。これにより、２段目の推論モデルにとって推論の難易度が高いフレーム画像についての推論に、３段目の推論モデルが用いられる可能性を高めることができる。
【0115】
また、第１の閾値更新部３０７－１は、Ｓ３１９における推論モデルの更新に用いられた教師データのうち、推論結果の誤差が所定の下限値未満であったものを特定してもよい。そして、第１の閾値更新部３０７－１は、特定した教師データについてのＳ３１４の判定結果がＮＯとなるように第１の閾値を更新してもよい。これにより、２段目の推論モデルにとって推論の難易度が低く、１段目の推論モデルでも十分な精度で推論が可能と考えられるフレーム画像についての推論に１段目の推論モデルが用いられる可能性を高めることができる。
【0116】
同様に、第２の閾値更新部３０７－２は、Ｓ３２１における推論モデルの更新に用いられた教師データのうち、推論結果の誤差が所定の下限値未満であったものを特定してもよい。そして、第２の閾値更新部３０７－２は、特定した教師データについてのＳ３１８の判定結果がＮＯとなるように第２の閾値を更新してもよい。これにより、３段目の推論モデルにとって推論の難易度が低く、２段目の推論モデルでも十分な精度で推論が可能と考えられるフレーム画像についての推論に２段目の推論モデルが用いられる可能性を高めることができる。
【0117】
以上のように、第１の判定部３０３－１は、第１の難易度算出部３０２３－１により算出される難易度が第１の閾値を超える教師データを、２段目以降の推論モデルの学習に用いると判定してもよい。そして、情報処理装置３は、１段目の推論モデルに時系列を構成する教師データを入力して得られる複数の推論の結果に基づいて第１の閾値を更新する第１の閾値更新部３０７－１を備えていてもよい。
【0118】
上記の構成によれば、実際の推論結果に基づいて、教師データを１段目の推論モデルの学習に用いるか、２段目以降の推論モデルの学習に用いるかの判定をより的確に行うこと、すなわち１段目の推論モデルで妥当な推論が得られることが見込まれる教師データは１段目の推論モデルの学習に用い、１段目の推論モデルでは妥当な推論結果が得られないことが見込まれる教師データは２段目の推論モデルの学習に用いることが可能になる。
【0119】
また、以上のように、情報処理装置３は、２段目の推論モデルに時系列を構成する教師データを入力して得られる複数の推論の結果に基づいて第２の閾値を更新する第２の閾値更新部３０７－２を備えていてもよい。これにより、２段目の推論モデルで妥当な推論が得られることが見込まれる教師データは２段目の推論モデルの学習に用い、２段目の推論モデルでは妥当な推論結果が得られないことが見込まれる教師データは３段目の推論モデルの学習に用いることが可能になる。なお、４段以上の推論モデルを用いる場合には、３段目以降の各段にも閾値更新部を設けてもよい。
【0120】
（予測モデルの更新）
また、図８の処理の際に、第１のデータ予測部３０２２－１が使用する第１の予測モデルと、第２のデータ予測部３０２２－２が使用する第２の予測モデルについても更新するようにしてもよい。第１の予測モデルの更新は第１の予測モデル学習部３０６－１が行い、第２の予測モデルの更新は第２の予測モデル学習部３０６－２が行う。なお、４段以上の推論モデルを用いる場合には、３段目以降の各段にも予測モデル学習部を設けてもよい。
また、図８の処理の際に、第１のデータ予測部３０２２－１が使用する第１の予測モデルと、第２のデータ予測部３０２２－２が使用する第２の予測モデルについても更新するようにしてもよい。第１の予測モデルの更新は第１の予測モデル学習部３０６－１が行い、第２の予測モデルの更新は第２の予測モデル学習部３０６－２が行う。なお、４段以上の推論モデルを用いる場合には、３段目以降の各段にも予測モデル学習部を設けてもよい。
【0121】
具体的には、例えば、第１の予測モデル学習部３０６－１は、Ｓ３１３において第１の難易度算出部３０２３－１が算出する予測誤差から第１の予測モデルに含まれる各重み値の勾配を算出し、算出した勾配に基づいて各重み値を更新してもよい。同様に、第２の予測モデル学習部３０６－２は、Ｓ３１７において第２の難易度算出部３０２３－２が算出する予測誤差から第２の予測モデルに含まれる各重み値の勾配を算出し、算出した勾配に基づいて各重み値を更新してもよい。なお、勾配の計算には例えば誤差逆伝搬法が適用でき、重み値の更新には例えば確率的勾配降下法が適用できる。
【0122】
また、第１の予測モデルの更新は、図７のＳ３０３の後にも行うようにしてもよい。同様に、第２の予測モデルの更新は、図７のＳ３０６の後にも行うようにしてもよい。なお、第１の予測モデルおよび第２の予測モデルの更新のタイミングは任意であり、これらの例に限られない。
【0123】
以上のように、情報処理装置３は、時系列を構成する教師データのうちある時点の教師データを、当該時点よりも時系列順で前の時点の教師データから第１の予測モデルを用いて予測する第１のデータ予測部３０２２－１を備える。また、第１の難易度算出部３０２３－１は、第１のデータ予測部３０２２－１の予測誤差を、上記ある時点の教師データを用いた推論の難易度を示す値として算出する。そして、情報処理装置３は、系列を構成する教師データを用いた学習により、上記予測誤差が小さくなるように第１の予測モデルを更新する第１の予測モデル学習部３０６－１を備える。
【0124】
上記の構成によれば、予測誤差が小さくなるように第１の予測モデルを更新するから、教師データを１段目の推論モデルの学習に用いるか、２段目以降の推論モデルの学習に用いるかの判定をより精度よく行うことが可能になる。
【0125】
〔変形例〕
上述の例示的実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の装置により情報処理装置１～３と同様の機能を備えた情報処理システムを構築することができる。例えば、図７あるいは図８に示すフロー図における各処理を複数の情報処理装置（あるいはプロセッサ）に分担させて実行させることもできる。
上述の例示的実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の装置により情報処理装置１～３と同様の機能を備えた情報処理システムを構築することができる。例えば、図７あるいは図８に示すフロー図における各処理を複数の情報処理装置（あるいはプロセッサ）に分担させて実行させることもできる。
【0126】
上述の各例示的実施形態で説明した情報処理装置１～３等は、例えば、高速カメラで撮影されたフレーム画像からのリアルタイムでの物体検出や、当該フレーム画像のリアルタイムでの領域分割等に好適に適用できる。そして、これらの検出あるいは領域分割の結果を利用することにより、高速な外観検査や高速な環境認識も可能になる。例えば、車載カメラやドローン等の無人移動体に搭載したカメラで撮影した画像から周囲の環境を認識する、といった用途にも好適に適用できる。また、自動運転等にも好適に適用できる。
【0127】
〔ソフトウェアによる実現例〕
情報処理装置１～３の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１～３の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0128】
後者の場合、情報処理装置１～３は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図９に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１～３として動作させるためのプログラム（判定プログラム）Ｐが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１～３の各機能が実現される。
【0129】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0130】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0131】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0132】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0133】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0134】
（付記１）
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段と、前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段と、を備える情報処理装置。
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段と、前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段と、を備える情報処理装置。
【0135】
（付記２）
１段目の推論モデルに入力される前記入力データを、当該入力データよりも時系列順で前の入力データである過去入力データから予測する第１のデータ予測手段を備え、前記第１の難易度算出手段は、前記第１のデータ予測手段の予測誤差を、前記推論の難易度を示す値として算出する、付記１に記載の情報処理装置。
１段目の推論モデルに入力される前記入力データを、当該入力データよりも時系列順で前の入力データである過去入力データから予測する第１のデータ予測手段を備え、前記第１の難易度算出手段は、前記第１のデータ予測手段の予測誤差を、前記推論の難易度を示す値として算出する、付記１に記載の情報処理装置。
【0136】
（付記３）
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段と、前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段と、を備える情報処理装置。
後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段と、前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段と、を備える情報処理装置。
【0137】
（付記４）
前記複数段の推論モデルは、１つの多層ニューラルネットワークモデルに基づいて生成されたものであり、２段目以降の推論モデルの学習では、前段の推論モデルの重み値も更新する推論モデル学習手段を備える、付記３に記載の情報処理装置。
前記複数段の推論モデルは、１つの多層ニューラルネットワークモデルに基づいて生成されたものであり、２段目以降の推論モデルの学習では、前段の推論モデルの重み値も更新する推論モデル学習手段を備える、付記３に記載の情報処理装置。
【0138】
（付記５）
時系列を構成する前記教師データのうちある時点の教師データを、当該時点よりも時系列順で前の時点の教師データから第１の予測モデルを用いて予測する第１のデータ予測手段を備え、前記第１の難易度算出手段は、前記第１のデータ予測手段の予測誤差を、前記ある時点の教師データを用いた推論の難易度を示す値として算出し、時系列を構成する前記教師データを用いた学習により、前記予測誤差が小さくなるように前記第１の予測モデルを更新する第１の予測モデル学習手段を備える、付記３または４に記載の情報処理装置。
時系列を構成する前記教師データのうちある時点の教師データを、当該時点よりも時系列順で前の時点の教師データから第１の予測モデルを用いて予測する第１のデータ予測手段を備え、前記第１の難易度算出手段は、前記第１のデータ予測手段の予測誤差を、前記ある時点の教師データを用いた推論の難易度を示す値として算出し、時系列を構成する前記教師データを用いた学習により、前記予測誤差が小さくなるように前記第１の予測モデルを更新する第１の予測モデル学習手段を備える、付記３または４に記載の情報処理装置。
【0139】
（付記６）
前記第１の判定手段は、前記難易度が第１の閾値を超える前記教師データを、２段目以降の推論モデルの学習に用いると判定し、１段目の推論モデルに時系列を構成する前記教師データを入力して得られる複数の推論の結果に基づいて前記第１の閾値を更新する第１の閾値更新手段を備える、付記３から５の何れかに記載の情報処理装置。
前記第１の判定手段は、前記難易度が第１の閾値を超える前記教師データを、２段目以降の推論モデルの学習に用いると判定し、１段目の推論モデルに時系列を構成する前記教師データを入力して得られる複数の推論の結果に基づいて前記第１の閾値を更新する第１の閾値更新手段を備える、付記３から５の何れかに記載の情報処理装置。
【0140】
（付記７）
少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出することと、前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定することと、を含む判定方法。
少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出することと、前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定することと、を含む判定方法。
【0141】
（付記８）
少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出することと、前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定することと、を含む判定方法。
少なくとも１つのプロセッサが、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出することと、前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定することと、を含む判定方法。
【0142】
（付記９）
コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段、および前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段、として機能させる判定プログラム。
コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する第１の難易度算出手段、および前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する第１の判定手段、として機能させる判定プログラム。
【0143】
（付記１０）
コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段、および前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段、として機能させる判定プログラム。
コンピュータを、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する第１の難易度算出手段、および前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する第１の判定手段、として機能させる判定プログラム。
【0144】
（付記１１）
１段目の推論モデルに前記入力データを入力して推論を行う第１の推論手段と、前記第１の判定手段が、２段目の推論モデルを用いると判定した場合に、前記第１の推論手段の推論の過程で抽出された第１の特徴量を、前記２段目の推論モデルに入力して推論を行う第２の推論手段と、を備える、付記１または２に記載の情報処理装置。
１段目の推論モデルに前記入力データを入力して推論を行う第１の推論手段と、前記第１の判定手段が、２段目の推論モデルを用いると判定した場合に、前記第１の推論手段の推論の過程で抽出された第１の特徴量を、前記２段目の推論モデルに入力して推論を行う第２の推論手段と、を備える、付記１または２に記載の情報処理装置。
【0145】
（付記１２）
前記第１の特徴量の抽出元となった前記入力データよりも時系列順で前の入力データである過去入力データから抽出された特徴量を用いて前記第１の特徴量を予測する第２のデータ予測手段と、前記第２のデータ予測手段の予測誤差を、前記２段目の推論モデルを用いた推論の難易度を示す値として算出する第２の難易度算出手段と、前記第２の難易度算出手段が算出する予測誤差に基づき、３段目以降の推論モデルを用いるか否かを判定する第２の判定手段と、を備える付記１１に記載の情報処理装置。
前記第１の特徴量の抽出元となった前記入力データよりも時系列順で前の入力データである過去入力データから抽出された特徴量を用いて前記第１の特徴量を予測する第２のデータ予測手段と、前記第２のデータ予測手段の予測誤差を、前記２段目の推論モデルを用いた推論の難易度を示す値として算出する第２の難易度算出手段と、前記第２の難易度算出手段が算出する予測誤差に基づき、３段目以降の推論モデルを用いるか否かを判定する第２の判定手段と、を備える付記１１に記載の情報処理装置。
【0146】
（付記１３）
前記第２のデータ予測手段は、リカレントニューラルネットワークモデルを用いて前記第１の特徴量を予測する、付記１２に記載の情報処理装置。
前記第２のデータ予測手段は、リカレントニューラルネットワークモデルを用いて前記第１の特徴量を予測する、付記１２に記載の情報処理装置。
【0147】
（付記１４）
前記第１の判定手段は、前記難易度に基づき、前記入力データを用いた推論に２段目以降の何れの段の推論モデルを用いるかを判定する、付記１、２、１１、１２、および１３の何れかに記載の情報処理装置。
前記第１の判定手段は、前記難易度に基づき、前記入力データを用いた推論に２段目以降の何れの段の推論モデルを用いるかを判定する、付記１、２、１１、１２、および１３の何れかに記載の情報処理装置。
【0148】
（付記１５）
少なくとも１つのプロセッサを備え、前記プロセッサは、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する処理と、前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する処理と、を実行する情報処理装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する入力データの少なくとも１つを入力して行う推論の難易度を、当該入力データに基づいて算出する処理と、前記難易度に基づき、前記入力データを用いた推論に２段目以降の推論モデルを用いるか否かを判定する処理と、を実行する情報処理装置。
【0149】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記難易度を算出する処理と、前記判定する処理とを前記プロセッサに実行させるための判定プログラムが記憶されていてもよい。また、この判定プログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【0150】
（付記１６）
少なくとも１つのプロセッサを備え、前記プロセッサは、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する処理と、前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する処理と、を実行する情報処理装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、後段のものを用いるほど推論精度が高くなるように構成された複数段の推論モデルのうち、１段目の推論モデルに時系列を構成する教師データの少なくとも１つを入力して行う推論の難易度を、当該教師データに基づいて算出する処理と、前記難易度に基づき、前記教師データを２段目以降の推論モデルの学習に用いるか否かを判定する処理と、を実行する情報処理装置。
【0151】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記難易度を算出する処理と、前記判定する処理とを前記プロセッサに実行させるための判定プログラムが記憶されていてもよい。また、この判定プログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0152】
１ 情報処理装置
１１ 第１の難易度算出部
１２ 第１の判定部
２ 情報処理装置
２１ 第１の難易度算出部
２２ 第１の判定部
３ 情報処理装置
３０２１－１ 第１の推論部
３０２２－１ 第１のデータ予測部
３０２３－１ 第１の難易度算出部
３０２１－２ 第２の推論部
３０２２－２ 第２のデータ予測部
３０２３－２ 第２の難易度算出部
３０３－１ 第１の判定部
３０３－２ 第２の判定部
３０５ 推論モデル学習部
３０６－１ 第１の予測モデル学習部
３０７－１ 第１の閾値更新部
１１ 第１の難易度算出部
１２ 第１の判定部
２ 情報処理装置
２１ 第１の難易度算出部
２２ 第１の判定部
３ 情報処理装置
３０２１－１ 第１の推論部
３０２２－１ 第１のデータ予測部
３０２３－１ 第１の難易度算出部
３０２１－２ 第２の推論部
３０２２－２ 第２のデータ予測部
３０２３－２ 第２の難易度算出部
３０３－１ 第１の判定部
３０３－２ 第２の判定部
３０５ 推論モデル学習部
３０６－１ 第１の予測モデル学習部
３０７－１ 第１の閾値更新部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】