知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022164571
(43)【公開日】2022-10-27
(54)【発明の名称】情報処理装置、情報処理方法及び予測装置
(51)【国際特許分類】
G06N 3/02 20060101AFI20221020BHJP
G06T 7/00 20170101ALI20221020BHJP
【ＦＩ】
G06N3/02
G06T7/00 350C
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022040586
(22)【出願日】2022-03-15
(31)【優先権主張番号】202110411394.X
(32)【優先日】2021-04-16
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】スヌ・リ
(72)【発明者】
【氏名】汪 留安
(72)【発明者】
【氏名】ジャン・ミンジエ
(72)【発明者】
【氏名】王 平
(72)【発明者】
【氏名】ジャン・ホォイガン
(72)【発明者】
【氏名】孫 俊
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】情報処理装置、情報処理方法及び予測装置を提供する。
【解決手段】該情報処理装置は、予測すべき対象を予測するために、複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、複数のディープニューラルネットワークモデルから少なくとも２つのディープニューラルネットワークモデルを選択するモデル選択ユニット、を含み、総合予測精度は、少なくとも２つの精度指標により表現され、安定性は、対応するディープニューラルネットワークモデルの該少なくとも２つの精度指標のそれぞれに関する安定性であり、精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの該少なくとも２つの精度指標の変化傾向の一貫性である。
【選択図】図１
【解決手段】該情報処理装置は、予測すべき対象を予測するために、複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、複数のディープニューラルネットワークモデルから少なくとも２つのディープニューラルネットワークモデルを選択するモデル選択ユニット、を含み、総合予測精度は、少なくとも２つの精度指標により表現され、安定性は、対応するディープニューラルネットワークモデルの該少なくとも２つの精度指標のそれぞれに関する安定性であり、精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの該少なくとも２つの精度指標の変化傾向の一貫性である。
【選択図】図１
【特許請求の範囲】
【請求項1】
予測すべき対象を予測するために、複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから少なくとも２つのディープニューラルネットワークモデルを選択するモデル選択ユニット、を含み、
前記総合予測精度は、少なくとも２つの精度指標により表現され、
前記安定性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、
前記精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理装置。
前記総合予測精度は、少なくとも２つの精度指標により表現され、
前記安定性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、
前記精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理装置。
【請求項2】
前記モデル選択ユニットは、前記少なくとも２つのディープニューラルネットワークモデルを選択する際に、
総合予測精度の差が第１の所定閾値よりも小さい２つ以上のディープニューラルネットワークモデルを同一のモデルグループに割り当てるように、前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルに対して並び替え及びグループ分けを行い、
モデルグループごとに、該モデルグループにおける各ディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、該モデルグループにおける各ディープニューラルネットワークモデルの順序を調整し、
調整された並び替え結果に基づいて前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する、請求項１に記載の情報処理装置。
総合予測精度の差が第１の所定閾値よりも小さい２つ以上のディープニューラルネットワークモデルを同一のモデルグループに割り当てるように、前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルに対して並び替え及びグループ分けを行い、
モデルグループごとに、該モデルグループにおける各ディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、該モデルグループにおける各ディープニューラルネットワークモデルの順序を調整し、
調整された並び替え結果に基づいて前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する、請求項１に記載の情報処理装置。
【請求項3】
前記モデル選択ユニットは、グループ総合予測精度が最大のモデルグループに、安定性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの安定性の最大値よりも第２の所定閾値小さいディープニューラルネットワークモデル、又は精度指標変化傾向一貫性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの精度指標変化傾向一貫性の最大値よりも第３の所定閾値小さいディープニューラルネットワークモデルが存在する場合、前記総合予測精度を表現するための精度指標を再選択し、
前記グループ総合予測精度は、対応するモデルグループにおける各ディープニューラルネットワークモデルの総合予測精度に基づいて計算される、請求項２に記載の情報処理装置。
前記グループ総合予測精度は、対応するモデルグループにおける各ディープニューラルネットワークモデルの総合予測精度に基づいて計算される、請求項２に記載の情報処理装置。
【請求項4】
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを降順に並び替える場合、前記モデル選択ユニットは、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最上位の少なくとも２つのディープニューラルネットワークモデルを選択し、
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを昇順に並び替える場合、前記モデル選択ユニットは、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最下位の少なくとも２つのディープニューラルネットワークモデルを選択する、請求項２に記載の情報処理装置。
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを昇順に並び替える場合、前記モデル選択ユニットは、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最下位の少なくとも２つのディープニューラルネットワークモデルを選択する、請求項２に記載の情報処理装置。
【請求項5】
前記複数のディープニューラルネットワークモデルのそれぞれは、訓練データセットを分割して得られた複数の訓練データサブセットのうちの少なくとも１つの訓練データサブセットを用いて事前に訓練を行って得られた訓練済みのディープニューラルネットワークモデルである、請求項２に記載の情報処理装置。
【請求項6】
前記モデル選択ユニットは、前記少なくとも２つのディープニューラルネットワークモデルに対応する訓練データサブセットの集合に前記訓練データセットにおける訓練データの全てを含むように、前記少なくとも２つのディープニューラルネットワークモデルを選択する、請求項５に記載の情報処理装置。
【請求項7】
前記モデル選択ユニットは、
ディープニューラルネットワークモデルごとに、該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルの複数の性能散布点を取得する性能散布点取得サブユニットであって、各性能散布点の値はＮ次元ベクトルにより表され、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元ベクトルの各要素の値は対応する精度指標の値により表される、性能散布点取得サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する総合予測精度決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点の集中度に基づいて該ディープニューラルネットワークモデルの安定性を決定する安定性決定サブユニットであって、性能散布点の集中度が高くなるほど、該ディープニューラルネットワークモデルの安定性が高くなると決定される、安定性決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する一貫性決定サブユニットと、
前記安定性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの安定性と前記一貫性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び前記総合予測精度決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する選択サブユニットと、を含む、請求項１に記載の情報処理装置。
ディープニューラルネットワークモデルごとに、該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルの複数の性能散布点を取得する性能散布点取得サブユニットであって、各性能散布点の値はＮ次元ベクトルにより表され、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元ベクトルの各要素の値は対応する精度指標の値により表される、性能散布点取得サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する総合予測精度決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点の集中度に基づいて該ディープニューラルネットワークモデルの安定性を決定する安定性決定サブユニットであって、性能散布点の集中度が高くなるほど、該ディープニューラルネットワークモデルの安定性が高くなると決定される、安定性決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する一貫性決定サブユニットと、
前記安定性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの安定性と前記一貫性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び前記総合予測精度決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する選択サブユニットと、を含む、請求項１に記載の情報処理装置。
【請求項8】
前記モデル選択ユニットは、
ディープニューラルネットワークモデルごとに、該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルのＮ次元性能散布図を生成する性能散布図生成サブユニットであって、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元性能散布図における各散布点の各次元での座標は、対応する精度指標の値により表される、性能散布図生成サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布図生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元性能散布図における全ての散布点又は第１の所定数の散布点を含むＮ次元グラフを生成するＮ次元グラフ生成サブユニットであって、前記Ｎ次元グラフは、Ｎ次元性能散布図における全ての散布点又は前記第１の所定数の散布点のパレートフロントを反映できる、Ｎ次元グラフ生成サブユニットと、
ディープニューラルネットワークモデルごとに、Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフの外周、外接平面又は外接超平面に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する総合予測精度決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフのサイズに基づいて該ディープニューラルネットワークモデルの安定性を決定する安定性決定サブユニットであって、Ｎ次元グラフのサイズが大きいほど、該ディープニューラルネットワークモデルの安定性が低くなると決定される、安定性決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフにおける性能散布点の分布方向に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する一貫性決定サブユニットと、
前記安定性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの安定性と前記一貫性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び前記総合予測精度決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する選択サブユニットと、を含む、請求項１に記載の情報処理装置。
ディープニューラルネットワークモデルごとに、該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルのＮ次元性能散布図を生成する性能散布図生成サブユニットであって、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元性能散布図における各散布点の各次元での座標は、対応する精度指標の値により表される、性能散布図生成サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布図生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元性能散布図における全ての散布点又は第１の所定数の散布点を含むＮ次元グラフを生成するＮ次元グラフ生成サブユニットであって、前記Ｎ次元グラフは、Ｎ次元性能散布図における全ての散布点又は前記第１の所定数の散布点のパレートフロントを反映できる、Ｎ次元グラフ生成サブユニットと、
ディープニューラルネットワークモデルごとに、Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフの外周、外接平面又は外接超平面に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する総合予測精度決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフのサイズに基づいて該ディープニューラルネットワークモデルの安定性を決定する安定性決定サブユニットであって、Ｎ次元グラフのサイズが大きいほど、該ディープニューラルネットワークモデルの安定性が低くなると決定される、安定性決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフにおける性能散布点の分布方向に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する一貫性決定サブユニットと、
前記安定性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの安定性と前記一貫性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び前記総合予測精度決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する選択サブユニットと、を含む、請求項１に記載の情報処理装置。
【請求項9】
予測すべき対象を予測するために、複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから少なくとも２つのディープニューラルネットワークモデルを選択するステップ、を含み、
前記総合予測精度は、少なくとも２つの精度指標により表現され、
前記安定性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、
前記精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理方法。
前記総合予測精度は、少なくとも２つの精度指標により表現され、
前記安定性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、
前記精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理方法。
【請求項10】
請求項１乃至８の何れかに記載の情報処理装置により前記複数のディープニューラルネットワークモデルから選択された少なくとも２つのディープニューラルネットワークモデルを用いて、予測すべき対象を予測する予測ユニット、を含む、予測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理の分野に関し、具体的には、情報処理装置、情報処理方法及び予測装置に関する。
【背景技術】
【0002】
ディープニューラルネットワークモデルは、画像予測及び音声予測などの様々な分野で広く使用されている。あるアプリケーションシナリオでは、ディープニューラルネットワークモデルに使用されるデータは非常に大きい。単一のディープニューラルネットワークモデルがそのような膨大なデータを処理することは困難であることを考慮して、そのようなデータを処理するために２つ以上のディープニューラルネットワークモデルを使用する技術が提案されている。この技術では、選択されたディープニューラルネットワークモデルがデータ処理の結果に大きな影響を与えるため、適切なディープニューラルネットワークモデルを選択できる技術を提供する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【0004】
上記の問題を鑑み、本開示は、改良された情報処理装置、情報処理方法及び予測装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本開示の１つの態様では、予測すべき対象を予測するために、複数のディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）モデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択するモデル選択ユニット、を含み、前記総合予測精度は、少なくとも２つの精度指標により表現され、前記安定性は、対応するＤＮＮモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、前記精度指標変化傾向一貫性は、対応するＤＮＮモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理装置を提供する。
【0006】
本開示のもう１つの態様では、予測すべき対象を予測するために、複数のＤＮＮモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択するステップ、を含み、前記総合予測精度は、少なくとも２つの精度指標により表現され、前記安定性は、対応するＤＮＮモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、前記精度指標変化傾向一貫性は、対応するＤＮＮモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理方法を提供する。
【0007】
本開示のもう１つの態様では、上記の本開示に係る情報処理装置により前記複数のＤＮＮモデルから選択された少なくとも２つのＤＮＮモデルを用いて、予測すべき対象を予測する予測ユニット、を含む、予測装置を提供する。
【0008】
本開示の他の態様では、上記の本開示の情報処理方法を実現するためのコンピュータプログラムコード及びコンピュータプログラムプロダクト、並びに上記の本開示の情報処理方法を実現するためのコンピュータプログラムコードが記録されているコンピュータ読み取り可能な記憶媒体をさらに提供する。
【0009】
以下は、本開示の実施例の他の態様を説明し、特に本開示の好ましい実施例を詳細に説明するが、本開示はこれらの実施例に限定されない。
【図面の簡単な説明】
【0010】
本開示の原理及び利点を理解させるために、図面を参照しながら本開示の各実施例を説明する。全ての図面において、同一又は類似の符号で同一又は類似の構成部を示している。ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本開示の範囲を限定するものではない。
【図1】本開示の実施例に係る情報処理装置の機能的構成の例を示すブロック図である。
【図2】本開示の実施例に係るモデル選択ユニットの機能的構成の例を示すブロック図である。
【図3】本開示の他の実施例に係るモデル選択ユニットの機能的構成の例を示すブロック図である。
【図4】本開示の実施例に係るモデル選択ユニットによる処理を示す概略図である。
【図5】本開示の実施例に係るモデル選択ユニットにより生成された性能散布図及びＮ次元グラフの例を示す図である。
【図6】様々な数のＤＮＮモデルを選択する場合の予測の分類正確度（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ）及びＫａｐｐａスコア（Ｃｏｈｅｎ’ｓ ｋａｐｐａ、例えばhttps://en.wikipedia.org/wiki/Cohen%27s_kappa参照）を示す図である。
【図7】本開示の実施例に係る予測装置の機能的構成の例を示すブロック図である。
【図8】本開示の実施例に係る情報処理方法の流れの例を示すフローチャートである。
【図9】本開示の実施例に適用可能なパーソナルコンピュータの例示的な構成を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本開示の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。
【0012】
なお、本明細書及び図面では、実質的に同一又は類似の機能的構成を有する構成要素は同一又は類似の符号で示され、重複する説明を省略する。
【0013】
また、本明細書及び図面では、同様な機能を有する複数の構成要素を区別するために、同一の符号の後に異なる文字を付加する場合もある。例えば、必要に応じて、同様な機能を有する複数の構成要素をモデル選択ユニット１１０ａとモデル選択ユニット１１０ｂに区別する。しかし、同様な機能を有する複数の構成要素のそれぞれを明確に区別する必要がない場合、同一の符号のみを付加する。例えば、モデル選択ユニット１１０ａとモデル選択ユニット１１０ｂとを特に区別する必要がない場合、モデル選択ユニット１１０ａとモデル選択ユニット１１０ｂとを単にモデル選択ユニット１１０と称する。
【0014】
なお、本開示を明確にするために、図面には本開示に密に関連する装置の構成要件又は処理のステップのみが示され、本開示と関係のない細部が省略されている。
【0015】
以下は、図面を参照しながら、本開示の実施例を詳細に説明する。
【0016】
【0017】
図１に示すように、本開示の実施例に係る情報処理装置１００は、モデル選択ユニット１１０を含んでもよい。モデル選択ユニット１１０は、予測すべき対象を予測するために、複数のＤＮＮモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、該複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択してもよい。
【0018】
総合予測精度は、少なくとも２つの精度指標により表現されてもよい。例えば、総合予測精度は、分類正確度、精度（ｐｒｅｃｉｓｉｏｎ、適合率とも称される）、再現率（Ｒｅｃａｌｌ）、平均精度平均値（ｍｅａｎ ａｖｅｒａｇｅ ｐｒｅｃｉｓｉｏｎ：ｍＡＰ）、平均交差オーバーユニオン（ｍｅａｎ ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ：ｍＩＯＵ及びＫａｐｐａスコアのうちの少なくとも２つの精度指標により表現されてもよい。例えば、総合予測精度は、上記の少なくとも２つの精度指標の値の和により表されてもよい。なお、当業者は、他の方式で上記の少なくとも２つの精度指標に基づいて総合予測精度を表してもよいが、ここでその説明を省略する。
【0019】
実際の使用では、精度の最適化目標に応じて、総合予測精度を表現するための精度指標を選択してもよい。
【0020】
安定性は、対応するＤＮＮモデルの該少なくとも２つの精度指標のそれぞれに関する安定性を意味してもよい。例えば、特定のＤＮＮモデルについて、該ＤＮＮモデルの重みパラメータ及び／又は特徴抽出層の入力を変更し、該少なくとも２つの精度指標のそれぞれの変化の程度に基づいて該ＤＮＮモデルの安定性を決定してもよい。
【0021】
精度指標変化傾向一貫性は、対応するＤＮＮモデルの該少なくとも２つの精度指標の変化傾向の一貫性を意味する。例えば、特定のＤＮＮモデルについて、該ＤＮＮモデルの重みパラメータ及び／又は特徴抽出層の入力を変更し、該少なくとも２つの精度指標の変化傾向に基づいて該ＤＮＮモデルの精度指標変化傾向一貫性を決定してもよい。
【0022】
２つ以上のＤＮＮモデルを使用して対象を予測するシナリオでは、ＤＮＮモデルの選択が予測結果に重要な影響を及ぼす。上述したように、本開示の実施例に係る情報処理装置１００は、複数のＤＮＮモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、ＤＮＮモデルを選択することで、複数の最適化目標を考慮して適切なＤＮＮモデルを選択することができる。これによって、例えば、上記の少なくとも２つのＤＮＮモデルを使用した対象レベル（例えば画像レベル）の予測精度を向上させることができる。
【0023】
また、本開示の実施例に係る情報処理装置１００により使用される総合予測精度は、少なくとも２つの精度指標により表現されてもよい。これによって、ＤＮＮモデルの予測性能をよりよく表現することができるため、総合予測精度に基づいて選択された少なくとも２つのＤＮＮモデルにより行われる対象レベル（例えば画像レベル）の予測の精度をさらに向上させることができる。
【0024】
例えば、複数のＤＮＮモデルは、互いに異なるＤＮＮモデルであってもよい。異なるモデルの特徴が異なってもよいため、複数のＤＮＮモデルから選択された少なくとも２つのＤＮＮモデルを使用して得られた予測結果の一般化性能を向上させることができる。
【0025】
なお、本明細書では、２つの異なるＤＮＮモデルは、タイプが異なる２つのＤＮＮモデル、又はタイプが同一であり、且つ重みパラメータが異なる２つのＤＮＮモデルを表してもよい。例えば、タイプが同一であり、且つ重みパラメータが異なる２つのＤＮＮモデルは、２つの異なる訓練データセットをそれぞれ使用して同一の初期ＤＮＮモデルを訓練することによって得られた２つの訓練済みのＤＮＮモデルであってもよい。
【0026】
例えば、モデル選択ユニット１１０は、少なくとも２つのディープニューラルネットワークモデルを選択する際に、総合予測精度が近い（例えば、総合予測精度の差が第１の所定閾値よりも小さい）２つ以上のＤＮＮモデルを同一のモデルグループに割り当てるように、複数のＤＮＮモデルの総合予測精度に基づいて複数のＤＮＮモデルに対して並び替え及びグループ分けを行い、モデルグループごとに、該モデルグループにおける各ＤＮＮモデルの安定性と精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、該モデルグループにおける各ＤＮＮモデルの順序を調整し、調整された並び替え結果に基づいて該複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択してもよい。例えば、第１の所定閾値は、実際のニーズ及び／又は経験に従って設定されてもよい。
【0027】
例えば、複数のＤＮＮモデルの総合予測精度に基づいて該複数のＤＮＮモデルを降順に並び替える場合、モデル選択ユニット１１０は、予測すべき対象を予測するために、調整された並び替え結果に基づいて、該複数のＤＮＮモデルから、最上位の少なくとも２つのＤＮＮを選択してもよい。
【0028】
一方、例えば、複数のＤＮＮモデルの総合予測精度に基づいて該複数のＤＮＮモデルを昇順に並び替える場合、モデル選択ユニット１１０は、予測すべき対象を予測するために、調整された並び替え結果に基づいて、該複数のＤＮＮモデルから、最下位の少なくとも２つのＤＮＮモデルを選択してもよい。
【0029】
別の例として、モデル選択ユニット１１０は、総合予測精度が最高のｉ（ｉは２より大きい自然数）個のＤＮＮモデルを第１の候補モデルとして選択し、ＤＮＮモデルの安定性又は精度指標変化傾向一貫性に基づいて第１の候補モデルから少なくとも２つのＤＮＮモデルを選択してもよい。例えば、モデル選択ユニット１１０は、第１の候補モデルから安定性又は精度指標変化傾向一貫性が高いＤＮＮモデルを該少なくとも２つのＤＮＮモデルとして選択してもよい。
【0030】
また、例えば、モデル選択ユニット１１０は、総合予測精度が最高のｉ個のＤＮＮモデルを第１の候補モデルとして選択し、ＤＮＮモデルの安定性に基づいて第１の候補モデルからｊ（ｊは、２より大きい自然数であり、且つｉ＜ｊ）個のＤＮＮモデルを第２の候補モデルとして選択し、精度指標変化傾向一貫性に基づいて第２の候補モデルから少なくとも２つのＤＮＮモデルを選択してもよい。例えば、モデル選択ユニット１１０は、第２の候補モデルから精度指標変化傾向一貫性が高いＤＮＮモデルを該少なくとも２つのＤＮＮモデルとして選択してもよい。
【0031】
さらに、例えば、モデル選択ユニット１１０は、総合予測精度が最高のｉ個のＤＮＮモデルを第１の候補モデルとして選択し、ＤＮＮモデルの精度指標変化傾向一貫性に基づいて第１の候補モデルからｊ個のＤＮＮモデルを第２の候補モデルとして選択し、ＤＮＮモデルの安定性に基づいて第２の候補モデルから少なくとも２つのＤＮＮモデルを選択してもよい。例えば、モデル選択ユニット１１０は、第２の候補モデルからＤＮＮモデルの安定性が高いＤＮＮモデルを該少なくとも２つのＤＮＮモデルとして選択してもよい。
【0032】
例えば、本開示の実施例では、モデル選択ユニット１１０は、グループ総合予測精度が最大のモデルグループに、（イ）安定性がグループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ＤＮＮモデルの安定性の最大値よりも第２の所定閾値小さいＤＮＮモデル、又は（ロ）精度指標変化傾向一貫性がグループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの精度指標変化傾向一貫性の最大値よりも第３の所定閾値小さいＤＮＮモデルが存在する場合、総合予測精度を表現するための精度指標を再選択してもよい。これによって、総合予測精度を表現するための適切な精度指標を選択することができるため、より適切なＤＮＮモデルを選択することができる。例えば、第２の所定閾値及び第３の所定閾値は、実際のニーズ及び／又は経験に従って設定されてもよい。
【0033】
例えば、グループ総合予測精度は、対応するモデルグループにおける各ＤＮＮモデルの総合予測精度に基づいて計算されてもよい。例えば、特定のモデルグループについて、該モデルグループのグループ総合予測精度は、該モデルグループにおける各ＤＮＮモデルの総合予測精度の平均値により表されてもよい。
【0034】
例えば、本開示の実施例では、各ＤＮＮモデルは、訓練データセットを分割して得られた複数の訓練データサブセットのうちの少なくとも１つの訓練データサブセットを用いて事前に訓練を行って得られた訓練済みのＤＮＮモデルであってもよい。
【0035】
例えば、モデル選択ユニット１１０は、少なくとも２つのＤＮＮモデルに対応する訓練データサブセットの集合に訓練データセットにおける訓練データの全てを含むように、該少なくとも２つのＤＮＮモデルを選択してもよい。これによって、選択された該少なくとも２つのＤＮＮモデルが訓練データに関して補完することで、該少なくとも２つのＤＮＮモデルを使用して行われる対象レベル（例えば画像レベル）の予測の精度をさらに向上させることができる。
【0036】
例えば、本開示の実施例では、図２に示すように、モデル選択ユニット１１０ａは、性能散布点取得サブユニット１１２、総合予測精度決定サブユニット１１４ａ、安定性決定サブユニット１１６ａ、一貫性決定サブユニット１１８ａ、及び選択サブユニット１１９ａを含んでもよい。
【0037】
性能散布点取得サブユニット１１２は、ＤＮＮモデルごとに、該ＤＮＮモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ＤＮＮモデルの複数の性能散布点を取得してもよい。各性能散布点の値はＮ次元ベクトルにより表され、Ｎは総合予測精度を表現する精度指標の数であり、Ｎ次元ベクトルの各要素の値は対応する精度指標の値により表される。例えば、総合予測精度が分類正確度及びＫａｐｐａスコアという２つの精度指標により表現される場合、特定の性能散布点に対応する分類正確度及びＫａｐｐａスコアがそれぞれＡ及びＢであるとき、該性能散布点の値は（Ａ，Ｂ）であってもよい。
【0038】
総合予測精度決定サブユニット１１４ａ、ＤＮＮモデルごとに、性能散布点取得サブユニット１１２により取得された該ＤＮＮモデルの複数の性能散布点に基づいて該ＤＮＮモデルの総合予測精度を決定してもよい。例えば、総合予測精度決定サブユニット１１４ａは、ＤＮＮモデルごとに、該ＤＮＮモデルの各性能散布点についてベクトルの各要素の和を計算し、要素の和が最大の性能散布点に基づいて該ＤＮＮモデルの総合予測精度を決定してもよい。例えば、総合予測精度決定サブユニット１１４ａは、要素の和が最大の性能散布点の各要素の平均値を該ＤＮＮモデルの総合予測精度として決定してもよい。
【0039】
安定性決定サブユニット１１６ａは、ＤＮＮモデルごとに、性能散布点取得サブユニット１１２により取得された該ＤＮＮモデルの複数の性能散布点の集中度に基づいて該ＤＮＮモデルの安定性を決定してもよい。ここで、性能散布点の集中度が高くなるほど、該ＤＮＮモデルの安定性が高くなると決定される。
【0040】
一貫性決定サブユニット１１８ａは、ＤＮＮモデルごとに、性能散布点取得サブユニット１１２により取得された該ＤＮＮモデルの複数の性能散布点に基づいて該ＤＮＮモデルの精度指標変化傾向一貫性を決定してもよい。
【0041】
選択サブユニット１１９ａは、安定性決定サブユニット１１６ａにより決定された複数のＤＮＮモデルの安定性と一貫性決定サブユニット１１８ａにより決定された複数のＤＮＮモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び総合予測精度決定サブユニット１１４ａにより決定された複数のＤＮＮモデルの総合予測精度に基づいて、該複数のＤＮＮモデルから少なくとも２つのディープニューラルネットワークモデルを選択してもよい。
【0042】
例えば、選択サブユニット１１９ａは、上記の図１を参照しながらモデル選択ユニット１１０について説明したモデル選択方式と同様な方式で、予測すべき対象を予測するために、少なくとも２つのＤＮＮモデルを選択してもよい。
【0043】
例えば、本開示の実施例では、図３に示すように、モデル選択ユニット１１０ｂは、性能散布図生成サブユニット１１１、Ｎ次元グラフ生成サブユニット１１３、総合予測精度決定サブユニット１１４ｂ、安定性決定サブユニット１１６ｂ、一貫性決定サブユニット１１８ｂ、及び選択サブユニット１１９ｂを含んでもよい。
【0044】
性能散布図生成サブユニット１１１は、ＤＮＮモデルごとに、該ＤＮＮモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ＤＮＮモデルのＮ次元性能散布図を生成してもよい。ここで、Ｎは総合予測精度を表現する精度指標の数であり、Ｎ次元性能散布図における各散布点の各次元での座標は、対応する精度指標の値により表される。例えば、総合予測精度が分類正確度及びＫａｐｐａスコアという２つの精度指標により表現される場合、特定の散布点に対応する分類正確度及びＫａｐｐａスコアがそれぞれＡ及びＢであるとき、該散布点の座標は（Ａ，Ｂ）であってもよい。
【0045】
なお、当業者が理解できるように、特定のＤＮＮモデルについて、該ＤＮＮモデルの性能散布点及びＮ次元性能散布図を取得する際に、モデル選択ユニット１１０は、該ＤＮＮモデルの重みパラメータを変更してもよい。しかし、該ＤＮＮモデルがダウンストリームタスク（例えば予測すべき対象の予測）のために選択される場合、ダウンストリームタスクでは、該ＤＮＮモデルの重みパラメータを元のパラメータのまま維持し、即ち、モデル選択ユニット１１０は、該ＤＮＮモデルの重みパラメータの前の重みパラメータを変更する。例えば、該ＤＮＮモデルが訓練により取得された訓練済みのＤＮＮモデルである場合、ダウンストリームタスクでは、該ＤＮＮモデルの重みパラメータは、訓練により取得された重みパラメータである。
【0046】
Ｎ次元グラフ生成サブユニット１１３は、ＤＮＮモデルごとに、該ＤＮＮモデルのＮ次元性能散布図における全ての散布点又は第１の所定数の散布点を含むＮ次元グラフを生成してもよい。該Ｎ次元グラフは、Ｎ次元性能散布図における全ての散布点又は第１の所定数の散布点のパレートフロントを反映できる。
【0047】
総合予測精度決定サブユニット１１４ｂは、ＤＮＮモデルごとに、Ｎ次元グラフ生成サブユニット１１３により生成された該ＤＮＮモデルのＮ次元グラフの外周（Ｎ＝２の場合に対応する）、外接平面（Ｎ＝３の場合に対応する）又は外接超平面（Ｎ＞３の場合に対応する）に基づいて、該ＤＮＮモデルの総合予測精度を決定してもよい。
【0048】
安定性決定サブユニット１１６ｂは、ＤＮＮモデルごとに、Ｎ次元グラフ生成サブユニット１１３により生成された該ＤＮＮモデルのＮ次元グラフのサイズに基づいて該ＤＮＮモデルの安定性を決定してもよい。ここで、Ｎ次元グラフのサイズが大きいほど、該ＤＮＮモデルの安定性が低くなると決定される。
【0049】
一貫性決定サブユニット１１８ｂは、ＤＮＮモデルごとに、Ｎ次元グラフ生成サブユニット１１３により生成された該ＤＮＮモデルのＮ次元グラフにおける性能散布点の分布方向に基づいて、該ＤＮＮモデルの精度指標変化傾向一貫性を決定してもよい。
【0050】
選択サブユニット１１９ｂは、安定性決定サブユニット１１６ｂにより決定された複数のＤＮＮモデルの安定性と一貫性決定サブユニット１１８ｂにより決定された複数のＤＮＮモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び総合予測精度決定サブユニット１１４ｂにより決定された複数のＤＮＮモデルの総合予測精度に基づいて、該複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択してもよい。
【0051】
例えば、選択サブユニット１１９ｂは、上記の図１を参照しながらモデル選択ユニット１１０について説明したモデル選択方式と同様な方式で、予測すべき対象を予測するために、少なくとも２つのＤＮＮモデルを選択してもよい。
【0052】
例えば、本開示の実施例では、ＤＮＮモデルは、セグメンテーションモデルであってもよい。
【0053】
一例として、性能散布図生成サブユニット１１１は、ＤＮＮモデルごとに、ランダムシードにより該ＤＮＮモデルの重みパラメータを変更し、該ＤＮＮモデルの特徴抽出層の入力である、該ＤＮＮモデルを用いて生成されたヒートマップについて異なる閾値を設定することによって、該ＤＮＮモデルの特徴抽出層の入力を変更してもよい。例えば、性能散布図生成サブユニット１１１は、ＤＮＮモデルごとに、該ＤＮＮモデルの特徴抽出層の入力を変更するために、所定のステップサイズで該ＤＮＮモデルの特徴抽出層の入力であるヒートマップについて閾値を設定してもよい。また、例えば、各ＤＮＮモデルについて、特徴抽出層の入力であるヒートマップを取得するための元の対象（例えば元の画像）は同一であってもよい。なお、当業者は、他の方式でＤＮＮモデルの重みパラメータ及び／又は特徴抽出層の入力を変更してもよく、例えば、対応する特徴抽出層の入力を変更するためにＤＮＮモデルの入力を変更してもよいが、ここでその説明を省略する。
【0054】
例えば、図２に示される性能散布点取得サブユニット１１２は、上記の図３に示される性能散布図生成サブユニット１１１について説明した方式と同様な方式で、ＤＮＮモデルの重みパラメータ及び特徴抽出層の入力を変更してもよい。
【0055】
例えば、予測すべき対象は、予測すべき画像、予測すべき音声などであってもよい。
【0056】
なお、用語「予測」は、分類、分割、オブジェクト検出などを含んでもよい。例えば、予測すべき対象が予測すべき画像である場合、予測すべき画像の予測は、予測すべき画像の分類、分割、オブジェクト検出等を含んでもよい。例えば、予測すべき画像に対してオブジェクト検出を行う際に、精度及び再現率という２つの精度指標を使用して総合予測精度を表現してもよい。また、例えば、予測すべき対象が予測すべき音声である場合、予測すべき音声の予測は、予測すべき音声の分類を分類（認識）すること等が含んでもよい。
【0057】
【0058】
例えば、組織切片画像を分類する際に、モデル選択ユニット１１０は、分類結果が既知の組織切片画像（以下は「ラベル付き組織切片画像」と称されてもよい）を使用して、各ＤＮＮモデルの安定性、精度指標変化傾向一貫性及び総合予測精度を取得してもよい。
【0059】
例えば、図４に示すように、ラベル付き組織切片画像を取得した後、モデル選択ユニット１１０は、ラベル付き組織切片画像に対して前処理を行ってもよい。例えば、モデル選択ユニット１１０は、ラベル付き組織切片画像から関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）を抽出し、パッチングストラテジー（ｐａｔｃｈｉｎｇ ｓｔｒａｔｅｇｙ）を生成し、生成されたパッチングストラテジーに従ってＲＯＩから複数のパッチ（ｐａｔｃｈ）を抽出してもよい。
【0060】
次に、モデル選択ユニット１１０は、各ＤＮＮモデルを利用して、画素レベルの処理をそれぞれ行ってもよい。即ち、パッチごとにヒートマップを生成し、特徴抽出層を使用してヒートマップから特徴（例えば形態学的特徴）を抽出してもよい。
【0061】
形態学的特徴を抽出した後、モデル選択ユニット１１０は、各ＤＮＮモデルを使用して、該ＤＮＮモデルにより抽出された特徴に基づいて、該ＤＮＮモデルによる組織切片画像の分類結果、例えば、組織切片画像が正常組織に関するものであるか、それとも病変組織に関するものであるかを取得してもよい。次に、モデル選択ユニット１１０は、各ＤＮＮモデルを用いて得られた分類結果に基づいて、各ＤＮＮモデルの少なくとも２つの精度指標、例えば分類正確度、精度、再現率、平均精度平均値及びＫａｐｐａスコアのうちの少なくとも２つを取得してもよい。
【0062】
また、総合予測精度を表現するための精度指標に平均交差オーバーユニオンが含まれる場合、各ＤＮＮモデルの訓練プロセスにおいて対応する平均交差オーバーユニオンを取得してもよい。
【0063】
次に、モデル選択ユニット１１０は、分類すべき組織切片画像を分類するために、取得された少なくとも２つの精度指標に基づいて各ＤＮＮモデルの安定性、精度指標変化傾向一貫性及び総合予測精度を取得し、各ＤＮＮモデルの安定性、精度指標変化傾向一貫性及び総合予測精度に基づいて複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択してもよい。
【0064】
図４に示されるデータ前処理、画素レベルの処理、分類結果の取得処理は、本技術分野で周知であるため、ここでその詳細な説明を省略する。また、当業者が理解できるように、特定のＤＮＮモデルについて、該ＤＮＮモデルの重みパラメータ及び／又は特徴抽出層の入力が変化すると、該ＤＮＮモデルにより取得された分類結果が変化する場合がある。
【0065】
なお、図４に示されるデータ前処理、画素レベルの処理、分類結果の取得処理の一部又は全部は、必ずしもモデル選択ユニット１１０により実行されるものではなく、従来技術により実装されてもよい。
【0066】
以下は、図５を参照しながら、モデル選択ユニット１１０ｂを使用してモデルを選択することを具体例として、各ＤＮＮモデルの安定性、精度指標変化傾向一貫性及び総合予測精度の取得処理及びモデル選択処理を説明する。
【0067】
図５に示す例では、モデル選択は、８つのＤＮＮモデルの例、即ち、ＵｐｅｒＮｅｔ、ＤｅｅｐｌａｐＶ３＋、ＯｃｒＮｅｔ、Ａｎｎ、ＣＣＮｅｔ、Ｐｏｉｎｔｒｅｎｄ、ＥｍａＮｅｔ、ＰｓｐＮｅｔについて実行される。
【0068】
各ＤＮＮモデルの精度指標（この例では、取得された精度指標は、分類正確度及びＫａｐｐａスコアである）を取得した後、性能散布図生成サブユニット１１１は、取得された精度指標に基づいてＮ（この例では、Ｎ＝２）次元の性能散布図を生成してもよい。
【0069】
Ｎ次元グラフ生成サブユニット１１３は、図５に示すように、ＤＮＮモデルごとに、該ＤＮＮモデルの２次元性能散布図における全ての散布点を含む２次元グラフを生成してもよい。該Ｎ次元グラフは、２次元性能散布図における全ての散布点のパレートフロントを反映できる。例えば、該Ｎ次元のグラフは、２次元性能散布図における全ての散布点の外接図形と見なされてもよい。
【0070】
各ＤＮＮモデルの２次元グラフを取得した後、総合予測精度決定サブユニット１１４ｂは、ＤＮＮモデルごとに、該ＤＮＮモデルの２次元グラフの外周に基づいて、該ＤＮＮモデルの総合予測精度を決定してもよい。例えば、総合予測精度決定サブユニット１１４ｂは、２次元グラフの右上隅に近い頂点（以下は「右上隅頂点」と称されてもよい）の位置に基づいて、ＤＮＮモデルの総合予測精度を決定してもよい。例えば、総合予測精度決定サブユニット１１４ｂは、２次元グラフの右上隅頂点と座標軸により構成される矩形の右上隅の頂点（Ｄ，Ｄ）との距離が小さいＤＮＮモデルが高い総合予測精度を有すると決定してもよい。例えば、総合予測精度決定サブユニット１１４ｂは、図５に示される２次元グラフに基づいて、８つの例示的なＤＮＮモデルの総合予測精度の高い順がＤｅｅｐｌａｂｖ３＋、ＵｐｅｒＮｅｔ、ＯｃｒＮｅｔ、ＡｎｎＮｅｔ、ＣＣＮｅｔ、ＥＭＡＮｅｔ、Ｐｏｉｎｔｒｅｎｄ、ＰｓｐＮｅｔであると決定してもよい。また、選択サブユニット１１９ｂは、総合予測精度決定サブユニット１１４ｂにより決定された８つの例示的なＤＮＮモデルの総合予測精度に基づいて、８つの例示的なＤＮＮモデルを以下のモデルグループ、即ち第１のモデルグループにＤｅｅｐｌａｂｖ３＋及びＵｐｅｒＮｅｔが含まれ、第２のモデルグループにＯｃｒＮｅｔが含まれ、第３のモデルグループにＡｎｎＮｅｔ及びＣＣＮｅｔが含まれ、第４のモデルグループにＥＭＡＮｅｔ、Ｐｏｉｎｔｒｅｎｄ及びＰｓｐＮｅｔが含まれることにグループ分けしてもよい。ここで、第１のモデルグループ乃至第４のモデルグループのそれぞれについて、該モデルグループにおける各ＤＮＮモデルの総合予測精度の差は、第１の所定閾値よりも小さい。例えば、２つのＤＮＮモデルの総合予測精度の差は、この２つのＤＮＮモデルの２次元グラフの右上の頂点間の距離で表されてもよい。
【0071】
また、安定性決定サブユニット１１６ｂは、各ＤＮＮモデルの２次元グラフのサイズに基づいて、各ＤＮＮモデルの安定性を決定してもよい。例えば、安定性決定サブユニット１１６ｂは、２次元グラフの面積に基づいてＤＮＮモデルの安定性を決定してもよい。ここで、２次元グラフの面積が大きいほど、ＤＮＮモデルの安定性が低くなると決定される。例えば、安定性決定サブユニット１１６ｂは、図５に示される２次元グラフに基づいて、ＵｐｅｒＮｅｔの安定性がＤｅｅｐｌａｂｖ３＋の安定性よりも大きいと決定してもよい。
【0072】
また、一貫性決定サブユニット１１８ｂは、各ＤＮＮモデルの２次元グラフにおける性能散布点の分布方向に基づいて、各ＤＮＮモデルの精度指標変化傾向一貫性を決定してもよい。例えば、一貫性決定サブユニット１１８ｂは、２次元グラフの２つの対角線のうちの長い対角線の傾き（以下は「長軸傾き」）に基づいて、ＤＮＮモデルの精度指標変化傾向一貫性を決定してもよい。これは、長軸傾きは、該ＤＮＮモデルの２つの精度指標での変化の異なる速度と傾向を反映できるためである。ここで、長軸傾きが正の値である２次元グラフに対応するＤＮＮモデルの精度指標変化傾向一貫性は、長軸傾きが負の値である２次元グラフに対応するＤＮＮモデルの精度指標変化傾向一貫性よりも大きい。長軸傾きが正の値である場合、長軸傾きが値Ｒに近いほど、対応するＤＮＮモデルの精度指標変化傾向一貫性が高くなる。値Ｒは実際の状況に応じて設定されてもよい。一方、長軸傾きが負の値である場合、精度指標変化傾向一貫性を判断するために、実際の状況に応じて同様な値Ｒを取得してもよい。また、長軸傾きが負の値である場合、ＤＮＮモデルの精度指標変化傾向一貫性は、固定値に設定されてもよい。
【0073】
例えば、一貫性決定サブユニット１１８ｂは、図５に示される２次元グラフに基づいて、ＵｐｅｒＮｅｔの精度指標変化傾向一貫性がＤｅｅｐｌａｂｖ３＋の精度指標変化傾向一貫性よりも大きいと決定してもよい。
【0074】
次に、選択サブユニット１１９ｂは、安定性決定サブユニット１１６ｂにより決定された上記の８つの例示的なＤＮＮモデルの安定性及び一貫性決定サブユニット１１８ｂにより決定された上記の８つの例示的なＤＮＮモデルの精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、第１のモデルグループ乃至第３のモデルグループにおける各モデルの順序を調整してもよい。例えば、選択サブユニット１１９ｂは、上記の８つの例示的なＤＮＮモデルの安定性及び／又は精度指標変化傾向一貫性に基づいて、第１のモデルグループ乃至第３のモデルグループにおける各モデルの順序を調整してもよい。例えば、調整されたモデルの順序は、第１のモデルグループにＵｐｅｒＮｅｔ及びＤｅｅｐｌａｂｖ３＋が含まれ、第２のモデルグループにＯｃｒＮｅｔが含まれ、第３のモデルグループにＡｎｎＮｅｔ及びＣＣＮｅｔが含まれ、第４のモデルグループにＥＭＡＮｅｔ、Ｐｏｉｎｔｒｅｎｄ及びＰｓｐＮｅｔが含まれることである。
【0075】
次に、選択サブユニット１１９ｂは、予測すべき対象を予測するために、調整された順序に従って、上記の８つの例示的なモデルから少なくとも２つのＤＮＮモデルを選択してもよい。
【0076】
例えば、図６は、様々な数のＤＮＮモデルを選択する場合の予測の分類正確度及びＫａｐｐａスコアを示している。図６では、Ｅｎｓｅｍｂｌｅ＊３は、調整後の順序で上記の８つの例示的なモデルから上位の３つのＤＮＮモデル（即ち、ＵｐｅｒＮｅｔ、Ｄｅｅｐｌａｂｖ３＋及びＯｃｒＮｅｔ）を選択したケースを示している。同様に、Ｅｎｓｅｍｂｌｅ＊５及びＥｎｓｅｍｂｌｅ＊８は、それぞれ調整後の順序で上記の８つの例示的なモデルから上位の５つと上位の８つのＤＮＮモデルを選択したケースを示している。図６に示すように、Ｅｎｓｅｍｂｌｅ＊３とＥｎｓｅｍｂｌｅ＊５の場合、分類正確度とＫａｐｐａスコアは何れも、最適な単一モデル及び８つの例示的なモデルの全てが選択された場合（即ち、Ｅｎｓｅｍｂｌｅ＊８）に関して向上しているため、モデル選択ユニット１１０によるモデル選択の合理性が検証された。また、図６に示すように、Ｅｎｓｅｍｂｌｅ＊３の場合、分類正確度とＫａｐｐａスコアは、他の場合よりも高くなるため、モデル選択ユニット１１０によるモデルの並び替えの合理性が検証され、モデル選択ユニット１１０によるモデル選択の合理性が検証された。
【0077】
なお、図５に示す例では、２次元グラフは平行四辺形である。しかし、２次元グラフは、平行四辺形以外の四角形、円形又は楕円形などの他の形状であってもよい。例えば、２次元グラフの形状が円形又は楕円形である場合、Ｎ次元グラフ生成サブユニット１１３は、ＤＮＮモデルごとに、第１の所定数の散布点のみを含む２次元グラフを生成してもよい。該２次元グラフは、２次元性能散布図における全ての散布点のパレートフロントを反映できる。次に、Ｎ次元グラフ生成サブユニット１１３は、更新されたＮ次元グラフに該ＤＮＮモデルの残りの散布点が含まれるように、各散布点の２Ｎ次元グラフの中心までの距離を決定し、２次元グラフの中心までの距離が最大の第２の所定数の散布点を除去し、２次元グラフを更新してもよい。ここで、更新されたＮ次元グラフは、該ＤＮＮモデルの残りの散布点のパレートフロントを反映できる。次に、Ｎ次元グラフ生成サブユニット１１３は、更新された２次元グラフに第１の所定数の散布点のみが含まれるまで、該決定、除去及び更新の操作を繰り返してもよい。
【0078】
なお、図５では、説明の便宜上、性能散布点の一部のみが例示的に示されている。
【0079】
例えば、本開示の実施例では、上記の本開示の実施例に係る情報処理装置１００を含む予測装置を提供してもよい。図７は、本開示の実施例に係る予測装置の機能的構成の例を示すブロック図である。
【0080】
図７に示すように、本開示の実施例に係る予測装置５００は、予測ユニット５１０を含んでもよい。予測ユニット５１０は、情報処理装置１００により複数のＤＮＮモデルから選択された少なくとも２つのディープニューラルネットワークモデルを用いて、予測すべき対象を予測してもよい。これによって、例えば、対象レベル（例えば画像レベル）の予測精度を向上させることができる。
【0081】
例えば、予測ユニット５１０は、選択された少なくとも２つのＤＮＮモデルによる予測すべき対象の予測結果に対する投票結果に基づいて（「多数決」に従って）、予測すべき対象の最終的な予測結果を取得してもよい。例えば、図６に示すＥｎｓｅｍｂｌｅ＊３の場合、ＵｐｅｒＮｅｔとＤｅｅｐｌａｂｖ３＋が対象を「正」（Ｐｏｓｉｔｉｖｅ）と予測し、ＯｃｒＮｅｔが対象を「負」（Ｎｅｇａｔｉｖｅ）と予測するとき、予測すべき対象の最終的な予測結果が「正」であると決定してもよい。
【0082】
また、例えば、予測ユニット５１０は、選択された少なくとも２つのＤＮＮモデルによる予測すべき対象の予測結果を平均化や組み合わせて、最終的な予測結果を取得してもよい。
【0083】
各ＤＮＮモデルにより予測すべき対象の予測結果を取得する処理は、本技術分野で周知されることを考慮すると、ここでその詳細な説明を省略する。
【0084】
以上は本開示の実施例に係る情報処理装置１００を説明しているが、本開示は、上記の情報処理装置の実施例に対応する情報処理方法の実施例をさらに提供する。
【0085】
図８は、本開示の実施例に係る情報処理方法６００の流れの例を示すフローチャートである。図８に示すように、本開示の実施例に係る情報処理方法６００は、開始ステップＳ６０２から開始し、終了ステップＳ６０６に終了してもよい。
【0086】
情報処理方法６００は、モデル選択ステップＳ６０４を含んでもよい。モデル選択ステップＳ６０４において、予測すべき対象を予測するために、複数のＤＮＮモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、該複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択してもよい。
【0087】
総合予測精度は、少なくとも２つの精度指標により表現されてもよい。安定性は、対応するＤＮＮモデルの該少なくとも２つの精度指標のそれぞれに関する安定性を意味してもよい。精度指標変化傾向一貫性は、対応するＤＮＮモデルの該少なくとも２つの精度指標の変化傾向の一貫性を意味する。
【0088】
上記の本開示の実施例に係る情報処理装置１００と同様に、本開示の実施例に係る情報処理方法６００は、複数のＤＮＮモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、ＤＮＮモデルを選択することで、複数の最適化目標を考慮して適切なＤＮＮモデルを選択することができる。これによって、例えば、上記の少なくとも２つのＤＮＮモデルを使用した対象レベル（例えば画像レベル）の予測精度を向上させることができる。
【0089】
また、本開示の実施例に係る情報処理方法６００により使用される総合予測精度は、少なくとも２つの精度指標により表現されてもよい。これによって、ＤＮＮモデルの予測性能をよりよく表現することができるため、総合予測精度に基づいて選択された少なくとも２つのＤＮＮモデルにより行われる対象レベル（例えば画像レベル）の予測の精度をさらに向上させることができる。
【0090】
例えば、モデル選択ステップＳ６０４において、少なくとも２つのＤＮＮモデルを選択する際に、総合予測精度の差が第１の所定閾値よりも小さい２つ以上のＤＮＮモデルを同一のモデルグループに割り当てるように、複数のＤＮＮモデルの総合予測精度に基づいて複数のＤＮＮモデルに対して並び替え及びグループ分けを行い、モデルグループごとに、該モデルグループにおける各ＤＮＮモデルの安定性と精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、該モデルグループにおける各ＤＮＮモデルの順序を調整し、調整された並び替え結果に基づいて該複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択してもよい。
【0091】
例えば、複数のＤＮＮモデルの総合予測精度に基づいて該複数のＤＮＮモデルを降順に並び替える場合、モデル選択ステップＳ６０４において、予測すべき対象を予測するために、調整された並び替え結果に基づいて、該複数のＤＮＮモデルから、最上位の少なくとも２つのＤＮＮを選択してもよい。
【0092】
一方、例えば、複数のＤＮＮモデルの総合予測精度に基づいて該複数のＤＮＮモデルを昇順に並び替える場合、モデル選択ステップＳ６０４において、予測すべき対象を予測するために、調整された並び替え結果に基づいて、該複数のＤＮＮモデルから、最下位の少なくとも２つのＤＮＮモデルを選択してもよい。
【0093】
例えば、本開示の実施例では、情報処理方法６００は、以下の精度指標再選択ステップ（図示せず）をさらに含んでもよい。グループ総合予測精度が最大のモデルグループに、（イ）安定性がグループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ＤＮＮモデルの安定性の最大値よりも第２の所定閾値小さいＤＮＮモデル、又は（ロ）精度指標変化傾向一貫性がグループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの精度指標変化傾向一貫性の最大値よりも第３の所定閾値小さいＤＮＮモデルが存在する場合、総合予測精度を表現するための精度指標を再選択してもよい。精度指標再選択ステップにおいて総合予測精度を表現するための精度指標を再選択することで、総合予測精度を表現するための適切な精度指標を選択することができるため、より適切なＤＮＮモデルを選択することができる。
【0094】
例えば、グループ総合予測精度は、対応するモデルグループにおける各ＤＮＮモデルの総合予測精度に基づいて計算されてもよい。
【0095】
例えば、本開示の実施例では、各ＤＮＮモデルは、訓練データセットを分割して得られた複数の訓練データサブセットのうちの少なくとも１つの訓練データサブセットを用いて事前に訓練を行って得られた訓練済みのＤＮＮモデルであってもよい。
【0096】
例えば、モデル選択ステップＳ６０４において、少なくとも２つのＤＮＮモデルに対応する訓練データサブセットの集合に訓練データセットにおける訓練データの全てを含むように、該少なくとも２つのＤＮＮモデルを選択してもよい。これによって、選択された該少なくとも２つのＤＮＮモデルが訓練データに関して補完することで、該少なくとも２つのＤＮＮモデルを使用して行われる対象レベル（例えば画像レベル）の予測の精度をさらに向上させることができる。
【0097】
例えば、本開示の実施例では、モデル選択ステップＳ６０４は、性能散布点取得サブステップ、第１の総合予測精度決定サブステップ、第１の安定性決定サブステップ、第１の一貫性決定サブステップ、及び第１の選択サブステップ（何れも図示せず）を含んでもよい。
【0098】
性能散布点取得サブステップにおいて、ＤＮＮモデルごとに、該ＤＮＮモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ＤＮＮモデルの複数の性能散布点を取得してもよい。各性能散布点の値はＮ次元ベクトルにより表され、Ｎは総合予測精度を表現する精度指標の数であり、Ｎ次元ベクトルの各要素の値は対応する精度指標の値により表される。例えば、性能散布点取得サブステップは、上記の図２を参照しながら説明された性能散布点取得サブユニット１１２により実施されてもよく、その詳細は上記の性能散布点取得サブユニット１１２の説明を参照してもよく、ここでその説明を省略する。
【0099】
第１の総合予測精度決定サブステップにおいて、ＤＮＮモデルごとに、該ＤＮＮモデルの複数の性能散布点に基づいて該ＤＮＮモデルの総合予測精度を決定してもよい。例えば、第１の総合予測精度決定サブステップは、上記の図２を参照しながら説明された総合予測精度決定サブユニット１１４ａにより実施されてもよく、その詳細は上記の総合予測精度決定サブユニット１１４ａの説明を参照してもよく、ここでその説明を省略する。
【0100】
第１の安定性決定サブステップにおいて、ＤＮＮモデルごとに、該ＤＮＮモデルの複数の性能散布点の集中度に基づいて該ＤＮＮモデルの安定性を決定してもよい。ここで、性能散布点の集中度が高くなるほど、該ＤＮＮモデルの安定性が高くなると決定される。例えば、第１の安定性決定サブステップは、上記の図２を参照しながら説明された安定性決定サブユニット１１６ａにより実施されてもよく、その詳細は上記の安定性決定サブユニット１１６ａの説明を参照してもよく、ここでその説明を省略する。
【0101】
第１の一貫性決定サブステップにおいて、ＤＮＮモデルごとに、ＤＮＮモデルの複数の性能散布点に基づいて該ＤＮＮモデルの精度指標変化傾向一貫性を決定してもよい。例えば、第１の一貫性決定サブステップは、上記の図２を参照しながら説明された一貫性決定サブユニット１１８ａにより実施されてもよく、その詳細は上記の一貫性決定サブユニット１１８ａの説明を参照してもよく、ここでその説明を省略する。
【0102】
第１の選択サブステップにおいて、複数のＤＮＮモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、該複数のＤＮＮモデルから少なくとも２つのディープニューラルネットワークモデルを選択してもよい。例えば、第１の選択サブステップは、上記の図２を参照しながら説明された選択サブユニット１１９ａにより実施されてもよく、その詳細は上記の選択サブユニット１１９ａの説明を参照してもよく、ここでその説明を省略する。
【0103】
例えば、本開示の実施例では、モデル選択ステップＳ６０４は、性能散布図生成サブステップ、Ｎ次元グラフ生成サブステップ、第２の総合予測精度決定サブステップ、第２の安定性決定サブステップ、第２の一貫性決定サブステップ、及び第２の選択サブステップ（何れも図示せず）を含んでもよい。
【0104】
性能散布図生成サブステップにおいて、ＤＮＮモデルごとに、該ＤＮＮモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ＤＮＮモデルのＮ次元性能散布図を生成してもよい。ここで、Ｎは総合予測精度を表現する精度指標の数であり、Ｎ次元性能散布図における各散布点の各次元での座標は、対応する精度指標の値により表される。例えば、性能散布図生成サブステップは、上記の図３を参照しながら説明された性能散布図生成サブユニット１１１により実施されてもよく、その詳細は上記の性能散布図生成サブユニット１１１の説明を参照してもよく、ここでその説明を省略する。
【0105】
Ｎ次元グラフ生成サブステップにおいて、ＤＮＮモデルごとに、該ＤＮＮモデルのＮ次元性能散布図における全ての散布点又は第１の所定数の散布点を含むＮ次元グラフを生成してもよい。該Ｎ次元グラフは、Ｎ次元性能散布図における全ての散布点又は第１の所定数の散布点のパレートフロントを反映できる。例えば、Ｎ次元グラフ生成サブステップは、上記の図３を参照しながら説明されたＮ次元グラフ生成サブユニット１１３により実施されてもよく、その詳細は上記のＮ次元グラフ生成サブユニット１１３の説明を参照してもよく、ここでその説明を省略する。
【0106】
第２の総合予測精度決定サブステップにおいて、ＤＮＮモデルごとに、Ｎ次元グラフ生成サブステップにおいて生成された該ＤＮＮモデルのＮ次元グラフの外周、外接平面又は外接超平面に基づいて、該ＤＮＮモデルの総合予測精度を決定してもよい。例えば、総合予測精度決定サブステップは、上記の図３を参照しながら説明された総合予測精度決定サブユニット１１４ｂにより実施されてもよく、その詳細は上記の総合予測精度決定サブユニット１１４ｂの説明を参照してもよく、ここでその説明を省略する。
【0107】
第２の安定性決定サブステップにおいて、ＤＮＮモデルごとに、該ＤＮＮモデルのＮ次元グラフのサイズに基づいて該ＤＮＮモデルの安定性を決定してもよい。ここで、Ｎ次元グラフのサイズが大きいほど、該ＤＮＮモデルの安定性が低くなると決定される。例えば、第２の安定性決定サブステップは、上記の図３を参照しながら説明された安定性決定サブユニット１１６ｂにより実施されてもよく、その詳細は上記の安定性決定サブユニット１１６ｂの説明を参照してもよく、ここでその説明を省略する。
【0108】
第２の一貫性決定サブステップにおいて、ＤＮＮモデルごとに、該ＤＮＮモデルのＮ次元グラフにおける性能散布点の分布方向に基づいて、該ＤＮＮモデルの精度指標変化傾向一貫性を決定してもよい。例えば、第２の一貫性決定サブステップは、上記の図２を参照しながら説明された一貫性決定サブユニット１１８ｂにより実施されてもよく、その詳細は上記の一貫性決定サブユニット１１８ｂの説明を参照してもよく、ここでその説明を省略する。
【0109】
第２の選択サブステップにおいて、複数のＤＮＮモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、該複数のＤＮＮモデルから少なくとも２つのＤＮＮモデルを選択してもよい。例えば、第２の選択サブステップは、上記の図３を参照しながら説明された選択サブユニット１１９ｂにより実施されてもよく、その詳細は上記の選択サブユニット１１９ｂの説明を参照してもよく、ここでその説明を省略する。
【0110】
例えば、本開示の実施例では、ＤＮＮモデルは、セグメンテーションモデルであってもよい。
【0111】
一例として、性能散布図生成サブステップにおいて、ＤＮＮモデルごとに、ランダムシードにより該ＤＮＮモデルの重みパラメータを変更し、該ＤＮＮモデルの特徴抽出層の入力である、該ＤＮＮモデルを用いて生成されたヒートマップについて異なる閾値を設定することによって、該ＤＮＮモデルの特徴抽出層の入力を変更してもよい。
【0112】
なお、以上は本開示の実施例に係る情報処理装置及び情報処理方法の機能的構成及び動作を説明しているが、該機能的構成及び動作は単なる例示的なものであり、本開示を限定するものではない。当業者は、本開示の原理に従って上記実施例を修正してもよく、例えば各実施例における機能的モジュールを追加、削除又は組み合わせてもよく、これらの修正は本開示の範囲に含まれるものである。
【0113】
また、ここの装置の実施例は上記方法の実施例に対応するため、装置の実施例に詳細に説明されていない内容は、上記方法実施例の対応説明を参照してもよく、ここでその説明を省略する。
【0114】
また、本開示は記憶媒体及びプログラムプロダクトをさらに提供する。本開示の実施例に係る記憶媒体及びプログラムプロダクトにおける機器が実行可能な命令は上記方法を実行してもよく、ここで詳細に説明されていない内容は、上記方法の実施例の対応説明を参照してもよく、ここでその説明を省略する。
【0115】
それに応じて、本開示は、機器が実行可能な命令を含むプログラムプロダクトが記録されている記憶媒体をさらに含む。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されない。
【0116】
なお、上記処理及び装置はソフトウェア及び／又はファームウェアにより実現されてもよい。ソフトウェア及び／又はファームウェアにより実施されている場合、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ、例えば図９示されている汎用パーソナルコンピュータ７００に上記方法を実施するためのソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータは各種のプログラムがインストールされている場合は各種の機能などを実行できる。
【0117】
図９において、中央処理部（ＣＰＵ）７０１は、読み出し専用メモリ（ＲＯＭ）７０２に記憶されているプログラム、又は記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ７０３には、必要に応じて、ＣＰＵ７０１が各種の処理を実行するに必要なデータが記憶されている。
【0118】
ＣＰＵ７０１、ＲＯＭ７０２、及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入力／出力インターフェース７０５もバス７０４に接続されている。
【0119】
入力部７０６（キーボード、マウスなどを含む）、出力部７０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部７０８（例えばハードディスクなどを含む）、通信部７０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース７０５に接続されている。通信部７０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。
【0120】
必要に応じて、ドライバ７１０は、入力／出力インターフェース７０５に接続されてもよい。取り外し可能な媒体７１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライバ７１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部７０８にインストールされている。
【0121】
ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体７１１を介してソフトウェアを構成するプログラムをインストールする。
【0122】
なお、これらの記憶媒体は、図９に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体７１１に限定されない。取り外し可能な媒体７１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク－読み出し専用メモリ（ＣＤ－ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ７０２、記憶部７０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。
【0123】
以上は図面を参照しながら本開示の好ましい実施例を説明しているが、上記実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本開示に対して各種の修正、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本開示の保護範囲に含まれるものである。
【0124】
例えば、上記実施例の１つのユニットに含まれる機能は別々の装置により実現されてもよい。また、上記実施例の複数のユニットにより実現される複数の機能は別々の装置によりそれぞれ実現されてもよい。さらに、以上の機能の１つは複数のユニットにより実現されてもよい。なお、これらの構成は本開示の範囲内のものである。
【0125】
また、本開示の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本開示の技術的な範囲を限定するものではない。
【0126】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示するが、これらの付記に限定されない。
（付記１）
予測すべき対象を予測するために、複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから少なくとも２つのディープニューラルネットワークモデルを選択するモデル選択ユニット、を含み、
前記総合予測精度は、少なくとも２つの精度指標により表現され、
前記安定性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、
前記精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理装置。
（付記２）
前記モデル選択ユニットは、前記少なくとも２つのディープニューラルネットワークモデルを選択する際に、
総合予測精度の差が第１の所定閾値よりも小さい２つ以上のディープニューラルネットワークモデルを同一のモデルグループに割り当てるように、前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルに対して並び替え及びグループ分けを行い、
モデルグループごとに、該モデルグループにおける各ディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、該モデルグループにおける各ディープニューラルネットワークモデルの順序を調整し、
調整された並び替え結果に基づいて前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する、付記１に記載の情報処理装置。
（付記３）
前記モデル選択ユニットは、グループ総合予測精度が最大のモデルグループに、安定性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの安定性の最大値よりも第２の所定閾値小さいディープニューラルネットワークモデル、又は精度指標変化傾向一貫性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの精度指標変化傾向一貫性の最大値よりも第３の所定閾値小さいディープニューラルネットワークモデルが存在する場合、前記総合予測精度を表現するための精度指標を再選択し、
前記グループ総合予測精度は、対応するモデルグループにおける各ディープニューラルネットワークモデルの総合予測精度に基づいて計算される、付記２に記載の情報処理装置。
（付記４）
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを降順に並び替える場合、前記モデル選択ユニットは、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最上位の少なくとも２つのディープニューラルネットワークモデルを選択し、
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを昇順に並び替える場合、前記モデル選択ユニットは、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最下位の少なくとも２つのディープニューラルネットワークモデルを選択する、付記２に記載の情報処理装置。
（付記５）
前記複数のディープニューラルネットワークモデルのそれぞれは、訓練データセットを分割して得られた複数の訓練データサブセットのうちの少なくとも１つの訓練データサブセットを用いて事前に訓練を行って得られた訓練済みのディープニューラルネットワークモデルである、付記２に記載の情報処理装置。
（付記６）
前記モデル選択ユニットは、前記少なくとも２つのディープニューラルネットワークモデルに対応する訓練データサブセットの集合に前記訓練データセットにおける訓練データの全てを含むように、前記少なくとも２つのディープニューラルネットワークモデルを選択する、付記５に記載の情報処理装置。
（付記７）
前記モデル選択ユニットは、
ディープニューラルネットワークモデルごとに、該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルの複数の性能散布点を取得する性能散布点取得サブユニットであって、各性能散布点の値はＮ次元ベクトルにより表され、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元ベクトルの各要素の値は対応する精度指標の値により表される、性能散布点取得サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する総合予測精度決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点の集中度に基づいて該ディープニューラルネットワークモデルの安定性を決定する安定性決定サブユニットであって、性能散布点の集中度が高くなるほど、該ディープニューラルネットワークモデルの安定性が高くなると決定される、安定性決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する一貫性決定サブユニットと、
前記安定性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの安定性と前記一貫性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び前記総合予測精度決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する選択サブユニットと、を含む、付記１に記載の情報処理装置。
（付記８）
前記モデル選択ユニットは、
ディープニューラルネットワークモデルごとに、該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルのＮ次元性能散布図を生成する性能散布図生成サブユニットであって、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元性能散布図における各散布点の各次元での座標は、対応する精度指標の値により表される、性能散布図生成サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布図生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元性能散布図における全ての散布点又は第１の所定数の散布点を含むＮ次元グラフを生成するＮ次元グラフ生成サブユニットであって、前記Ｎ次元グラフは、Ｎ次元性能散布図における全ての散布点又は前記第１の所定数の散布点のパレートフロントを反映できる、Ｎ次元グラフ生成サブユニットと、
ディープニューラルネットワークモデルごとに、Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフの外周、外接平面又は外接超平面に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する総合予測精度決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフのサイズに基づいて該ディープニューラルネットワークモデルの安定性を決定する安定性決定サブユニットであって、Ｎ次元グラフのサイズが大きいほど、該ディープニューラルネットワークモデルの安定性が低くなると決定される、安定性決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフにおける性能散布点の分布方向に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する一貫性決定サブユニットと、
前記安定性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの安定性と前記一貫性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び前記総合予測精度決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する選択サブユニットと、を含む、付記１に記載の情報処理装置。
（付記９）
前記ディープニューラルネットワークモデルはセグメンテーションモデルである、付記８に記載の情報処理装置。
（付記１０）
前記性能散布図生成サブユニットは、ディープニューラルネットワークモデルごとに、ランダムシードにより該ＤＮＮモデルの重みパラメータを変更し、該ディープニューラルネットワークモデルの特徴抽出層の入力である、該ディープニューラルネットワークモデルを用いて生成されたヒートマップについて異なる閾値を設定することによって、該ディープニューラルネットワークモデルの特徴抽出層の入力を変更する、付記９に記載の情報処理装置。
（付記１１）
Ｎは２に等しく、
前記Ｎ次元グラフの形状は、円形、楕円形又は四角形である、付記８に記載の情報処理装置。
（付記１２）
前記Ｎ次元グラフの形状が円形又は楕円形である場合、前記Ｎ次元グラフ生成サブユニットは、ディープニューラルネットワークモデルごとに前記Ｎ次元グラフを生成する際に、
該ディープニューラルネットワークモデルのＮ次元性能散布図における全ての散布点を含むＮ次元グラフを生成するステップであって、前記Ｎ次元グラフは、Ｎ次元性能散布図における全ての散布点のパレートフロントを反映できる、ステップと、
更新されたＮ次元グラフに該ディープニューラルネットワークモデルの残りの散布点が含まれるように、各散布点の前記Ｎ次元グラフの中心までの距離を決定し、前記Ｎ次元グラフの中心までの距離が最大の第２の所定数の散布点を除去し、前記Ｎ次元グラフを更新するステップであって、更新されたＮ次元グラフは、該ディープニューラルネットワークモデルの残りの散布点のパレートフロントを反映できる、ステップと、
更新されたＮ次元グラフに前記第１の所定数の散布点のみが含まれるまで、前記決定、除去及び更新の操作を繰り返すステップと、を実行する、付記１１に記載の情報処理装置。
（付記１３）
予測すべき対象を予測するために、複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから少なくとも２つのディープニューラルネットワークモデルを選択するステップ、を含み、
前記総合予測精度は、少なくとも２つの精度指標により表現され、
前記安定性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、
前記精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理方法。
（付記１４）
前記少なくとも２つのディープニューラルネットワークモデルを選択するステップは、
総合予測精度の差が第１の所定閾値よりも小さい２つ以上のディープニューラルネットワークモデルを同一のモデルグループに割り当てるように、前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルに対して並び替え及びグループ分けを行うステップと、
モデルグループごとに、該モデルグループにおける各ディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、該モデルグループにおける各ディープニューラルネットワークモデルの順序を調整するステップと、
調整された並び替え結果に基づいて前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択するステップと、を含む、付記１３に記載の情報処理方法。
（付記１５）
グループ総合予測精度が最大のモデルグループに、安定性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの安定性の最大値よりも第２の所定閾値小さいディープニューラルネットワークモデル、又は精度指標変化傾向一貫性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの精度指標変化傾向一貫性の最大値よりも第３の所定閾値小さいディープニューラルネットワークモデルが存在する場合、前記総合予測精度を表現するための精度指標を再選択するステップ、をさらに含み、
前記グループ総合予測精度は、対応するモデルグループにおける各ディープニューラルネットワークモデルの総合予測精度に基づいて計算される、付記１４に記載の情報処理方法。
（付記１６）
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを降順に並び替える場合、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最上位の少なくとも２つのディープニューラルネットワークモデルを選択し、
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを昇順に並び替える場合、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最下位の少なくとも２つのディープニューラルネットワークモデルを選択する、付記１４に記載の情報処理方法。
（付記１７）
前記複数のディープニューラルネットワークモデルのそれぞれは、訓練データセットを分割して得られた複数の訓練データサブセットのうちの少なくとも１つの訓練データサブセットを用いて事前に訓練を行って得られた訓練済みのディープニューラルネットワークモデルである、付記１４に記載の情報処理方法。
（付記１８）
前記少なくとも２つのディープニューラルネットワークモデルに対応する訓練データサブセットの集合に前記訓練データセットにおける訓練データの全てを含むように、前記少なくとも２つのディープニューラルネットワークモデルを選択する、付記１７に記載の情報処理方法。
（付記１９）
前記少なくとも２つのディープニューラルネットワークモデルを選択するステップは、
ディープニューラルネットワークモデルごとに、
該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルの複数の性能散布点を取得する処理であって、各性能散布点の値はＮ次元ベクトルにより表され、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元ベクトルの各要素の値は対応する精度指標の値により表される、処理と、
該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する処理と、
該ディープニューラルネットワークモデルの複数の性能散布点の集中度に基づいて該ディープニューラルネットワークモデルの安定性を決定する処理であって、性能散布点の集中度が高くなるほど、該ディープニューラルネットワークモデルの安定性が高くなると決定される、処理と、
該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する処理と、を実行するステップと、
前記複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択するステップと、を含む、付記１３に記載の情報処理方法。
（付記２０）
付記１乃至１２の何れかに記載の情報処理装置により前記複数のディープニューラルネットワークモデルから選択された少なくとも２つのディープニューラルネットワークモデルを用いて、予測すべき対象を予測する予測ユニット、を含む、予測装置。
（付記１）
予測すべき対象を予測するために、複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから少なくとも２つのディープニューラルネットワークモデルを選択するモデル選択ユニット、を含み、
前記総合予測精度は、少なくとも２つの精度指標により表現され、
前記安定性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、
前記精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理装置。
（付記２）
前記モデル選択ユニットは、前記少なくとも２つのディープニューラルネットワークモデルを選択する際に、
総合予測精度の差が第１の所定閾値よりも小さい２つ以上のディープニューラルネットワークモデルを同一のモデルグループに割り当てるように、前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルに対して並び替え及びグループ分けを行い、
モデルグループごとに、該モデルグループにおける各ディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、該モデルグループにおける各ディープニューラルネットワークモデルの順序を調整し、
調整された並び替え結果に基づいて前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する、付記１に記載の情報処理装置。
（付記３）
前記モデル選択ユニットは、グループ総合予測精度が最大のモデルグループに、安定性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの安定性の最大値よりも第２の所定閾値小さいディープニューラルネットワークモデル、又は精度指標変化傾向一貫性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの精度指標変化傾向一貫性の最大値よりも第３の所定閾値小さいディープニューラルネットワークモデルが存在する場合、前記総合予測精度を表現するための精度指標を再選択し、
前記グループ総合予測精度は、対応するモデルグループにおける各ディープニューラルネットワークモデルの総合予測精度に基づいて計算される、付記２に記載の情報処理装置。
（付記４）
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを降順に並び替える場合、前記モデル選択ユニットは、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最上位の少なくとも２つのディープニューラルネットワークモデルを選択し、
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを昇順に並び替える場合、前記モデル選択ユニットは、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最下位の少なくとも２つのディープニューラルネットワークモデルを選択する、付記２に記載の情報処理装置。
（付記５）
前記複数のディープニューラルネットワークモデルのそれぞれは、訓練データセットを分割して得られた複数の訓練データサブセットのうちの少なくとも１つの訓練データサブセットを用いて事前に訓練を行って得られた訓練済みのディープニューラルネットワークモデルである、付記２に記載の情報処理装置。
（付記６）
前記モデル選択ユニットは、前記少なくとも２つのディープニューラルネットワークモデルに対応する訓練データサブセットの集合に前記訓練データセットにおける訓練データの全てを含むように、前記少なくとも２つのディープニューラルネットワークモデルを選択する、付記５に記載の情報処理装置。
（付記７）
前記モデル選択ユニットは、
ディープニューラルネットワークモデルごとに、該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルの複数の性能散布点を取得する性能散布点取得サブユニットであって、各性能散布点の値はＮ次元ベクトルにより表され、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元ベクトルの各要素の値は対応する精度指標の値により表される、性能散布点取得サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する総合予測精度決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点の集中度に基づいて該ディープニューラルネットワークモデルの安定性を決定する安定性決定サブユニットであって、性能散布点の集中度が高くなるほど、該ディープニューラルネットワークモデルの安定性が高くなると決定される、安定性決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布点取得サブユニットにより取得された該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する一貫性決定サブユニットと、
前記安定性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの安定性と前記一貫性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び前記総合予測精度決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する選択サブユニットと、を含む、付記１に記載の情報処理装置。
（付記８）
前記モデル選択ユニットは、
ディープニューラルネットワークモデルごとに、該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルのＮ次元性能散布図を生成する性能散布図生成サブユニットであって、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元性能散布図における各散布点の各次元での座標は、対応する精度指標の値により表される、性能散布図生成サブユニットと、
ディープニューラルネットワークモデルごとに、前記性能散布図生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元性能散布図における全ての散布点又は第１の所定数の散布点を含むＮ次元グラフを生成するＮ次元グラフ生成サブユニットであって、前記Ｎ次元グラフは、Ｎ次元性能散布図における全ての散布点又は前記第１の所定数の散布点のパレートフロントを反映できる、Ｎ次元グラフ生成サブユニットと、
ディープニューラルネットワークモデルごとに、Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフの外周、外接平面又は外接超平面に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する総合予測精度決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフのサイズに基づいて該ディープニューラルネットワークモデルの安定性を決定する安定性決定サブユニットであって、Ｎ次元グラフのサイズが大きいほど、該ディープニューラルネットワークモデルの安定性が低くなると決定される、安定性決定サブユニットと、
ディープニューラルネットワークモデルごとに、前記Ｎ次元グラフ生成サブユニットにより生成された該ディープニューラルネットワークモデルのＮ次元グラフにおける性能散布点の分布方向に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する一貫性決定サブユニットと、
前記安定性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの安定性と前記一貫性決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの精度指標変化傾向一貫性とのうちの少なくとも１つ、及び前記総合予測精度決定サブユニットにより決定された前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択する選択サブユニットと、を含む、付記１に記載の情報処理装置。
（付記９）
前記ディープニューラルネットワークモデルはセグメンテーションモデルである、付記８に記載の情報処理装置。
（付記１０）
前記性能散布図生成サブユニットは、ディープニューラルネットワークモデルごとに、ランダムシードにより該ＤＮＮモデルの重みパラメータを変更し、該ディープニューラルネットワークモデルの特徴抽出層の入力である、該ディープニューラルネットワークモデルを用いて生成されたヒートマップについて異なる閾値を設定することによって、該ディープニューラルネットワークモデルの特徴抽出層の入力を変更する、付記９に記載の情報処理装置。
（付記１１）
Ｎは２に等しく、
前記Ｎ次元グラフの形状は、円形、楕円形又は四角形である、付記８に記載の情報処理装置。
（付記１２）
前記Ｎ次元グラフの形状が円形又は楕円形である場合、前記Ｎ次元グラフ生成サブユニットは、ディープニューラルネットワークモデルごとに前記Ｎ次元グラフを生成する際に、
該ディープニューラルネットワークモデルのＮ次元性能散布図における全ての散布点を含むＮ次元グラフを生成するステップであって、前記Ｎ次元グラフは、Ｎ次元性能散布図における全ての散布点のパレートフロントを反映できる、ステップと、
更新されたＮ次元グラフに該ディープニューラルネットワークモデルの残りの散布点が含まれるように、各散布点の前記Ｎ次元グラフの中心までの距離を決定し、前記Ｎ次元グラフの中心までの距離が最大の第２の所定数の散布点を除去し、前記Ｎ次元グラフを更新するステップであって、更新されたＮ次元グラフは、該ディープニューラルネットワークモデルの残りの散布点のパレートフロントを反映できる、ステップと、
更新されたＮ次元グラフに前記第１の所定数の散布点のみが含まれるまで、前記決定、除去及び更新の操作を繰り返すステップと、を実行する、付記１１に記載の情報処理装置。
（付記１３）
予測すべき対象を予測するために、複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから少なくとも２つのディープニューラルネットワークモデルを選択するステップ、を含み、
前記総合予測精度は、少なくとも２つの精度指標により表現され、
前記安定性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標のそれぞれに関する安定性であり、
前記精度指標変化傾向一貫性は、対応するディープニューラルネットワークモデルの前記少なくとも２つの精度指標の変化傾向の一貫性である、情報処理方法。
（付記１４）
前記少なくとも２つのディープニューラルネットワークモデルを選択するステップは、
総合予測精度の差が第１の所定閾値よりも小さい２つ以上のディープニューラルネットワークモデルを同一のモデルグループに割り当てるように、前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルに対して並び替え及びグループ分けを行うステップと、
モデルグループごとに、該モデルグループにおける各ディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性のうちの少なくとも１つに基づいて、該モデルグループにおける各ディープニューラルネットワークモデルの順序を調整するステップと、
調整された並び替え結果に基づいて前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択するステップと、を含む、付記１３に記載の情報処理方法。
（付記１５）
グループ総合予測精度が最大のモデルグループに、安定性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの安定性の最大値よりも第２の所定閾値小さいディープニューラルネットワークモデル、又は精度指標変化傾向一貫性が前記グループ総合予測精度が最大のモデルグループ以外のモデルグループにおける各ディープニューラルネットワークモデルの精度指標変化傾向一貫性の最大値よりも第３の所定閾値小さいディープニューラルネットワークモデルが存在する場合、前記総合予測精度を表現するための精度指標を再選択するステップ、をさらに含み、
前記グループ総合予測精度は、対応するモデルグループにおける各ディープニューラルネットワークモデルの総合予測精度に基づいて計算される、付記１４に記載の情報処理方法。
（付記１６）
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを降順に並び替える場合、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最上位の少なくとも２つのディープニューラルネットワークモデルを選択し、
前記複数のディープニューラルネットワークモデルの総合予測精度に基づいて前記複数のディープニューラルネットワークモデルを昇順に並び替える場合、予測すべき対象を予測するために、調整された並び替え結果に基づいて、前記複数のディープニューラルネットワークモデルから、最下位の少なくとも２つのディープニューラルネットワークモデルを選択する、付記１４に記載の情報処理方法。
（付記１７）
前記複数のディープニューラルネットワークモデルのそれぞれは、訓練データセットを分割して得られた複数の訓練データサブセットのうちの少なくとも１つの訓練データサブセットを用いて事前に訓練を行って得られた訓練済みのディープニューラルネットワークモデルである、付記１４に記載の情報処理方法。
（付記１８）
前記少なくとも２つのディープニューラルネットワークモデルに対応する訓練データサブセットの集合に前記訓練データセットにおける訓練データの全てを含むように、前記少なくとも２つのディープニューラルネットワークモデルを選択する、付記１７に記載の情報処理方法。
（付記１９）
前記少なくとも２つのディープニューラルネットワークモデルを選択するステップは、
ディープニューラルネットワークモデルごとに、
該ディープニューラルネットワークモデルの重みパラメータ及び特徴抽出層の入力を変更することによって該ディープニューラルネットワークモデルの複数の性能散布点を取得する処理であって、各性能散布点の値はＮ次元ベクトルにより表され、Ｎは前記総合予測精度を表現する精度指標の数であり、前記Ｎ次元ベクトルの各要素の値は対応する精度指標の値により表される、処理と、
該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの総合予測精度を決定する処理と、
該ディープニューラルネットワークモデルの複数の性能散布点の集中度に基づいて該ディープニューラルネットワークモデルの安定性を決定する処理であって、性能散布点の集中度が高くなるほど、該ディープニューラルネットワークモデルの安定性が高くなると決定される、処理と、
該ディープニューラルネットワークモデルの複数の性能散布点に基づいて該ディープニューラルネットワークモデルの精度指標変化傾向一貫性を決定する処理と、を実行するステップと、
前記複数のディープニューラルネットワークモデルの安定性と精度指標変化傾向一貫性とのうちの少なくとも１つ及び総合予測精度に基づいて、前記複数のディープニューラルネットワークモデルから前記少なくとも２つのディープニューラルネットワークモデルを選択するステップと、を含む、付記１３に記載の情報処理方法。
（付記２０）
付記１乃至１２の何れかに記載の情報処理装置により前記複数のディープニューラルネットワークモデルから選択された少なくとも２つのディープニューラルネットワークモデルを用いて、予測すべき対象を予測する予測ユニット、を含む、予測装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】