ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 日本電信電話株式会社の特許一覧 ▶ 国立大学法人東京工業大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021654
(43)【公開日】2024-02-16
(54)【発明の名称】推論方法、推論装置、及びプログラム
(51)【国際特許分類】
G06T 7/11 20170101AFI20240208BHJP
G06T 7/00 20170101ALN20240208BHJP
G06V 10/82 20220101ALN20240208BHJP
【ＦＩ】
G06T7/11
G06T7/00 350C
G06V10/82
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022124645
(22)【出願日】2022-08-04
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】柴田 剛志
(72)【発明者】
【氏名】奥富 正敏
(72)【発明者】
【氏名】田中 正行
(72)【発明者】
【氏名】森安 宙
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA22
5L096FA02
5L096HA11
5L096JA16
(57)【要約】
【課題】入力データにおいて生じている未知の劣化に対して頑健性のある推論処理を行う。
【解決手段】１つ以上の変換パラメータを指定する変換パラメータ指定部と、入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する変換部と、前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する信頼度マップ生成部と、前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する逆変換部と、前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する統合部と、前記統合データに対して分析処理を行う分析部と、を備える。
【選択図】図１
【解決手段】１つ以上の変換パラメータを指定する変換パラメータ指定部と、入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する変換部と、前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する信頼度マップ生成部と、前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する逆変換部と、前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する統合部と、前記統合データに対して分析処理を行う分析部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
１つ以上の変換パラメータを指定する変換パラメータ指定ステップと、
入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する変換ステップと、
前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する信頼度マップ生成ステップと、
前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する逆変換ステップと、
前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する統合ステップと、
前記統合データに対して分析処理を行う分析ステップと、
を含む推論方法。
入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する変換ステップと、
前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する信頼度マップ生成ステップと、
前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する逆変換ステップと、
前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する統合ステップと、
前記統合データに対して分析処理を行う分析ステップと、
を含む推論方法。
【請求項2】
前記分析ステップは、前記分析処理として、認識処理を行い、
前記統合ステップは、
正解データが付与された前記入力データから生成される前記統合データに対して行われる前記分析ステップの前記認識処理によって得られる認識結果と、当該統合データに対応する前記正解データとに基づいて複数の統合演算式の中から選択されるいずれか１つの最適な前記統合演算式を用いて前記統合処理を行う、
請求項１に記載の推論方法。
前記統合ステップは、
正解データが付与された前記入力データから生成される前記統合データに対して行われる前記分析ステップの前記認識処理によって得られる認識結果と、当該統合データに対応する前記正解データとに基づいて複数の統合演算式の中から選択されるいずれか１つの最適な前記統合演算式を用いて前記統合処理を行う、
請求項１に記載の推論方法。
【請求項3】
前記統合演算式は、
統合する対象の前記逆変換データの各々における対応する位置の特徴値に基づいて、前記統合データの当該位置の特徴値を算出する演算を行う式である、
請求項２に記載の推論方法。
統合する対象の前記逆変換データの各々における対応する位置の特徴値に基づいて、前記統合データの当該位置の特徴値を算出する演算を行う式である、
請求項２に記載の推論方法。
【請求項4】
前記統合演算式は、
統合する対象の前記逆変換データの各々における対応する位置、及び当該位置の近傍の位置の特徴値に基づいて、前記統合データの当該位置の特徴値を算出する演算を行う式である、
請求項２に記載の推論方法。
統合する対象の前記逆変換データの各々における対応する位置、及び当該位置の近傍の位置の特徴値に基づいて、前記統合データの当該位置の特徴値を算出する演算を行う式である、
請求項２に記載の推論方法。
【請求項5】
前記入力データの品質を評価する品質評価ステップを更に含み、
前記統合ステップは、
前記統合処理において用いる前記統合演算式が、前記逆変換データの各々に適用される重みを用いる演算を含んでいる場合、前記逆変換データに対応する前記入力データを前記品質評価ステップによって評価して得られる前記品質を示すデータに基づいて、前記重みの値を定める、
請求項２に記載の推論方法。
前記統合ステップは、
前記統合処理において用いる前記統合演算式が、前記逆変換データの各々に適用される重みを用いる演算を含んでいる場合、前記逆変換データに対応する前記入力データを前記品質評価ステップによって評価して得られる前記品質を示すデータに基づいて、前記重みの値を定める、
請求項２に記載の推論方法。
【請求項6】
前記分析ステップは、前記分析処理として、認識処理を行い、
前記変換パラメータ指定ステップは、
正解データが付与された前記入力データから得られる前記逆変換データの各々に対して行われる前記分析ステップの前記認識処理によって得られる認識結果と、前記逆変換データに対応する前記正解データとに基づいて選択される前記変換パラメータを指定する、
請求項１から請求項５のいずれか一項に記載の推論方法。
前記変換パラメータ指定ステップは、
正解データが付与された前記入力データから得られる前記逆変換データの各々に対して行われる前記分析ステップの前記認識処理によって得られる認識結果と、前記逆変換データに対応する前記正解データとに基づいて選択される前記変換パラメータを指定する、
請求項１から請求項５のいずれか一項に記載の推論方法。
【請求項7】
１つ以上の変換パラメータを指定する変換パラメータ指定部と、
入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する変換部と、
前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する信頼度マップ生成部と、
前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する逆変換部と、
前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する統合部と、
前記統合データに対して分析処理を行う分析部と、
を備える推論装置。
入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する変換部と、
前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する信頼度マップ生成部と、
前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する逆変換部と、
前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する統合部と、
前記統合データに対して分析処理を行う分析部と、
を備える推論装置。
【請求項8】
コンピュータに、
１つ以上の変換パラメータを指定する手順、
入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する手順、
前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する手順、
前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する手順、
前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する手順、
前記統合データに対して分析処理を行う手順、
を実行させるためのプログラム。
１つ以上の変換パラメータを指定する手順、
入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する手順、
前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する手順、
前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する手順、
前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する手順、
前記統合データに対して分析処理を行う手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推論方法、推論装置、及びプログラムに関する。
【背景技術】
【0002】
コンボリューショナル・ニューラルネットワーク（以下「ＣＮＮ」(Convolutional Neural Network)という）を積層して形成されるディープ・コンボリューショナル・ニューラルネットワーク（以下「ＤＣＮＮ」(Deep Convolutional Neural Network)という）は、近年、コンピュータ・ビジョンや画像処理における主流の手法になっている。ＤＣＮＮは、画像認識、物体検出、セマンティックセグメンテーションなどのコンピュータ・ビジョン・タスクの性能向上に大きく貢献している。特に、セマンティックセグメンテーションは、ビデオ監視、医用画像処理、自動運転など、多くのビジョン・アプリケーションにおいて重要な要素となっている。
【0003】
ところで、既存のセマンティックセグメンテーションのアルゴリズムは、クリーンな画像、すなわち画像劣化のない画像を認識対象とする場合、高い認識精度を発揮する。これに対して、ビデオ監視や自動運転などのアプリケーションから実際に得られる画像には、ノイズ、ぼかし、圧縮歪みなどの一般的な画像劣化が生じていることが多い。ただし、一般的な画像劣化といえども、このような画像劣化は、セマンティックセグメンテーションのアルゴリズムが予期しない画像劣化である。このような画像劣化が認識対象の画像に生じていると、例えば、非特許文献１に示されているように、訓練データの分布に対してドメインシフトが生じる。そのため、画像劣化を含む画像に対して、既存のセマンティックセグメンテーションのアルゴリズムをそのまま適用すると、認識精度は著しく低下する。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Christoph Kamann and Carsten Rother, “Benchmarking the Robustness of Semantic Segmentation Models”, International Journal of Computer Vision, 2021.
【非特許文献2】Kazuki Endo, Masayuki Tanaka, and Masatoshi Okutomi, “CLASSIFYING DEGRADED IMAGES OVER VARIOUS LEVELS OF DEGRADATION”, in 2020 IEEE International Conference on Image Processing (ICIP), 2020.
【非特許文献3】Kai Zhang, Wangmeng Zuo, Yunjin Chen, Deyu Meng, and Lei Zhang, “Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”, IEEE transactions on image processing, 2017.
【非特許文献4】Dazhou Guo, Yanting Pei, Kang Zheng, Hongkai Yu, Yuhang Lu, and SongWang, “Degraded Image Semantic Segmentation With Dense-Gram Networks”, IEEE Transactions on Image Processing, 2019.
【非特許文献5】Christoph Kamann and Carsten Rother, “Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers”, in European Conference on Computer Vision, 2020.
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像劣化に対処するための素朴なアプローチは、例えば、図１２に示すように、画像復元と、セマンティックセグメンテーションとを組み合わせるアプローチである。ただし、既存の画像復元のアルゴリズムの多くは、ガウスノイズ、圧縮歪み、ブラーなどの特定の劣化モデルの各々に対応して構築されたアルゴリズムである（例えば、非特許文献２，３参照）。言い換えると、既存の画像復元のアルゴリズムは、予め劣化モデルを想定して構築されたアルゴリズムであり、想定した劣化モデルの画像劣化を含む画像に対して有効であるが、想定した劣化モデル以外の画像劣化を含む画像を復元することができない。
【0006】
例えば、図１２に示すように、想定した画像劣化を含む画像データ３００－１と、想定外の画像劣化を含む画像データ３００－２とが存在しているとする。これらの画像データ３００－１，３００－２に対して、画像データ３００－１に生じている想定した画像劣化に対応する画像復元のアルゴリズムを適用すると、画像データ３００－１，３００－２の各々に対応する復元画像データ３１０－１，３１０－２が得られる。復元画像データ３１０－１については、適切に復元された状態になる。これに対して、復元画像データ３１０－２については、適切に復元された状態にはならない。そのため、復元画像データ３１０－１，３１０－２の各々に対してセマンティックセグメンテーションを行ったとしても、以下のような結果になる。すなわち、復元画像データ３１０－１から得られる認識結果画像データ３２０－１では、正しく画素ごとのクラスが認識されるという結果になる。これに対して、復元画像データ３１０－２から得られる認識結果画像データ３２０－２では、正しく画素ごとのクラスが認識されないという結果になる。
【0007】
上記の素朴なアプローチに対して、非特許文献４では、画像劣化を含む画像に対してセマンティックセグメンテーションを行う新たなニューラルネットワークが提案されている。ただし、非特許文献４において提案されているニューラルネットワークは、劣化モデルごとに学習させる必要がある。そのため、未知の劣化モデルの劣化が生じている画像に対しては、上記の素朴なアプローチと同様に、非特許文献４に開示されている技術も、正しくセマンティックセグメンテーションを行うことができない。
【0008】
実用的な場面では、劣化モデルが未知であることが多い。非特許文献５では、様々な劣化に対して頑健である学習スキーマが提案されている。しかしながら、非特許文献５に開示されている技術において、ぼかし等の典型的な劣化に対して効果が得られるようにするためには、一度だけでも再学習を行う必要があるという問題がある。
【0009】
本発明は、上記問題を解決すべくなされたもので、その目的は、入力データにおいて生じている未知の劣化に対して頑健性のある推論処理を行う推論方法、推論装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【0010】
上記問題を解決するために、本発明の一態様は、１つ以上の変換パラメータを指定する変換パラメータ指定ステップと、入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する変換ステップと、前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する信頼度マップ生成ステップと、前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する逆変換ステップと、前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する統合ステップと、前記統合データに対して分析処理を行う分析ステップと、を含む推論方法である。
【0011】
本発明の一態様は、上記に記載の発明において、１つ以上の変換パラメータを指定する変換パラメータ指定部と、入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する変換部と、前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する信頼度マップ生成部と、前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する逆変換部と、前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する統合部と、前記統合データに対して分析処理を行う分析部と、を備える推論装置である。
【0012】
本発明の一態様は、上記に記載の発明において、コンピュータに、１つ以上の変換パラメータを指定する手順、入力データに対して、指定された前記変換パラメータの各々に基づく変換を行って変換データを生成する手順、前記変換データごとに、前記変換データの各々の特徴を示すデータである信頼度マップを生成する手順、前記信頼度マップの各々に対して、各々に対応する前記変換データが生成された際に行われた変換に対する逆変換を、指定された前記変換パラメータの各々に基づいて行って逆変換データを生成する手順、前記逆変換データの各々を統合する統合処理を行い、前記入力データの前記信頼度マップと次元数が一致する統合データを生成する手順、前記統合データに対して分析処理を行う手順、を実行させるためのプログラムである。
【発明の効果】
【0013】
本発明により、入力データにおいて生じている未知の劣化に対して頑健性のある推論処理を行うことができる。
【図面の簡単な説明】
【0014】
【図1】第１の実施形態の推論装置の構成を示すブロック図である。
【図2】第１の実施形態の推論装置において採用されている手法の概要を示す図である。
【図3】第１の実施形態の推論装置が行う処理の流れを示す図である。
【図4】第１の実施形態の条件選定装置の構成を示すブロック図である。
【図5】第１の実施形態の条件選定装置が行う処理の流れを示す図である。
【図6】第１の実施形態の条件選定装置が備える処理結果記憶部に生成されるテーブルのデータ形式を示す図である。
【図7】第２の実施形態の推論装置の構成を示すブロック図である。
【図8】第２の実施形態の推論装置が行う処理の流れを示す図である。
【図9】第３の実施形態の変換パラメータ選択装置の構成を示すブロック図である。
【図10】第３の実施形態の変換パラメータ選択装置が行う処理の流れを示す図である。
【図11】第３の実施形態の変換パラメータ選択装置が備える処理結果記憶部に生成されるテーブルのデータ形式を示す図である。
【図12】画像劣化がある画像データに対するセマンティックセグメンテーションを適用するための素朴なアプローチの概要を示す図である。
【発明を実施するための形態】
【0015】
（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態による推論装置１の構成を示すブロック図である。図２は、図１に示す第１の実施形態による推論装置１において採用する手法の概要を示す図である。図２に示す画像データ１００－１は、例えば、ビデオ監視や自動運転などのアプリケーションから得られるセマンティックセグメンテーションの認識対象となる画像データである。ここで、画像データ１００－１には、未知の画像劣化が生じているとする。推論装置１において採用する手法は、以下の２つの観察に基づいている。すなわち、（１）画像データ１００－１に対して、例えば、縮小の画像変換をすることにより得られる低解像度の画像データ１００－２，…，１００－Ｎは、細かいテクスチャなどのパターンが消失する代わりに、ＪＰＥＧ（Joint Photographic Experts Group）圧縮やボケなどの画像劣化も縮小される。そのため、低解像度の画像データ１００－２，…，１００－Ｎは、画像劣化が軽減された画像データになる。（２）セマンティックセグメンテーションのアルゴリズムは、低解像度の画像データ１００－２，…，１００－Ｎに対しても有効である。言い換えると、画像劣化のない低解像度の画像データと、画像劣化のない高解像度の画像データとにおいて、セマンティックセグメンテーションの精度は、それほど大きな違いがない。
以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態による推論装置１の構成を示すブロック図である。図２は、図１に示す第１の実施形態による推論装置１において採用する手法の概要を示す図である。図２に示す画像データ１００－１は、例えば、ビデオ監視や自動運転などのアプリケーションから得られるセマンティックセグメンテーションの認識対象となる画像データである。ここで、画像データ１００－１には、未知の画像劣化が生じているとする。推論装置１において採用する手法は、以下の２つの観察に基づいている。すなわち、（１）画像データ１００－１に対して、例えば、縮小の画像変換をすることにより得られる低解像度の画像データ１００－２，…，１００－Ｎは、細かいテクスチャなどのパターンが消失する代わりに、ＪＰＥＧ（Joint Photographic Experts Group）圧縮やボケなどの画像劣化も縮小される。そのため、低解像度の画像データ１００－２，…，１００－Ｎは、画像劣化が軽減された画像データになる。（２）セマンティックセグメンテーションのアルゴリズムは、低解像度の画像データ１００－２，…，１００－Ｎに対しても有効である。言い換えると、画像劣化のない低解像度の画像データと、画像劣化のない高解像度の画像データとにおいて、セマンティックセグメンテーションの精度は、それほど大きな違いがない。
【0016】
上記の（１），（２）の２つの観察に基づいて、推論装置１において採用する手法では、例えば、画像劣化を含む画像データ１００－１に対するセマンティックセグメンテーションを以下のようにして行う。画像データ１００－１に対して、任意に定める画像変換を行って、画像データ１００－２，…，１００－Ｎを得る。例えば、ＳｅｇＮｅｔやＵ－Ｎｅｔなどのエンコーダ・デコーダ型のセマンティックセグメンテーションのニューラルネットワークであって学習済みのニューラルネットワークのエンコーダの部分と、デコーダの部分とを分離する。画像データ１００－１，１００－２，…，１００－Ｎの各々を、エンコーダ部分のニューラルネットワークに与えることによりダウンサンプリングを行って、各々に対応する信頼度マップ１１０－１，１１０－２，…，１１０－Ｎを得る。ここで、信頼度マップとは、いわゆる特徴マップと呼ばれるデータであり、画像データ１００－１，１００－２，…，１００－Ｎに含まれている特徴を示すデータである。信頼度マップの各要素の値、すなわち、特徴量を示す値は、ロジットとよばれており、ロジットの値に基づいて、元の画像データの画素ごとに最も信頼性が高いクラスが、その画素に該当するクラスとして割り当てられることになる。ここで、画素ごとの最も信頼性が高いクラスとは、例えば、画素の各々に対応するロジットの値が最大であるクラス、または、ロジットの値を正規化した値が最大であるクラスのことである。クラスとは、例えば、画像データ１００－１，１００－２，…，１００－Ｎの各々に含まれている「人」、「車」などの物体の種類のことである。
【0017】
信頼度マップ１１０－２，…，１１０－Ｎの各々に対して、各々に対応する画像データ１００－２，…，１００－Ｎが得られた際に行われた画像変換に対応する逆変換を行う。信頼度マップ１１０－１と、逆変換された信頼度マップ１１０－２，…，１１０－Ｎとを統合して統合データを生成する。このように信頼度マップ１１０－１，…，１１０－Ｎを統合する手法は、いわゆる機械学習におけるアンサンブルと呼ばれる手法に相当する。デコーダ部分のニューラルネットワークに、生成した統合データを与えることによりアップサンプリングを行って、セマンティックセグメンテーションの結果である画像データ１５０を取得する。なお、分離したエンコーダ部分のニューラルネットワーク、及びデコーダ部分のニューラルネットワークは、ニューロンに適用される係数、すなわち、重みやバイアスの値が学習済みの状態で固定された状態で用いられる。以下、係数が学習済みの状態で固定されている状態を、「係数凍結」ともいう。
【0018】
推論装置１が備える各機能部について説明する前に、各機能部の説明において用いる変数や関数の意味について説明する。ビデオ監視や自動運転などのアプリケーションから得られる画像データであって推論装置１の入力となるデータ（以下「入力データ」という）を次式（１）の記号により表す。以下、本文において、次式（１）の記号を示す場合、ベクトルｘと記載する。
【0019】
【数1】
【0020】
入力データが、例えば、ＲＧＢのカラーの画像データである場合、画素ごとの赤色、緑色、青色の各々の画素値を示す３チャンネルのチャンネル方向が存在することになる。この場合、ベクトルｘは、縦方向と、横方向と、チャンネル方向とを有する３次元のデータになる。ベクトルｘから信頼度マップを算出するバックボーンのニューラルネットワークによる演算を次式（２）に示す関数Ｓ（・）で表す。
【0021】
【数2】
【0022】
関数Ｓ（・）の演算を行うニューラルネットワークは、学習済みのニューラルネットワークであり、係数凍結の状態で用いられる。関数Ｓ（・）の演算を行うニューラルネットワークの具体例としては、例えば、上記したＳｅｇＮｅｔ及びＵ－Ｎｅｔなどのエンコーダ・デコーダ型のセマンティックセグメンテーションのニューラルネットワークのエンコーダの部分のニューラルネットワークや、ＦＣＮ（Fully Convolutional Network）などがある。
【0023】
ベクトルｘに対して関数Ｓ（・）を適用することにより得られる信頼度マップを、次式（３）において示される左から１つめの記号であるベクトルｐ、または、左から２つ目の記号であるｐｃｈｗとして表す。なお、ｐｃｈｗの添え字のｃはチャンネル方向のインデックスであり、ｈは縦方向のインデックスであり、ｗは横方向のインデックスである。すなわち、信頼度マップを示すベクトルｐは、３次元のデータである。したがって、１組のｃ，ｈ，ｗの値を定めることにより、ベクトルｐのｃ，ｈ，ｗの位置の１つの特徴量が特定されることになる。
【0024】
【数3】
【0025】
信頼度マップであるベクトルｐからベクトルｘの画素ごとのクラスを割り当てる演算を次式（４）に示す関数ｇ（・）で表す。
【0026】
【数4】
【0027】
関数ｇ（・）の演算を行うニューラルネットワークは、関数Ｓ（・）のニューラルネットワークと同様に、学習済みのニューラルネットワークであり、係数凍結の状態で用いられる。関数ｇ（・）の演算を行うニューラルネットワークの具体例としては、例えば、上記したＳｅｇＮｅｔ及びＵ－Ｎｅｔなどのエンコーダ・デコーダ型のセマンティックセグメンテーションのニューラルネットワークのデコーダの部分のニューラルネットワークや、ベクトルｐのサイズを、元の入力データであるベクトルｘのサイズに戻すアップサンプリングを行うニューラルネットワークなどがある。
【0028】
セマンティックセグメンテーションの結果、すなわち、ベクトルｘに対して関数Ｓ（・）を適用し、更に、関数Ｓ（・）の結果に対して関数ｇ（・）を適用して得られる認識結果データを、次式（５）の左辺の記号により表す。以下、本文では、次式（５）の左辺のサーカムフレックス付きのベクトルｙを「ベクトル＾ｙ」として記載する。
【0029】
【数5】
【0030】
（第１の実施形態の推論装置の構成）
図１に示すように、推論装置１は、変換統合条件記憶部１０、変換パラメータ指定部１１、データ取込部１２、変換部１３、信頼度マップ生成部１４、逆変換部１５、統合部１６、分析部１７、及び出力部１８を備える。変換統合条件記憶部１０は、予め選定されるＮ個の変換パラメータと、予め選定される１つの統合演算式とを予め記憶する。ここで、Ｎは、２以上の整数である。変換統合条件記憶部１０が記憶する変換パラメータの集合は、次式（６）によって表される。
図１に示すように、推論装置１は、変換統合条件記憶部１０、変換パラメータ指定部１１、データ取込部１２、変換部１３、信頼度マップ生成部１４、逆変換部１５、統合部１６、分析部１７、及び出力部１８を備える。変換統合条件記憶部１０は、予め選定されるＮ個の変換パラメータと、予め選定される１つの統合演算式とを予め記憶する。ここで、Ｎは、２以上の整数である。変換統合条件記憶部１０が記憶する変換パラメータの集合は、次式（６）によって表される。
【0031】
【数6】
【0032】
式（６）のξ１，…，ξｎ，…，ξＮの各々が、個々の変換パラメータを示す記号であり、「｛・｝」は集合を表す記号である。ここで、ｎは、１～Ｎの中の任意の整数である。以下、変換パラメータξｎと記載する場合、いずれか１つの任意の変換パラメータを示すものとする。変換パラメータξ１は、画像変換を行わない変換パラメータである。図２に示したように、元の入力データである画像データ１００－１は、画像変換が行われることなく、関数Ｓ（・）が適用され、関数Ｓ（・）を適用して得られる信頼度マップ１１０－１が統合の対象になる。そのため、変換統合条件記憶部１０に記憶される変換パラメータξ１，…，ξｎ，…，ξＮには、変換を行わない変換パラメータが１つ含まれている必要がある。そのため、ここでは、変換パラメータξ１を、画像変換を行わない変換パラメータとしている。
【0033】
Ｎ＝２以上の変換パラメータξ２～ξＮは、画像変換を行う変換パラメータである。変換パラメータξ２～ξＮは、例えば、上記した縮小の画像変換以外に、拡大、回転、アフィン変換、射影変換などの線形変換、Ｂスプライン補間を用いた非線形変換などの幾何学的な画像変換などを示す変換パラメータである。変換パラメータξ２～ξＮは、色調や色温度の変換のような光学的な画像変換を示す変換パラメータであってもよい。変換パラメータξ２～ξＮは、ノイズの除去や付与、ボケの除去や付与などの画像の品質（以下「画質」という）の向上や、画質の劣化に関する画像変換を示すパラメータであってもよい。ここで、ノイズとは、一般的な白色ノイズに限られるものではなく、圧縮ノイズ、誤った認識を引き起こすような敵対的ノイズなどであってもよい。なお、変換パラメータξ２～ξＮの各々には、画像変換の種類を示すデータが含まれていると共に、変換の比率、例えば、縮小の画像変換であれば、縮小の比率を示す変数が含まれている。例えば、変換パラメータξｎが、２次元の回転の画像変換を示す変換パラメータである場合、１変数が含まれることになる。変換パラメータξｎが、アフィン変換を示す変換パラメータである場合、６変数が含まれることになる。
【0034】
なお、縮小の画像変換のように画像劣化の影響を軽減させる画像変換を示す変換パラメータ以外に、画像劣化を加えるような画像変換を示す変換パラメータが含まれてもよいとしている理由は、以下のようなことを想定しているためである。既存のセマンティックセグメンテーション、または、将来提案されるセマンティックセグメンテーションのニューラルネットワークが、画像劣化を増加させる画像変換に対して頑健であるとする。この場合、画像劣化を増加させる画像変換を付加する方が、結果的に、セマンティックセグメンテーションの認識結果として、精度の高い認識結果が得られることが想定されるためである。
【0035】
変換パラメータ指定部１１は、変換部１３と、逆変換部１５とが用いる変換パラメータを指定する。より詳細には、変換パラメータ指定部１１は、変換統合条件記憶部１０に記憶されているＮ個の変換パラメータξ１～ξＮを読み出し、読み出した変換パラメータξ１～ξＮを１つずつ変換部１３と、逆変換部１５とに出力することにより、変換パラメータの指定を行う。データ取込部１２は、外部から与えられる認識対象である画像データである入力データを取り込み、取り込んだ入力データを変換部１３に出力する。
【0036】
変換部１３は、データ取込部１２が出力する入力データに対して、変換パラメータ指定部１１が出力するＮ個の変換パラメータξ１～ξＮの各々に基づいて次式（７）で表される画像変換を行う。
【0037】
【数7】
【0038】
式（７）において、右辺のＤ（・；ξｎ）は、引数として与えられる画像データに対して、変換パラメータξｎに基づく画像変換の演算を行う変換関数である。式（７）の左辺のチルダ付きのベクトルｘｎ（以下、本文ではベクトル～ｘｎと記載する）は、変換パラメータξｎに基づく画像変換が行われたベクトルｘを示している。以下、ベクトル～ｘｎを変換データという。変換部１３が画像変換により生成するＮ個の変換データの集合は、次式（８）で表される。
【0039】
【数8】
【0040】
上記したように変換パラメータξ１は、画像変換を行わない変換パラメータであるため、式（８）において、ベクトル～ｘ１と、ベクトルｘ１とは同一のデータである。信頼度マップ生成部１４は、式（８）の変換データの集合に含まれているＮ個の変換データの各々に対して、式（２）に示す関数Ｓ（・）を適用して、次式（９）に示すようにＮ個の信頼度マップであるベクトル～ｐ１，…，～ｐｎ，…～ｐＮを生成する。
【0041】
【数9】
【0042】
逆変換部１５は、変換パラメータ指定部１１が出力するＮ個の変換パラメータξ１～ξＮの各々に基づいて、信頼度マップ生成部１４が生成したＮ個の信頼度マップの各々に対して、各々に対応する変換データが生成された際に行われた画像変換に対応する逆変換を行う。例えば、ｎ番目の変換パラメータξｎによる画像変換が、θ°回転させる回転の画像変換である場合、逆変換部１５は、ｎ番目の信頼度マップに対して、－θ°回転させる画像変換を行うことにより逆変換を行う。逆変換部１５が行う逆変換は、次式（１０）で表される。
【0043】
【数10】
【0044】
式（１０）において、右辺のＵ（・；ξｎ）は、引数として与えられる信頼度マップに対して、変換パラメータξｎに基づく画像変換に対応する逆変換の演算を行う変換関数である。式（１０）の左辺のベクトルｐｎは、逆変換部１５が、変換パラメータξｎに基づいてｎ番目の信頼度マップであるベクトル～ｐｎを逆変換して得られるデータである。以下、ベクトル～ｐｎを逆変換データという。なお、以下で説明する統合部１６がＮ個の逆変換データを統合する際に、統合部１６がＮ個の逆変換データの各々において空間的に同一の位置の特徴量を比較できるようにする必要がある。ここで、「空間的に同一の位置」とは、以下のような位置である。Ｎ個の逆変換データは、ベクトルｘ１に基づいて生成されるデータである。そのため、例えば、ベクトルｘ１において（ｃ，ｈ，ｗ）が（１，１，１）の位置に対応する位置が、Ｎ個の逆変換データの各々において存在することになる。言い換えると、Ｎ個の逆変換データの各々の位置は、ベクトルｘ１のいずれかの１点に対応していることになり、ベクトルｘ１において対応する位置が同一になるＮ個の逆変換データの位置が、空間的に同一の位置ということになる。
【0045】
したがって、逆変換部１５は、統合部１６がＮ個の逆変換データの各々において空間的に同一の位置の特徴量を比較できるようにするため、Ｎ個の逆変換後のデータの同一のｃ，ｈ，ｗによって示される位置が、空間的に同一の位置になるように位置合わせの処理を行ってＮ個の逆変換データを生成する。逆変換部１５が生成するＮ個の逆変換データの集合は、次式（１１）で表される。
【0046】
【数11】
【0047】
統合部１６は、変換統合条件記憶部１０に記憶されている予め選定された１つの統合演算式に基づいて、式（１１）の逆変換データの集合に含まれているＮ個の逆変換データを統合する。統合部１６が行う統合処理は、連結演算子（［・］）を用いて、次式（１２）で表される。
【0048】
【数12】
【0049】
式（１２）の左辺は、統合部１６がＮ個の逆変換データを統合することにより生成する統合データを示す記号であり、以下、本文では、統合データをベクトル＾ｐと記載する。統合部１６は、統合処理により生成する統合データ、すなわちベクトル＾ｐの次元数が、入力データであるベクトルｘに対して式（２）に示す関数Ｓ（・）を適用して得られる信頼度マップ、すなわち式（３）のベクトルｐと同一次元数になるように統合処理を行う。ここで、同一次元数とは、ｃ×ｈ×ｗで示されるデータのサイズが一致していることをいい、より具体的には、式（３）のベクトルｐが、例えば、８×２５６×２５６のサイズである場合、統合データであるベクトル＾ｐのサイズも８×２５６×２５６になっていることをいう。
【0050】
式（１２）の連結演算子は、単に、Ｎ個の逆変換データの各々におけるｃ，ｈ，ｗが同一である位置のＮ個の特徴量を連結、すなわち、Ｎ個の特徴量を合計した値を、当該位置における統合データの特徴量とする統合処理の演算を行う統合演算式であってもよい。式（１２）の連結演算子は、以下に示すような統合演算式のいずれかであってもよい。
【0051】
例えば、式（１２）の連結演算子は、次式（１３）～（１７）で表される５個の統合演算式であってもよい。次式（１３）で表される統合演算式は、Ｎ個の逆変換データの各々において、ｃ，ｈ，ｗが同一である位置のＮ個の特徴量の中で最大値である特徴量を、当該位置における統合データの特徴量とするように統合処理を行う統合演算式である。
【0052】
【数13】
【0053】
次式（１４）で表される統合演算式は、Ｎ個の逆変換データの各々において、ｃ，ｈ，ｗが同一である位置のＮ個の特徴量の平均値を、当該位置における統合データの特徴量とするように統合処理を行う統合演算式である。
【0054】
【数14】
【0055】
次式（１５）で表される統合演算式は、Ｎ個の逆変換データの各々において、ｃ，ｈ，ｗが同一である位置のＮ個の特徴量に対して、Ｎ個の逆変換データごとに予め値が定められている重みｗｎを乗算して得られた乗算値の中で最大の乗算値を、当該位置における統合データの特徴量とするように統合処理を行う統合演算式である。当該最大の乗算値は、重み付き最大値と呼ばれる値でもある。
【0056】
【数15】
【0057】
次式（１６）で表される統合演算式は、Ｎ個の逆変換データの各々において、ｃ，ｈ，ｗが同一である位置のＮ個の特徴量に対して、Ｎ個の逆変換データごとに予め定められる重みｗｎの値を乗算して得られた乗算値を、Ｎ個の重みｗｎの値の合計値で除算することにより得られる除算値を、当該位置における統合データの特徴量とするように統合処理を行う統合演算式である。当該除算値は、重み付き平均値、または、加重平均値と呼ばれる値でもある。
【0058】
【数16】
【0059】
次式（１７）で表される統合演算式は、Ｎ個の逆変換データの各々において、ｃ，ｈ，ｗが同一である位置のＮ個の特徴量を大きい方から順に並べた場合に、上位ｋ個の平均値を、当該位置における統合データの特徴量とするように統合処理を行う統合演算式である。
【0060】
【数17】
【0061】
式（１７）の統合演算式は、より詳細には、次式（１８）により表される。
【0062】
【数18】
【0063】
式（１８）におけるφ（ｋ）
ｎｃｈｗは、次式（１９）によって定義される。
【0064】
【数19】
【0065】
式（１９）において、関数Ｒ（・）は、引数として与えられた値の順位を返り値として出力する関数である。例えば、逆変換データであるベクトルｐ１～ｐＮにおいて、ｎ番目のベクトルｐｎのある１点の特徴量であるｐｎｃｈｗが、関数Ｒ（・）の引数として適用されたとする。この場合、関数Ｒ（・）は、引数のｐｎｃｈｗとｃ，ｈ，ｗが同一であるＮ個のｐ１ｃｈｗ～ｐＮｃｈｗの特徴量を大きい順に並べた場合に、引数のｐｎｃｈｗの順位を返り値として出力する。ｋの値は、１～Ｎの間の整数値であって、予め定められる整数値である。ｋ＝１の場合、式（１７）は、式（１３）、すなわち、最大値を選択する統合処理を行う統合演算式と同一の式になり、ｋ＝Ｎの場合、式（１７）は、式（１４）、すなわち、平均値を選択する統合処理を行う統合演算式と同一の式になる。
【0066】
式（１２）の連結演算子は、以下のような統合演算式であってもよい。例えば、Ｎ個の逆変換データの各々において、ｃ，ｈ，ｗが同一である位置のＮ個の特徴量の中の中央値の特徴量を、当該位置における統合データの特徴量とするように統合処理を行う統合演算式であってもよい。Ｎ個の逆変換データの各々において、ｃ，ｈ，ｗが同一である位置のＮ個の特徴量に対して、Ｎ個の逆変換データごとに予め値が定められている重みｗｎの値を乗算して得られた乗算値の中の中央値の乗算値を、当該位置における統合データの特徴量とするように統合処理を行う統合演算式であってもよい。当該乗算値は、重み付き中央値と呼ばれる値でもある。
【0067】
式（１２）の連結演算子は、以下のような統合演算式であってもよい。統合データのある１つの位置をｃ１，ｈ１，ｗ１とした場合、ｃ１，ｈ１，ｗ１の位置の特徴量を統合演算式によって求める際に、Ｎ個の逆変換データの各々におけるｃ１，ｈ１，ｗ１の位置の特徴量のみを対象とするのではなく、ｃ１，ｈ１，ｗ１の位置の近傍の位置の特徴量を含めて、上記の式（１３）～式（１６）に示す統合演算式を適用した統合処理を行うようにしてもよい。この場合において、近傍を考慮する変換パラメータの種類を予め定めておき、予め定めた変換パラメータの種類に対応する逆変換データについては、近傍の特徴量を含めるようにし、予め定めた変換パラメータの種類以外の種類に対応する逆変換データについては、近傍の特徴量を含めないようにしてもよい。式（１５）、または、式（１６）に示す統合演算式を適用する場合、予め定めた変換パラメータの種類に対応する逆変換データについては、近傍の特徴量を含めた上で、重みｗｎの値を大きくするようにし、予め定めた変換パラメータの種類以外の種類に対応する逆変換データについては、近傍の特徴量を含めた上で、重みｗｎの値を小さくするようにしてもよい。
【0068】
ここで、「近傍の位置」とは、例えば、ｃ１，ｈ１，ｗ１の位置を基準とした場合に、ｃ１，ｈ１，ｗ１の位置に対して上下左右前後、及び斜め方向において隣接する２６個の位置であってもよいし、ｃ１，ｈ１，ｗ１の位置に対して上下左右前後で隣接する６個の位置であってもよいし、ｃ１，ｈ１，ｗ１の位置を含む任意の範囲であって予め定められる範囲に含まれる位置であってもよい。
【0069】
上記した統合演算式を複数組み合わせた演算式を統合演算式としてもよい。例えば、統合部１６が、式（１３）に基づいて生成した統合データと、式（１４）に基づいて生成した統合データとを、更に、式（１３）に基づいて統合した結果を、最終的な統合データとしてもよい。
【0070】
分析部１７は、統合部１６がＮ個の逆変換データを統合することにより生成する統合データであるベクトル＾ｐに対して、式（４）の関数ｇ（・）を適用する処理を行う。式（４）の関数ｇ（・）を適用する処理とは、認識処理であり、具体的には、セマンティックセグメンテーションのアルゴリズムにおいて行われる画像の領域をクラスごとに分割する画像分割処理である。分析部１７による認識処理は、次式（２０）で表される。
【0071】
【数20】
【0072】
式（２０）に示されるように、分析部１７による認識処理により、認識結果データ、すなわちセマンティックセグメンテーションの結果を示すデータであるベクトル＾ｙが得られることになる。出力部１８は、例えば、液晶ディスプレイなどの画面を備えた表示装置であってもよいし、半導体メモリやＨＤＤ（Hard Disk Drive）などの記憶装置であってもよい。出力部１８が、表示装置である場合、分析部１７が認識処理により生成した認識結果データであるベクトル＾ｙを画面に表示する。出力部１８が、記憶装置である場合、分析部１７は、認識処理により生成した認識結果データであるベクトル＾ｙを出力部１８に書き込んで記憶させる。
【0073】
（第１の実施形態の推論装置による処理）
図３は、推論装置１による処理の流れを示すフローチャートである。推論装置１が起動すると、変換パラメータ指定部１１は、変換統合条件記憶部１０に予め記憶されているＮ個の変換パラメータξ１～ξＮを読み出し、読み出した変換パラメータξ１～ξＮを内部の記憶領域に書き込んで記憶させる（ステップＳａ１）。統合部１６は、変換統合条件記憶部１０に予め記憶されている１つの統合演算式を読み出し、読み出した統合演算式を内部の記憶領域に書き込んで記憶させる（ステップＳａ２）。データ取込部１２は、外部から与えられる認識対象の画像データである入力データを取り込み、取り込んだ入力データを変換部１３に出力する（ステップＳａ３）。
図３は、推論装置１による処理の流れを示すフローチャートである。推論装置１が起動すると、変換パラメータ指定部１１は、変換統合条件記憶部１０に予め記憶されているＮ個の変換パラメータξ１～ξＮを読み出し、読み出した変換パラメータξ１～ξＮを内部の記憶領域に書き込んで記憶させる（ステップＳａ１）。統合部１６は、変換統合条件記憶部１０に予め記憶されている１つの統合演算式を読み出し、読み出した統合演算式を内部の記憶領域に書き込んで記憶させる（ステップＳａ２）。データ取込部１２は、外部から与えられる認識対象の画像データである入力データを取り込み、取り込んだ入力データを変換部１３に出力する（ステップＳａ３）。
【0074】
変換パラメータ指定部１１は、内部の記憶領域に記憶されている変換パラメータξ１～ξＮの中からいずれか１つの変換パラメータξｎを選択して読み出す。変換パラメータ指定部１１は、読み出した変換パラメータξｎを、変換部１３と、逆変換部１５とに出力する。これにより、ループＬａ１ｓ～Ｌａ１ｅの最初の処理が開始される。
【0075】
変換部１３は、データ取込部１２が出力する入力データと、変換パラメータ指定部１１が出力する変換パラメータξｎとを取り込む。変換部１３は、取り込んだ入力データであるベクトルｘに対して、取り込んだ変換パラメータξｎに基づいて、式（７）で表される画像変換を行って変換データを生成する。変換部１３は、生成した変換データ、すなわちベクトル～ｘｎを信頼度マップ生成部１４に出力する（ステップＳａ４）。
【0076】
信頼度マップ生成部１４は、変換部１３が出力する変換データであるベクトル～ｘｎを取り込み、取り込んだベクトル～ｘｎに対して、式（２）に示す関数Ｓ（・）を適用して信頼度マップを生成する。信頼度マップ生成部１４は、生成した信頼度マップであるベクトル～ｐｎを逆変換部１５に出力する（ステップＳａ５）。
【0077】
逆変換部１５は、信頼度マップ生成部１４が出力する信頼度マップと、変換パラメータ指定部１１が出力する変換パラメータξｎとを取り込む。逆変換部１５は、取り込んだ信頼度マップであるベクトル～ｐｎに対して、取り込んだ変換パラメータξｎに基づいて、式（１０）で表される逆変換、すなわち、変換部１３が変換パラメータξｎに基づいて行った画像変換に対応する逆変換を行って逆変換データを生成する。逆変換部１５は、生成した逆変換データ、すなわちベクトルｐｎを統合部１６に出力する（ステップＳａ６）。
【0078】
変換パラメータ指定部１１は、内部の記憶領域に記憶されている変換パラメータξ１～ξＮの中から未選択のいずれか１つの変換パラメータξｎ、すなわち、変換部１３及び逆変換部１５に出力していない、いずれか１つの変換パラメータξｎを選択することを繰り返し行う。これにより、変換パラメータξ１～ξＮの各々に対応するステップＳａ４～Ｓａ６の処理が繰り返し行われることになる（ループＬａ１ｓ～Ｌａ１ｅ）。この場合において、変換パラメータ指定部１１が変換部１３に出力する変換パラメータξｎが、画像変換を行わないことを示す変換パラメータξ１である場合、変換部１３と、逆変換部１５とは以下の処理を行うことになる。ステップＳａ４の処理において、変換部１３は、データ取込部１２から取り込んだ入力データであるベクトルｘを、画像変換することなくベクトル～ｘ１として信頼度マップ生成部１４に出力する。ステップＳａ６の処理において、逆変換部１５は、信頼度マップ生成部１４が出力する信頼度マップであるベクトル～ｐ１を、逆変換することなくベクトルｐ１として統合部１６に出力する。
【0079】
統合部１６は、変換統合条件記憶部１０を参照して、変換パラメータξ１～ξＮの個数である「Ｎ」を検出する。統合部１６は、ループＬａ１ｓ～Ｌａ１ｅの処理の間に、逆変換部１５が出力する逆変換データであるベクトルｐｎを繰り返し取り込む。統合部１６は、取り込んだベクトルｐｎの個数がＮ個に一致しない間は、ベクトルｐｎの取り込みを継続する。一方、統合部１６は、取り込んだベクトルｐｎの個数がＮ個に一致した場合、内部の記憶領域に記憶されている統合演算式に基づいて、Ｎ個のベクトルｐｎを統合して統合データを生成する。統合部１６は、生成した統合データ、すなわちベクトル＾ｐを分析部１７に出力する（ステップＳａ７）。
【0080】
分析部１７は、統合部１６が出力する統合データであるベクトル＾ｐを取り込み、取り込んだベクトル＾ｐに対して、式（４）に示す関数ｇ（・）を適用して、式（２０）に示す認識処理を行って認識結果データを生成する。分析部１７は、認識結果データであるベクトル＾ｙを出力部１８に出力する（ステップＳａ８）。出力部１８は、分析部１７が出力する認識結果データであるベクトル＾ｙを取り込む。上記したように、出力部１８が表示装置である場合、出力部１８は、取り込んだ認識結果データであるベクトル＾ｙを画面に表示する。出力部１８が記憶装置である場合、出力部１８は、取り込んだ認識結果データであるベクトル＾ｙを記憶する（ステップＳａ９）。これにより、１つの入力データに対して推論装置１が行う推論処理が終了する。データ取込部１２に次の入力データが与えられた場合、再び、ステップＳａ３～Ｓａ９の処理が行われることになる。
【0081】
（第１の実施形態の条件選定装置の構成）
上記した推論装置１において、精度の高い認識結果が得られるようにするためには、変換統合条件記憶部１０に予め記憶させておく複数の変換パラメータと、１つの統合演算式との組み合わせが、入力データに生じている画像劣化に対して最適な組み合わせになるように選定されている必要がある。図４に示す条件選定装置２は、この最適な組み合わせを選定する装置である。
上記した推論装置１において、精度の高い認識結果が得られるようにするためには、変換統合条件記憶部１０に予め記憶させておく複数の変換パラメータと、１つの統合演算式との組み合わせが、入力データに生じている画像劣化に対して最適な組み合わせになるように選定されている必要がある。図４に示す条件選定装置２は、この最適な組み合わせを選定する装置である。
【0082】
上記した推論装置１のデータ取込部１２に与える入力データは、例えば、ビデオ監視や自動運転などのアプリケーションであって特定のアプリケーションから得られる時系列に並んだ複数の画像データであることを想定している。当該特定のアプリケーションは、例えば、特定のカメラによって一定の時間間隔で撮影された複数の画像データを取得する。取得された複数の画像データは、同一のカメラによって撮影され、かつ同一のアプリケーションによって取得された画像データであることから、取得された複数の画像データの各々には、各々において共通する画像劣化が生じることになる。ここでは、複数の画像データの各々に生じている画像劣化は、未知の画像劣化であるものの、各々において共通する画像劣化であり、人が目視することにより、画像データの画素ごとのクラスを判別することができる程度の画像劣化であるとする。
【0083】
図４は、第１の実施形態による条件選定装置２の構成を示すブロック図である。図４に示す条件選定装置２において、図１に示す推論装置１と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。条件選定装置２は、変換統合条件記憶部１０、変換パラメータ指定部１１ａ、変換部１３、信頼度マップ生成部１４、逆変換部１５、統合部１６ａ、分析部１７、訓練データ記憶部２１、データ読出部２２、統合演算式選定部２３、及び処理結果記憶部２４を備える。
【0084】
訓練データ記憶部２１は、複数の訓練データを予め記憶する。上記したように特定のアプリケーションから得られる時系列に並んだ複数の画像データの各々は、未知の画像劣化を含んでいるものの、当該画像劣化は、人が目視することにより、画像データの画素ごとのクラスを判別することができる程度の画像劣化である。そこで、特定のアプリケーションから得られた複数の画像データ、すなわち複数の入力データを全て推論装置１に与えるデータとせずに、一部の入力データを、条件選定装置２に適用するための訓練用のデータとして選択する。選択した複数の訓練用の入力データの各々に対応する画素ごとのクラスを示す正解データを生成する。生成した正解データの各々を、各々に対応する訓練用の入力データに関連付けて、複数の訓練データとする。すなわち、１つの訓練データは、１つの訓練用の入力データと、当該訓練用の入力データに対応する１つの正解データとを含むことになる。このようにして生成した複数の訓練データを、訓練データ記憶部２１に予め記憶させておく。ここで、１つの訓練用の入力データであるベクトルｘに対応する正解データを、次式（２１）に示す記号で表し、以下、本文では、式（２１）の記号をベクトルｙと記載する。
【0085】
【数21】
【0086】
データ読出部２２は、開始指示信号、または、継続指示信号を受けるごとに、訓練データ記憶部２１から訓練データを１つ読み出す。データ読出部２２は、訓練データ記憶部２１から訓練データを読み出すことができない場合、終了指示信号を統合演算式選定部２３に出力する。データ読出部２２は、訓練データ記憶部２１から訓練データを読み出すことができた場合、変換パラメータ指定部１１ａに開始指示信号を出力する。データ読出部２２は、読み出した１つの訓練データに含まれている訓練用の入力データを変換部１３に出力し、当該訓練データに含まれている正解データを統合演算式選定部２３に出力する。
【0087】
変換パラメータ指定部１１ａは、外部から与えられる画像変換を示すＮ個の変換パラメータξ１～ξＮを取り込む。変換パラメータ指定部１１ａは、開始指示信号を受けると、取り込んだＮ個の変換パラメータξ１～ξＮの中から１つの変換パラメータξｎを選択する。変換パラメータ指定部１１ａは、選択した変換パラメータξｎを変換部１３と、逆変換部１５とに出力して、変換部１３と、逆変換部１５とが用いる変換パラメータξｎを指定する。
【0088】
統合部１６ａは、外部から与えられるＭ個の統合演算式を取り込み、取り込んだＭ個の統合演算式の各々に対応するＭ個の「統合演算式１」，…，「統合演算式Ｍ」のインデックスを生成する。ここで、Ｍは、２以上の整数である。統合部１６ａは、取り込んだＭ個の統合演算式の各々に基づいて、式（１１）の逆変換データの集合に含まれているＮ個の逆変換データを統合して統合データを生成する統合処理を行う。統合部１６ａは、統合処理に用いた統合演算式に対応するインデックスを、用いた順に１つずつ統合演算式選定部２３に出力する。統合部１６ａは、生成した順に１つずつ統合データを分析部１７に出力する。言い換えると、統合部１６ａは、ある１つの統合演算式に基づいて統合処理を行って統合データを生成すると、当該ある１つの統合演算式に対応するインデックスを統合演算式選定部２３に出力すると共に、当該ある１つの統合演算式に基づいて生成した統合データを分析部１７に出力する。
【0089】
統合演算式選定部２３は、ある１つの訓練データに対して、Ｍ個の認識結果データが得られた場合、継続指示信号をデータ読出部２２に出力する。統合演算式選定部２３は、終了指示信号を受けると、終了指示信号を受けるまでに得られた全ての認識結果データと、認識結果データの各々に対応する正解データとに基づいて、訓練データに含まれている入力データに生じている画像劣化に対する最適な１つの統合演算式を選定する。
【0090】
処理結果記憶部２４は、データ読出部２２が統合演算式選定部２３に出力する正解データごとに、変換パラメータ指定部１１ａが統合演算式選定部２３に出力するＮ個の変換パラメータと、分析部１７が統合演算式選定部２３に出力するＭ個の認識結果データとを関連付けて記憶する。条件選定装置２が備える変換統合条件記憶部１０は、初期状態では、データを記憶しておらず、統合演算式選定部２３による選定の処理が終了した際に、複数の変換パラメータと、１つの統合演算式とを記憶する。複数の変換パラメータと、１つの統合演算式とを記憶した変換統合条件記憶部１０が、図１の推論装置１の変換統合条件記憶部１０として用いられることになる。
【0091】
（第１の実施形態の条件選定装置による処理）
図５は、第１の実施形態の条件選定装置２による処理の流れを示すフローチャートである。図５に示すフローチャートが開始される前提として、条件選定装置２の訓練データ記憶部２１には、複数の訓練データが予め書き込まれる。変換統合条件記憶部１０と、処理結果記憶部２４とは、初期化され、データを記憶していない状態にされる。
図５は、第１の実施形態の条件選定装置２による処理の流れを示すフローチャートである。図５に示すフローチャートが開始される前提として、条件選定装置２の訓練データ記憶部２１には、複数の訓練データが予め書き込まれる。変換統合条件記憶部１０と、処理結果記憶部２４とは、初期化され、データを記憶していない状態にされる。
【0092】
条件選定装置２の変換パラメータ指定部１１ａは、外部から与えられるＮ個の変換パラメータξ１～ξＮを取り込み、取り込んだＮ個の変換パラメータξ１～ξＮを内部の記憶領域に書き込んで記憶させる（ステップＳｂ１）。統合部１６ａは、外部から与えられるＭ個の統合演算式を取り込み、取り込んだＭ個の統合演算式の各々に対応するＭ個の「統合演算式１」，…，「統合演算式Ｍ」のインデックスを生成する。統合部１６ａは、取り込んだＭ個の統合演算式と、Ｍ個の統合演算式の各々に対応するＭ個の「統合演算式１」，…，「統合演算式Ｍ」のインデックスとを関連付けて内部の記憶領域に書き込んで記憶させる。統合部１６ａは、生成したＭ個の「統合演算式１」，…，「統合演算式Ｍ」のインデックスを統合演算式選定部２３に出力する。統合演算式選定部２３は、Ｍ個の「統合演算式１」，…，「統合演算式Ｍ」のインデックスを取り込む。統合演算式選定部２３は、処理結果記憶部２４に、図６に示すデータ形式のテーブルであって、「正解データ」，「変換パラメータ」の項目と、取り込んだＭ個の「統合演算式１」，…，「統合演算式Ｍ」のインデックスの各々に対応するＭ個の「統合演算式１」，…，「統合演算式Ｍ」の項目とを有するテーブルを生成する（ステップＳｂ２）。
【0093】
データ読出部２２が、外部から開始指示信号を受けると（ステップＳｂ３）、ループＬｂ１ｓ～Ｌｂ１ｅの最初の処理が開始される。データ読出部２２は、訓練データ記憶部２１からいずれか１つの訓練データを読み出す。データ読出部２２は、訓練データを読み出すと、開始指示信号を変換パラメータ指定部１１ａに出力する。データ読出部２２は、読み出した訓練データに含まれている入力データを変換部１３に出力する。変換部１３は、データ読出部２２が出力する入力データを取り込む。データ読出部２２は、読み出した訓練データに含まれている正解データを統合演算式選定部２３に出力する（ステップＳｂ４）。
【0094】
統合演算式選定部２３は、データ読出部２２が出力する正解データを取り込む。ここで、統合演算式選定部２３が取り込んだ正解データであるベクトルｙを、取り込んだ順番を示す番号を添え字に示してベクトルｙ１、ベクトルｙ２、…として記載する。統合演算式選定部２３は、最初の正解データであるベクトルｙ１を取り込むと、処理結果記憶部２４のテーブルにレコードを１つ生成し、生成したレコードの「正解データ」の項目に、取り込んだベクトルｙ１を書き込む。
【0095】
変換パラメータ指定部１１ａは、データ読出部２２から開始指示信号を受けると、内部の記憶領域からＮ個の変換パラメータξ１～ξＮを読み出し、読み出したＮ個の変換パラメータξ１～ξＮを統合演算式選定部２３に出力する。統合演算式選定部２３は、変換パラメータ指定部１１ａが出力するＮ個の変換パラメータξ１～ξＮを取り込む。統合演算式選定部２３は、取り込んだＮ個の変換パラメータξ１～ξＮを、処理結果記憶部２４のテーブルにおいて、直近で生成したレコード、すなわち、「正解ラベル」の項目にベクトルｙ１が書き込まれているレコードの「変換パラメータ」の項目に書き込む。変換パラメータ指定部１１ａは、内部の記憶領域に記憶されているＮ個の変換パラメータξ１～ξＮの個数である「Ｎ」の値を、統合部１６ａに出力する。統合部１６ａは、変換パラメータ指定部１１ａが出力する「Ｎ」の値を取り込む（ステップＳｂ５）。
【0096】
変換パラメータ指定部１１ａは、データ読出部２２から開始指示信号を受けると、内部の記憶領域に記憶されているＮ個の変換パラメータξ１～ξＮの中から、いずれか１つである変換パラメータξｎを読み出す。変換パラメータ指定部１１ａは、読み出した変換パラメータξｎを変換部１３と、逆変換部１５とに出力する。これにより、ループＬｂ２ｓ～Ｌｂ２ｅの最初の処理が開始される。ループＬｂ２ｓ～Ｌｂ２ｅの処理は、図３に示すループＬａ１ｓ～Ｌａ１ｅの処理と同一の処理が行われる。なお、ステップＳｂ５の処理と、ループＬｂ２ｓ～Ｌｂ２ｅの処理とは、共に、ステップＳｂ４の処理において、データ読出部２２が入力データと、正解データとを出力することにより開始される処理であるため、並列に行われる。
【0097】
統合部１６ａは、ステップＳｂ５の処理で取り込んだ「Ｎ」の値を参照する。統合部１６ａは、ループＬｂ２ｓ～Ｌｂ２ｅの処理の間に、逆変換部１５が出力する逆変換データであるベクトルｐ１～ｐＮを取り込む。統合部１６ａは、取り込んだベクトルｐｎの個数がＮ個になると、内部の記憶領域に記憶されている「統合演算式１」，…，「統合演算式Ｍ」のインデックスが付与されたＭ個の統合演算式の中からいずれか１つの統合演算式と、当該統合演算式に関連付けられている「統合演算式ｍ」のインデックスを選択する。ここで、ｍは、１～Ｍの中の任意の整数である。統合部１６ａは、選択した「統合演算式ｍ」のインデックスを統合演算式選定部２３に出力する。統合部１６ａは、選択した統合演算式に基づいて、取り込んだベクトルｐ１～ｐＮを統合して統合データを生成する。統合部１６ａは、生成した統合データを分析部１７に出力する（ステップＳｂ９）。
【0098】
分析部１７は、図３に示すステップＳａ８の処理と同一の認識処理を行って、認識結果データを生成する。分析部１７は、生成した認識結果データを統合演算式選定部２３に出力する（ステップＳｂ１０）。統合演算式選定部２３は、ステップＳｂ９の処理において、統合部１６ａが出力する「統合演算式ｍ」のインデックスと、ステップＳｂ１０の処理において分析部１７が出力する認識結果データとを取り込む。統合演算式選定部２３は、処理結果記憶部２４のテーブルにおいて、直近で生成したレコード、すなわち「正解ラベル」の項目にベクトルｙ１が書き込まれているレコードを検出する。統合演算式選定部２３は、検出したレコードにおいて、取り込んだ「統合演算式ｍ」のインデックスに対応する「統合演算式ｍ」の項目に、取り込んだ認識結果データを書き込む。ここで、ｍ＝２とした場合、図６に示すように、正解データであるベクトルｙ１と、ｍ＝２である「統合演算式２」のインデックスとに対応する認識結果データであるベクトル＾ｙ１，２が「統合演算式２」の項目に書き込まれる（ステップＳｂ１１）。
【0099】
統合部１６ａは、未選択のいずれか１つの統合演算式を選択する。これにより、再び、ステップＳｂ９～Ｓｂ１１の処理が行われる（ループＬｂ３ｓ～Ｌｂ３ｅ）。Ｍ個の統合演算式の各々に対応するステップＳｂ９～Ｓｂ１１の処理が終了すると、ループＬｂ３ｓ～Ｌｂ３ｅの処理が終了する。統合演算式選定部２３は、処理結果記憶部２４のテーブルのベクトルｙ１に対応するレコードの「統合演算式１」，…，「統合演算式Ｍ」の全ての項目に認識結果データを書き込むと、継続指示信号をデータ読出部２２に出力する。
【0100】
データ読出部２２は、統合演算式選定部２３から継続指示信号を受けると、訓練データ記憶部２１から、それまでに処理対象として読み出していない、いずれか１つの訓練データを読み出す。データ読出部２２は、訓練データを読み出すと、開始指示信号を変換パラメータ指定部１１ａに出力する。これにより、データ読出部２２が読み出した訓練データに対して、ステップＳｂ４，Ｓｂ５、ループＬｂ２ｓ～Ｌｂ２ｅ、ループＬｂ３ｓ～Ｌｂ３ｅの処理が行われる（ループＬｂ１ｓ～Ｌｂ１ｅ）。データ読出部２２は、訓練データ記憶部２１に記憶されている全ての訓練データを処理対象として読み出した場合、それ以上、訓練データを読み出すことができないため、開始指示信号を変換パラメータ指定部１１ａに出力せず、終了指示信号を統合演算式選定部２３に出力する。
【0101】
統合演算式選定部２３は、データ読出部２２から終了指示信号を受けると、処理結果記憶部２４を参照する。統合演算式選定部２３は、処理結果記憶部２４に記憶されている全ての認識結果データと、認識結果データの各々に対応する正解データとに基づいて、例えば、認識結果データと、当該認識結果データに対応する正解データとが一致する度合いを算出する。統合演算式選定部２３は、算出した一致度合いが最も大きい、正解データと、認識結果データとの組み合わせを検出する。統合演算式選定部２３は、検出した認識結果データに基づいて、変換統合条件記憶部１０に書き込む変換パラメータと、統合演算式とを検出する。統合演算式選定部２３は、検出した変換パラメータと、統合演算式とを変換統合条件記憶部１０に書き込んで記憶させる（ステップＳｂ１２）。
【0102】
例えば、統合演算式選定部２３は、正解データであるベクトルｙ２と、認識結果データであるベクトル＾ｙ２，２とが一致する度合いが最も大きい正解データと、認識結果データの組み合わせとして検出したとする。この場合、統合演算式選定部２３は、ベクトルｙ２を含むレコードの「変換パラメータ」の項目に書き込まれている変換パラメータξ１～ξＮと、ベクトル＾ｙ２，２に対応する「統合演算式２」のインデックスに対応する統合演算式とを変換統合条件記憶部１０に書き込むことになる。統合演算式選定部２３による変換統合条件記憶部１０への書き込み処理が終了すると、図５の処理は終了する。
【0103】
変換統合条件記憶部１０に書き込まれた変換パラメータξ１～ξＮと、「統合演算式１」のインデックスに対応する統合演算式との組み合わせが、推論装置１に対して与える入力データに生じている画像劣化に対して最適な組み合わせになる。そのため、変換統合条件記憶部１０を、推論装置１の変換統合条件記憶部１０として用いることにより、推論装置１において精度の高い認識結果が得られることになる。
【0104】
なお、条件選定装置２によって選定する複数の変換パラメータと、１つの統合演算式との組み合わせは、共通する画像劣化を含んでいる複数の入力データに対して最適になっている。そのため、条件選定装置２の訓練データ記憶部２１に記憶されている訓練データに含まれている入力データの画像劣化とは異なる画像劣化を含んでいる入力データを推論装置１に与える場合、条件選定装置２を用いて、改めて複数の変換パラメータと、１つの統合演算式との組み合わせを選定する必要がある。
【0105】
（第１の実施形態の条件選定装置の他の構成例）
上記した第１の実施形態の条件選定装置２において、変換パラメータ指定部１１ａは、外部から取り込んだＮ個の変換パラメータξ１～ξＮの全てを用いてループＬｂ２ｓ～Ｌｂ２ｅの処理を行うようにしている。これに対して、訓練データごとに、変換パラメータ指定部１１ａが、変換部１３と、逆変換部１５とに対して指定する変換パラメータの組み合わせを変えるようにしてもよい。例えば、変換パラメータ指定部１１ａは、外部から与えられるＮ個より多い数の変換パラメータを取り込む。変換パラメータ指定部１１ａは、データ読出部２２から開始指示信号を受けるごとに、画像変換を行わない変換パラメータξ１を含むＮ個の変換パラメータを取り込んだ変換パラメータからランダムに選択する。変換パラメータ指定部１１ａが、ランダムに選択したＮ個の変換パラメータの各々に基づいて、ループＬｂ２ｓ～Ｌｂ２ｅの処理が行われるというようにしてもよい。
上記した第１の実施形態の条件選定装置２において、変換パラメータ指定部１１ａは、外部から取り込んだＮ個の変換パラメータξ１～ξＮの全てを用いてループＬｂ２ｓ～Ｌｂ２ｅの処理を行うようにしている。これに対して、訓練データごとに、変換パラメータ指定部１１ａが、変換部１３と、逆変換部１５とに対して指定する変換パラメータの組み合わせを変えるようにしてもよい。例えば、変換パラメータ指定部１１ａは、外部から与えられるＮ個より多い数の変換パラメータを取り込む。変換パラメータ指定部１１ａは、データ読出部２２から開始指示信号を受けるごとに、画像変換を行わない変換パラメータξ１を含むＮ個の変換パラメータを取り込んだ変換パラメータからランダムに選択する。変換パラメータ指定部１１ａが、ランダムに選択したＮ個の変換パラメータの各々に基づいて、ループＬｂ２ｓ～Ｌｂ２ｅの処理が行われるというようにしてもよい。
【0106】
この場合において、変換パラメータ指定部１１ａに対して外部から与える変換パラメータの個数を、Ｌ個とする場合、例えば、Ｎの値を、Ｌの１０％程度の値にするようにしてもよい。変換パラメータ指定部１１ａは、ランダムに選択する個数を、Ｎ個に固定するのではなく、選択ごとに、選択する変換パラメータの個数を、任意に変えるようにしてもよい。ところで、変換パラメータ指定部１１ａは、上記したように、ステップＳｂ５の処理において、統合部１６ａに対して、内部の記憶領域に記憶されているＮ個の変換パラメータξ１～ξＮの個数である「Ｎ」の値を出力するようにしている。これに対して、変換パラメータ指定部１１ａが、開始指示信号を受けるごとに、指定する変換パラメータの組み合わせを変更する場合、変換パラメータ指定部１１ａは、選択した変換パラメータの個数を、統合部１６ａに出力することになる。
【0107】
上記のように、訓練データごとに、変換パラメータの組み合わせが変わる場合、図６の処理結果記憶部２４のテーブルの「変換パラメータ」の項目に記憶される変換パラメータは、レコードごとに変わることになる。このようにすることで、共通の画像劣化を含んでいる複数の入力データに対する最適な変換パラメータと、統合演算式の組み合わせであって、かつ変換パラメータの個数が、外部から与えられる変換パラメータの個数よりも少なくなっている組み合わせを選定することが可能になる。そのため、推論装置１の処理の負荷を軽減することが可能になる。なお、条件選定装置２の統合部１６ａに対して外部から与える統合演算式の個数であるＭは、２以上の整数であるとしているが、訓練データごとに、変換パラメータの組み合わせが変わる場合、Ｍ＝１、すなわち、統合部１６ａに統合演算式の数を、１つにしてもよい。Ｍ＝１とする場合、統合演算式の選定を行うことにはならないが、条件選定装置２は、共通の画像劣化を含んでいる複数の入力データに対する最適な変換パラメータを選定することになる。
【0108】
上記の第１の実施形態の推論装置１において、変換パラメータ指定部１１は、変換パラメータを指定する。変換部１３は、入力データに対して、指定された変換パラメータの各々に基づく変換を行って変換データを生成する。信頼度マップ生成部１４は、変換データごとに、変換データの各々の特徴を示すデータである信頼度マップを生成する。逆変換部１５は、信頼度マップの各々に対して、各々に対応する変換データが生成された際に行われた変換に対する逆変換を、指定された変換パラメータの各々に基づいて行って逆変換データを生成する。統合部１６は、逆変換データの各々を統合する統合処理を行い、入力データの前記信頼度マップと次元数が一致する統合データを生成する。分析部１７は、統合データに対して分析処理の一例としての認識処理を行う。このように、入力データから変換により生成した変換データの信頼度マップを生成し、生成した信頼度マップを逆変換して統合し、統合した統合データに認識処理を行うことにより、入力データにおいて生じている未知の劣化に対して頑健性のある推論処理を行うことが可能になる。
【0109】
すなわち、第１の実施形態による推論装置１は、認識処理を行う前に、入力データに対して、複数の画像変換を行うことにより、画像劣化を軽減させた上で、特徴抽出を行い、抽出した特徴を含む信頼度マップを逆変換して統合する構成を備えている。言い換えると、推論装置１に採用されている手法は、変換部１３による画像変換と、逆変換部１５による画像変換の逆変換と、統合部１６によるアンサンブルと、信頼度マップ生成部１４及び分析部１７によるダウンサンプリングと、アップサンプリングとを含むセマンティックセグメンテーションのアルゴリズムという既存の手法を組み合わせた手法である。当該手法は、既存の手法を組み合わせた手法であるものの、未知の画像劣化による影響を軽減することができるという効果的な手法になっている。当該手法は、既存のセマンティックセグメンテーションのアルゴリズムを、再学習させることなく、そのまま利用することができる手法でもある。そのため、推論装置１は、学習済みのセマンティックセグメンテーションのニューラルネットワークに対して、微調整などの再学習を行うことなく、入力データにおいて生じている未知の劣化に対して頑健性のある推論処理を行うことを可能にしている。
【0110】
（第２の実施形態）
図７は、第２の実施形態による推論装置１ａの構成を示すブロック図である。第２の実施形態の推論装置１ａにおいて、第１の実施形態の推論装置１と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。推論装置１ａは、変換統合条件記憶部１０、変換パラメータ指定部１１、データ取込部１２ａ、変換部１３ａ、信頼度マップ生成部１４、逆変換部１５、統合部１６ｂ、分析部１７、出力部１８、及び品質評価部１９を備える。
図７は、第２の実施形態による推論装置１ａの構成を示すブロック図である。第２の実施形態の推論装置１ａにおいて、第１の実施形態の推論装置１と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。推論装置１ａは、変換統合条件記憶部１０、変換パラメータ指定部１１、データ取込部１２ａ、変換部１３ａ、信頼度マップ生成部１４、逆変換部１５、統合部１６ｂ、分析部１７、出力部１８、及び品質評価部１９を備える。
【0111】
データ取込部１２ａは、外部から与えられる入力データを取り込むと、取り込んだ入力データを変換部１３ａと、品質評価部１９とに出力する。品質評価部１９は、データ取込部１２ａが出力する入力データの品質を評価する。入力データが、例えば、画像データである場合、品質評価部１９は、例えば、品質として、画像データの画素密度を示す画像解像度によって示される画質を評価する。品質評価部１９は、評価した結果である品質を示すデータを統合部１６ｂに出力する。
【0112】
変換部１３ａは、以下に示す構成以外の構成については、第１の実施形態の変換部１３と同一の構成を備える。すなわち、第１の実施形態の変換部１３は、画像変換して生成した変換データを信頼度マップ生成部１４に出力する。これに対して、第２の実施形態の変換部１３ａは、画像変換して生成した変換データを信頼度マップ生成部１４と、統合部１６ｂとに出力する。
【0113】
統合部１６ｂは、以下に示す構成以外の構成については、第１の実施形態の統合部１６と同一の構成を備える。すなわち、第１の実施形態では、統合部１６が、式（１５）や式（１６）などの重みｗｎを含む統合演算式を用いて統合処理を行う場合、重みｗｎの値が予め定められていた。これに対して、第２の実施形態では、統合部１６ｂは、式（１５）や式（１６）などの重みｗｎを含む統合演算式を用いて統合処理を行う場合、品質評価部１９が出力する品質を示すデータに基づいて、逆変換データであるベクトルｐｎごとの重みｗｎの値を定める。
【0114】
（第２の実施形態の推論装置による処理）
図８は、第２の実施形態の推論装置１ａによる処理の流れを示すフローチャートである。図８において、ステップＳｃ１～ステップＳｃ３の処理は、図３のステップＳａ１～Ｓａ３と同一の処理であって、データ取込部１２をデータ取込部１２ａに読み替え、統合部１６を統合部１６ｂに読み替えた処理が行われる。ステップＳｃ３の処理において、データ取込部１２ａは、外部から与えられる認識対象の画像データである入力データを取り込むと、取り込んだ入力データを変換部１３ａと、品質評価部１９とに出力する。
図８は、第２の実施形態の推論装置１ａによる処理の流れを示すフローチャートである。図８において、ステップＳｃ１～ステップＳｃ３の処理は、図３のステップＳａ１～Ｓａ３と同一の処理であって、データ取込部１２をデータ取込部１２ａに読み替え、統合部１６を統合部１６ｂに読み替えた処理が行われる。ステップＳｃ３の処理において、データ取込部１２ａは、外部から与えられる認識対象の画像データである入力データを取り込むと、取り込んだ入力データを変換部１３ａと、品質評価部１９とに出力する。
【0115】
ループＬｃ１ｓ～Ｌｃ１ｅの処理は、図３のループＬａ１ｓ～Ｌａ１ｅと同一の処理であって、変換部１３を変換部１３ａに読み替えた処理が行われる。ループＬｃ１ｓ～Ｌｃ１ｅの処理に含まれるステップＳｃ４の処理において、変換部１３ａは、画像変換して生成した変換データを信頼度マップ生成部１４と、統合部１６ｂとに出力する。統合部１６ｂは、ループＬｃ１ｓ～Ｌｃ１ｅの処理の間に、変換部１３ａが出力する変換データを順次取り込む。
【0116】
ループＬｃ１ｓ～Ｌｃ１ｅの処理と並列に、品質評価部１９は、データ取込部１２ａが出力する入力データを取り込み、取り込んだ入力データの品質を評価する。品質評価部１９は、評価した品質を示すデータを統合部１６ｂに出力する。統合部１６ｂは、品質評価部１９が出力する品質を示すデータを取り込む（ステップＳｃ７）。
【0117】
統合部１６ｂは、ループＬｃ１ｓ～Ｌｃ１ｅの１回分の処理が行われると、変換部１３ａが出力する１つの変換データであるベクトル～ｘｎと、逆変換部１５が出力する１つの逆変換データであるベクトルｐｎとを取り込む。ループＬｃ１ｓ～Ｌｃ１ｅの１回分の処理が行われる際に、統合部１６ｂが取り込む１つのベクトル～ｘｎと、１つのベクトルｐｎとは、当該ベクトルｐｎが、当該ベクトル～ｘｎから生成された信頼度マップを逆変換したデータであるという対応関係がある。そのため、統合部１６ｂは、取り込んだ変換データであるベクトル～ｘｎと、取り込んだ逆変換データであるベクトルｐｎとの組み合わせを関連付けて内部の記憶領域に書き込んで記憶させる。
【0118】
統合部１６ｂは、変換統合条件記憶部１０に記憶されている変換パラメータξ１～ξＮの個数である「Ｎ」を参照する。統合部１６ｂは、取り込んだベクトルｐｎの個数がＮ個になると、ステップＳｃ２において変換統合条件記憶部１０から読み出した統合演算式に重みｗｎが含まれているか否かを判定する（ステップＳｃ８）。統合部１６ｂは、統合演算式に重みｗｎが含まれていないと判定した場合（ステップＳｃ８、Ｎｏ）、処理を、ステップＳｃ１０に進める。
【0119】
一方、統合部１６ｂは、統合演算式に重みｗｎが含まれていると判定した場合（ステップＳｃ８、Ｙｅｓ）、取り込んだ品質を示すデータに基づいて、逆変換データであるベクトルｐｎごとの重みｗｎの値を定める。例えば、統合部１６ｂは、変換統合条件記憶部１０から読み出した統合演算式が、式（１５）の重み付き最大値の統合演算式であり、品質を示すデータが、画像解像度を示すデータであるとする。統合部１６ｂは、入力データの画像解像度が、予め定められる閾値以上であるか否かに基づいて、入力データの画像解像度が高いか、または、低いかを判定する。
【0120】
統合部１６ｂは、入力データの画像解像度が、予め定められる閾値以上である場合、入力データの画質が高いと判定する。この場合、統合部１６ｂは、内部の記憶領域に記憶されている変換データであるベクトル～ｘｎの各々の画像解像度を検出する。統合部１６ｂは、検出した画像解像度に基づいて、画像解像度が高いベクトル～ｘｎの方が高い順位になるように、ベクトル～ｘｎに順位を付与する。統合部１６ｂは、高い順位のベクトル～ｘｎに関連付けられているベクトルｐｎの重みｗｎの値が大きくなるように、ベクトルｐｎごとの重みｗｎの値を定める。
【0121】
これに対して、統合部１６ｂは、入力データの画像解像度が、予め定められる閾値未満である場合、入力データの画質が低いと判定する。この場合、統合部１６ｂは、内部の記憶領域に記憶されている変換データであるベクトル～ｘｎの各々の画像解像度を検出する。統合部１６ｂは、検出した画像解像度に基づいて、画像解像度が低いベクトル～ｘｎの方が高い順位になるように、ベクトル～ｘｎに順位を付与する。統合部１６ｂは、高い順位のベクトル～ｘｎに関連付けられているベクトルｐｎの重みｗｎの値が大きくなるように、ベクトルｐｎごとの重みｗｎの値を定める。上記のようにして、統合部１６ｂは、品質を示すデータに基づいて、統合演算式に含まれている重みｗｎの値を定める（ステップＳｃ９）。ステップＳｃ１０～ステップＳｃ１２の処理は、図３のステップＳａ７～ステップＳａ９の処理と同一の処理であって、統合部１６を統合部１６ｂに読み替えた処理が行われる。
【0122】
上記の第２の実施形態の構成により、統合演算式に重みｗｎが含まれている場合、入力データの品質に基づいて、統合演算式の重みｗｎの値を定めることができるため、より精度の高い認識処理の結果が得られることになる。なお、上記した、入力データの画像解像度の画質が高い場合に、画像解像度が高いベクトル～ｘｎの方に関連付けられているベクトルｐｎの重みｗｎの値を大きくし、入力データの画像解像度の画質が低い場合に、画像解像度が低いベクトル～ｘｎの方に関連付けられているベクトルｐｎの重みｗｎの値を大きくする理由は、以下の通りである。すなわち、入力データの画質が高い場合、画像解像度の高いベクトル～ｘｎに関連付けられているベクトルｐｎに基づいて得られる認識結果がより正しくなることが期待される。なぜならば、画像解像度が低いベクトルｐｎは、ノイズやボケなどの画像の劣化に頑健であるものの、例えば、小さな物体については正しいセグメンテーション結果が得られない場合があるからである。そのため、入力データの画質が高い場合、画像解像度が高いベクトル～ｘｎの方に関連付けられているベクトルｐｎの重みｗｎの値を大きくしている。これに対して、入力データの画質が低い場合、画像解像度の低いベクトル～ｘｎに関連付けられているベクトルｐｎに基づいて得られる認識結果がより正しくなることが期待される。なぜならば、画像解像度の低いベクトル～ｘｎに関連付けられているベクトルｐｎの方が、強いノイズやボケなどの画像の劣化に頑健であるからである。そのため、入力データの画質が低い場合、画像解像度が低いベクトル～ｘｎの方に関連付けられているベクトルｐｎの重みｗｎの値を大きくしている。
【0123】
（第２の実施形態の推論装置の他の構成例（その１））
上記の第２の実施形態では、統合部１６ｂは、予め定められる１つの閾値に基づいて、入力データの画像解像度が、高いか、低いかを判定するようにしている。これに対して、第１の閾値の方が、第２の閾値よりも大きな値となるように、第１の閾値と、第２の閾値という２つの閾値を予め定め、以下のような処理を行うようにしてもよい。統合部１６ｂは、入力データの画像解像度が、予め定められる第１の閾値以上である場合、入力データの画質が高いと判定し、上記した入力データの画質が高いと判定した場合のベクトルｐｎごとの重みｗｎの値を定める処理を行う。統合部１６ｂは、入力データの画像解像度が、予め定められる第２の閾値未満である場合、入力データの画質が低いと判定し、上記した入力データの画質が低いと判定した場合のベクトルｐｎごとの重みｗｎの値を定める処理を行う。統合部１６は、入力データの画像解像度が、第１の閾値未満であって、かつ第２の閾値以上である場合、第１の実施形態と同様に、予め定めた重みｗｎを適用する。
上記の第２の実施形態では、統合部１６ｂは、予め定められる１つの閾値に基づいて、入力データの画像解像度が、高いか、低いかを判定するようにしている。これに対して、第１の閾値の方が、第２の閾値よりも大きな値となるように、第１の閾値と、第２の閾値という２つの閾値を予め定め、以下のような処理を行うようにしてもよい。統合部１６ｂは、入力データの画像解像度が、予め定められる第１の閾値以上である場合、入力データの画質が高いと判定し、上記した入力データの画質が高いと判定した場合のベクトルｐｎごとの重みｗｎの値を定める処理を行う。統合部１６ｂは、入力データの画像解像度が、予め定められる第２の閾値未満である場合、入力データの画質が低いと判定し、上記した入力データの画質が低いと判定した場合のベクトルｐｎごとの重みｗｎの値を定める処理を行う。統合部１６は、入力データの画像解像度が、第１の閾値未満であって、かつ第２の閾値以上である場合、第１の実施形態と同様に、予め定めた重みｗｎを適用する。
【0124】
（第２の実施形態の推論装置の他の構成例（その２））
上記の第２の実施形態では、統合部１６ｂは、品質評価部１９が出力する入力データの品質を示すデータと、変換データであるベクトル～ｘｎとに基づいて、重みｗｎの値を定めるようにしている。これに対して、統合部１６は、品質評価部１９が出力する入力データの品質を示すデータと、変換パラメータξｎとに基づいて、重みｗｎの値を定めるようにしてもよい。変換パラメータξｎの内容が分かれば、変換パラメータξｎによる画像変換によって得られる変換データの相対的な画像解像度を算出することができるからである。この場合、推論装置１ａを以下のような構成にする必要がある。
上記の第２の実施形態では、統合部１６ｂは、品質評価部１９が出力する入力データの品質を示すデータと、変換データであるベクトル～ｘｎとに基づいて、重みｗｎの値を定めるようにしている。これに対して、統合部１６は、品質評価部１９が出力する入力データの品質を示すデータと、変換パラメータξｎとに基づいて、重みｗｎの値を定めるようにしてもよい。変換パラメータξｎの内容が分かれば、変換パラメータξｎによる画像変換によって得られる変換データの相対的な画像解像度を算出することができるからである。この場合、推論装置１ａを以下のような構成にする必要がある。
【0125】
推論装置１ａにおいて、変換部１３ａを、第１の実施形態の変換部１３に置き換える。変換パラメータ指定部１１は、ループＬｃ１ｓ～Ｌｃ１ｅの処理において、変換部１３と、逆変換部１５とに変換パラメータを出力する際に、統合部１６ｂにも変換パラメータξｎを出力する。統合部１６ｂは、ループＬｃ１ｓ～Ｌｃ１ｅの処理ごとに、変換パラメータ指定部１１が出力する１つの変換パラメータξｎと、逆変換部１５が出力する１つの逆変換データであるベクトルｐｎとを取り込む。統合部１６ｂは、取り込んだ１つの変換パラメータξｎと、１つの逆変換データであるベクトルｐｎとを関連付けて内部の記憶領域に書き込んで記憶させる。
【0126】
統合部１６ｂは、ステップＳｃ９の処理において、内部の記憶領域に記憶されている変換パラメータξｎの各々に基づいて、各々の変換パラメータξｎを用いて変換部１３が画像変換した際に得られる変換データの相対的な画像解像度を算出する。統合部１６ｂは、入力データの画質が高いと判定した場合、算出した相対的な画像解像度に基づいて、相対的な画像解像度が高い変換パラメータξｎの方が高い順位になるように、変換パラメータξｎに順位を付与する。統合部１６ｂは、高い順位の変換パラメータξｎに関連付けられているベクトルｐｎの重みｗｎの値が大きくなるように、ベクトルｐｎごとの重みｗｎの値を定める。これに対して、統合部１６ｂは、入力データの画質が低いと判定した場合、算出した相対的な画像解像度に基づいて、相対的な画像解像度が低い変換パラメータξｎの方が高い順位になるように、変換パラメータξｎに順位を付与する。統合部１６ｂは、高い順位の変換パラメータξｎに関連付けられているベクトルｐｎの重みｗｎの値が大きくなるように、ベクトルｐｎごとの重みｗｎの値を定める。
【0127】
（第２の実施形態におけるその他の補足的な構成）
上記の第２の実施形態の推論装置の他の構成例（その２）の構成に対して、第２の実施形態の推論装置の他の構成例（その１）の構成を適用するようにしてもよい。上記の第２の実施形態において、品質評価部１９は、画像解像度以外の品質を評価するようにしてもよい。上記の第２の実施形態において、統合部１６ｂは、重みｗｎを定める際に、変換データであるベクトル～ｘｎから画像解像度以外の指標を算出し、算出した指標と、品質評価部１９が出力する入力データの品質を示すデータとに基づいて、重みｗｎを定めるようにしてもよい。上記の第２の実施形態の他の構成例（その２）において、統合部１６ｂは、変換パラメータξｎから相対的な画像解像度以外の指標を算出し、算出した指標と、品質評価部１９が出力する入力データの品質を示すデータとに基づいて、重みｗｎを定めるようにしてもよい。
上記の第２の実施形態の推論装置の他の構成例（その２）の構成に対して、第２の実施形態の推論装置の他の構成例（その１）の構成を適用するようにしてもよい。上記の第２の実施形態において、品質評価部１９は、画像解像度以外の品質を評価するようにしてもよい。上記の第２の実施形態において、統合部１６ｂは、重みｗｎを定める際に、変換データであるベクトル～ｘｎから画像解像度以外の指標を算出し、算出した指標と、品質評価部１９が出力する入力データの品質を示すデータとに基づいて、重みｗｎを定めるようにしてもよい。上記の第２の実施形態の他の構成例（その２）において、統合部１６ｂは、変換パラメータξｎから相対的な画像解像度以外の指標を算出し、算出した指標と、品質評価部１９が出力する入力データの品質を示すデータとに基づいて、重みｗｎを定めるようにしてもよい。
【0128】
（第３の実施形態）
図９は、第３の実施形態による変換パラメータ選択装置３の構成を示すブロック図である。変換パラメータ選択装置３は、例えば、第１の実施形態の条件選定装置２と共に用いられる装置である。第１の実施形態の条件選定装置２の統合演算式選定部２３が、変換統合条件記憶部１０に書き込んだ複数の変換パラメータの中には、分析部１７による認識処理における精度の向上に対して寄与の低い変換パラメータが存在する場合も想定される。このような寄与の低い変換パラメータを除外することで、推論装置１が行う処理の負荷を軽減することが可能になる。変換パラメータ選択装置３は、このような寄与の低い変換パラメータを検出し、検出した変換パラメータを変換統合条件記憶部１０に記憶されている複数の変換パラメータから削除して、変換統合条件記憶部１０に記憶させる複数の変換パラメータを選択する装置である。
図９は、第３の実施形態による変換パラメータ選択装置３の構成を示すブロック図である。変換パラメータ選択装置３は、例えば、第１の実施形態の条件選定装置２と共に用いられる装置である。第１の実施形態の条件選定装置２の統合演算式選定部２３が、変換統合条件記憶部１０に書き込んだ複数の変換パラメータの中には、分析部１７による認識処理における精度の向上に対して寄与の低い変換パラメータが存在する場合も想定される。このような寄与の低い変換パラメータを除外することで、推論装置１が行う処理の負荷を軽減することが可能になる。変換パラメータ選択装置３は、このような寄与の低い変換パラメータを検出し、検出した変換パラメータを変換統合条件記憶部１０に記憶されている複数の変換パラメータから削除して、変換統合条件記憶部１０に記憶させる複数の変換パラメータを選択する装置である。
【0129】
第３の実施形態の変換パラメータ選択装置３において、第１の実施形態の推論装置１、及び条件選定装置２と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。変換パラメータ選択装置３は、変換統合条件記憶部１０、変換パラメータ指定部１１ｂ、変換部１３、信頼度マップ生成部１４、逆変換部１５、分析部１７、訓練データ記憶部２１ａ、データ読出部２２、処理結果記憶部２４ａ、及び変換パラメータ選択部２５を備える。なお、第１の実施形態の条件選定装置２が備えるデータ読出部２２は、訓練データ記憶部２１と、変換パラメータ指定部１１ａと、変換部１３と、統合演算式選定部２３に接続している。これに対して、第３の実施形態の変換パラメータ選択装置３が備えるデータ読出部２２は、変換部１３に接続し、訓練データ記憶部２１に替えて訓練データ記憶部２１ａに接続し、変換パラメータ指定部１１ａに替えて変換パラメータ指定部１１ｂに接続し、統合演算式選定部２３に替えて変換パラメータ選択部２５に接続する。
【0130】
変換パラメータ選択装置３が備える変換統合条件記憶部１０は、第１の実施形態の条件選定装置２において、統合演算式選定部２３によって複数の変換パラメータと、１つの統合演算式とが書き込まれた変換統合条件記憶部１０である。ここでは、変換統合条件記憶部１０に記憶されている複数の変換パラメータは、一例として、Ｎ個の変換パラメータξ１～ξＮであるとする。
【0131】
変換パラメータ指定部１１ｂは、変換統合条件記憶部１０に記憶されているＮ個の変換パラメータξ１～ξＮを読み出す。変換パラメータ指定部１１ｂは、読み出したＮ個の変換パラメータξ１～ξＮの各々に対してＮ個の「変換パラメータ１」，…，「変換パラメータＮ」のインデックスを生成する。変換パラメータ指定部１１ｂは、開始指示信号を受けると、Ｎ個の変換パラメータξ１～ξＮの中から１つの変換パラメータξｎを選択する。変換パラメータ指定部１１ｂは、選択した変換パラメータξｎを変換部１３と、逆変換部１５とに出力することにより、変換部１３と、逆変換部１５とが用いる変換パラメータξｎを指定する。変換パラメータ指定部１１ｂは、更に、選択した変換パラメータξｎに対応する「変換パラメータｎ」のインデックスを変換パラメータ選択部２５に出力する。
【0132】
訓練データ記憶部２１ａは、複数の訓練データを予め記憶する。第１の実施形態では、生成した複数の訓練データを全て条件選定装置２の訓練データ記憶部２１に記憶させるようにしていた。これに対して、第３の実施形態では、生成した複数の訓練データの一部をバリデーションデータとして選択し、バリデーションデータとして選択した訓練データを、条件選定装置２の訓練データ記憶部２１に記憶させずに、変換パラメータ選択装置３の訓練データ記憶部２１ａに記憶させる。処理結果記憶部２４ａは、データ読出部２２が変換パラメータ選択部２５に出力する正解データごとに、分析部１７が変換パラメータ選択部２５に出力するＮ個の認識結果データを記憶する。
【0133】
変換パラメータ選択部２５は、ある１つの訓練データに対して、変換統合条件記憶部１０に記憶されている変換パラメータξ１～ξＮの個数であるＮに一致するＮ個の認識結果データが得られた場合、継続指示信号をデータ読出部２２に出力する。変換パラメータ選択部２５は、終了指示信号を受けると、終了指示信号を受けるまでに得られた全ての認識結果データと、認識結果データの各々に対応する正解データとに基づいて、複数の変換パラメータから除外する変換パラメータを選択する。変換パラメータ選択部２５は、選択した変換パラメータを変換統合条件記憶部１０から削除する。変換パラメータ選択部２５によって変換パラメータが削除された後の変換統合条件記憶部１０が、図１の推論装置１の変換統合条件記憶部１０として用いられることになる。
【0134】
（第３の実施形態の変換パラメータ選択装置の処理）
図１０は、第３の実施形態の変換パラメータ選択装置３による処理の流れを示すフローチャートである。図１０に示すフローチャートが開始される前提として、変換パラメータ選択装置３の訓練データ記憶部２１には、バリデーションデータとして選択された複数の訓練データが予め書き込まれる。変換統合条件記憶部１０には、条件選定装置２の統合演算式選定部２３によって書き込まれたＮ個の変換パラメータξ１～ξＮと、１つの統合演算式が書き込まれている。処理結果記憶部２４ａは、初期化され、データを記憶していない状態にされる。
図１０は、第３の実施形態の変換パラメータ選択装置３による処理の流れを示すフローチャートである。図１０に示すフローチャートが開始される前提として、変換パラメータ選択装置３の訓練データ記憶部２１には、バリデーションデータとして選択された複数の訓練データが予め書き込まれる。変換統合条件記憶部１０には、条件選定装置２の統合演算式選定部２３によって書き込まれたＮ個の変換パラメータξ１～ξＮと、１つの統合演算式が書き込まれている。処理結果記憶部２４ａは、初期化され、データを記憶していない状態にされる。
【0135】
変換パラメータ選択装置３が起動すると、変換パラメータ指定部１１ｂは、変換統合条件記憶部１０に記憶されているＮ個の変換パラメータξ１～ξＮを読み出す。変換パラメータ指定部１１ｂは、読み出したＮ個の変換パラメータξ１～ξＮの各々に対応するＮ個の「変換パラメータ１」，…，「変換パラメータＮ」のインデックスを生成する。変換パラメータ指定部１１ｂは、読み出したＮ個の変換パラメータξ１～ξＮと、Ｎ個の変換パラメータξ１～ξＮの各々に対応するＮ個の「変換パラメータ１」，…，「変換パラメータＮ」のインデックスとを関連付けて内部の記憶領域に書き込んで記憶させる。変換パラメータ指定部１１ｂは、生成したＮ個の「変換パラメータ１」，…，「変換パラメータＮ」のインデックスを変換パラメータ選択部２５に出力する（ステップＳｄ１）。
【0136】
変換パラメータ選択部２５は、Ｎ個の「変換パラメータ１」，…，「変換パラメータＮ」のインデックスを取り込む。変換パラメータ選択部２５は、処理結果記憶部２４ａに、図１１に示すデータ形式のテーブルであって、「正解データ」の項目と、取り込んだＮ個の「変換パラメータ１」，…，「変換パラメータＮ」のインデックスの各々に対応するＮ個の「変換パラメータ１」，…，「変換パラメータＮ」の項目とを有するテーブルを生成する（ステップＳｄ２）。
【0137】
データ読出部２２が、外部から開始指示信号を受けると（ステップＳｄ３）、ループＬｄ１ｓ～Ｌｄ１ｅの最初の処理が開始される。データ読出部２２は、訓練データ記憶部２１ａからいずれか１つの訓練データを読み出す。データ読出部２２は、訓練データを読み出すと、開始指示信号を変換パラメータ指定部１１ｂに出力する。データ読出部２２は、読み出した訓練データに含まれている入力データを変換部１３に出力する。変換部１３は、データ読出部２２が出力する入力データを取り込む。データ読出部２２は、読み出した訓練データに含まれている正解データを変換パラメータ選択部２５に出力する（ステップＳｄ４）。
【0138】
変換パラメータ選択部２５は、データ読出部２２が出力する正解データを取り込む。ここで、変換パラメータ選択部２５が取り込んだ正解データであるベクトルｙを、取り込んだ順番を示す番号を添え字に示してベクトルｙ１、ベクトルｙ２、…として記載する。変換パラメータ選択部２５は、最初の正解データであるベクトルｙ１を取り込むと、処理結果記憶部２４ａのテーブルにレコードを１つ生成し、生成したレコードの「正解データ」の項目に、取り込んだベクトルｙ１を書き込む（ステップＳｄ５）。
【0139】
変換パラメータ指定部１１ｂは、データ読出部２２から開始指示信号を受けると、内部の記憶領域に記憶されているＮ個の変換パラメータξ１～ξＮの中からいずれか１つの変換パラメータξｎを選択して読み出す。変換パラメータ指定部１１ｂは、更に、内部の記憶領域から、読み出した変換パラメータξｎに関連付けられている「変換パラメータｎ」のインデックスを読み出す。変換パラメータ指定部１１ｂは、読み出した変換パラメータξｎを変換部１３と、逆変換部１５とに出力し、読み出した「変換パラメータｎ」のインデックスを変換パラメータ選択部２５に出力する。これにより、ループＬｄ２ｓ～Ｌｄ２ｅの最初の処理が開始される。ループＬｄ２ｓ～Ｌｄ２ｅに含まれる処理において、ステップＳｄ６～Ｓｄ８の処理は、図３のステップＳａ４～Ｓａ６の処理と同一の処理が行われる。
【0140】
ステップＳｄ８の処理において、逆変換部１５は、生成した逆変換データであるベクトルｐｎを分析部１７に出力する。分析部１７は、逆変換部１５が出力する逆変換データであるベクトルｐｎを取り込み、取り込んだベクトルｐｎに対して、式（４）に示す関数ｇ（・）を適用する認識処理を行って認識結果データを生成する。分析部１７は、認識結果データであるベクトル＾ｙを変換パラメータ選択部２５に出力する（ステップＳｄ９）。
【0141】
変換パラメータ選択部２５は、変換パラメータ指定部１１ｂが出力する「変換パラメータｎ」のインデックスと、分析部１７が出力する認識結果データとを取り込む。変換パラメータ選択部２５は、直近で生成したレコード、すなわち、処理結果記憶部２４のテーブルの「正解データ」の項目がベクトルｙ１であるレコードにおいて、取り込んだ「変換パラメータｎ」のインデックスに対応する「変換パラメータｎ」の項目に、取り込んだ認識結果データを書き込む。ここで、ｎ＝２とした場合、図１１に示すように、正解データであるベクトルｙ１と、ｎ＝２である「変換パラメータ２」のインデックスとに対応する認識結果データであるベクトル＾ｙ１，２が「変換パラメータ２」の項目に書き込まれる（ステップＳｄ１０）。
【0142】
変換パラメータ指定部１１ｂは、内部の記憶領域に記憶されている変換パラメータξ１～ξＮの中から未選択のいずれか１つの変換パラメータと、当該変換パラメータに対応するインデックスとを読み出す。これにより、再び、ステップＳｄ６～Ｓｄ１０の処理が行われる（ループＬｄ２ｓ～Ｌｄ２ｅ）。なお、ステップＳｄ５の処理と、ループＬｄ２ｓ～Ｌｄ２ｅの処理とは、共に、ステップＳｄ４の処理において、データ読出部２２が入力データと、正解データとを出力することにより開始される処理であるため、並列に行われる。
【0143】
Ｎ個の変換パラメータξ１～ξＮの各々に対応するステップＳｄ６～Ｓｄ１０の処理が終了すると、ループＬｄ２ｓ～Ｌｄ２ｅの処理が終了する。変換パラメータ指定部１１ｂは、処理結果記憶部２４ａのテーブルのベクトルｙ１に対応するレコードの「変換パラメータ１」，…，「変換パラメータＮ」の全ての項目に認識結果データを書き込むと、継続指示信号をデータ読出部２２に出力する。
【0144】
データ読出部２２は、変換パラメータ指定部１１ｂから継続指示信号を受けると、訓練データ記憶部２１ａから、それまでに処理対象として読み出していない、いずれか１つの訓練データを読み出す。データ読出部２２は、訓練データを読み出すと、開始指示信号を変換パラメータ指定部１１ｂに出力する。これにより、データ読出部２２が読み出した訓練データに対して、ステップＳｄ４，Ｓｄ５、ループＬｄ２ｓ～Ｌｄ２ｅの処理が行われる（ループＬｄ１ｓ～Ｌｄ１ｅ）。データ読出部２２は、訓練データ記憶部２１ａに記憶されている全ての訓練データを処理対象として読み出した場合、それ以上、訓練データを読み出すことができないため、開始指示信号を変換パラメータ指定部１１ｂに出力せず、終了指示信号を変換パラメータ選択部２５に出力する。
【0145】
変換パラメータ選択部２５は、データ読出部２２から終了指示信号を受けると、処理結果記憶部２４ａを参照する。変換パラメータ選択部２５は、処理結果記憶部２４ａに記憶されている全ての認識結果データと、認識結果データの各々に対応する正解データとに基づいて、例えば、認識結果データと、当該認識結果データに対応する正解データとが一致する度合いを算出する。変換パラメータ選択部２５は、例えば、算出した一致度合いを示す数値を、変換パラメータξ１～ξＮごとに合計し、合計した値を変換パラメータξ１～ξＮごとの一致度合いを示す値とする。変換パラメータ選択部２５は、一致度合いを示す値が、予め定められる閾値未満の変換パラメータを、分析部１７による認識処理における精度の向上に対して寄与の低い変換パラメータとして選択する。変換パラメータ選択部２５は、選択した変換パラメータを、変換統合条件記憶部１０から削除して（ステップＳｄ１１）、処理を終了する。なお、変換パラメータ選択部２５は、一致度合いを示す値が小さい方から順に、予め定められる個数の変換パラメータを、分析部１７による認識処理における精度の向上に対して寄与の低い変換パラメータとして選択するようにしてもよい。
【0146】
これにより、分析部１７による認識処理における精度の向上に対して寄与の低い変換パラメータを変換統合条件記憶部１０から削除することができるので、変換統合条件記憶部１０に記憶されている複数の変換パラメータに基づいて処理を行う推論装置１の処理の負荷を軽減することが可能になる。
【0147】
（その他の補足的な構成）
上記の第１及び第２の実施形態では、推論装置１，１ａ、及び条件選定装置２において、画像変換を行わない変換パラメータξ１を、変換部１３，１３ａと、逆変換部１５とに出力する変換パラメータに含めるようにしている。これに対して、画像変換を行わない変換パラメータξ１を変換部１３，１３ａと、逆変換部１５とに出力する変換パラメータに含めないようにしてもよい。言い換えると、推論装置１，１ａの変換統合条件記憶部１０に予め記憶させるＮ個の変換パラメータξ１～ξＮの全てを、画像変換を行う変換パラメータとしてもよい。条件選定装置２に外部から与えるＮ個の変換パラメータξ１～ξＮの全てを、画像変換を行う変換パラメータとしてもよい。Ｎ個の変換パラメータξ１～ξＮの全てを、画像変換を行う変換パラメータとする場合、Ｎ＝１としてもよい。すなわち、推論装置１，１ａの変換統合条件記憶部１０に予め記憶させる１つの変換パラメータを、画像変換を行う変換パラメータとしてもよい。条件選定装置２の変換パラメータ指定部１１ａに外部から与える変換パラメータを、１つの画像変換を行う変換パラメータとしてもよい。上記した第１の実施形態の他の構成例で示した変換パラメータ指定部１１ａが、ランダムに変換パラメータを選択する場合、変換パラメータ指定部１１ａは、画像変換を行う複数の変換パラメータを選択するようにしてもよいし、画像変換を行ういずれか１つの変換パラメータを選択するようにしてもよい。
上記の第１及び第２の実施形態では、推論装置１，１ａ、及び条件選定装置２において、画像変換を行わない変換パラメータξ１を、変換部１３，１３ａと、逆変換部１５とに出力する変換パラメータに含めるようにしている。これに対して、画像変換を行わない変換パラメータξ１を変換部１３，１３ａと、逆変換部１５とに出力する変換パラメータに含めないようにしてもよい。言い換えると、推論装置１，１ａの変換統合条件記憶部１０に予め記憶させるＮ個の変換パラメータξ１～ξＮの全てを、画像変換を行う変換パラメータとしてもよい。条件選定装置２に外部から与えるＮ個の変換パラメータξ１～ξＮの全てを、画像変換を行う変換パラメータとしてもよい。Ｎ個の変換パラメータξ１～ξＮの全てを、画像変換を行う変換パラメータとする場合、Ｎ＝１としてもよい。すなわち、推論装置１，１ａの変換統合条件記憶部１０に予め記憶させる１つの変換パラメータを、画像変換を行う変換パラメータとしてもよい。条件選定装置２の変換パラメータ指定部１１ａに外部から与える変換パラメータを、１つの画像変換を行う変換パラメータとしてもよい。上記した第１の実施形態の他の構成例で示した変換パラメータ指定部１１ａが、ランダムに変換パラメータを選択する場合、変換パラメータ指定部１１ａは、画像変換を行う複数の変換パラメータを選択するようにしてもよいし、画像変換を行ういずれか１つの変換パラメータを選択するようにしてもよい。
【0148】
上記した訓練データ記憶部２１，２１ａには、複数の訓練データを記憶させるとしているが、訓練データ記憶部２１、２１ａに記憶させる訓練データの個数は、１つであってもよい。
【0149】
上記の第１及び第２の実施形態の推論装置１，１ａでは、変換パラメータ指定部１１は、図３のループＬａ１ｓ～Ｌａ１ｅ、及び図８のループＬｃ１ｓ～Ｌｃ１ｅの処理において、変換統合条件記憶部１０に記憶されている全ての変換パラメータを選択するようにしている。これに対して、変換パラメータ指定部１１は、変換統合条件記憶部１０に記憶されている変換パラメータの中からランダムに予め定められる個数の変換パラメータ、または、任意に定める個数の変換パラメータを選択して、図３のループＬａ１ｓ～Ｌａ１ｅ、及び図８のループＬｃ１ｓ～Ｌｃ１ｅの処理を行うようにしてもよい。この場合、変換パラメータ指定部１１は、ランダムに変換パラメータを選択した際に、選択した変換パラメータの個数を統合部１６，１６ｂに出力する必要がある。統合部１６，１６ｂは、変換統合条件記憶部１０に記憶されている変換パラメータの個数ではなく、変換パラメータ指定部１１が出力する変換パラメータの個数に基づいて、全ての逆変換データを取り込んだか否かを判定することになる。
【0150】
第２の実施形態の推論装置１ａが備える品質評価部１９を、第１の実施形態の条件選定装置２に適用するようにしてもよい。この場合、品質評価部１９は、条件選定装置２のデータ読出部２２と、統合部１６ａとに接続し、データ読出部２２は、訓練データに含まれている入力データを変換部１３に出力する際に、当該入力データを品質評価部１９にも出力することになる。変換部１３は、変換部１３ａに置き換えられ、変換部１３ａは、信頼度マップ生成部１４と、統合部１６ａとに変換データを出力することになる。統合部１６ａは、第２の実施形態の統合部１６ｂと同じく、重みｗｎを含む統合演算式により統合処理を行う場合、品質評価部１９が出力する品質を示すデータに基づいて、重みｗｎの値を定めることになる。品質評価部１９が適用された第１の実施形態の条件選定装置２に対して、上記した「第２の実施形態の推論装置１ａの他の構成例」の（その１）及び（その２）、並びに「第２の実施形態におけるその他の補足的な構成」を適用するようにしてもよい。
【0151】
第１の実施形態の他の構成例の条件選定装置２と、第３の実施形態の変換パラメータ選択装置３とを共に用いるようにしてもよい。この場合、第１の実施形態の他の構成例の条件選定装置２は、変換パラメータをランダムに選択する処理を行い、ランダムに選択した変換パラメータの組み合わせの中から、入力データの画像劣化に対して最適な変換パラメータを選択することになる。そのため、ランダムに変換パラメータを選択することによる統計的な性質、すなわち、偏った変換パラメータの組み合わせになることを防ぎつつ、推論装置１，１ａの処理の負荷の軽減を図っていることになる。これに対して、変換パラメータ選択装置３が行う変換パラメータの選択は、分析部１７による認識処理における精度の向上に対して寄与の低い変換パラメータを削除することにより推論装置１，１ａの処理の負荷の軽減を図っているという違いがある。
【0152】
上記の第１から第３の実施形態、及び他の構成例では、入力データを縦方向と、横方向と、チャネル方向を有する３次元のデータ、言い換えると、２次元の画像データとしている。これに対して、入力データとして、一般的に機械学習に適用するデータであれば、どのようなデータを適用してもよい。例えば、入力データを、音声、音響、振動のような１次元の時系列データとしてもよいし、３次元の画像データなどの４次元以上のデータとしてもよいし、自然言語のような記号データとしてもよい。
【0153】
上記した訓練データ記憶部２１，２１ａに記憶させる訓練データに含まれている正解データとして、例えば、セマンティックセグメンテーションにおけるクラスを正解データとしている。これに対して、正解データとして、一般的に機械学習が適用される際の目的変数となるデータであれば、どのようなデータを適用してもよい。例えば、正解データを、属性、クラス名、人物ＩＤ（Identification）など、クラスやラベルに相当するデータを数値化したデータとしてもよいし、入力データと同一種類のデータとしてもよい。ここで、正解データを、入力データと同一種類のデータにするとは、入力データが画像の種類のデータである場合、正解データも画像の種類のデータにするということである。なお、一般的に機械学習では、クラスやラベルに相当するデータを目的変数とする場合、識別、または、認証が目的となり、入力データと同一種類のデータを目的変数とする場合、回帰が目的となる。
【0154】
上記した信頼度マップ生成部１４、及び分析部１７は、セマンティックセグメンテーションのアルゴリズムに基づく処理を行うようにしている。これに対して、信頼度マップ生成部１４と、分析部１７とが、セマンティックセグメンテーションのアルゴリズム以外の学習済みのニューラルネットワークを用いるアルゴリズムに基づく処理を行ってもよいし、セマンティックセグメンテーションのアルゴリズム以外のアルゴリズムであってニューラルネットワークを用いないアルゴリズムに基づく処理を行うようにしてもよい。
【0155】
上記した分析部１７は、認識処理、例えば、セマンティックセグメンテーションのアルゴリズムにおいて行われる画像の領域をクラスごとに分割する画像分割処理を行うとしている。これに対して、分析部１７は、セマンティックセグメンテーションのアルゴリズムにおいて行われる画像の領域をクラスごとに分割する画像分割処理以外の認識処理を行ってもよいし、認識という種類の分析処理以外の分析処理、例えば、検出、識別、認証、回帰などの任意の種類の分析処理を行うようにしてもよい。
【0156】
上記の第１の実施形態の推論装置１と、第１の実施形態の条件選定装置２とを一体化し、共通の機能部については、共用するようにした装置を推論装置としてもよい。上記の第１の実施形態の推論装置１と、第１の実施形態の条件選定装置２と、第３の実施形態の変換パラメータ選択装置３を一体化し、共通の機能部については、共用するようにした装置を推論装置としてもよい。これらの一体化において、第１の実施形態の推論装置１に替えて、第２の実施形態の推論装置１ａなどの推論装置１の他の構成例のいずれかを一体化の対象としてもよい。これらの一体化において、第１の実施形態の条件選定装置２に替えて、第１の実施形態の他の構成例の条件選定装置２などの条件選定装置２の他の構成のいずれかを一体化の対象としてもよい。
【0157】
上記の第２及び第３の実施形態の構成では、統合部１６ｂが行うステップＳｃ９の処理、及び変換パラメータ選択部２５が行うステップＳｄ１１の処理において、等号付き不等号を用いた判定処理を行っている。しかしながら、本発明は、当該実施の形態に限られるものではなく、「以上であるか否か」、「未満であるか否か」という判定処理は一例に過ぎず、閾値の定め方に応じて、ぞれぞれ「超過するか否か」、「以下であるか否か」という判定処理に置き換えられてもよい。
【0158】
上述した実施形態における推論装置１，１ａ、条件選定装置２、及び変換パラメータ選択装置３という３つの装置、並びに、上記した３つの装置の他の構成例や補足的に示した構成の各々をコンピュータで実現するようにしてもよい。この場合において、図１及び図７に示す推論装置１，１ａにおいて、データ取込部１２，１２ａは、外部から与えられる入力データを取り込むのではなく、複数の入力データを予め記憶する記憶部が、推論装置１の内部、または、外部に備えられており、当該記憶部からデータ取込部１２，１２ａが、１つずつ入力データを読み出し、読み出した入力データを変換部１３，１３ａに出力するようにしてもよい。出力部１８は、推論装置１の外部に備えられていてもよい。図４に示す条件選定装置２において、訓練データ記憶部２１、及び処理結果記憶部２４は、条件選定装置２の外部に備えられていてもよい。図９に示す変換パラメータ選択装置３において、訓練データ記憶部２１ａ、及び処理結果記憶部２４ａは、変換パラメータ選択装置３の外部に備えられていてもよい。図１及び図７に示す推論装置１，１ａ、図４に示す条件選定装置２、及び図９に示す変換パラメータ選択装置３において、変換統合条件記憶部１０は、記憶装置として、各々の装置の外部に備えられていてもよく、外部に備えられた当該記憶装置を、共有するように、各々の装置が接続する構成であってもよい。推論装置１，１ａ、条件選定装置２、及び変換パラメータ選択装置３という３つの装置、並びに、上記した３つの装置の他の構成例や補足的に示した構成に備えられる機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【0159】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0160】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0161】
１…推論装置、１０…変換統合条件記憶部、１２…データ取込部、１３…変換部、１４…信頼度マップ生成部、１５…逆変換部、１６…統合部、１７…分析部、１８…出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】