(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023082550
(43)【公開日】2023-06-14
(54)【発明の名称】モデル生成装置、画像認識装置、モデル生成方法、および画像認識方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230607BHJP
【FI】
G06T7/00 350C
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2021196395
(22)【出願日】2021-12-02
(71)【出願人】
【識別番号】000003942
【氏名又は名称】日新電機株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】安井 達哉
(72)【発明者】
【氏名】森本 充
(72)【発明者】
【氏名】竹原 輝巳
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096CA21
5L096DA01
5L096EA06
5L096EA43
5L096FA06
5L096FA25
5L096FA37
5L096GA34
5L096GA40
5L096GA51
5L096GA55
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】撮像装置相違ケースにおいて、機械学習による画像認識精度を向上させる。
【解決手段】学習装置(11)において、学習時画像処理部(114)は、(i)第1撮像装置によって撮像された複数の学習用画像に、複数の所定の画像処理設定のそれぞれに従った画像処理を施し、複数の処理後学習用画像を生成し、かつ、(ii)第1撮像装置とは異なる第2撮像装置によって撮像された複数の評価用画像に、当該画像処理を施し、複数の処理後評価用画像を生成する。学習モデル生成部(115)は、所定の機械学習アルゴリズムを実行し、複数の処理後学習用画像を用いて複数の学習モデルを生成する。そして、学習モデル生成部(115)は、複数の処理後評価用画像を用いて複数の学習モデルのそれぞれを評価して得られた指標値に基づき、(i)複数の所定の画像処理設定のそれぞれの内から運用時画像処理設定を選択し、かつ、(ii)複数の学習モデルのそれぞれの内から運用時学習モデルを選択する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1撮像装置とは異なる第2撮像装置によって撮像された運用画像に基づく画像認識を画像認識装置において行うための学習モデルを、上記第1撮像装置によって撮像された複数の学習用画像に基づいて生成するモデル生成装置であって、
(i)複数の所定の画像処理設定のそれぞれに従った画像処理を、上記複数の学習用画像に施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後学習用画像を生成するとともに、(ii)上記第2撮像装置によって撮像された複数の評価用画像に当該画像処理を施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後評価用画像を生成する学習時画像処理部と、
所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて複数の学習モデルを生成する学習部と、を備えており、
上記学習部は、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後評価用画像を用いて上記複数の学習モデルのそれぞれを評価することによって得られた、当該複数の学習モデルのそれぞれの品質を示す複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれの内から、上記画像認識装置の運用時に適用される運用時画像処理設定を選択するとともに、(ii)上記複数の学習モデルのそれぞれの内から、上記運用時画像処理設定に対応する学習モデルを、上記画像認識装置の運用時に適用される運用時学習モデルとして選択する、モデル生成装置。
【請求項2】
上記学習部は、
複数の所定のハイパーパラメータ設定のそれぞれを用いて上記所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて上記複数の学習モデルを生成し、
上記複数の指標値に基づいて、上記複数の所定のハイパーパラメータ設定のそれぞれの内から、上記画像認識装置の運用時に適用される運用時ハイパーパラメータ設定を選択し、
上記複数の学習モデルの内から、上記運用時ハイパーパラメータ設定に対応する学習モデルを上記運用時学習モデルとして選択する、請求項1に記載のモデル生成装置。
【請求項3】
上記画像処理は、標準化、ヒストグラム平坦化、ぼかし、適応的二値化、エッジ検出、バンドパスフィルタ、アフィン変換、およびホモグラフィ変換のうちの少なくとも1つを含んでいる、請求項1または2に記載のモデル生成装置。
【請求項4】
上記所定の機械学習アルゴリズムは、畳み込みニューラルネットワークまたはビジョントランスフォーマである、請求項1から3のいずれか1項に記載のモデル生成装置。
【請求項5】
上記第1撮像装置と上記第2撮像装置とは、互いに異なる受光特性を有している、請求項1から4のいずれか1項に記載のモデル生成装置。
【請求項6】
上記第1撮像装置は、可視光波長領域において受光特性を有する可視光カメラであり、
上記第2撮像装置は、非可視光波長領域において受光特性を有する非可視光カメラである、請求項5に記載のモデル生成装置。
【請求項7】
上記可視光カメラは、RGBカメラであり、
上記非可視光カメラは、近赤外光波長領域に受光特性を有する近赤外光カメラである、請求項6に記載のモデル生成装置。
【請求項8】
上記複数の学習用画像と上記複数の評価用画像とは、互いに異なる画像チャネル数を有している、請求項1から7のいずれか1項に記載のモデル生成装置。
【請求項9】
上記学習部は、上記複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれを網羅的に探索することにより、上記運用時画像処理設定を見出すとともに、(ii)上記複数の学習モデルのそれぞれを網羅的に探索することにより、上記運用時学習モデルを見出す、請求項1から8のいずれか1項に記載のモデル生成装置。
【請求項10】
上記学習部は、上記複数の指標値のうちの最大値が、所定の閾値以上となったことを契機として、上記複数の所定の画像処理設定のそれぞれの探索と、上記複数の学習モデルのそれぞれの探索とを終了する、請求項1から8のいずれか1項に記載のモデル生成装置。
【請求項11】
上記学習部は、所定の最適化手法に従って、上記複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれを探索することにより、上記運用時画像処理設定を見出すとともに、(ii)上記複数の学習モデルのそれぞれを探索することにより、上記運用時学習モデルを見出す、請求項1から8のいずれか1項に記載のモデル生成装置。
【請求項12】
上記所定の最適化手法は、DFO(Derivative-Free Optimization)である、請求項11に記載のモデル生成装置。
【請求項13】
上記所定の最適化手法は、ネルダー・ミード法またはパウエル法である、請求項12に記載のモデル生成装置。
【請求項14】
第1撮像装置によって撮像された複数の学習用画像に基づいて予め生成された学習モデルを用いて、上記第1撮像装置とは異なる第2撮像装置によって撮像された運用画像に基づく画像認識を行う画像認識装置であって、
(i)複数の所定の画像処理設定のそれぞれに従った画像処理を、上記複数の学習用画像に施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後学習用画像が予め生成されており、かつ、(ii)上記第2撮像装置によって撮像された複数の評価用画像に当該画像処理を施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後評価用画像が予め生成されており、
所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて複数の学習モデルが予め生成されており、
上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後評価用画像を用いて上記複数の学習モデルのそれぞれを評価することによって得られた、当該複数の学習モデルのそれぞれの品質を示す複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれの内から、上記画像認識装置の運用時に適用される運用時画像処理設定が予め選択されているとともに、(ii)上記複数の学習モデルのそれぞれの内から、上記運用時画像処理設定に対応する学習モデルが、上記画像認識装置の運用時に適用される運用時学習モデルとして予め選択されており、
上記画像認識装置は、
上記運用時画像処理設定に従った上記画像処理を上記運用画像に施すことにより、上記運用時画像処理設定に対応する処理後運用画像を生成する運用時画像処理部と、
上記処理後運用画像を上記運用時学習モデルに入力することによって得られた上記運用時学習モデルの出力に基づき、上記処理後運用画像に対する画像認識を行う画像認識部と、を備えている、画像認識装置。
【請求項15】
第1撮像装置とは異なる第2撮像装置によって撮像された運用画像に基づく画像認識を画像認識フェーズにおいて行うための学習モデルを、上記第1撮像装置によって撮像された複数の学習用画像に基づいて生成するモデル生成方法であって、
(i)複数の所定の画像処理設定のそれぞれに従った画像処理を、上記複数の学習用画像に施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後学習用画像を生成するとともに、(ii)上記第2撮像装置によって撮像された複数の評価用画像に当該画像処理を施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後評価用画像を生成する学習時画像処理工程と、
所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて複数の学習モデルを生成する学習工程と、を含んでおり、
上記学習工程は、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後評価用画像を用いて上記複数の学習モデルのそれぞれを評価することによって得られた、当該複数の学習モデルのそれぞれの品質を示す複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれの内から、上記画像認識フェーズにおいて適用される運用時画像処理設定を選択するとともに、(ii)上記複数の学習モデルのそれぞれの内から、上記運用時画像処理設定に対応する学習モデルを、上記画像認識フェーズにおいて適用される運用時学習モデルとして選択する工程をさらに含んでいる、モデル生成方法。
【請求項16】
第1撮像装置によって撮像された複数の学習用画像に基づいて予め生成された学習モデルを用いて、上記第1撮像装置とは異なる第2撮像装置によって撮像された運用画像に基づく画像認識を行う画像認識方法であって、
(i)複数の所定の画像処理設定のそれぞれに従った画像処理を、上記複数の学習用画像に施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後学習用画像が予め生成されており、かつ、(ii)上記第2撮像装置によって撮像された複数の評価用画像に当該画像処理を施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後評価用画像が予め生成されており、
所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて複数の学習モデルが予め生成されており、
上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後評価用画像を用いて上記複数の学習モデルのそれぞれを評価することによって得られた、当該複数の学習モデルのそれぞれの品質を示す複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれの内から、上記画像認識方法において適用される運用時画像処理設定が予め選択されているとともに、(ii)上記複数の学習モデルのそれぞれの内から、上記運用時画像処理設定に対応する学習モデルが、上記画像認識方法において適用される運用時学習モデルとして予め選択されており、
上記画像認識方法は、
上記運用時画像処理設定に従った上記画像処理を上記運用画像に施すことにより、上記運用時画像処理設定に対応する処理後運用画像を生成する運用時画像処理工程と、
上記処理後運用画像を上記運用時学習モデルに入力することによって得られた上記運用時学習モデルの出力に基づき、上記処理後運用画像に対する画像認識を行う画像認識工程と、を含んでいる、画像認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、画像認識装置において画像認識を行うための学習モデルを生成するモデル生成装置に関する。
【背景技術】
【0002】
近年、機械学習による画像認識に関して、様々な技術が提案されている。一例として、特許文献1には、異なるカテゴリの物体(オブジェクト)を検出および認識するために有用な局所特徴を、画像の集合から適切に抽出するためのパターン認識用学習方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、後述する通り、学習用画像の撮影に用いられる撮像装置(第1撮像装置)と運用画像の撮影に用いられる撮像装置(第2撮像装置)とが異なるケースも考えられる。本明細書では、当該ケースを、撮像装置相違ケースと称する。撮像装置相違ケースでは、第1撮像装置と第2撮像装置との相違に起因して、学習用画像の特徴と運用画像の特徴とが相違しうる。その結果、運用画像に対して機械学習による画像認識を適用した場合、画像認識精度が低下しうる。
【0005】
しかしながら、従来技術(例:特許文献1の技術)は、第1撮像装置と第2撮像装置とが同じであるケースを前提としている。すなわち、従来技術では、撮像装置相違ケースにおいて、機械学習による画像認識精度を向上させるための具体的な工夫点については、考慮されていない。
【0006】
本発明の一態様は、上述の問題点に鑑みてなされたものであり、撮像装置相違ケースにおいて、機械学習による画像認識精度を向上させることを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係るモデル生成装置は、第1撮像装置とは異なる第2撮像装置によって撮像された運用画像に基づく画像認識を画像認識装置において行うための学習モデルを、上記第1撮像装置によって撮像された複数の学習用画像に基づいて生成するモデル生成装置であって、(i)複数の所定の画像処理設定のそれぞれに従った画像処理を、上記複数の学習用画像に施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後学習用画像を生成するとともに、(ii)上記第2撮像装置によって撮像された複数の評価用画像に当該画像処理を施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後評価用画像を生成する学習時画像処理部と、所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて複数の学習モデルを生成する学習部と、を備えており、上記学習部は、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後評価用画像を用いて上記複数の学習モデルのそれぞれを評価することによって得られた、当該複数の学習モデルのそれぞれの品質を示す複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれの内から、上記画像認識装置の運用時に適用される運用時画像処理設定を選択するとともに、(ii)上記複数の学習モデルのそれぞれの内から、上記運用時画像処理設定に対応する学習モデルを、上記画像認識装置の運用時に適用される運用時学習モデルとして選択する。
【0008】
また、本発明の一態様に係る画像認識装置は、第1撮像装置によって撮像された複数の学習用画像に基づいて予め生成された学習モデルを用いて、上記第1撮像装置とは異なる第2撮像装置によって撮像された運用画像に基づく画像認識を行う画像認識装置であって、(i)複数の所定の画像処理設定のそれぞれに従った画像処理を、上記複数の学習用画像に施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後学習用画像が予め生成されており、かつ、(ii)上記第2撮像装置によって撮像された複数の評価用画像に当該画像処理を施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後評価用画像が予め生成されており、所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて複数の学習モデルが予め生成されており、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後評価用画像を用いて上記複数の学習モデルのそれぞれを評価することによって得られた、当該複数の学習モデルのそれぞれの品質を示す複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれの内から、上記画像認識装置の運用時に適用される運用時画像処理設定が予め選択されているとともに、(ii)上記複数の学習モデルのそれぞれの内から、上記運用時画像処理設定に対応する学習モデルが、上記画像認識装置の運用時に適用される運用時学習モデルとして予め選択されており、上記画像認識装置は、上記運用時画像処理設定に従った上記画像処理を上記運用画像に施すことにより、上記運用時画像処理設定に対応する処理後運用画像を生成する運用時画像処理部と、上記処理後運用画像を上記運用時学習モデルに入力することによって得られた上記運用時学習モデルの出力に基づき、上記処理後運用画像に対する画像認識を行う画像認識部と、を備えている。
【0009】
また、本発明の一態様に係るモデル生成方法は、第1撮像装置とは異なる第2撮像装置によって撮像された運用画像に基づく画像認識を画像認識フェーズにおいて行うための学習モデルを、上記第1撮像装置によって撮像された複数の学習用画像に基づいて生成するモデル生成方法であって、(i)複数の所定の画像処理設定のそれぞれに従った画像処理を、上記複数の学習用画像に施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後学習用画像を生成するとともに、(ii)上記第2撮像装置によって撮像された複数の評価用画像に当該画像処理を施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後評価用画像を生成する学習時画像処理工程と、所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて複数の学習モデルを生成する学習工程と、を含んでおり、上記学習工程は、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後評価用画像を用いて上記複数の学習モデルのそれぞれを評価することによって得られた、当該複数の学習モデルのそれぞれの品質を示す複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれの内から、上記画像認識フェーズにおいて適用される運用時画像処理設定を選択するとともに、(ii)上記複数の学習モデルのそれぞれの内から、上記運用時画像処理設定に対応する学習モデルを、上記画像認識フェーズにおいて適用される運用時学習モデルとして選択する工程をさらに含んでいる。
【0010】
また、本発明の一態様に係る画像認識方法は、第1撮像装置によって撮像された複数の学習用画像に基づいて予め生成された学習モデルを用いて、上記第1撮像装置とは異なる第2撮像装置によって撮像された運用画像に基づく画像認識を行う画像認識方法であって、(i)複数の所定の画像処理設定のそれぞれに従った画像処理を、上記複数の学習用画像に施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後学習用画像が予め生成されており、かつ、(ii)上記第2撮像装置によって撮像された複数の評価用画像に当該画像処理を施すことにより、当該複数の所定の画像処理設定のそれぞれに対応する複数の処理後評価用画像が予め生成されており、所定の機械学習アルゴリズムを実行することにより、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後学習用画像を用いて複数の学習モデルが予め生成されており、上記複数の所定の画像処理設定のそれぞれに対応する上記複数の処理後評価用画像を用いて上記複数の学習モデルのそれぞれを評価することによって得られた、当該複数の学習モデルのそれぞれの品質を示す複数の指標値に基づいて、(i)上記複数の所定の画像処理設定のそれぞれの内から、上記画像認識方法において適用される運用時画像処理設定が予め選択されているとともに、(ii)上記複数の学習モデルのそれぞれの内から、上記運用時画像処理設定に対応する学習モデルが、上記画像認識方法において適用される運用時学習モデルとして予め選択されており、上記画像認識方法は、上記運用時画像処理設定に従った上記画像処理を上記運用画像に施すことにより、上記運用時画像処理設定に対応する処理後運用画像を生成する運用時画像処理工程と、上記処理後運用画像を上記運用時学習モデルに入力することによって得られた上記運用時学習モデルの出力に基づき、上記処理後運用画像に対する画像認識を行う画像認識工程と、を含んでいる。
【発明の効果】
【0011】
本発明の一態様によれば、撮像装置相違ケースにおいて、機械学習による画像認識精度を向上させることができる。
【図面の簡単な説明】
【0012】
【
図1】実施形態1の情報処理システムの要部の構成を示すブロック図である。
【
図3】ハイパーパラメータ設定リストの一例を示す図である。
【
図4】実施形態1の学習装置における全体的な処理の流れを概略的に例示する図である。
【
図5】学習用画像に対する画像処理の流れを例示する図である。
【
図6】評価用画像に対する画像処理の流れを例示する図である。
【
図7】ハイパーパラメータ設定における処理の流れを例示する図である。
【
図8】学習、学習モデルの評価、および最終精度候補値に関する判定における処理の流れを例示する図である。
【
図9】運用時画像処理の一例について説明する図である。
【
図10】ハイパーパラメータ設定リストの別の例を示す図である。
【
図11】ハイパーパラメータ設定リストのさらに別の例を示す図である。
【
図12】実施形態2の情報処理システムの要部の構成を示すブロック図である。
【
図13】実施形態2の学習装置における主要な処理の流れを概略的に例示する図である。
【
図14】評価精度を取得する処理の流れを例示する図である。
【
図15】ネルダー・ミード法の概念を概略的に説明するための図である。
【
図16】最適化を実行する処理の流れを例示する図である。
【発明を実施するための形態】
【0013】
〔実施形態1〕
実施形態1の情報処理システム100について、以下に説明する。説明の便宜上、実施形態1にて説明したコンポーネント(構成要素)と同じ機能を有するコンポーネントについては、以降の各実施形態では同じ符号を付記し、その説明を繰り返さない。公知技術と同様の事項についても、説明を適宜省略する。なお、本明細書において以下に述べる各数値は、単なる一例であることに留意されたい。
【0014】
(情報処理システム100の概要)
図1は、情報処理システム100の要部の構成を示すブロック図である。情報処理システム100は、情報処理装置1、学習用画像DB(Database)910、評価用画像DB920、および運用画像DB930を備える。
【0015】
情報処理装置1は、制御装置10、入力部71、表示部72、および記憶部80を備える。制御装置10は、学習装置11および画像認識装置12を備える。制御装置10は、情報処理装置1の各部を統括的に制御する。記憶部80は、制御装置10の処理に用いられる各種のデータおよびプログラムを格納する。以下に述べる通り、制御装置10(より具体的には、画像認識装置12)は、機械学習による画像認識を行う。
【0016】
入力部71は、ユーザの操作(ユーザ操作)を受け付ける。表示部72は、各種のデータを表示する。一例として、表示部72には、画像認識装置12による画像認識結果検索結果を示すデータが表示されてよい。別の例として、表示部72には、学習装置11による機械学習の結果を示すデータが表示されてもよい。なお、
図1の例とは異なり、入力部71と表示部72とは、一体として設けられてもよい。例えば、タッチパネルを用いることにより、入力部71と表示部72とを一体の機能部として具現化できる。
【0017】
情報処理装置1は、学習用画像DB910、評価用画像DB920、および運用画像DB930と通信可能に接続されていればよい。このため、
図1の例とは異なり、情報処理装置1の内部に、学習用画像DB910、評価用画像DB920、および運用画像DB930のうちの少なくとも1つが設けられていてもよい。
【0018】
(学習用画像、評価用画像、および運用画像について)
学習用画像DB910には、複数の学習用画像(例:後述のIMGL)が格納されている。学習用画像とは、学習装置11における機械学習プロセスにおいて(言い換えれば、学習フェーズにおいて)、学習用データ(学習モデルを生成するためのデータ)として用いられる画像である。本発明の一態様に係る学習用画像は、第1撮像装置によって撮像された画像である。また、学習用画像DB910には、各学習用画像に対応するラベルデータ(画像認識における正解データ)が格納されている。本明細書では、学習用画像に対応するラベルデータを、学習用ラベルデータと称する。
【0019】
評価用画像DB920には、複数の評価用画像(例:後述のIMGT)が格納されている。学習用画像とは、学習フェーズにおいて、学習モデルの評価のために用いられる画像である。本発明の一態様に係る評価用画像は、第1撮像装置とは異なる第2撮像装置によって撮像された画像である。また、評価用画像DB920には、各評価用画像に対応するラベルデータが格納されている。本明細書では、評価用画像に対応するラベルデータを、評価用ラベルデータと称する。
【0020】
運用画像DB930には、複数の運用画像(例:後述のIMGO)が格納されている。運用画像とは、画像認識装置12における画像認識プロセスにおいて(言い換えれば、学習フェーズに後続する運用フェーズにおいて)、画像認識の対象として画像認識装置12に入力される画像である。本発明の一態様に係る運用画像は、第2撮像装置によって撮像された画像である。
【0021】
図1の例では、説明の便宜上、学習用画像DB910、評価用画像DB920、および運用画像DB930が別体の機能部である場合が例示されている。但し、当業者であれば明らかである通り、学習用画像DB910および評価用画像DB920は、一体の機能部として設けられてもよい。さらに、学習用画像DB910、評価用画像DB920、および運用画像DB930は、一体の機能部として設けられてもよい。
【0022】
実施形態1では、第1撮像装置と第2撮像装置とが互いに異なる受光特性(より具体的には、異なる波長感度特性)を有している場合を例示する。一例として、実施形態1では、(i)第1撮像装置が、可視光波長領域において受光特性を有する可視光カメラであり、かつ、(ii)第2撮像装置が、非可視光波長領域において受光特性を有する非可視光カメラである場合を例示する。より具体的には、実施形態1では、(i)第1撮像装置が、RGB(Red,Green,Blue)カメラであり、かつ、(ii)第2撮像装置が、IR(InfraRed,近赤外光)波長領域において受光特性を有するIRカメラ(近赤外光カメラ)である場合を例示する。RGBカメラは、カラーカメラの一例である。
【0023】
このため、実施形態1では、学習用画像は、評価用画像および運用画像とは異なる情報量を有している。例えば、学習用画像は、評価用画像および運用画像とは異なる画像チャネル数(以下、チャネル数と略称する)を有している。実施形態1の例では、学習用画像はRGB画像であるので、学習用画像のチャネル数は3である。これに対し、評価用画像および運用画像はグレースケール画像(モノクローム画像)であるので、評価用画像および運用画像のチャネル数は1である。
【0024】
但し、当業者であれば明らかである通り、第1撮像装置および第2撮像装置は、上記の例に限定されない。例えば、第1撮像装置は、第2撮像装置とは異なる種類の撮像装置であればよい。本発明の一態様では、第1撮像装置によって撮像された画像(例:学習用画像)が、第2撮像装置によって撮像された画像(例:評価用画像および運用画像)と異なる情報量を有するように、第1撮像装置および第2撮像装置が選択されていればよい。
【0025】
例えば、第1撮像装置が可視光カメラである場合、非可視光カメラとしての第2撮像装置は、FIR(Far-IR,遠赤外光)波長領域において受光特性を有するFIRカメラ(遠赤外光カメラ)であってもよい。あるいは、当該第2撮像装置は、MWIR(Mid-Wavelength-IR,中波長赤外光)波長領域において受光特性を有するMWIRカメラ(中波長赤外光カメラ)であってもよい。これらの例においても、評価用画像および運用画像はグレースケール画像であるので、評価用画像および運用画像のチャネル数は1である。
【0026】
(学習装置11)
学習装置11(モデル生成装置)は、学習用画像取得部111、評価用画像取得部112、設定項目取得部113、学習時画像処理部114、および学習モデル生成部115(学習部)を備える。学習装置11は、学習用画像に基づき、画像認識装置12による画像認識のための学習モデルを生成する。以下、学習装置11の処理の例について述べる。
【0027】
(学習用画像セットおよび評価用画像セットの取得)
学習用画像取得部111は、学習用画像DB910に格納されている複数の学習用画像の少なくとも一部を、学習用画像セットとして取得する。また、学習用画像取得部111は、学習用画像セットに対応する学習用ラベルデータを、学習用画像DB910から取得する。学習用画像取得部111は、取得した学習用画像セットおよび学習用ラベルデータを、学習時画像処理部114に供給する。
【0028】
評価用画像取得部112は、評価用画像DB920に格納されている複数の評価用画像の少なくとも一部を、評価用画像セットとして取得する。また、学習用画像取得部111は、評価用画像セットに対応する評価用ラベルデータを、評価用画像DB920から取得する。評価用画像取得部112は、取得した評価用画像セットおよび評価用ラベルデータを、学習時画像処理部114に供給する。
【0029】
(画像処理設定リストの取得)
設定項目取得部113は、記憶部80に予め格納されている画像処理設定リストを取得する。画像処理設定リストとは、学習時画像処理部114において実行される画像処理の設定の一覧を示すリストである。言い換えれば、画像処理設定リストとは、後述の最終画像処理設定の候補を示すリストである。
【0030】
学習時画像処理部114において実行される画像処理の例としては、
・標準化(Standardization)
・ヒストグラム平坦化(Histogram equalization)
・ぼかし(Blur)
・適応的二値化(Adaptive thresholding)
・キャニー法によるエッジ検出(Canny edge detector)
・ソーベル法によるエッジ検出(Sobel edge detector)
・ラプラシアン法によるエッジ検出(Laplacian edge detector)
・バンドパスフィルタ(Band-pass filter)
・アフィン変換(Affine transformation)
・ホモグラフィ変換(Homography transformation)
を挙げることができる。従って、本発明の一態様に係る画像処理は、これらの内の少なくとも1つを含みうる。それゆえ、本発明の一態様に係る設定画像処理は、当該画像処理に関する設定を含みうる。
【0031】
但し、当業者であれば明らかである通り、本発明の一態様に係る画像処理は、上記の例に限定されない。本発明の一態様に係る画像処理は、学習用画像の特徴と評価用画像の特徴との間に存在している差異を低減させるために有益な処理であればよい。言い換えれば、本発明の一態様に係る画像処理は、後述する処理後学習用画像(例:後述のIMGLP)の特徴と処理後評価用画像(例:後述のIMGTP)の特徴との一致性を向上させるために有益な処理であればよい。
【0032】
図2には、実施形態1における画像処理設定リスト(LIST_IMP)が例示されている。
図2では、LIST_IMPにおける一部の項目が示されている。
図2に示されている通り、本明細書では、例えば「キャニー法によるエッジ検出」を、「キャニー法」とも略記する。LIST_IMPには、(i)キャニー法において使用されるパラメータ(例:minValおよびmaxVal)の候補と、(ii)ラプラシアン法において使用されるパラメータ(ksize)の候補とが、予め記録されている。
【0033】
(ハイパーパラメータ設定リストの取得)
設定項目取得部113は、記憶部80に予め格納されているハイパーパラメータ設定リストを取得する。ハイパーパラメータ設定リストとは、学習モデル生成部115において実行される所定の機械学習アルゴリズムにおけるハイパーパラメータの一覧を示すリストである。言い換えれば、ハイパーパラメータ設定リストとは、後述の運用時ハイパーパラメータ設定の候補を示すリストである。
【0034】
所定の機械学習アルゴリズムの例としては、
・ニューラルネットワーク(Neural Network,NN)
・畳み込みニューラルネットワーク(Convolutional Neural Network,CNN)
・ビジョントランスフォーマ(Vision Transformer,ViT)
・サポートベクターマシン(Support Vector Machine,SVM)
・ランダムフォレスト(Random Forest,RF)
を挙げることができる。
【0035】
但し、当業者であれば明らかである通り、本発明の一態様に係る機械学習アルゴリズムは、上記の例に限定されない。本発明の一態様に係る機械学習アルゴリズムは、画像認識に適用可能であればよい。
【0036】
図3には、実施形態1におけるハイパーパラメータ設定リスト(LIST_HP)が例示されている。
図3では、LIST_HPにおける一部の項目が示されている。画像認識に有効性が高い機械学習アルゴリズムの例としては、CNNおよびViTを挙げることができる。
【0037】
そこで、実施形態1では、一例として、所定の機械学習アルゴリズムとしてCNNが選択されている場合について説明する。このため、
図3のLIST_HPでは、CNNにおけるハイパーパラメータ設定の一覧が示されている。LIST_HPには、CNNにおける複数のハイパーパラメータ(例:ksize、kchannel、およびstride)の候補が、予め記録されている。
【0038】
(学習装置11における処理の流れについての例)
続いて、
図4~
図8を順に参照し、学習装置11における処理の流れについてより具体的に説明する。
図4は、学習装置11V(特に、学習時画像処理部114および学習モデル生成部115)の全体的な処理の流れを概略的に示すフローチャートである。
【0039】
図4に示される通り、まず、学習モデル生成部115は、最終精度候補値の初期値を0に設定する(S1)。言い換えれば、学習モデル生成部115は、最終精度候補値を初期化する。次いで、学習時画像処理部114は、画像処理設定リストの全フラグを初期化する(S2)。そして、学習時画像処理部114は、学習用画像セット内の各学習用画像に対して画像処理を施す(S3)。S3の処理内容については、以下に述べる。
【0040】
図5は、学習用画像に対する画像処理の流れを示すフローチャートである。
図5は、上述のS3の処理内容をより具体的に示すフローチャートである。まず、学習時画像処理部114は、画像処理設定リストからある1つの画像処理設定(例:
図2のLIST_IMPにおける1番目の項目に示されている設定)を選択し、当該画像処理設定にフラグA(学習用画像セットの画像処理設定に関するフラグ)を付す(S11)。フラグAは、第1フラグと称されてもよい。
【0041】
次いで、学習時画像処理部114は、学習用画像セット内の各学習用画像に対して、S11においてフラグAが付された画像処理を施す(S12)。そして、学習時画像処理部114は、処理後学習用画像(画像処理後の学習用画像)を、記憶部80に一時保存(一時的に保存)する(S13)。その後、学習時画像処理部114は、評価用画像セット内の各評価用画像に対して画像処理を施す(S14)。S14の処理内容については後述する。
【0042】
次いで、学習時画像処理部114は、画像処理設定リストの全項目にフラグAが付されているか否かを判定する(S15)。画像処理設定リストの全項目にフラグAが付されていない場合(S15においてNO)、学習時画像処理部114は、画像処理設定リストから、未だ選択されていない別の1つの画像処理設定(例:
図2のLIST_IMPにおける2番目の項目に示されている設定)を選択し、当該画像処理設定にフラグAを付す(S16)。そして、S12に戻り、
図5における上述の各処理が繰り返される。
【0043】
他方、画像処理設定リストの全項目にフラグAが付されている場合(S15においてYES)、学習時画像処理部114は、学習用画像に対する画像処理を完了する。このように、画像処理設定リストの全項目にフラグAが付されるまで(言い換えれば、全ての学習用画像に対して全てのパターンの画像処理が完了するまで)、S12~S16が繰り返される。
【0044】
図6は、評価用画像に対する画像処理の流れを示すフローチャートである。
図6は、上述のS14の処理内容をより具体的に示すフローチャートである。まず、学習時画像処理部114は、画像処理設定リストの全項目について、フラグB(評価用画像セットの画像処理設定に関するフラグ)を初期化する(S21)。フラグBは、第2フラグと称されてもよい。
【0045】
次いで、学習時画像処理部114は、画像処理設定リストからある1つの画像処理設定(例:
図2のLIST_IMPにおける1番目の項目に示されている設定)を選択し、当該画像処理設定にフラグBを付す(S22)。そして、学習時画像処理部114は、S22においてフラグBが付された画像処理設定を、一時画像処理設定(一時的な画像処理設定)として、記憶部80に保存する(S23)。
【0046】
次いで、学習時画像処理部114は、評価用画像セット内の各評価用画像に対して、S22においてフラグBが付された画像処理を施す(S24)。そして、学習時画像処理部114は、処理後評価用画像(画像処理後の評価用画像)を、記憶部80に一時保存する(S25)。その後、学習モデル生成部115は、ハイパーパラメータの設定を実行する(S26)。S26の処理内容については後述する。
【0047】
次いで、学習時画像処理部114は、画像処理設定リストの全項目にフラグBが付されているか否かを判定する(S27)。画像処理設定リストの全項目にフラグBが付されていない場合(S27においてNO)、学習時画像処理部114は、画像処理設定リストから、未だ選択されていない別の1つの画像処理設定(例:
図2のLIST_IMPにおける2番目の項目に示されている設定)を選択し、当該画像処理設定にフラグBを付す(S28)。そして、S23に戻り、
図6における上述の各処理が繰り返される。
【0048】
他方、画像処理設定リストの全項目にフラグBが付されている場合(S27においてYES)、学習時画像処理部114は、評価用画像に対する画像処理を完了する。このように、画像処理設定リストの全項目にフラグBが付されるまで(言い換えれば、全ての評価用画像に対して全てのパターンの画像処理が完了するまで)、S23~S28が繰り返される。
【0049】
図7は、ハイパーパラメータ設定における処理の流れを示すフローチャートである。
図7は、上述のS26の処理内容をより具体的に示すフローチャートである。まず、学習モデル生成部115は、ハイパーパラメータ設定リストの全フラグを初期化する(S31)。
【0050】
次いで、学習モデル生成部115は、ハイパーパラメータ設定リストからある1つのハイパーパラメータ設定(例:
図3のLIST_HPにおける1番目の項目に示されている設定)を選択し、当該ハイパーパラメータ設定(所定の機械学習アルゴリズムのハイパーパラメータ設定に関するフラグ)にフラグHPを付す(S32)。フラグHPは、第3フラグと称されてもよい。
【0051】
次いで、学習モデル生成部115は、S32においてフラグHPが付されたハイパーパラメータ設定を用いて、機械学習の初期設定を行う(S33)。実施形態1の例では、学習モデル生成部115は、S32においてフラグHPが付されたハイパーパラメータ設定を用いて、CNNの初期設定を行う。その後、学習モデル生成部115は、学習(学習モデルの生成)、学習モデルの評価、および最終精度候補値に関する判定を行う(S34)。S34の処理内容については後述する。
【0052】
次いで、学習モデル生成部115は、ハイパーパラメータ設定リストの全項目にフラグHPが付されているか否かを判定する(S35)。ハイパーパラメータ設定リストの全項目にフラグHPが付されていない場合(S35においてNO)、学習モデル生成部115は、ハイパーパラメータ設定リストから、未だ選択されていない別の1つのハイパーパラメータ設定(例:
図3のLIST_HPにおける2番目の項目に示されている設定)を選択し、当該ハイパーパラメータ設定にフラグHPを付す(S36)。そして、S33に戻り、
図7における上述の各処理が繰り返される。
【0053】
他方、ハイパーパラメータ設定リストの全項目にフラグHPが付されている場合(S35においてYES)、学習モデル生成部115は、ハイパーパラメータの設定を完了する。このように、ハイパーパラメータ設定リストの全項目にフラグHPが付されるまで(言い換えれば、所定の機械学習アルゴリズムに対して全てのパターンのハイパーパラメータ設定が適用されるまで)、S33~S36が繰り返される。
【0054】
図8は、学習、学習モデルの評価、および最終精度候補値に関する判定における処理の流れを示すフローチャートである。
図8は、上述のS34の処理内容をより具体的に示すフローチャートである。
【0055】
まず、学習モデル生成部115は、処理後学習用画像を用いて、所定の機械学習アルゴリズムによる学習を行うことにより、学習モデルを生成(構築)する(S41)。実施形態1の例では、学習モデル生成部115は、CNNを実行することによって、学習モデルを生成する。実施形態1の例におけるCNNは、処理後学習用画像および学習用ラベルデータを用いた教師あり学習アルゴリズムの一例である。そして、学習モデル生成部115は、S41において生成した学習モデルを、記憶部80に一時保存する(S42)。
【0056】
次いで、学習モデル生成部115は、処理後評価用画像を用いて、S42において一時保存された学習モデルを評価(検証)する(S43)。実施形態1の例では、学習モデル生成部115は、S42において一時保存された学習モデルに処理後評価用画像を入力し、当該学習モデルの評価精度(例:分類精度)を示す指標値を取得する。当該指標値は、学習モデルの出力(例:学習モデルによって分類された、処理後評価用画像に映っている物体のクラスを示す値)を評価用ラベルデータと比較することによって導出されてよい。当該指標値は、学習モデルの品質を示す値とも表現できる。
【0057】
実施形態1では、学習モデル生成部115は、評価精度(指標値)として、正解率(Accuracy)を取得する。但し、当業者であれば明らかである通り、本発明の一態様に係る評価精度は上記の例に限定されず、機械学習分野における公知のその他の評価精度が用いられてもよい。従って、例えば、学習モデル生成部115は、評価精度として、適合率(Precision)または再現率(Recall)を取得してもよい。
【0058】
あるいは、学習モデル生成部115は、評価精度として、Fスコア(F-Score)を取得してもよい。周知の通り、Fスコアは、適合率と再現率との調和平均である。以上の説明から明らかである通り、学習モデル生成部115は、正解率、適合率、および再現率の任意の組み合わせから導出される値(例:統計値)を、評価精度として取得してよい。
【0059】
学習モデル生成部115は、S43において取得された評価精度(S42において一時保存された学習モデルの評価結果)を一時保存する(S44)。そして、学習モデル生成部115は、S44において一時保存された評価精度を、最終精度候補値と比較する(S45)。具体的には、学習モデル生成部115は、評価精度が最終精度候補値以上であるかを判定する。
【0060】
評価精度が最終精度候補値以上ではない場合(S45においてNO)、すなわち、評価精度が最終精度候補値未満である場合、学習モデル生成部115は、学習、学習モデルの評価、および最終精度候補値に関する判定についての処理を完了する。
【0061】
他方、評価精度が最終精度候補値以上である場合(S45においてYES)、学習モデル生成部115は、最終精度候補値を、S44において一時保存された評価精度の値に更新する(S46)。
【0062】
次いで、学習時画像処理部114は、最終画像処理設定を、S23において一時保存された一時画像処理設定に更新する(S47)。そして、学習モデル生成部115は、S42において一時保存された学習モデルを、最終学習モデルとして一時保存する(S48)。そして、学習モデル生成部115は、学習、学習モデルの評価、および最終精度候補値に関する判定についての処理を完了する。
【0063】
(学習装置11の処理についてのまとめ)
以上の通り、学習装置11は、
図4~
図8の一連の処理を行うことにより、画像処理設定リストによって規定されている全ての画像処理設定(全パターンの画像処理設定)を、網羅的に(総当たりで)適用できる。加えて、学習装置11は、ハイパーパラメータ設定リストによって規定されている全てのハイパーパラメータ設定(全パターンのハイパーパラメータ設定)を、網羅的に適用することもできる。
【0064】
従って、実施形態1では、学習モデル生成部115は、学習フェーズの完了時(
図4~
図8の一連の処理の完了時)に、記憶部80に保存されている最終画像処理設定を、運用時画像処理設定(画像認識装置12の運用時に適用される画像処理設定)として選択する。そして、学習モデル生成部115は、学習フェーズの完了時に記憶部80に保存されている最終学習モデルを、運用時学習モデル(画像認識装置12の運用時に適用される学習モデル)として選択する。
【0065】
運用時画像処理設定は、学習フェーズの完了時に記憶部80に保存されている最終精度候補値(すなわち、学習フェーズの全体を通じて、最も高い評価精度)に対応する画像処理設定である。このため、運用時画像処理設定は、運用時学習モデルに最も適した画像処理設定であると期待される。このことから、運用時画像処理設定は、ベスト画像処理設定と称されてもよい。また、運用時学習モデルは、運用時画像処理設定に対応する学習モデルであり、かつ、運用時画像処理設定に最も適した学習モデルであると期待される。このことから、運用時学習モデルは、ベスト学習モデルと称されてもよい。また、運用時学習モデルに対応するハイパーパラメータ設定は、運用時ハイパーパラメータ設定(画像認識装置12の運用時に適用されるハイパーパラメータ設定)と称されてもよい。運用時ハイパーパラメータ設定は、ベストハイパーパラメータ設定と称されてもよい。
【0066】
以上の通り、学習装置11は、ハイパーパラメータ設定を探索することにより運用時ハイパーパラメータ設定を見出し、かつ、当該運用時ハイパーパラメータ設定に対応する運用時学習モデルを見出すことができる。
【0067】
学習装置11によれば、学習フェーズにおいて、予め規定された全パターンの画像処理設定および全パターンのハイパーパラメータ設定を網羅的に探索(グリッドサーチ)することにより、最適な画像処理設定および最適なハイパーパラメータのペアを見出すことができる。言い換えれば、学習装置11によれば、学習フェーズにおいて最適な画像処理設定および最適な学習モデルのペア(すなわち、運用時画像処理設定および運用時学習モデル)を見出すことができる。以下では、一例として、(i)運用時画像処理設定が、
図2のLIST_IMPにおける2番目の項目に示されている設定であり、かつ、(ii)運用時学習モデルが、
図3のLIST_HPにおける1番目の項目に示されている設定において生成された学習モデルである場合について説明する。
【0068】
(画像認識装置12)
続いて、上述の
図1を再び参照し、画像認識装置12について述べる。画像認識装置12は、運用画像取得部121、運用時画像処理部122、および画像認識部123を備える。以下に述べる通り、画像認識装置12は、学習装置11において予め選択された運用時画像処理設定を用いて、運用画像に対する画像処理を施す。そして、画像認識装置12は、学習装置11において予め選択された運用時学習モデルを用いて、処理後運用画像(画像処理後の運用画像)に対する画像認識を実行する。以下、画像認識装置12における一連の処理(運用フェーズ)について述べる。なお、運用フェーズは、画像認識フェーズと称されてもよい。
【0069】
(運用画像の取得)
運用画像取得部121は、例えば、入力部71が所定のユーザ操作を受け付けたことを契機として、運用画像DB930から運用画像を取得する。運用画像取得部121は、取得した運用画像を、運用時画像処理部122に供給する。
【0070】
図1の例では、説明の便宜上、学習用画像取得部111、評価用画像取得部112、および運用画像取得部121が別体の機能部である場合が例示されている。但し、当業者であれば明らかである通り、学習用画像取得部111および評価用画像取得部112が、一体の機能部として設けられてもよい。さらに、学習用画像取得部111、評価用画像取得部112、および運用画像取得部121が、一体の機能部として設けられてもよい。
【0071】
(運用画像に対する画像処理)
運用時画像処理部122は、学習時画像処理部114から、運用時画像処理設定を取得する。そして、運用時画像処理部122は、運用時画像処理設定(例:運用時画像処理設定が、
図2のLIST_IMPにおける2番目の項目に示されている設定)に従って、運用画像に対する画像処理を実行することにより、処理後運用画像を生成する。以下では、運用時画像処理設定に従った画像処理を、運用時画像処理と称する。運用時画像処理は、ベスト画像処理と称されてもよい。
【0072】
図1の例では、説明の便宜上、学習時画像処理部114および運用時画像処理部122が別体の機能部である場合が例示されている。但し、当業者であれば明らかである通り、学習時画像処理部114および運用時画像処理部122が、一体の機能部として設けられてもよい。
【0073】
図9は、運用時画像処理の一例について説明する図である。
図9では、理解の補助のために、学習用画像IMGL、評価用画像IMGT、および運用画像IMGOのそれぞれに、運用時画像処理が施された場合の例が示されている。上述の各説明から理解される通り、
図9の例における運用時画像処理は、minVal=100、maxVal=200におけるキャニー法である。
【0074】
図9のIMGLは、第1撮像装置としてのRGBカメラによって撮像された画像(RGB画像)の一例である。これに対し、IMGTおよびIMGOはそれぞれ、第2撮像装置としてのIRカメラによって撮像された画像(IR画像)の一例である。上述の各説明から明らかである通り、IR画像は、グレースケール画像の一例である。
【0075】
図9の処理後学習用画像IMGLPは、IMGLに対し、運用時画像処理が施されることによって得られた2値画像である。なお、
図9の例における2値画像は、エッジ画像と称されてもよい。同様に、処理後評価用画像IMGTPは、IMGTに対し、運用時画像処理が施されることによって得られた2値画像である。また、処理後運用画像IMGOPは、IMGOに対し、運用時画像処理が施されることによって得られた2値画像である。
【0076】
IMGLPおよびIMGOPはいずれも2値画像であるので、IMGLPとIMGOPとは、IMGLとIMGOとに比べて高い共通性を有していると言える。例えば、IMGLPおよびIMGOPは、チャネル数が1であるという点において、共通している。また、IMGLPおよびIMGOPは、エッジ位置においてのみ非ゼロの画素値を有しているという点においても、共通している。このように、ベスト画像処理によれば、IMGLの特徴とIMGOの特徴との間に存在していた差異を低減させることができる。
【0077】
(処理後運用画像に対する画像認識)
画像認識部123は、運用時画像処理部122から処理後運用画像を取得するとともに、学習モデル生成部115から運用時学習モデルを取得する。そして、画像認識部123は、運用時学習モデルに処理後運用画像を入力することにより、処理後運用画像に応じた出力を運用時学習モデルから取得する。
【0078】
画像認識部123は、運用時学習モデルの出力に基づいて、処理後運用画像に対する画像認識を行う。一例として、画像認識部123は、運用時学習モデルの出力に基づいて、処理後運用画像に映っている物体のクラスを識別してよい。なお、画像認識部123は、運用時学習モデルの出力に基づいて、処理後運用画像中における当該物体の位置をさらに検出してもよい。
【0079】
一例として、画像認識部123は、処理後運用画像に対する画像認識の結果を表示部72に供給し、当該結果を表示部72に表示させてよい。これにより、当該結果をユーザに視覚的に提示することができる。また、画像認識部123は、当該結果に関連する各データを表示部72にさらに表示させてもよい。例えば、表示部72は、(i)画像認識部123における画像認識処理の対象となった処理後運用画像、および、(i)当該処理後運用画像に対応する運用画像をさらに表示してもよい。
【0080】
(効果)
従来では、第1撮像装置と第2撮像装置とが同じであるケース(便宜上、撮像装置一致ケースと称する)が主に想定されていた。言い換えれば、学習用画像と運用画像とが同じ情報量を有しているケースが主に想定されていた。しかしながら、運用フェーズの状況次第では、上述の撮像装置相違ケースが生じることもありうる。
【0081】
一例として、夜間において、ある撮像装置によって撮像された画像に対し、学習モデルによる画像認識を行うケースを考える。一般的に、夜間においては、環境光(周囲光)の光量が乏しいため、RGBカメラによって撮影範囲内の物体が鮮明に映った画像を撮像することは容易ではない。夜間においては、上記撮像装置としてIRカメラを用いる方が、撮影範囲内の物体がより鮮明に映った画像を撮像できると期待される。
【0082】
このため、上記ケースにおいては、運用フェーズに先行する学習フェーズにおいて、IRカメラによって撮像された画像(IR画像)を用いて、学習モデルを生成しておくことが理想的であると言える。従来において主に想定されていた撮像装置一致ケースは、このような理想的なコンセプトに基づいている。
【0083】
しかしながら、実際には、学習用画像として十分な量のIR画像を準備することは、必ずしも容易ではない。一般的に、画像認識分野では、RGB画像のオープンデータセットは多く存在しているものの、IR画像のオープンデータセットはほとんど存在していないためである。
【0084】
このような場合、学習フェーズにおける学習用画像の量を担保する観点からは、RGB画像を学習用画像として用いて学習モデルを生成するという選択肢を採ることが一案である。しかしながら、上述の通り、撮像装置相違ケースでは、学習用画像の特徴と運用画像の特徴との相違に起因して、運用フェーズにおける画像認識精度の低下が生じうる。
【0085】
本願の発明者らは、従来技術における上述の問題点に鑑みて、情報処理装置1(特に、学習装置11および画像認識装置12)を新たに創作した。学習装置11では、処理後学習用画像を用いて、学習モデルが生成される。従って、十分な量の処理後学習用画像を学習用データとして用いて、複数の学習モデルを生成できる。
【0086】
加えて、学習装置11では、処理後評価画像を用いて、各学習モデル(より具体的には、各学習モデルのハイパーパラメータ設定)が評価される。また、学習装置11では、処理後評価画像を用いて、各画像処理設定を評価することもできる。それゆえ、学習装置11によれば、(i)生成した複数の学習モデルの内から、上述の運用時学習モデル(ベスト学習モデル)を選択するとともに、(ii)予め規定された複数の画像処理設定の内から、上述の運用時画像処理設定(ベスト画像処理設定)を選択することができる。
【0087】
次いで、画像認識装置12では、学習装置11において予め選択された運用時画像処理設定に従って、運用画像に対する画像処理が施される。すなわち、画像認識装置12では、運用画像に運用時画像処理が施されることにより、処理後運用画像が得られる。そして、画像認識装置12では、学習装置11において予め選択された運用時学習モデルを用いて、処理後運用画像に対する画像認識が実行される。
【0088】
上述の通り、運用時画像処理によれば、学習用画像の特徴と運用画像の特徴との間に存在していた差異を低減させることができる。言い換えれば、処理後学習用画像の特徴と処理後運用画像の特徴との一致性を向上させるように、運用画像に対する画像処理を施すことができる。
【0089】
その結果、運用時学習モデルを用いて処理後運用画像に対する画像認識を行うことにより、撮像装置相違ケースにおいて、運用フェーズにおける画像認識精度の低下を防ぐことができる。以上の通り、情報処理装置1によれば、撮像装置相違ケースにおいて、機械学習による画像認識精度を向上させることが可能となる。
【0090】
〔変形例〕
実施形態1では、学習装置11において、複数のハイパーパラメータ設定の内から運用時ハイパーパラメータ設定を選択することを通じて、複数の学習モデルの内から運用時学習モデルが選択される場合を例示した。但し、本発明の一態様に係る学習装置は、複数の学習モデルの内から、運用時画像処理設定に対応する運用時学習モデルを選択できればよい。
【0091】
このため、本発明の一態様に係る学習装置は、必ずしも複数のハイパーパラメータ設定の内から、運用時ハイパーパラメータ設定を選択しなくともよい。従って、例えば、複数の学習フェーズの全体を通じて、ハイパーパラメータ設定は固定されていてもよい。但し、より高品質な運用時学習モデルを得る観点からは、実施形態1において述べた通り、複数のハイパーパラメータ設定の内から運用時ハイパーパラメータ設定を選択することを通じて、複数の学習モデルの内から運用時学習モデルが選択されることが好ましい。
【0092】
〔変形例〕
実施形態1では、所定の機械学習アルゴリズムがCNNである場合を例示した。このため、実施形態1では、CNNに対応したハイパーパラメータ設定リスト(LIST_HP)を例示した。但し、上述の通り、本発明の一態様に係る機械学習アルゴリズムは、CNNに限定されない。従って、予め選択された機械学習アルゴリズムに対応したハイパーパラメータ設定リストが準備されればよい。
【0093】
図10は、ハイパーパラメータ設定リストの別の例を示す図である。
図10には、SVMに対応したハイパーパラメータ設定リスト(LIST_HPV1)が例示されている。
図11は、ハイパーパラメータ設定リストのさらに別の例を示す図である。
図11には、RFに対応したハイパーパラメータ設定リスト(LIST_HPV2)が例示されている。
【0094】
〔変形例〕
実施形態1では、全パターンの画像処理設定および全パターンのハイパーパラメータ設定を網羅的に探索する場合を例示した。但し、学習装置11は、必ずしも全パターンの画像処理設定および全パターンのハイパーパラメータ設定を探索しなくともよい。
【0095】
一例として、学習装置11において、最終精度候補値の初期値は、所定の閾値(非ゼロの値)に設定されてよい。そして、学習装置11は、上述の
図8の処理において、評価精度が初めて最終精度候補値以上となった場合に、画像処理設定およびハイパーパラメータ設定の探索を終了してもよい。言い換えれば、学習装置11は、最終精度候補値が初めて更新された場合に、探索を終了してもよい。
【0096】
本変形例においても、学習時画像処理部114は、学習フェーズの完了時に、記憶部80に保存されている最終画像処理設定を、運用時画像処理設定として選択する。そして、学習モデル生成部115は、学習フェーズの完了時に記憶部80に保存されている最終学習モデルを、運用時学習モデルとして選択する。
【0097】
上述の通り、本変形例における学習装置11は、評価精度が最終精度候補値以上となったことを契機として、画像処理設定およびハイパーパラメータ設定の探索を打ち切る。従って、本変形例によれば、全パターンの画像処理設定および全パターンのハイパーパラメータ設定を網羅的に探索することなく、運用時画像処理設定および運用時学習モデルを見出すことができる。
【0098】
それゆえ、本変形例によれば、画像処理設定のパターン総数およびハイパーパラメータ設定のパターン総数の少なくとも一方が多い場合であっても、比較的低い計算コストによって運用時画像処理設定および運用時学習モデルを見出すことができる。このため、例えば、実施形態1に比べてより短時間で学習フェーズを完了させることができる。また、学習フェーズの実行に要する計算リソース(例:メモリ容量)を、実施形態1に比べて低減させることもできる。
【0099】
〔実施形態2〕
図12は、実施形態2の情報処理システム100Vの要部の構成を示すブロック図である。実施形態2の情報処理装置および制御装置をそれぞれ、情報処理装置1Vおよび制御装置10Vと称する。制御装置10Vは、学習装置11に替えて学習装置11V(モデル生成装置)を備える。学習装置11Vは、学習時画像処理部114Vおよび学習モデル生成部115V(学習部)を備える。そして、学習モデル生成部115Vは、最適化実行部116を備える。実施形態2では、学習フェーズにおける一部の処理が、実施形態1とは異なる。
【0100】
(学習装置11Vにおける処理の流れについての例)
図13~
図14および
図16を順に参照し、学習装置11Vにおける処理の流れについて説明する。
図13は、学習装置11Vの主要な処理の流れを概略的に示すフローチャートである。
【0101】
まず、最適化実行部116は、記憶部80に予め格納された最適化リストを読み出し、当該最適化リストの項目数(リスト総数N)を取得する(S51)。最適化リストには、最適化を施すべき画像処理設定およびハイパーパラメータ設定の項目の一覧が挙示されている。
【0102】
最適化リストの項目には、(i)学習用画像セットに対する画像処理設定(便宜上、画像処理設定Aと称する)の項目と、(ii)評価用画像セットに対する画像処理設定(便宜上、画像処理設定Bと称する)の項目と、(iii)ハイパーパラメータ設定の項目と、が含まれている。
【0103】
従って、Nは、(i)画像処理設定Aの項目数と、(ii)画像処理設定の項目数と、(iii)ハイパーパラメータ設定の項目数と、の和として与えられる。実施形態2では、各項目数が1である場合を例示する。従って、以下では、N=3の場合について述べる。
【0104】
次いで、最適化実行部116は、画像処理設定Aの項目内容および画像処理設定Bの項目内容に基づいて、最適化リスト内の画像処理設定Aおよび画像処理設定Bをソートする。そして、学習モデル生成部115Vは、ハイパーパラメータ設定の項目内容に基づいて、最適化リスト内のハイパーパラメータ設定をソートする(S52)。
【0105】
次いで、最適化実行部116は、N次元空間における各格子点のフラグを初期化する(S53)。本明細書における格子点とは、空間格子を形成する点を意味する。実施形態2では、ある格子点Pは、最適化リスト内における、画像処理設定A、画像処理設定B、およびハイパーパラメータのそれぞれの項目のインデックス(添字)の組み合わせによって与えられる。
【0106】
すなわち、実施形態2における格子点Pは、
P=(SA,SB,SH)
として与えられる。ここで、SAは画像処理設定Aの項目を指すインデックスであり、SBは画像処理設定Bの項目を指すインデックスであり、SHはハイパーパラメータ設定の項目を指すインデックスである。
【0107】
次いで、最適化実行部116は、最適化リストの項目内から、ランダムなインデックスの組み合わせをN+1通り設定する。そして、最適化実行部116は、当該組み合わせに対応するN+1個の格子点を、初期点として生成する(S54)。続いて、学習モデル生成部115Vは、各初期点にフラグを付す。実施形態2では、N+1=4であるので、最適化実行部116は、
・P1=(SA1,SB1,SH1)
・P2=(SA2,SB2,SH2)
・P3=(SA3,SB3,SH3)
・P4=(SA4,SB4,SH4)
という4つの格子点を、初期点として生成する。
【0108】
次いで、学習モデル生成部115Vは、各初期点に対して関数f(Pj)を用いることにより、各初期点に対応する評価精度(便宜上、「各初期点の評価精度」とも称する)を取得する(S55)。S55の処理内容については後述する。実施形態2の例では、学習モデル生成部115Vは、4つの初期点のそれぞれの評価精度を取得する。
【0109】
次いで、最適化実行部116は、評価精度に基づいて、各初期点を序列化する(S56)。一例として、最適化実行部116は、4つの初期点の内、最良の評価精度(最も高い評価精度)が割り当てられた点を、最良点B(m)として決定する。mは、以下に述べるS57における最適化繰り返し回数(最適化反復回数)である。mは、1≦m≦qを満たす整数である。qは、最適化繰り返し回数の上限値である。qは、予め設定されている。そして、最適化実行部116は、4つの初期点の内、最悪の評価精度(最も低い評価精度)が割り当てられた点を、最悪点W(m)として決定する。次いで、学習モデル生成部115Vは、4つの初期点の内、最悪点に次いで悪い評価精度(2番目に低い評価精度)が割り当てられた点を、第2最悪点BW(m)として決定する。
【0110】
次いで、最適化実行部116は、序列化した各点に基づいて、所定の最適化手法(最適化アルゴリズム)による最適化を実行する(S57)。S57の処理内容については後述する。
【0111】
図14は、評価精度を取得する処理の流れを示すフローチャートである。
図14は、上述のS55の処理内容をより具体的に示すフローチャートである。まず、学習時画像処理部114Vは、点P
jに含まれるインデックスSA
jに対応する画像処理を、学習用画像セット内の各学習用画像に対して施す(S61)。jは、1≦j≦N+1を満たす整数である。実施形態2の例では、1≦j≦4である。
【0112】
次いで、学習モデル生成部115Vは、点Pjに含まれるインデックスSHjに対応するハイパーパラメータ設定を選択する。そして、学習モデル生成部115Vは、当該ハイパーパラメータ設定を用いて、S61において得られた処理後学習用画像セット(処理後学習用画像のセット)内の各処理後学習用画像を用いて、所定の機械学習アルゴリズムに従って学習モデルを生成する(S62)。
【0113】
次いで、学習時画像処理部114Vは、点Pjに含まれるインデックスSBjに対応する画像処理を、評価用画像セット内の各評価用画像に対して施す(S63)。そして、学習モデル生成部115Vは、S63において得られた処理後評価用画像(処理後評価用画像のセット)内の各処理後評価用画像を用いて、S62において得られた学習モデルを評価する評価することによって、当該学習モデルの評価結果を示す指標値を、評価精度として取得する(S64)。
【0114】
一例として、学習モデル生成部115Vは、学習モデルの評価結果を示す指標値として、当該学習モデルのマイクロ平均再現率を取得してよい。この場合、学習モデル生成部115Vは、当該マイクロ平均再現率を、点Pjの評価精度として取得する。但し、当業者であれば明らかである通り、上記指標値はマイクロ平均再現率に限定されない。
【0115】
実施形態2では、最適化手法としてネルダー・ミード法(Nelder-Mead method)が用いられる場合を例示する。ネルダー・ミード法は、滑降シンプレックス法、超多面体法、またはアメーバ法とも称される。ネルダー・ミード法は、微分法に依らずに多次元の非線形最適化問題を解くことができる。例えば、ネルダー・ミード法によれば、微分法に依らずに、目的関数の局所的最適解を導出できる。従って、ネルダー・ミード法によれば、微分法に依らずに、目的関数の極値(極大値または極小値)を得ることができる。実施形態2において、f(Pj)として導出される評価精度は、目的関数の一例である。このため、実施形態2において、ネルダー・ミード法を用いることにより、評価精度の極大値(理想的には最大値)を得ることができる。
【0116】
図15は、ネルダー・ミード法の概念を概略的に説明するための図である。
図15では、簡単のため、N=2の場合(2次元の場合)が例示されている。
図15では、m=1、2、q-1、およびqのそれぞれの場合における、B
(m)、W
(m)、およびBW
(m)が示されている。
図15の例における点線は、評価精度の等高線を示す。
【0117】
図15に示される通り、ネルダー・ミード法によれば、最適化繰り返し処理の進展(mの増加)に伴い、より高い評価精度を実現しうる各パラメータの組み合わせ(B
(m)、W
(m)、およびBW
(m)のそれぞれの座標)が導出される。すなわち、ネルダー・ミード法によれば、評価精度の局所的最適解(評価精度の極大値)に至るように、各パラメータを最適化できる。
【0118】
図16は、最適化を実行する処理の流れを示すフローチャートである。
図16は、上述のS57の処理内容をより具体的に示すフローチャートである。
図16では、ネルダー・ミード法による最適化が例示されている。
【0119】
まず、S71において、最適化実行部116は、最悪点W
(m)以外の各点(総称的に、各点P
j
(m)と表す)を用いて、各点P
j
(m)によって構成される超多面体の重心G
(m)’を求める。具体的には、実施形態2の例では、最適化実行部116は、
【数1】
…(1)
の通り、重心G
(m)’を求める。次いで、最適化実行部116は、重心G
(m)’に対する未フラグ最近傍点(未だフラグが付されておらず、かつ、重心G
(m)’から最も近傍の点)G
(m)を特定(決定)する。そして、最適化実行部116は、点G
(m)にフラグを付す。
【0120】
次いで、S72において、最適化実行部116は、線分W(m)G(m)を2:1に外分する外分点R(m)’を求める。具体的には、最適化実行部116は、
R(m)’=2G(m)-W(m) …(2)
の通り、外分点R(m)’を求める。次いで、最適化実行部116は、外分点R(m)’に対する未フラグ最近傍点R(m)を特定する。そして、最適化実行部116は、点R(m)にフラグを付す。
【0121】
次いで、S73において、最適化実行部116は、上述の関数fを用いて、f(R(m))を導出する。そして、最適化実行部116は、
f(R(m))≦f(B(m)) …(3)
という条件(便宜上、第1判定条件と称する)が満たされているか否かを判定する。第1判定条件が満たされている場合、S74に進む。第1判定条件が満たされていない場合、S77に進む。
【0122】
第1判定条件が満たされている場合、S74において、最適化実行部116は、線分W(m)R(m)を3:2に外分する外分点E(m)’を求める。具体的には、最適化実行部116は、
E(m)’=3G(m)-2W(m) …(4)
の通り、外分点E(m)’を求める。次いで、最適化実行部116は、外分点E(m)’に対する未フラグ最近傍点E(m)を特定する。そして、最適化実行部116は、点E(m)にフラグを付す。
【0123】
次いで、S75において、最適化実行部116は、関数fを用いて、f(E(m))を導出する。そして、最適化実行部116は、
f(E(m))≦f(R(m)) …(5)
という条件(便宜上、第2判定条件と称する)が満たされているか否かを判定する。第2判定条件が満たされている場合、S76に進む。第2判定条件が満たされていない場合、S78に進む。
【0124】
第2判定条件が満たされている場合、S76において、最適化実行部116は、最悪点W(m)を最適化対象から削除するとともに、点E(m)を最適化対象に加える。そして、後述するS83に進む。
【0125】
第1判定条件が満たされていない場合、S77において、最適化実行部116は、
f(R(m))≦f(BW(m)) …(6)
という条件(便宜上、第3判定条件と称する)が満たされているか否かを判定する。第3判定条件が満たされている場合、S78に進む。第3判定条件が満たされていない場合、S79に進む。
【0126】
第3判定条件が満たされている場合、S78において、最適化実行部116は、最悪点W(m)を最適化対象から削除するとともに、点R(m)を最適化対象に加える。そして、S83に進む。
【0127】
第3判定条件が満たされていない場合、S79において、最適化実行部116は、線分W(m)G(m)の中点S(m)’を求める。具体的には、最適化実行部116は、
S(m)’=(1/2)×(G(m)+W(m)) …(7)
の通り、中点S(m)’を求める。次いで、最適化実行部116は、中点S(m)’に対する未フラグ最近傍点S(m)を特定する。そして、最適化実行部116は、点S(m)にフラグを付す。
【0128】
次いで、S80において、最適化実行部116は、関数fを用いて、f(S(m))を導出する。そして、最適化実行部116は、
f(S(m))≦f(W(m)) …(8)
という条件(便宜上、第4判定条件と称する)が満たされているか否かを判定する。第4判定条件が満たされている場合、S81に進む。第4判定条件が満たされていない場合、S82に進む。
【0129】
第4判定条件が満たされている場合、S81において、最適化実行部116は、最悪点W(m)を最適化対象から削除するとともに、点S(m)を最適化対象に加える。そして、S83に進む。
【0130】
第4判定条件が満たされていない場合、S82において、最適化実行部116は、各jについて、線分B(m)Pj
(m)の中点Pj
(m’)’を求める。具体的には、最適化実行部116は、具体的には、最適化実行部116は、
Pj
(m’)’=(1/2)×(Pj
(m)+B(m)) …(9)
の通り、中点Pj
(m’)’を求める。次いで、最適化実行部116は、中点Pj
(m’)’に対する未フラグ最近傍点Pj
(m)’を特定する。そして、最適化実行部116は、各点Pj
(m)を各点Pj
(m)’に更新する。続いて、最適化実行部116は、各点Pj
(m)’にフラグを付す。そして、S83に進む。
【0131】
S83において、最適化実行部116は、上述のS55と同様にして、関数fを用いて、各点Pj
(m)の評価精度を取得する。次いで、最適化実行部116は、上述のS56と同様にして、評価精度に基づいて各点Pj
(m)を序列化する。
【0132】
次いで、S84において、最適化実行部116は、所定の設定判定条件が満たされているかを判定する。設定判定条件が満たされている場合、S85に進む。設定判定条件が満たされていない場合、S71に戻り、上述の各処理が繰り返される。このように、最適化実行部116は、設定判定条件が満たされるまで、上述の各処理を繰り返す。
【0133】
実施形態2における設定判定条件は、例えば、以下の条件1~7の少なくとも1つを含んでいてよい。ここで、Vlは各点P
j
(m)によって構成される超多面体の体積であり、Vsは各初期点によって構成される超多面体の体積である。また、αは、
【数2】
を表す。αは、点(最良点)B
(m)における、関数fのmに関する勾配である。
【0134】
(条件1)Vl/Vs(Vsに対するVlの比率)が、所定の閾値(体積比率閾値)以下となった;
(条件2)mが、上限値qに達した;
(条件3)最適化処理の計算時間が、所定の時間に達した;
(条件4)点B(m)が、所定の繰り返し回数以上に亘って変更されなかった;
(条件5)点B(m)の評価精度が、所定の閾値(評価精度閾値)以上となった;
(条件6)αが、所定の閾値(勾配閾値)以下となった;
(条件7)全ての格子点にフラグが付された。
【0135】
但し、当業者であれば明らかである通り、設定判定条件は上記の例に限定されない。本発明の一態様に係る設定判定条件は、「関数f(すなわち、実施形態2の例における評価精度)の局所的最適解が見出された状態」および「当該局所的最適解のさらなる探索を打ち切るべき条件」の少なくとも一方を表すように設定されていればよい。
【0136】
設定判定条件が満たされている場合、S85において、最適化実行部116は、最良点B(m)のパラメータの組み合わせを採用する。一例として、S85における最良点B(m)の座標を、
B(m)=(SAbest,SBbest,SHbest)
と表す。この場合、最適化実行部116は、(i)SAbestに対応する画像処理設定Aの項目をベスト画像処理設定A(学習用画像セットに対する最適な画像処理設定)として、(ii)SBbestに対応する画像処理設定Bの項目をベスト画像処理設定B(評価用画像セットに対する最適な画像処理設定)として、(iii)SHbestに対応するハイパーパラメータ設定の項目をベストハイパーパラメータ設定として、それぞれ選択する。
【0137】
そして、最適化実行部116は、ベスト画像処理設定Bを、実施形態2における運用時画像処理設定として選択する。また、最適化実行部116は、実施形態2における上述の各処理を通じて学習モデル生成部115Vによって生成された複数の学習モデルの内、ベストハイパーパラメータ設定に対応する学習モデルを、実施形態2におけるベスト学習モデルとして選択する。そして、最適化実行部116は、当該ベスト学習モデルを、実施形態2における運用時学習モデルとして選択する。情報処理システム100Vにおける以降の処理については、実施形態1と同様である。
【0138】
(情報処理システム100Vの効果)
実施形態2の学習装置11Vによれば、所定の最適化手法(例:ネルダー・ミード法)を実行することによって、運用時画像処理設定および運用時学習モデルを見出すことができる。実施形態1の学習装置11とは異なり、全パターンの画像処理設定および全パターンのハイパーパラメータ設定を網羅的に探索することなく、運用時画像処理設定および運用時学習モデルを見出すことができる。
【0139】
このように、学習装置11Vによっても、実施形態1の変形例と同様に、運用時画像処理設定および運用時学習モデルを見出すための計算コストを、学習装置11に比べて低減することが可能となる。加えて、学習装置11Vによれば、最適化手法の実行プロセスを通じて、実施形態1の変形例に比べて、より有効性の高い運用時画像処理設定および運用時学習モデルを見出すことができる。
【0140】
〔変形例〕
実施形態2では、最適化手法としてネルダー・ミード法が使用されている場合を例示した。但し、当業者であれば明らかである通り、本発明の一態様に係る最適化手法として、その他の手法が採用されてもよい。
【0141】
最適化手法の別の例としては、パウエル法(Powell method)を挙げることができる。パウエル法も、ネルダー・ミード法と同様に、微分法に依らずに、多次元の非線形最適化問題を解くことができる。従って、ネルダー・ミード法に替えてパウエル法を用いて、評価精度の極大値を導出することもできる。
【0142】
また、1次元の非線形最適化問題を解く場合には、最適化手法として黄金分割法を使用することもできる。黄金分割法は、微分法に依らずに、1次元の非線形最適化問題を解くことができる。黄金分割法によれば、微分法に依らずに、1次元の非線形関数として表される評価精度の極大値を導出できる。
【0143】
当業者であれば明らかである通り、本発明の一態様に係る最適化手法は、特に限定されない。但し、アルゴリズムの実装の容易化の観点からは、本発明の一態様に係る最適化手法は、微分法に依らない最適化手法、すなわちDFO(Derivative-Free Optimization)であることが好ましい。ネルダー・ミード法、パウエル法、および黄金分割法はいずれも、DFOの例である。
【0144】
〔ソフトウェアによる実現例〕
情報処理システム100・100V(以下では、便宜上「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御装置10・10Vに含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
【0145】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0146】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0147】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の一態様の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0148】
また、上記各実施形態における説明から明らかである通り、上記各実施形態で説明した各処理は、AI(Artificial Intelligence:人工知能)に実行させることができる。この場合、AIは上記制御装置で動作するものであってもよいし、他の装置(例えばエッジコンピュータまたはクラウドサーバ等)で動作するものであってもよい。
【0149】
〔付記事項〕
本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。
【符号の説明】
【0150】
1、1V 情報処理装置
10、10V 制御装置
11、11V 学習装置(モデル生成装置)
12 画像認識装置
100、100V 情報処理システム
111 学習用画像取得部
112 評価用画像取得部
113 設定項目取得部
114、114V 学習時画像処理部
115、115V 学習モデル生成部(学習部)
116 最適化実行部
121 運用画像取得部
122 運用時画像処理部
123 画像認識部
910 学習用画像DB
920 評価用画像DB
930 運用画像DB
IMGL 学習用画像
IMGLP 処理後学習用画像
IMGT 評価用画像
IMGTP 処理後評価用画像
IMGO 運用画像
IMGOP 処理後運用画像