(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023142113
(43)【公開日】2023-10-05
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06T 7/80 20170101AFI20230928BHJP
H04N 23/60 20230101ALI20230928BHJP
G06T 7/00 20170101ALI20230928BHJP
G03B 7/093 20210101ALI20230928BHJP
【FI】
G06T7/80
H04N5/232
G06T7/00 350B
G03B7/093
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022048811
(22)【出願日】2022-03-24
(71)【出願人】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】福島 光瑠
(72)【発明者】
【氏名】高井 勇
【テーマコード(参考)】
2H002
5C122
5L096
【Fターム(参考)】
2H002CC01
2H002GA51
2H002HA01
5C122DA14
5C122DA16
5C122EA12
5C122FA18
5C122FF23
5C122FH11
5C122HB01
5L096BA04
5L096CA05
5L096DA02
5L096FA52
5L096FA69
5L096GA30
5L096HA08
(57)【要約】
【課題】様々な環境下において取得されたデータを処理する学習済みモデルを支援することができる情報処理装置及びプログラムを提供する。
【解決手段】情報処理装置14は、入力データである画像データを取得する。情報処理装置14は、第1学習済みモデルと第2学習済みモデルとを取得する。情報処理装置14は、画像データを、第1学習済みモデルへ入力することにより、第1学習済みモデルから出力された第1出力データを取得する。情報処理装置14は、画像データを、第2学習済みモデルへ入力することにより、第2学習済みモデルから出力された第2出力データを取得する。情報処理装置14は、第2出力データに基づいて、第1出力データを変更するための変更データを生成する。情報処理装置14は、生成された変更データに基づいて、制御対象物であるカメラ12を制御する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
入力データを取得するデータ取得部と、
第1学習済みモデルと第2学習済みモデルとを記憶部から取得するモデル取得部と、
前記データ取得部により取得された前記入力データを、前記モデル取得部により取得された前記第1学習済みモデルへ入力することにより、前記第1学習済みモデルから出力された第1出力データを取得する第1制御部と、
前記データ取得部により取得された前記入力データを、前記モデル取得部により取得された前記第2学習済みモデルへ入力することにより、前記第2学習済みモデルから出力された第2出力データを取得する第2制御部と、
前記第2制御部により取得された前記第2出力データに基づいて、前記第1制御部により取得された前記第1出力データを変更するための変更データを生成する変更部と、
前記変更部により生成された前記変更データに基づいて、制御対象物を制御する第3制御部と、を備え、
前記第1学習済みモデルは、前記第1学習済みモデルに対して入力される前記入力データと、前記第1学習済みモデルから出力される前記第1出力データの第1正解データとの組み合わせである第1学習用データに基づいて予め学習されている学習済みモデルであり、
前記第2学習済みモデルは、前記第1学習済みモデルに対して入力される前記入力データと、前記第1学習済みモデルから出力される前記第1出力データに関連する関連データの第2正解データとの組み合わせである第2学習用データに基づいて、前記第1学習済みモデルが出力する前記第1出力データが前記第1正解データへ近づくように予め学習されている学習済みモデルである、
情報処理装置。
【請求項2】
前記制御対象物はカメラであり、
前記入力データは前記カメラによって撮像された画像データであり、
前記第2学習済みモデルから出力される前記第2出力データは、カメラパラメータ又はカメラパラメータの計算手法の識別データを表す前記関連データであり、
前記第3制御部は、前記関連データに応じた前記カメラパラメータを前記制御対象物である前記カメラに対して設定し、前記カメラによって撮像される画像データの特性を変更するように制御することにより、前記第1学習済みモデルから出力される出力データを変更するように制御する、
請求項1に記載の情報処理装置。
【請求項3】
前記第2学習済みモデルから出力される前記第2出力データは、前記第1学習済みモデルから出力される前記第1出力データと同一種類のデータであり、
前記第3制御部は、前記第2学習済みモデルから出力される前記第2出力データに基づいて、前記制御対象物である前記第1学習済みモデルから出力される前記第1出力データを修正するように制御する、
請求項1に記載の情報処理装置。
【請求項4】
前記データ取得部は、第1センサによって取得された第1入力データと、第2センサによって取得された第2入力データとを、前記入力データとして取得し、
前記第1制御部は、前記データ取得部により取得された前記第1入力データを、前記モデル取得部により取得された前記第1学習済みモデルへ入力することにより、前記第1学習済みモデルから出力された前記第1出力データを取得し、
前記第2制御部は、前記データ取得部により取得された前記第2入力データを、前記モデル取得部により取得された前記第2学習済みモデルへ入力することにより、前記第2学習済みモデルから出力された前記第2出力データを取得し、
前記第3制御部は、前記第2学習済みモデルから出力される前記第2出力データに基づいて、前記制御対象物である前記第1学習済みモデルから出力される前記第1出力データを修正するように制御する、
請求項3に記載の情報処理装置。
【請求項5】
コンピュータを、
入力データを取得するデータ取得部、
第1学習済みモデルと第2学習済みモデルとを記憶部から取得するモデル取得部、
前記データ取得部により取得された前記入力データを、前記モデル取得部により取得された前記第1学習済みモデルへ入力することにより、前記第1学習済みモデルから出力された第1出力データを取得する第1制御部、
前記データ取得部により取得された前記入力データを、前記モデル取得部により取得された前記第2学習済みモデルへ入力することにより、前記第2学習済みモデルから出力された第2出力データを取得する第2制御部、
前記第2制御部により取得された前記第2出力データに基づいて、前記第1制御部により取得された前記第1出力データを変更するための変更データを生成する変更部、及び
前記変更部により生成された前記変更データに基づいて、制御対象物を制御する第3制御部
として機能させるためのプログラムであって、
前記第1学習済みモデルは、前記第1学習済みモデルに対して入力される前記入力データと、前記第1学習済みモデルから出力される前記第1出力データの第1正解データとの組み合わせである第1学習用データに基づいて予め学習されている学習済みモデルであり、
前記第2学習済みモデルは、前記第1学習済みモデルに対して入力される前記入力データと、前記第1学習済みモデルから出力される前記第1出力データに関連する関連データの第2正解データとの組み合わせである第2学習用データに基づいて、前記第1学習済みモデルが出力する前記第1出力データが前記第1正解データへ近づくように予め学習されている学習済みモデルである、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、物体を識別する後段の信号処理に至適なデータを提供し、物体を識別する精度を向上させる技術が知られている(例えば、特許文献1を参照)。特許文献1の技術は、センサから出力された画像データの識別結果を出力した際に、当該画像データの取得時にセンサに適用したパラメータを変更し、変更したパラメータに基づいてセンサが画像データを取得するようにパラメータを設定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、例えば、入力データが入力されると当該入力データに対する出力データを出力する学習済みモデルが信号処理装置に搭載されている場合を考える。この場合、その信号処理装置に搭載されている学習済みモデルは所与のものであり、当該学習済みモデルを変更することは許されない場合がある。
【0005】
例えば、車両に搭載されたカメラによって撮像された画像データが入力データである場合を考える。この場合、カメラによって撮像される車両前方の画像は、その環境に応じて様々に変化し得る。このため、例えば、夜間に撮像された画像データと、昼間に撮像された画像データの両方を1つの物体識別処理又は学習済みモデルによって処理するのは難しい。
【0006】
本発明は、上記課題に鑑みてなされたものであり、様々な環境下において取得されたデータを処理する学習済みモデルを支援することができる情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明に係る情報処理装置は、入力データを取得するデータ取得部と、第1学習済みモデルと第2学習済みモデルとを記憶部から取得するモデル取得部と、前記データ取得部により取得された前記入力データを、前記モデル取得部により取得された前記第1学習済みモデルへ入力することにより、前記第1学習済みモデルから出力された第1出力データを取得する第1制御部と、前記データ取得部により取得された前記入力データを、前記モデル取得部により取得された前記第2学習済みモデルへ入力することにより、前記第2学習済みモデルから出力された第2出力データを取得する第2制御部と、前記第2制御部により取得された前記第2出力データに基づいて、前記第1制御部により取得された前記第1出力データを変更するための変更データを生成する変更部と、前記変更部により生成された前記変更データに基づいて、制御対象物を制御する第3制御部と、を備え、前記第1学習済みモデルは、前記第1学習済みモデルに対して入力される前記入力データと、前記第1学習済みモデルから出力される前記第1出力データの第1正解データとの組み合わせである第1学習用データに基づいて予め学習されている学習済みモデルであり、前記第2学習済みモデルは、前記第1学習済みモデルに対して入力される前記入力データと、前記第1学習済みモデルから出力される前記第1出力データに関連する関連データの第2正解データとの組み合わせである第2学習用データに基づいて、前記第1学習済みモデルが出力する前記第1出力データが前記第1正解データへ近づくように予め学習されている学習済みモデルである、情報処理装置である。
【0008】
本発明に係る前記制御対象物はカメラであり、前記入力データは前記カメラによって撮像された画像データであり、前記第2学習済みモデルから出力される前記第2出力データは、カメラパラメータ又はカメラパラメータの計算手法の識別データを表す前記関連データであり、前記第3制御部は、前記関連データに応じた前記カメラパラメータを前記制御対象物である前記カメラに対して設定し、前記カメラによって撮像される画像データの特性を変更するように制御することにより、前記第1学習済みモデルから出力される出力データを変更するように制御する、ようにすることができる。
【0009】
本発明に係る前記第2学習済みモデルから出力される前記第2出力データは、前記第1学習済みモデルから出力される前記第1出力データと同一種類のデータであり、前記第3制御部は、前記第2学習済みモデルから出力される前記第2出力データに基づいて、前記制御対象物である前記第1学習済みモデルから出力される前記第1出力データを修正するように制御するようにすることができる。
【0010】
本発明に係る前記データ取得部は、第1センサによって取得された第1入力データと、第2センサによって取得された第2入力データとを、前記入力データとして取得し、前記第1制御部は、前記データ取得部により取得された前記第1入力データを、前記モデル取得部により取得された前記第1学習済みモデルへ入力することにより、前記第1学習済みモデルから出力された前記第1出力データを取得し、前記第2制御部は、前記データ取得部により取得された前記第2入力データを、前記モデル取得部により取得された前記第2学習済みモデルへ入力することにより、前記第2学習済みモデルから出力された前記第2出力データを取得し、前記第3制御部は、前記第2学習済みモデルから出力される前記第2出力データに基づいて、前記制御対象物である前記第1学習済みモデルから出力される前記第1出力データを修正するように制御するようにすることができる。
【0011】
本発明のプログラムは、コンピュータを、入力データを取得するデータ取得部、第1学習済みモデルと第2学習済みモデルとを記憶部から取得するモデル取得部、前記データ取得部により取得された前記入力データを、前記モデル取得部により取得された前記第1学習済みモデルへ入力することにより、前記第1学習済みモデルから出力された第1出力データを取得する第1制御部、前記データ取得部により取得された前記入力データを、前記モデル取得部により取得された前記第2学習済みモデルへ入力することにより、前記第2学習済みモデルから出力された第2出力データを取得する第2制御部、前記第2制御部により取得された前記第2出力データに基づいて、前記第1制御部により取得された前記第1出力データを変更するための変更データを生成する変更部、及び前記変更部により生成された前記変更データに基づいて、制御対象物を制御する第3制御部として機能させるためのプログラムであって、前記第1学習済みモデルは、前記第1学習済みモデルに対して入力される前記入力データと、前記第1学習済みモデルから出力される前記第1出力データの第1正解データとの組み合わせである第1学習用データに基づいて予め学習されている学習済みモデルであり、前記第2学習済みモデルは、前記第1学習済みモデルに対して入力される前記入力データと、前記第1学習済みモデルから出力される前記第1出力データに関連する関連データの第2正解データとの組み合わせである第2学習用データに基づいて、前記第1学習済みモデルが出力する前記第1出力データが前記第1正解データへ近づくように予め学習されている学習済みモデルである、プログラムである。
【発明の効果】
【0012】
本発明によれば、様々な環境下において取得されたデータを処理する学習済みモデルを支援することができる、という効果が得られる。
【図面の簡単な説明】
【0013】
【
図1】第1実施形態に係る情報処理装置の構成の一例を示す概略図である。
【
図2】情報処理装置のコンピュータの構成例を示す図である。
【
図3】情報処理システムの概要を説明するための図である。
【
図4】画像データとカメラパラメータとを説明するための図である。
【
図5】第1実施形態の情報処理ルーチンの一例を示す図である。
【
図6】第2実施形態に係る情報処理装置の構成の一例を示す概略図である。
【
図7】第1実施形態の概要を説明するための図である。
【
図8】第1実施形態の概要を説明するための図である。
【
図9】第2実施形態の概要を説明するための図である。
【
図10】第2実施形態の概要を説明するための図である。
【
図11】第2実施形態の情報処理ルーチンの一例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【0015】
本実施形態では、車両にカメラが取り付けられ、車両に搭載されたカメラが車両の前方を逐次撮像する場合を例に説明する。
【0016】
<第1実施形態>
図1を参照して、第1実施形態に係る情報処理システムについて説明する。
図1は、第1実施形態に係る情報処理システム10の概略図を示している。
【0017】
図1に示されるように、情報処理システム10は、カメラ12と、情報処理装置14とを含んで構成されている。
【0018】
カメラ12は、移動体の一例である車両に設置される。カメラ12は、車両の前方の画像を撮像する。カメラ12は、レンズ等の光学系と受光の強度に応じた信号を出力する撮像素子とを含むセンサデバイス12Aと、センサデバイス12Aが出力した信号を画像ファイルへ変換する、いわゆる画像エンジンである前処理器12Bとを備えている。
【0019】
情報処理装置14は、
図2に示されるように、CPU51、一時記憶領域としてのメモリ52、及び不揮発性の記憶部53を備えるコンピュータにより実現される。また、情報処理装置14のコンピュータは、外部装置及び出力装置等が接続される入出力interface(I/F)54、及び記録媒体59に対するデータの読み込み及び書き込みを制御するread/write(R/W)部55を備える。また、コンピュータは、インターネット等のネットワークに接続されるネットワークI/F56を備える。CPU51、メモリ52、記憶部53、入出力I/F54、R/W部55、及びネットワークI/F56は、バス57を介して互いに接続される。
【0020】
記憶部53は、Hard Disk Drive(HDD)、solid state drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部53には、コンピュータを機能させるためのプログラムが記憶されている。CPU51は、プログラムを記憶部53から読み出してメモリ52に展開し、プログラムが有するプロセスを順次実行する。
【0021】
この情報処理装置14をハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、
図1に示されるように、データ取得部140と、学習済みモデル記憶部141と、データ記憶部142と、モデル取得部143と、第1制御部144と、第2制御部145と、変更部146と、第3制御部147と、を備えている。
【0022】
データ取得部140は、カメラ12によって撮像された各時刻の画像データを取得する。画像データは、本発明の入力データの一例である。
【0023】
学習済みモデル記憶部141には、第1学習済みモデルと第2学習済みモデルとが格納されている。
【0024】
図3に、第1実施形態の情報処理システム10の概要を説明するための図を示す。
図3に示されるように、本実施形態の情報処理システム10では、カメラ12のカメラパラメータが設定される。具体的には、本実施形態の情報処理システム10では、カメラ12によって撮像された画像データが第1学習済みモデルM1へ入力されると、第1学習済みモデルM1は第1出力データの一例として物体識別結果を出力する。物体識別結果は、画像データに写る物体の識別結果である。例えば、第1学習済みモデルM1からは、
図4に示されるような物体識別結果が出力される。
【0025】
図4に、画像データとカメラパラメータとを説明するための図を示す。
図4に示されるように、
図4(A)では物体が認識されておらず、検出数:0,信頼度計:0となっている。なお、
図4(A)でのカメラ12の露光時間は所定の露光時間を表す「露光時間1」である。また、
図4(B)では物体が認識されており、検出数:2,信頼度計:168となっている。なお、
図4(B)でのカメラ12の露光時間は「露光時間2」である。また、
図4(C)では物体が認識されており、検出数:2,信頼度計:193となっている。なお、
図4(C)でのカメラ12の露光時間は「露光時間3」である。また、
図4(D)では物体が認識されており、検出数:1,信頼度計:93となっている。なお、
図4(D)でのカメラ12の露光時間は「露光時間4」である。
【0026】
図4に示されるように、カメラ12のカメラパラメータである露光時間が異なる場合、そのカメラ12によって撮像された画像データは異なるものとなり、第1学習済みモデルM1によって得られる物体識別結果も異なるものとなる。
図4(A)~(D)のうち、最も好ましい識別結果は
図4(C)であり、
図4(C)の露光時間3が適切なカメラパラメータであるといえる。
【0027】
そこで、本実施形態の情報処理システム10は、第1学習済みモデルM1から出力される物体識別結果が正解に近づくように、第2学習済みモデルM2を用いてカメラ12のカメラパラメータを設定する。これにより、様々な環境下において取得された画像データを処理する第1学習済みモデルM1を適切に支援することができる。以下、具体的に説明する。
【0028】
第1学習済みモデルM1は、第1学習済みモデルM1に対して入力される画像データと、第1学習済みモデルM1から出力される第1出力データである物体識別結果の正解データ(以下、単に「第1正解データ」とも称する。)との組み合わせである第1学習用データに基づいて予め機械学習されている。
【0029】
第2学習済みモデルM2は、第1学習済みモデルM1に対して入力される画像データと、第1学習済みモデルM1から出力される物体識別結果に関連する関連データの正解データ(以下、単に「第2正解データ」とも称する。)との組み合わせである第2学習用データに基づいて、第1学習済みモデルM1が出力する物体識別結果が第1正解データへ近づくように予め機械学習されている。物体識別結果に関連する関連データは、カメラパラメータ自体又はカメラパラメータの計算手法の識別データである。本実施形態では、関連データがカメラパラメータの計算手法の識別データである場合を例に説明する。
【0030】
なお、本実施形態の第2学習用データに含まれる関連データの第2正解データは、第1学習済みモデルM1から出力される物体識別結果に関する関連データの正解データである。
【0031】
例えば、
図4(A)~(D)のうち、(A)は信頼度計が0であり、(B)は信頼度計が168であり、(C)は信頼度計が193であり、(D)は信頼度計が93である。(B)及び(C)の画像データが第1学習済みモデルM1へ入力された場合には前方車両が検知されている一方で、(A)及び(D)の画像データが第1学習済みモデルM1へ入力された場合には前方車両の検知に失敗していることがわかる。本実施形態では、
図4(A)~(D)の画像データが撮像された際のカメラパラメータ自体又はカメラパラメータの計算手法の識別データを、関連データとして第2学習用データに含ませる。第2学習用データには、(A)及び(D)の画像データが撮像された際のカメラパラメータ自体又はカメラパラメータの計算手法の識別データが含まれているため、第2学習済みモデルM2は、第1学習済みモデルM1が苦手とする画像データが撮像された際のカメラパラメータを改善するような、カメラパラメータ自体又はカメラパラメータの計算手法の識別データを出力するようになる。
【0032】
データ記憶部142には、各種データが格納される。具体的には、データ記憶部142には、カメラ12によって撮像された画像データ、第1学習済みモデルM1から出力された物体識別結果、第2学習済みモデルM2から出力されたカメラパラメータ自体又はカメラパラメータの計算手法の識別データ、及び選択されたカメラパラメータの計算手法によるカメラパラメータ等が格納される。これらの各種データは、後述する各部において利用される。
【0033】
モデル取得部143は、学習済みモデル記憶部141に格納されている第1学習済みモデルM1と第2学習済みモデルM2とを読み出す。
【0034】
第1制御部144は、データ取得部140により取得された画像データを、モデル取得部143により取得された第1学習済みモデルM1へ入力することにより、第1学習済みモデルM1から出力された物体識別結果を取得する。第1制御部144により取得された物体識別結果は、各種の車両制御に利用される。
【0035】
第2制御部145は、データ取得部140により取得された画像データを、モデル取得部143により取得された第2学習済みモデルM2へ入力することにより、第2学習済みモデルM2から出力されたカメラパラメータの計算手法の識別データを取得する。
【0036】
変更部146は、第2制御部145により取得されたカメラパラメータの計算手法の識別データに基づいて、第1制御部144により取得された物体識別結果を変更するための変更データであるカメラパラメータを生成する。
【0037】
具体的には、変更部146は、カメラパラメータの計算手法としてA,B,Cが存在していた場合に、第2学習済みモデルM2から出力されたカメラパラメータの計算手法の識別データが何れのカメラパラメータの計算手法を示しているのかに基づいて、カメラパラメータの計算手法を選定する。例えば、変更部146は、第2学習済みモデルM2から出力されたカメラパラメータの計算手法の識別データが、A:0.8,B:0.1,C:0.1を表していた場合には、最も確率が高いカメラパラメータの計算手法Aを選択する。そして、変更部146は、カメラパラメータの計算手法Aを用いてカメラパラメータPAを計算する。
【0038】
第3制御部147は、変更部146により生成されたカメラパラメータに基づいて、制御対象物であるカメラ12を制御する。
【0039】
具体的には、変更部146により生成されたカメラパラメータPAをカメラ12に対して設定する。なお、カメラパラメータPAは、カメラ12のセンサデバイス12A及び前処理器12Bの何れのパラメータであってもよい。これにより、カメラ12によって撮像される画像データの特性が変更されるため、第1学習済みモデルM1から出力される識別結果を変更するように制御することが可能となる。
【0040】
<情報処理システム10の作用>
【0041】
次に、本実施形態に係る情報処理システム10の作用について説明する。車両に搭載された情報処理システム10が起動し、カメラ12によって車両前方の画像の撮像が開始されると、情報処理装置14は、
図5に示す情報処理ルーチンを実行する。なお、新たな画像データが撮像される毎に
図5に示す情報処理ルーチンが実行される。
【0042】
ステップS100において、データ取得部140は、カメラ12によって撮像された画像データを取得する。
【0043】
ステップS102において、モデル取得部143は、学習済みモデル記憶部141に格納されている第1学習済みモデルM1と第2学習済みモデルM2とを取得する。
【0044】
ステップS104において、第1制御部144は、ステップS100で取得された画像データを、ステップS102で取得された第1学習済みモデルM1へ入力することにより、第1学習済みモデルM1から出力された物体識別結果を取得する。
【0045】
ステップS106において、第2制御部145は、ステップS100で取得された画像データを、ステップS102で取得された第2学習済みモデルM2へ入力することにより、第2学習済みモデルM2から出力されたカメラパラメータの計算手法の識別データを取得する。
【0046】
ステップS108において、変更部146は、ステップS106で取得されたカメラパラメータの計算手法の識別データに基づいて、識別データが示すカメラパラメータの計算手法を特定する。そして、変更部146は、特定されたカメラパラメータの計算手法を用いて、カメラパラメータを生成する。
【0047】
ステップS110において、第3制御部147は、ステップS108で生成されたカメラパラメータをカメラ12に設定して、情報処理ルーチンを終了する。
【0048】
以上の説明で明らかなように、本実施形態の情報処理装置14は、入力データの一例である画像データを取得する。また、情報処理装置14は、第1学習済みモデルM1と第2学習済みモデルM2とを学習済みモデル記憶部141から取得する。情報処理装置14は、画像データを第1学習済みモデルM1へ入力することにより、第1学習済みモデルM1から出力された物体識別結果を取得する。情報処理装置14は、画像データを第2学習済みモデルM2へ入力することにより、第2学習済みモデルM2から出力されたカメラパラメータの計算手法の識別データを取得する。情報処理装置14は、カメラパラメータの計算手法の識別データに基づいて、物体識別結果を変更するための変更データであるカメラパラメータを生成する。そして、情報処理装置14は、生成されたカメラパラメータに基づいて、カメラパラメータをカメラに設定するように制御する。なお、第1学習済みモデルM1は、第1学習済みモデルM1に対して入力される画像データと、第1学習済みモデルM1から出力される物体識別結果の正解である第1正解データとの組み合わせである第1学習用データに基づいて予め学習されている学習済みモデルである。また、第2学習済みモデルM2は、第1学習済みモデルM1に対して入力される画像データと、第1学習済みモデルM1から出力される物体識別結果に関連する関連データであるカメラパラメータ計算手法の正解である第2正解データとの組み合わせである第2学習用データに基づいて、第1学習済みモデルM1が出力する物体識別結果が第1正解データへ近づくように予め学習されている学習済みモデルである。これにより、様々な環境下において取得されたデータを処理する学習済みモデルを支援することができる。具体的には、第1学習済みモデルM1が物体検出器である場合、第1学習済みモデルM1の物体識別結果における物体検出数が最大となるようなカメラパラメータをカメラ12に対して設定することにより、物体検出器から出力される物体識別結果の精度を向上させることができる。
【0049】
なお、画像データの物体識別結果を出力するシステムを車載化するためには、そのシステムが高速である必要がある。この点、上記特許文献1に開示されている技術(例えば、特許文献1の
図11)は、物体識別器332によって検出結果が得られる際に単純パラメータ制御器340がセンサパラメータを設定する。上記特許文献1に開示されている技術は、この単純パラメータ制御器340からの出力によってセンサを制御する構成であるため、ありとあらゆるシーンを機械学習モデルである単純パラメータ制御器340に学習させなければならない。このため、上記特許文献1に開示されている技術は、機械学習モデルである単純パラメータ制御器340を軽量化し、推論時間を短縮させ処理を高速にすることは難しい。さらに、ありとあらゆるシーンにおけるセンサパラメータが異なる学習用データを収集することは現実的に難しい。
【0050】
このため、第1学習済みモデルM1が苦手とする画像データが撮像された際のカメラパラメータを改善するような学習用データのみに基づいて第2学習済みモデルM2を機械学習させるようにしてもよい。この場合には、例えば、物体識別結果における物体検出数が既に多く、そのようなデータを学習用データに含ませたとしても第1学習済みモデルM1の物体識別結果が改善されないようなデータは学習用データには含ませない。これによれば、第2学習済みモデルM2を軽量化することが可能となる。さらに、そのようなデータのみを学習用データに含ませるため、学習用データの収集コストを下げることが可能となる。
【0051】
また、第1学習済みモデルM1が所与のものであり、それ自体を変更することができない場合であっても、カメラ12に対するカメラパラメータを変更することにより、第1学習済みモデルM1から出力される物体識別結果の精度を向上させることができる。特に、物体検出器としての学習済みモデルは各所で個別に開発が進められており、第三者による修正、改善が難しい場合が多い。また、物体検出器としての学習済みモデルに変更を加えると信号処理装置自体の評価のやり直しが発生するため、そのような変更は極力避けたいといった事情が存在する場合もあり得る。これに対し、本実施形態の情報処理システム10によれば、第1学習済みモデルM1が所与のものであり、それ自体を変更することができない場合であっても、カメラ12に対するカメラパラメータを変更することにより、第1学習済みモデルM1から出力される物体識別結果の精度を向上させることができる。
【0052】
<第2実施形態>
次に、第2実施形態について説明する。なお、第2実施形態の構成のうち、第1実施形態と同様の部分は、同一符号を付して説明を省略する。第2実施形態の情報処理システム10においては、第2学習済みモデルM2から出力される第2出力データは、第1学習済みモデルM1から出力される第1出力データと同一種類のデータである。また、第2実施形態の情報処理システム10は、第2学習済みモデルM2から出力される第2出力データに基づいて、第1学習済みモデルM1から出力される第1出力データを修正するように制御する点が、第1実施形態と異なる。
【0053】
図6を参照して、第2実施形態に係る情報処理システムについて説明する。
図6は、第2実施形態に係る情報処理システム210の概略図を示している。
【0054】
図6に示されるように、情報処理システム210は、第1センサの一例である可視光カメラ212と、第2センサの一例である遠赤外線カメラ13と、情報処理装置214とを含んで構成されている。
【0055】
可視光カメラ212は、第1実施形態のカメラ12と同様の構成であり、可視光の波長帯の反射強度を画像化した画像データである可視画像データを取得する。可視画像データは、第1入力データの一例である。
【0056】
遠赤外線カメラ13は、被写体が発する遠赤外領域の放射光を検出するセンサであり、遠赤外線画像データを取得する。遠赤外線画像データは、第2入力データの一例である。遠赤外線カメラ13は、撮像素子を含むセンサデバイス13Aと、センサデバイス13Aが出力した信号を画像ファイルへ変換する、いわゆる画像エンジンである前処理器13Bとを備えている。
【0057】
第2実施形態の情報処理装置214をハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、
図6に示されるように、データ取得部240と、学習済みモデル記憶部241と、データ記憶部142と、モデル取得部243と、第1制御部144と、第2制御部245と、変更部246と、第3制御部247と、を備えている。
【0058】
データ取得部240は、可視光カメラ212によって取得された可視画像データと、遠赤外線カメラ13によって取得された遠赤外線画像データとを、入力データとして取得する。
【0059】
学習済みモデル記憶部241には、第1実施形態と同様の第1学習済みモデルM1と、第2学習済みモデルM22とが格納されている。
【0060】
図7~
図10に、第2実施形態の情報処理システム10の概要を説明するための図を示す。
図7及び
図8は、上述した第1実施形態の情報処理システム10の概要を説明するための図を示す。
図7は第1実施形態の情報処理システム10における学習フェーズを説明する図であり、
図8は第1実施形態の情報処理システム10における運用フェーズを説明する図である。
【0061】
図7に示されるように、第1実施形態における学習フェーズでは、機械学習中の第2学習済みモデルM2からはカメラパラメータの計算手法の識別データが出力される。そして、学習中の第2学習済みモデルM2から出力される識別データと、物体識別結果の信頼度(例えば、物体検出数)が最も高くなるようなカメラパラメータの計算手法の識別データとの間の誤差が小さくなるように、第2学習済みモデルM2に対して機械学習が実行される。
【0062】
なお、この際には、カメラパラメータの計算手法Aによって計算されたカメラパラメータがカメラ12に対して設定された際に撮像された画像データImA、カメラパラメータの計算手法Bによって計算されたカメラパラメータがカメラ12に対して設定された際に撮像された画像データImB、及びカメラパラメータの計算手法Cによって計算されたカメラパラメータがカメラ12に対して設定された際に撮像された画像データImCが第1学習済みモデルM1へ入力される。そして第1学習済みモデルM1から出力される各々の物体識別結果から、物体識別結果の信頼度(例えば、物体検出数)が最も高くなるようなカメラパラメータの計算手法の識別データが第2正解データとして設定される。
【0063】
そして、
図8に示されるように、第1実施形態における運用フェーズでは、第2学習済みモデルM2からはカメラパラメータの計算手法の識別データが出力される。例えば、
図8に示されるように、計算手法Bが選定された場合には、計算手法Bによって計算されたカメラパラメータがカメラ12へ設定される。これにより、そのパラメータで撮像された画像データImBが第1学習済みモデルM1へ入力される。
【0064】
一方、
図9に示されるように、第2実施形態における学習フェーズでは、可視画像データが第1学習済みモデルM1へ入力され、その物体識別結果として第1の物体識別結果が出力される。この際、
図9に示されるように、その第1の物体識別結果と、その正解である第1正解データとしての物体存在位置とが比較され、第1学習済みモデルM1によって検出されなかった物体に対して重みが付加された重みデータが出力される。また、遠赤外線画像データが第2学習済みモデルM22へ入力され、その物体識別結果として第2の物体識別結果が出力される。次に、
図9に示されるように、その第2の物体識別結果と、その正解である第2正解データとしての物体存在位置とが比較され誤差が計算される。そして、その誤差に対して更に重みデータが付加される。これにより、第1学習済みモデルM1によって検出されなかった物体を検出するように第2学習済みモデルM22が学習される。
【0065】
そして、
図10に示されるように、第2実施形態における運用フェーズでは、可視画像データが第1学習済みモデルM1へ入力され、第1学習済みモデルM1からは第1の物体識別結果が出力される。また、遠赤外線画像データが第2学習済みモデルM22へ入力され、第2学習済みモデルM22からは第2の物体識別結果が出力される。そして、第1学習済みモデルM1から出力された第1の物体識別結果と、第2学習済みモデルM22から出力された第2の物体識別結果とが統合され、最終的な物体識別結果となる。この点、第2学習済みモデルM22は、第1学習済みモデルM1が苦手な物体を優先的に検知するように構成されているため、最終的な物体識別結果は、第1学習済みモデルM1の苦手な物体の検知が克服された結果となり得る。以下、具体的に説明する。
【0066】
モデル取得部243は、学習済みモデル記憶部241から、第1学習済みモデルM1と第2学習済みモデルM22と、を取得する。
【0067】
第1制御部144は、第1実施形態と同様に、データ取得部240により取得された可視画像データを、モデル取得部243により取得された第1学習済みモデルM1へ入力することにより、第1学習済みモデルM1から出力された第1の物体識別結果を取得する。第1の物体識別結果は、第1出力データの一例である。
【0068】
第2制御部245は、データ取得部240により取得された遠赤外線画像データを、モデル取得部243により取得された第2学習済みモデルM22へ入力することにより、第2学習済みモデルM22から出力された第2の物体識別結果を取得する。第2の物体識別結果は、第2出力データの一例である。
【0069】
変更部246は、第2制御部245により取得された第2の物体識別結果に基づいて、第1制御部144により取得された第1の物体識別結果を変更するための変更データを生成する。なお、ここでの変更データは、第1の物体識別結果と統合可能なように第2の物体識別結果を変更したデータである。例えば、第1の物体識別結果の形式と、第2の物体識別結果の形式とが異なっている場合には統合が困難であるため、統合を容易にするように第2の物体識別結果の形式を変更することにより変更データを生成する。
【0070】
第3制御部247は、第2学習済みモデルM22から出力される第2の物体識別結果に基づいて、制御対象物である第1学習済みモデルM1から出力される第1の物体識別結果を修正するように制御する。例えば、第3制御部247は、第1の物体識別結果と第2の物体識別結果とを統合する。具体的には、第3制御部247は、第1の物体識別結果である画像に写る物体領域の各確率と、第2の物体識別結果である画像に写る物体領域の各確率とを合算することにより、最終的な物体識別結果を生成する。
【0071】
<情報処理システム210の作用>
【0072】
次に、第2実施形態に係る情報処理システム210の作用について説明する。車両に搭載された情報処理システム210が起動し、可視光カメラ212と遠赤外線カメラ13によって車両前方の画像の撮像が開始されると、情報処理装置214は、
図11に示す情報処理ルーチンを実行する。なお、新たな画像データが撮像される毎に
図11に示す情報処理ルーチンが実行される。
【0073】
ステップS200において、データ取得部240は、可視光カメラ212によって撮像された可視画像データと、遠赤外線カメラ13によって撮像された遠赤外線画像データとを取得する。
【0074】
ステップS202において、モデル取得部243は、学習済みモデル記憶部241に格納されている第1学習済みモデルM1と第2学習済みモデルM22とを取得する。
【0075】
ステップS204において、第1制御部144は、ステップS200で取得された可視画像データを、ステップS202で取得された第1学習済みモデルM1へ入力することにより、第1学習済みモデルM1から出力された第1の物体識別結果を取得する。
【0076】
ステップS206において、第2制御部245は、ステップS200で取得された遠赤外線画像データを、ステップS202で取得された第2学習済みモデルM22へ入力することにより、第2学習済みモデルM22から出力された第2の物体識別結果を取得する。
【0077】
ステップS208において、変更部246は、ステップS206で取得された第2の物体識別結果に基づいて、ステップS204で取得された第1の物体識別結果を変更するための変更データを生成する。
【0078】
ステップS210において、第3制御部247は、ステップS206で得られた第2学習済みモデルから出力される第2の物体識別結果に基づいて、第1学習済みモデルM1から出力される第1の物体識別結果を修正する。具体的には、第3制御部247は、第1の物体識別結果である画像に写る物体領域の各確率と、第2の物体識別結果である画像に写る物体領域の各確率から生成された変更データを統合することにより、最終的な物体識別結果を生成する。
【0079】
ステップS210において、第3制御部247は、ステップS210で生成された最終的な物体識別結果を結果として出力して、情報処理ルーチンを終了する。
【0080】
なお、第2実施形態に係る情報処理システム210の他の構成及び作用については、第1実施形態と同様であるため、説明を省略する。
【0081】
以上の説明で明らかなように、第2実施形態の情報処理装置214においては、第2学習済みモデルM22から出力されるデータは、第1学習済みモデルM1から出力されるデータと同一種類のデータである。情報処理装置214は、可視光カメラ212によって取得された可視画像データと、遠赤外線カメラ13によって取得された遠赤外線画像データとを、入力データとして取得する。情報処理装置214は、可視画像データを、第1学習済みモデルM1へ入力することにより、第1学習済みモデルM1から出力された第1の物体識別結果を取得する。情報処理装置214は、遠赤外線画像データを、第2学習済みモデルM22へ入力することにより、第2学習済みモデルM22から出力された第2の物体識別結果を取得する。そして、情報処理装置214は、第2学習済みモデルM22から出力される第2の物体識別結果に基づいて、制御対象物である第1学習済みモデルM1から出力される第1の物体識別結果を修正するように制御する。これにより、様々な環境下において取得されたデータを処理する学習済みモデルを支援することができ、学習済みモデルを用いた物体識別結果の精度を向上させることができる。
【0082】
また、第2実施形態によれば、第1学習済みモデルM1が誤検知をするような物体を精度よく検知する第2学習済みモデルM22が生成されるため、第1学習済みモデルM1による第1の物体識別結果と第2学習済みモデルM22による第2の物体識別結果とを統合することにより、物体識別結果の精度を向上させることができる。
【0083】
また、第1学習済みモデルM1が所与のものであり、それ自体を変更することができない場合であっても、第1学習済みモデルM1が誤検知をするような物体を精度よく検知する第2学習済みモデルM22を生成することにより、第1学習済みモデルM1から出力される物体識別結果の精度を向上させることができる。
【0084】
また、第2学習済みモデルM22は、第1学習済みモデルM1が誤検知をするような物体に関連する学習用データを用いて機械学習されるため、第1学習済みモデルM1に比べて軽量(すなわち、ネットワーク構造が比較的単純)なモデルとなる。
【0085】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0086】
上記第1実施形態では、センサがカメラ12である場合を例に説明したがこれに限定されるものではない。また、上記第2実施形態では、第1センサが可視光カメラ212であり、第2センサが遠赤外線カメラ13である場合を例に説明したがこれに限定されるものではない。センサはどのようなものであってもよく、例えば、センサはレーザレーダであってもよい。
【0087】
また、上記第2実施形態では、第1センサが可視光カメラ212であり、第2センサが遠赤外線カメラ13である場合を例に説明したがこれに限定されるものではない。例えば、第1センサ及び第2センサは同種のセンサであってもよい。
【0088】
また、本実施形態では、第1学習済みモデルM1が物体検出器である場合を例に説明したがこれに限定されるものではない。第1学習済みモデルM1は、センサの出力であるセンサデータに対し、何かしらの処理をするものであればどのようなものであってもよい。例えば、第1学習済みモデルM1が物体検出器である場合には、入力データを画像データとし、出力データを物体識別結果(例えば、物体検出数、物体検出の確率(又は尤度)、物体の位置、及び物体の種別の少なくとも1つ)とすることができる。この場合には、上述したように、任意の指標である信頼度としては物体検出数を利用することができる。
【0089】
また、第1学習済みモデルM1が物体評価器である場合には、人の画像データが入力された場合、美しくない~美しい、の5段階評価結果を出力データとしてもよい。この場合には、任意の指標である信頼度として5段階評価の数値を利用することができる。例えば、5段階評価の数値が最大であるものに対応するデータを正解データとして用いるようにしてもよい。
【0090】
また、第1学習済みモデルM1が音声認識器である場合には、音声信号データが入力された場合、音声の文字起こし結果を出力データとしてもよい。この場合には、任意の指標である信頼度として文字起こしの誤り率を利用することができる。例えば、文字起こしの誤り率が最小であるものに対応するデータを正解データとして用いるようにしてもよい。
【0091】
なお、本発明のプログラムは、記録媒体に格納して提供することができる。
【符号の説明】
【0092】
10,210 情報処理システム
12 カメラ
13 遠赤外線カメラ
14,214 情報処理装置
140,240 データ取得部
141,241 学習済みモデル記憶部
142 データ記憶部
143,243 モデル取得部
144 第1制御部
145,245 第2制御部
146,246 変更部
147,247 第3制御部
212 可視光カメラ