(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120854
(43)【公開日】2023-08-30
(54)【発明の名称】情報処理装置、検知装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230823BHJP
【FI】
G06T7/00 350B
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022023954
(22)【出願日】2022-02-18
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(71)【出願人】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小林 周
(72)【発明者】
【氏名】松本 知浩
(72)【発明者】
【氏名】杉本 喜一
(72)【発明者】
【氏名】岩田 健司
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096FA69
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】学習負荷を抑制しつつ、誤検知を抑制する。
【解決手段】情報処理装置は、第1画像のデータを、学習済みの第1識別モデルに入力することで、第1画像に誤検知物が含まれるかの判断結果を出力させる第1画像解析部と、誤検知物が含まれると判断された第1画像のデータと、その第1画像に誤検知物が存在することを示す指定情報と、を教師データとして、第2識別モデルに、画像内における誤検知物の有無を機械学習させる学習部と、監視対象となる検知領域が写る第2画像のデータを、学習済みの第2識別モデルに入力することで、第2画像に前記誤検知物が含まれるかの判断結果を出力させる第2画像解析部と、誤検知物が含まれると判断された検知領域が写る第3画像のデータを教師データとして、第1識別モデルを更に学習させる再学習部と、を含む。
【選択図】
図6
【特許請求の範囲】
【請求項1】
画像内における対象物の有無を機械学習させた第1識別モデルと、
画像内において前記対象物であると誤検知される誤検知物の有無を機械学習可能な第2識別モデルと、
第1画像のデータを、学習済みの前記第1識別モデルに入力することで、前記第1画像に誤検知物が含まれるかの判断結果を出力させる第1画像解析部と、
前記第1画像解析部によって前記誤検知物が含まれると判断された前記第1画像のデータと、その第1画像に前記誤検知物が存在することを示す指定情報と、を教師データとして、前記第2識別モデルに、画像内における前記誤検知物の有無を機械学習させる学習部と、
監視対象となる検知領域が写る第2画像のデータを、学習済みの前記第2識別モデルに入力することで、前記第2画像に前記誤検知物が含まれるかの判断結果を出力させる第2画像解析部と、
前記第2画像解析部によって前記誤検知物が含まれると判断された前記検知領域が写る第3画像のデータを教師データとして、前記第1識別モデルを更に学習させる再学習部と、
を含む、
情報処理装置。
【請求項2】
前記第1画像解析部は、前記第1画像のデータを、学習済みの前記第1識別モデルに入力することで、前記第1画像における前記誤検知物の位置を示す情報を出力させ、
前記学習部は、前記第1画像における前記誤検知物の位置に基づいて設定された前記誤検知物の位置を示す情報を、前記指定情報として、前記第2識別モデルに機械学習させる、請求項1に記載の情報処理装置。
【請求項3】
前記第1画像解析部は、撮像領域の少なくとも一部が重複し、かつ画像データが異なる複数の前記第1画像を、学習済みの前記第1識別モデルに入力することで、前記第1画像毎に、前記誤検知物の位置を示す情報を出力させ、
前記学習部は、前記第1画像毎の前記誤検知物の位置を示す情報に基づいて、1つの前記第1画像における前記誤検知物の位置を示す情報を、前記指定情報として設定する、請求項2に記載の情報処理装置。
【請求項4】
前記学習部は、それぞれの前記第1画像における前記誤検知物同士の位置が重ならない場合には、位置が重ならないそれぞれの前記誤検知物の位置を、前記第1画像における前記誤検知物の位置として指定して、前記指定情報を設定する、請求項3に記載の情報処理装置。
【請求項5】
前記学習部は、それぞれの前記第1画像における前記誤検知物同士の位置が重なる場合には、位置が重なるそれぞれの前記誤検知物の位置を含む領域を、前記第1画像における前記誤検知物の位置として指定して、前記指定情報を設定する、請求項3又は請求項4に記載の情報処理装置。
【請求項6】
前記学習部は、前記領域と位置が重なる前記誤検知物の数が多いほど、その領域が前記対象物として誤検知される確率が高い旨を示す重み付け指標を、教師データとして、前記第2識別モデルに機械学習させる、請求項5に記載の情報処理装置。
【請求項7】
前記第2画像解析部は、異なる検知領域が写る複数の前記第2画像のデータを、学習済みの前記第2識別モデルに入力することで、それぞれの前記第2画像について、前記誤検知物が含まれるかの判断結果を出力させ、
前記再学習部は、それぞれの前記検知領域のうちで、前記誤検知物が含まれると判断された前記検知領域が写る前記第3画像のデータで、前記第1識別モデルを更に学習させる、請求項1から請求項6のいずれか1項に記載の情報処理装置。
【請求項8】
前記再学習部は、前記誤検知物が含まれると判断された前記検知領域が写る前記第3画像のデータと、前記第3画像に前記対象物が含まれない旨を示す情報と、を教師データとして、前記第1識別モデルを更に学習させる、請求項1から請求項7のいずれか1項に記載の情報処理装置。
【請求項9】
請求項1から請求項8のいずれか1項に記載の情報処理装置の、前記再学習部により更に学習された前記第1識別モデルを用いて、検知領域における対象物の有無を検知する、検知装置。
【請求項10】
画像内における対象物の有無を機械学習させた第1識別モデルに第1画像のデータを入力することで、前記第1画像に前記対象物であると誤検知される誤検知物が含まれるかの判断結果を出力するステップと、
前記誤検知物が含まれると判断された前記第1画像のデータと、その第1画像に誤検知物が存在することを示す指定情報と、を教師データとして、第2識別モデルに、画像内において前記誤検知物の有無を機械学習させるステップと、
監視対象となる検知領域が写る第2画像のデータを、学習済みの前記第2識別モデルに入力することで、前記第2画像に前記誤検知物が含まれるかの判断結果を出力するステップと、
前記誤検知物が含まれると判断された前記検知領域が写る第3画像のデータを教師データとして、前記第1識別モデルを更に学習させるステップと、
を含む、
情報処理方法。
【請求項11】
画像内における対象物の有無を機械学習させた第1識別モデルに第1画像のデータを入力することで、前記第1画像に前記対象物であると誤検知される誤検知物が含まれるかの判断結果を出力するステップと、
前記誤検知物が含まれると判断された前記第1画像のデータと、その第1画像に誤検知物が存在することを示す指定情報と、を教師データとして、第2識別モデルに、画像内において前記誤検知物の有無を機械学習させるステップと、
監視対象となる検知領域が写る第2画像のデータを、学習済みの前記第2識別モデルに入力することで、前記第2画像に前記誤検知物が含まれるかの判断結果を出力するステップと、
前記誤検知物が含まれると判断された前記検知領域が写る第3画像のデータを教師データとして、前記第1識別モデルを更に学習させるステップと、
を含む、情報処理方法を、コンピュータに実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、検知装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
カメラ等で取得した画像を解析して、画像に含まれる対象物を検知する装置がある。例えば特許文献1には、検知対象の識別モデルを用いた検知処理により、画像から検知対象を検知する情報処理装置が記載されている。このような装置においては、特定の検知領域で検知する場合には、その検知領域で対象物が写った画像を用いて、学習させることがある。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、画像を解析して検知領域を検知する際には、対象物でない物が対象物であると検知される誤検知が発生するおそれがある。一方、検知領域の画像を、撮像条件を異ならせて多数取得して学習させることで、誤検知を抑制させることも可能であるが、検知領域の画像を多数準備する必要があるため、学習での負荷が高くなる。特に、例えば検知領域が複数ある場合には、検知領域毎に、撮像条件が異なる多数の画像が必要となり、学習負荷がより顕著に高くなる。そのため、学習負荷を抑制しつつ、誤検知を抑制することが求められている。
【0005】
本開示は、上述した課題を解決するものであり、学習負荷を抑制しつつ、誤検知を抑制可能な情報処理装置、検知装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る情報処理装置は、画像内における対象物の有無を機械学習させた第1識別モデルと、画像内において前記対象物であると誤検知される誤検知物の有無を機械学習可能な第2識別モデルと、第1画像のデータを、学習済みの前記第1識別モデルに入力することで、前記第1画像に前記誤検知物が含まれるかの判断結果を出力させる第1画像解析部と、前記第1画像解析部によって前記誤検知物が含まれると判断された前記第1画像のデータと、その第1画像に前記誤検知物が存在することを示す指定情報と、を教師データとして、前記第2識別モデルに、画像内における前記誤検知物の有無を機械学習させる学習部と、監視対象となる検知領域が写る第2画像のデータを、学習済みの前記第2識別モデルに入力することで、前記第2画像に前記誤検知物が含まれるかの判断結果を出力させる第2画像解析部と、前記第2画像解析部によって前記誤検知物が含まれると判断された前記検知領域が写る第3画像のデータを教師データとして、前記第1識別モデルを更に学習させる再学習部と、を含む。
【0007】
本開示に係る検知装置は、前記情報処理装置の、前記再学習部により更に学習された前記第1識別モデルを用いて、検知領域における対象物の有無を検知する。
【0008】
本開示に係る情報処理方法は、画像内における対象物の有無を機械学習させた第1識別モデルに、第1画像のデータを入力することで、前記第1画像に前記対象物であると誤検知される誤検知物が含まれるかの判断結果を出力するステップと、前記誤検知物が含まれると判断された前記第1画像のデータと、その第1画像に前記誤検知物が存在することを示す指定情報と、を教師データとして、第2識別モデルに、画像内において前記誤検知物の有無を機械学習させるステップと、監視対象となる検知領域が写る第2画像のデータを、学習済みの前記第2識別モデルに入力することで、前記第2画像に前記誤検知物が含まれるかの判断結果を出力するステップと、前記誤検知物が含まれると判断された前記検知領域が写る第3画像のデータを教師データとして、前記第1識別モデルを更に学習させるステップと、を含む。
【0009】
本開示に係るプログラムは、画像内における対象物の有無を機械学習させた第1識別モデルに、第1画像のデータを入力することで、前記第1画像に前記対象物であると誤検知される誤検知物が含まれるかの判断結果を出力するステップと、前記誤検知物が含まれると判断された前記第1画像のデータと、その第1画像に前記誤検知物が存在することを示す指定情報と、を教師データとして、第2識別モデルに、画像内において前記誤検知物の有無を機械学習させるステップと、監視対象となる検知領域が写る第2画像のデータを、学習済みの前記第2識別モデルに入力することで、前記第2画像に前記誤検知物が含まれるかの判断結果を出力するステップと、前記誤検知物が含まれると判断された前記検知領域が写る第3画像のデータを教師データとして、前記第1識別モデルを更に学習させるステップと、を含む、情報処理方法を、コンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、学習負荷を抑制しつつ、誤検知を抑制することができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、第1実施形態に係る検知システムの模式図である。
【
図2】
図2は、検知装置の制御装置の模式的なブロック図である。
【
図3】
図3は、情報処理装置の模式的なブロック図である。
【
図5】
図5は、第1画像からの対象物検知の例を示す模式図である。
【
図6】
図6は、第2画像からの誤検知物の検知の例を示す模式図である。
【
図8】
図8は、情報処理装置の処理フローを説明するフローチャートである。
【
図9】
図9は、誤検知物の領域の設定の他の例を示す模式図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照して、本開示の好適な実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含むものである。
【0013】
(第1実施形態)
(検知システム)
図1は、第1実施形態に係る検知システムの模式図である。第1実施形態に係る検知システム100は、対象物Aを検知するシステムである。検知システム100は、検知装置1と、情報処理装置10とを有する。検知装置1は、設備W内に配備されて、対象物Aを検知する装置である。検知装置1は、設備W内において監視対象となる領域である検知領域AR内に、対象物Aが存在するかを検知する。情報処理装置10は、検知装置1が対象物Aを検知するための識別器である第1識別モデルM1を設定する。第1識別モデルM1は、対象物Aを検知するための処理を実行するAI(Artificial Intelligence)モデル、すなわち対象物Aを検知するための処理を実行するプログラムである。情報処理装置10や第1識別モデルM1については後述する。なお、設備Wは、例えば工場や倉庫などの屋内設備であるが、それに限られず任意の設備であってよく、例えば屋外の設備であってよい。すなわち、設備Wは、任意の領域を指してよい。また、対象物Aは、本実施形態の例では人であるが、それに限られず、例えば車両など、検知対象となる任意の種類の物体であってよい。
【0014】
(検知装置)
検知装置1は、撮像装置(カメラ)C及び制御装置2を有する。検知装置1は、撮像装置Cにより検知領域ARを撮像して、検知領域ARを撮像した画像を制御装置2により解析することで、検知領域AR内に対象物Aが存在するかを検知する。本実施形態では、検知装置1は、設備W内において異なる位置にある複数の検知領域ARのそれぞれにおいて、対象物Aが存在するかを検知する。本実施形態では、検知装置1は、自動で移動する移動体である。検知装置1は、移動しながら対象物Aの検知を行うため、移動することにより位置が変わる検知領域ARのそれぞれにおいて、対象物Aが存在するかを検知するといえる。ただし、検知装置1は、移動体であることに限られず、設備W内で位置が固定された装置であってよい。この場合例えば、複数の撮像装置Cが設備Wの異なる位置に設けられて、それぞれの撮像装置Cが検知領域ARを撮像する。検知装置1は、各撮像装置Cによるそれぞれの検知領域ARの撮像画像を解析することで、それぞれの検知領域AR内に対象物Aが存在するかを検知する。ただし、検知装置1は、複数の検知領域ARでの対象物Aの検知を行うことに限られず、位置が固定された1つの検知領域ARでの対象物Aの検知を行うものであってよい。
【0015】
図2は、検知装置の制御装置の模式的なブロック図である。制御装置2は、例えばコンピュータであり、
図2に示すように、記憶部4と制御部6とを有する。記憶部4は、制御部6の演算内容やプログラムの情報や、第1識別モデルM1などを記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。記憶部4が記憶する制御部6用のプログラムや第1識別モデルM1は、検知装置1が読み取り可能な記録媒体に記憶されていてもよい。
【0016】
制御部6は、演算装置であり、例えばCPU(Central Processing Unit)などの演算回路を含む。制御部6は、画像取得部7と対象物検知部8とを含む。制御部6は、記憶部4からプログラム(ソフトウェア)を読み出して実行することで、画像取得部7と対象物検知部8とを実現して、それらの処理を実行する。なお、制御部6は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、画像取得部7と対象物検知部8との処理の少なくとも一部を、ハードウェア回路で実現してもよい。
【0017】
画像取得部7は、撮像装置Cによって検知領域ARが撮像された撮像画像(検知領域ARを含む画像)を取得する。画像取得部7は、撮像装置Cを制御することで検知領域ARを撮像させて、検知領域ARが撮像された撮像画像を取得する。
【0018】
対象物検知部8は、機械学習済みの第1識別モデルM1を記憶部4から読み出して、画像取得部7によって取得された撮像画像の画像データを、読み出した第1識別モデルM1に入力することで、第1識別モデルM1から、検知領域ARに対象物Aが存在するかを示す出力データを取得する。対象物検知部8は、検知領域ARに対象物Aが存在するかを示す出力データに基づき、対象物Aを検知する。すなわち例えば、対象物検知部8は、出力データが、検知領域ARに対象物Aが存在する旨を示す場合は、対象物Aが存在すると判断し、出力データが、検知領域ARに対象物Aが存在しない旨を示す場合は、対象物Aが存在しないと判断する。検知装置1が移動体である場合には、例えば対象物Aが存在すると判断された場合には、検知装置1は停止してよい。
【0019】
なお、対象物検知部8が読み出す第1識別モデルM1は、後述の情報処理装置10の再学習部32による機械学習済みのモデルであり、検知領域ARを含む画像内における対象物Aの有無を機械学習させたモデルといえる。言い換えれば、対象物検知部8が読み出す第1識別モデルM1は、検知領域AR内に対象物Aが存在する場合の画像の特徴量が、機械学習されたモデルともいえる。そのため、対象物検知部8が読み出す第1識別モデルM1は、検知領域ARを含む画像が入力されたら、演算を行うことにより、検知領域ARに対象物Aが存在するかの判断結果を出力となっている。
【0020】
以下、情報処理装置10の構成と共に、第1識別モデルM1を機械学習させる方法について説明する。なお、本実施形態では、第1識別モデルM1を機械学習させる情報処理装置10と、学習済みの第1識別モデルM1を用いて対象物Aを検知する検知装置1(制御装置2)とが、別のハードウェアである。ただしそれに限られず、情報処理装置10と制御装置2とが同じハードウェアであってよく、言い換えれば、情報処理装置10(又は制御装置2)が、第1識別モデルM1の機械学習と、学習済みの第1識別モデルM1を用いた対象物Aの検知処理とを、実行してもよい。
【0021】
(情報処理装置)
図3は、情報処理装置の模式的なブロック図である。情報処理装置10は、例えばコンピュータであり、
図3に示すように、通信部12と記憶部14と制御部16とを有する。情報処理装置10は、情報が入力される入力部や、情報を出力する出力部(表示部など)も備えていてよい。なお、
図1の例では、情報処理装置10は、設備Wの外部に設けられているが、情報処理装置10が設けられる位置は任意であってよい。
【0022】
通信部12は、外部の装置と通信を行う通信モジュールであり、例えばアンテナやWi-Fi(登録商標)モジュールなどであってよい。情報処理装置10は、無線通信で外部の装置と通信を行うが、有線通信でもよく、通信方式は任意であってよい。
【0023】
記憶部14は、制御部16の演算内容やプログラムの情報や、第1識別モデルM1及び第2識別モデルMなどを記憶するメモリであり、例えば、RAMと、ROMと、HDDなどの外部記憶装置とのうち、少なくとも1つ含む。記憶部14が記憶する制御部16用のプログラム、第1識別モデルM1、及び第2識別モデルMは、情報処理装置10が読み取り可能な記録媒体に記憶されていてもよい。
【0024】
制御部16は、演算装置であり、例えばCPUなどの演算回路を含む。制御部16は、第1画像取得部20と、第1画像解析部22と、学習部24と、第2画像取得部26と、第2画像解析部28と、第3画像取得部30と、再学習部32とを含む。制御部16は、記憶部14からプログラム(ソフトウェア)を読み出して実行することで、第1画像取得部20と第1画像解析部22と学習部24と第2画像取得部26と第2画像解析部28と第3画像取得部30と再学習部32とを実現して、それらの処理を実行する。なお、制御部16は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、第1画像取得部20と第1画像解析部22と学習部24と第2画像取得部26と第2画像解析部28と第3画像取得部30と再学習部32との処理の少なくとも一部を、ハードウェア回路で実現してもよい。
【0025】
(第1画像の取得)
図4は、第1画像の例を示す模式図である。情報処理装置10は、第1画像取得部20により、第1画像P1を取得する。第1画像P1は、後述の第2識別モデルM2を機械学習させるために用いる画像であり、対象物Aを含まない画像(対象物Aが写っていない画像)である。本実施形態では、第1画像取得部20は、対象物Aを含まず、かつ、設備W内や対象領域ARを含まない画像(設備W内や対象領域ARが写っていない画像)を、第1画像P1として取得する。ただしそれに限られず、第1画像取得部20は、対象物Aを含まない任意の画像を第1画像P1として取得してよく、例えば、設備Wの環境に近い場所が写っている画像を第1画像P1として取得してよい。設備Wの環境に近い場所とは、例えば設備Wと同じ種類の設備を指してよく、すなわち設備Wが倉庫の場合は、設備Wとは別の倉庫内の画像を第1画像P1としてよい。また例えば、第1画像P1は、対象物Aを含まない画像であることにも限られず、対象物Aを含む画像であってもよい。なお、第1画像取得部20は、任意の方法で第1画像P1を取得してよく、例えば、通信部12を介して、外部の装置(サーバ)などから、対象物Aを含まない既存の画像を、第1画像P1として取得してよい。
【0026】
第1画像取得部20は、取得した第1画像P1を用いて、撮像領域(画像の画角内の領域)の少なくとも一部が互いに重複し、かつ画像データが互いに異なる、複数の第1画像P1aを生成して、第1画像P1aを、第2識別モデルM2の学習用に用いてよい。すなわち、それぞれの第1画像P1aは、同じ場所を撮像した画像であるが、撮像領域や周囲環境(例えば明るさ)などの、撮像条件が異なった画像といえる。
図4では、第1画像取得部20は、第1画像P1aとして、第1画像P1a1、P1a2、P1a3を生成する例が示されている。
【0027】
なお、撮像領域の少なくとも一部が重複するとは、それぞれの第1画像P1a同士で、共通する撮像領域があることを指す。
図4の例では、第1画像P1a1、P1a2、P1a3は、撮像領域の全域が重複しており、同じ場所を同じ撮像範囲で撮像した画像に相当するといえる。ただし、第1画像P1aは、一部の撮像範囲が異なってもよく、この場合例えば、第1画像取得部20は、取得した第1画像P1に対して、画像の切り出し範囲を異ならせることで、一部の撮像範囲が互いに異なる複数の第1画像P1aを生成してよい。画像の切り出し範囲は、設備Wでの撮像装置Cの取り付け位置や角度の変化に基づいて設定されることが好ましい。例えば、撮像装置Cが移動体に装着される場合、移動体の通路と車幅の差分が、撮像装置Cの取付位置の変化分となる。通路幅で取り得る移動体の向きや地面の傾斜によって生じる移動体の角度変化が、カメラ角度の変化分となる。この場合例えば、設備Wにおいて、見積もった変化分の範囲で撮像装置Cを取り付け、想定される位置に目印となるマーカを配置し、網羅的に画像を撮影し、取得画像内でのマーカの位置の変化分を切り出し位置の範囲としてよい。切り出す画像のサイズやアスペクト比は、検知に用いる撮像装置Cで得られる画像に基づき設定されてよい。
【0028】
また、画像データの少なくとも一部が異なるとは、例えば、それぞれの第1画像P1aの、各ピクセルの画素データ(階調値)の少なくとも一部が異なることを指し、本実施形態では、少なくとも一部のピクセルの輝度値、コントラスト、及び色相の少なくとも1つが異なることを指す。例えば、第1画像取得部20は、取得した第1画像P1の画像データに対して、輝度値、コントラスト、及び色相の少なくとも1つを調整することにより、少なくとも一部の画像データが異なる複数の第1画像P1aを生成してよい。輝度値、コントラスト、及び色相の少なくとも1つの調整量は、設備Wにおいて定点カメラを設置し、運用時間内で網羅的に取得した画像の輝度値やコントラストや色相の変化量に基づき設定されてよい。
図4の例では、取得した第1画像P1と同じ輝度値の第1画像P1a1と、第1画像P1a1より輝度値が低い第1画像P1a2と、第1画像P1a2より輝度値が低い第1画像P1a3とが生成されている。
【0029】
第1画像取得部20は、撮像領域が異なる複数種類の第1画像P1を取得して、取得した第1画像P1毎に、上述のように複数の第1画像P1aを準備する。すなわち、
図4では、1つの第1画像P1から、複数の第1画像P1a(第1画像P1a1、P1a2、P1a3)を準備している例が示されているが、第1画像取得部20は、取得したそれぞれの第1画像P1毎に、複数の第1画像P1aを準備するといえる。
【0030】
なお、第1画像P1aの生成方法は、上述の方法に限られず任意であってよい。例えば、取得した第1画像P1を、そのまま第1画像P1aとして用いてよい。また、
図4の例では、1つの第1画像P1から、画像データが異なる3つの第1画像P1a(第1画像P1a1、P1a2、P1a3)を生成していたが、第1画像P1aの数は3つに限られず、任意であってよい。また、第1画像取得部20は、取得した第1画像P1に基づき、自身で複数の第1画像P1aを生成するが、自身で生成することに限られず、予め生成された複数の第1画像P1aを、例えば通信部12を介して取得してもよい。
【0031】
(第1画像からの対象物の検知)
第1画像解析部22は、記憶部14から第1識別モデルM1を読み出して、第1識別モデルM1に第1画像P1aのデータを入力することで、第1画像P1aに対象物Aが含まれているかの検知結果を取得する。第1画像解析部22が使用する第1識別モデルM1は、画像内における対象物Aの有無を機械学習させたモデルである。そのため、この第1識別モデルM1は、画像データが入力された場合に、演算を実行して、その画像に対象物Aが含まれているかの判断結果を出力できる。第1識別モデルM1による、第1画像P1aに対象物Aが含まれているかの検知結果とは、第1画像P1aに誤検知物Bが含まれているかの検知結果であると言い換えることができる。すなわち、第1識別モデルM1が第1画像P1a内で検知した対象物Aは、誤検知されたもの(すなわち誤検知物B)であるといえる。なお、誤検知物Bとは、対象物Aであると誤検知された物体を指す。なお、第1画像解析部22が使用する第1識別モデルM1は、対象物Aの有無を仮学習済みであるといえ、この仮学習済みの第1識別モデルM1を、後述のように再学習部32によって更に学習させることで、設備W(対象領域AR)内での対象物Aの誤検知を抑制可能な第1識別モデルM1が生成される。なお、第1識別モデルM1としては、任意のAIモデルが適用できるが、例えばCNN(Conventional Neural Network:畳み込みニューラルネットワーク)モデルを用いてよい。
【0032】
第1画像解析部22は、画像内における対象物Aの有無が予め学習されたモデルを、仮学習済みの第1識別モデルM1として取得してよく、例えば一般公開データセットを学習したPre-trainedモデルを取得してよい。ただし、第1画像解析部22が、仮学習前の第1識別モデルM1を取得し、第1識別モデルM1に仮学習させてよい。この場合例えば、第1画像解析部22は、対象物Aを含む任意の画像と、その画像に対象物Aが含まれていることを示す情報(ラベル)とを、教師データとして第1識別モデルM1に入力することで、第1識別モデルM1に仮学習させてよい。対象物Aを含む画像としては、設備W内や対象領域ARが含まれない画像を用いてよい。
【0033】
第1画像解析部22は、第1画像取得部20が取得した第1画像P1aのデータを、仮学習済みの第1識別モデルM1に入力することで、仮学習済みの第1識別モデルM1から、第1画像P1aに対象物A(誤検知物B)が含まれるかの判断結果を出力させて、その判断結果を取得する。なお、第1画像P1aは対象物Aが含まれない画像なので、第1画像P1aに対象物Aが含まれるとの判断結果は、対象物Aでないものを対象物Aであると誤検知した判断結果、すなわち誤検知物Bが含まれるとの判断結果であるといえる。
【0034】
より詳しくは、仮学習済みの第1識別モデルM1は、画像に対象物Aが含まれるかの判断結果として、対象物Aが含まれると判断した画像内における、対象物Aの位置情報(画像内における対象物Aの位置を示す情報)を、すなわち画像内で対象物Aが占めている領域の位置情報を出力するように学習されていることが好ましい。従って、第1画像解析部22は、第1画像P1のデータを、仮学習済みの第1識別モデルM1に入力することで、第1識別モデルM1から、対象物Aが含まれると判断された第1画像P1内における対象物Aの位置情報を(対象物Aが占める領域RAの位置情報を)、取得することが好ましい。なお、第1識別モデルM1から取得した対象物Aの位置情報は、誤検知された対象物A(すなわち誤検知物B)の位置情報であるといえる。
【0035】
図5は、第1画像からの対象物検知の例を示す模式図である。第1画像解析部22は、第1画像取得部20によって取得されたそれぞれの第1画像P1aのデータを、仮学習済みの第1識別モデルM1に入力することで、第1画像P1a毎に、第1画像P1a内における対象物Aの位置情報を取得する。
図5の例では、仮学習済みの第1識別モデルM1により、第1画像P1a1に対象物Aが含まれると判断されており、その対象物Aが占める領域RA1の位置情報が取得される。同様に、
図5の例では、第1画像P1a2、P1a3にも対象物Aが含まれていると判断されており、それらの対象物Aが占める領域RA2、RA3の位置情報が取得される。それぞれの第1画像P1aは、輝度値などの画像データが異なるため、
図5の例に示すように、異なる箇所で対象物Aが検知(誤検知)されることがある。
【0036】
上述のように、本実施形態では、撮像領域が異なる複数種類の第1画像P1毎に、複数の第1画像P1aが準備される。第1画像解析部22は、それら複数種類の第1画像P1毎に設定された第1画像P1aのそれぞれについて、仮学習済みの第1識別モデルM1により、第1画像P1aに対象物Aが含まれるかの判断結果を取得する。
【0037】
(第2識別モデル用の教師データの設定)
学習部24は、対象物Aが含まれると判断された第1画像P1aに対応する第1画像P1と、その第1画像P1についての指定情報とを含むデータセットを、未学習の第2識別モデルM2用の教師データとして設定する。指定情報とは、その第1画像P1に誤検知物Bが含まれるか否かを示す情報である。すなわち、学習部24は、対象物Aが含まれると判断された第1画像P1aのデータと、その第1画像P1aに対応する第1画像P1に誤検知物Bが含まれる旨の情報とを、第2識別モデルM2用の教師データとする。学習部24は、対象物Aが含まれないと判断された第1画像P1aに対応する第1画像P1については、第2識別モデルM2用の教師データとして用いなくてよい。
【0038】
より詳しくは、学習部24は、第1識別モデルM1によって示された第1画像P1aにおける対象物Aの位置に基づいて、その第1画像P1aに対応する第1画像P1における誤検知物Bの位置を設定する。そして、学習部24は、その第1画像P1における誤検知物Bの位置を示す情報を、指定情報とする。すなわち、学習部24は、対象物Aが含まれると判断された第1画像P1aに対応する第1画像P1のデータと、その第1画像P1における誤検知物Bの位置情報とを、第2識別モデルM2用の教師データとする。
【0039】
本実施形態では、上述のように、同じ第1画像P1に対して、画像データが異なる複数の第1画像P1aが設定されており、それぞれの第1画像P1aについて、対象物Aの位置情報が取得される。そのため、学習部24は、同じ第1画像P1に対応した第1画像P1a毎の対象物の位置に基づいて、その第1画像P1における誤検知物Bの位置を設定して、指定情報とする。すなわち
図5の例では、学習部24は、第1画像P1a1における領域RA1の位置情報と、第1画像P1a2における領域RA2の位置情報と、第1画像P1a3における領域RA3の位置情報とに基づき、第1画像P1a1、P1a2、P1a3の元となる第1画像P1での誤検知物Bの位置情報(領域RBの位置情報)を、指定情報として設定する。例えば、学習部24は、それぞれの第1画像P1aにおける対象物A同士の位置が重なる場合には(対象物A同士の位置が重なる第1画像P1aがある場合には)、それらの対象物Aの位置を含む領域を、第1画像P1における誤検知物の位置として設定する。すなわち
図5の例では、第1画像P1aにおける領域RA1と、第1画像P1bにおける領域RA2の位置とが、少なくとも一部の領域で位置が重なるため、学習部24は、領域RA1と領域RA2とを含む領域RB1を、第1画像P1における誤検知物の位置として設定する。また例えば、学習部24は、それぞれの第1画像P1aにおける対象物Aの位置が重ならない場合には(対象物A同士の位置が重ならない第1画像P1aがある場合には)、それぞれの対象物Aの位置を、第1画像P1における誤検知物Bの位置として設定する。すなわち例えば、
図5においては、領域RA3の位置は、領域RA1及び領域RA2に重なっていないため、学習部24は、領域RA1及び領域RA2を含む領域RB1に加えて、領域RA3の位置を含む領域RB2についても、第1画像P1における誤検知物の位置として設定する。
【0040】
また、本実施形態では、撮像領域が異なる複数種類の第1画像P1毎に、複数の第1画像P1aが準備される。学習部24は、それら複数種類の第1画像P1毎に上述の処理を行うことで、対象物Aが含まれると判断された第1画像P1毎に、第1画像P1のデータと指定情報とを含むデータセットを準備して、第2識別モデルM2用の教師データとする。
【0041】
(第2識別モデルの学習)
学習部24は、上述のように設定した教師データ(対象物Aが含まれると判断された第1画像P1と指定情報)を、未学習の第2識別モデルM2に入力することで、第2識別モデルM2に、画像内における誤検知物Bの有無を機械学習させる。これにより、第2識別モデルM2は、未知の画像データが入力された場合に、演算を実行することで、その画像内での誤検知物Bの有無の判断結果を出力可能となる。より詳しくは、学習部24は、対象物Aが含まれると判断された第1画像P1のデータと、その第1画像Pにおける誤検知物Bの位置を示す指定情報とを教師データとして、第2識別モデルM2に、画像内における誤検知物Bの位置を機械学習させることが好ましい。学習部24は、撮像領域が異なる複数種類の第1画像P1毎に準備した教師データのそれぞれを、第2識別モデルM2に入力することで、第2識別モデルM2に機械学習させる。これにより、第2識別モデルM2は、未知の画像データが入力された場合に、誤検知物Bの有無の判断結果として、その画像内における誤検知物Bの位置情報を出力可能となる。すなわち、学習済みの第2識別モデルM2は、画像内における誤検知物Bの有無や誤検知物Bの位置情報を機械学習させたモデルであり、誤検知物Bが存在する場合の画像の特徴量が、機械学習されたモデルともいえる。なお、第2識別モデルM2としては、任意のAIモデルが適用できるが、例えばCNNモデルを用いてよい。
【0042】
このように、本実施形態においては、撮像場所や撮像条件が異なる第1画像P1aを、第2識別モデルM2の教師データとしている。そのため、このような教師データを用いて学習した第2識別モデルM2は、撮像条件や撮像場所の違いを吸収して、撮像条件や撮像場所が異なったとしても、誤検知物Bを高精度に検知可能となる。
【0043】
(第2画像の取得)
第2画像取得部26は、検知領域ARを含み、かつ対象物Aを含まない第2画像P2を取得する。すなわち、第2画像P2は、対象物Aが存在しない状態の検知領域ARを撮像した画像といえる。本実施形態では、第2画像取得部26は、複数の検知領域ARのそれぞれについて、第2画像P2を取得する。すなわち例えば、検知装置1が移動体である場合には、検知装置1の移動に伴い位置が変わる検知領域ARのそれぞれについての、第2画像P2を取得するといえる。第2画像取得部26は、1つの検知領域ARについて取得する第2画像P2の数を、出来るだけ少なくすることが好ましい。第2画像P2の数を少なくすることで、検知領域ARが写る画像を用いた機械学習の負荷を低減できる。本実施形態では、第2画像取得部26は、検知領域AR毎にそれぞれ1つの第2画像P2を取得するが、それに限られず、1つの検知領域ARに対して2つ以上の第2画像P2を取得してもよい。また、第2画像取得部26は、任意の方法で第2画像P2を取得してよいが、例えば、検知装置1や他の装置により撮像された設備W内の検知領域ARの画像を、通信部12を介して、第2画像P2として取得してよい。なお、第2画像P2は、対象物Aを含まない画像であることにも限られず、対象物Aを含んだ検知領域AR画像であってもよい。
【0044】
(第2画像での誤検知物の検知)
図6は、第2画像からの誤検知物の検知の例を示す模式図である。第2画像解析部28は、第2画像P2のデータを、学習部24によって学習済みの第2識別モデルM2に入力することで、第2識別モデルM2から、第2画像P2に誤検知物Bが含まれるかの判断結果を取得する。さらに言えば、第2画像解析部28は、互いに異なる検知領域ARが写る複数の第2画像P2のデータを、学習済みの第2識別モデルM2に入力する。これにより、第2画像解析部28は、第2識別モデルM2から、それぞれの第2画像P2に(すなわちそれぞれの検知領域ARに)誤検知物Bが含まれるかの判断結果を取得する。なお、第2画像解析部28は、誤検知物Bが含まれるかの判断結果として、第2画像P2における誤検知物Bの位置情報を取得してもよい。
図6の例では、検知領域AR毎の第2画像P2として、第2画像P2a、P2bが取得された場合を例にしている。この場合、第2画像解析部28は、第2画像P2aのデータを第2識別モデルM2に入力することで、第2画像P2aに誤検知物Bが含まれるかの判断結果を取得し、第2画像P2bのデータを第2識別モデルM2に入力することで、第2画像P2bに誤検知物Bが含まれるかの判断結果を取得する。
図6の例では、第2画像P2aに誤検知物Bが含まれると判断されて、誤検知物Bの位置を示す領域RBの位置情報が取得されており、第2画像P2bには誤検知物Bが含まれないと判断されている。なお、
図6の例では第2画像P2の数は2つであるが、第2画像P2の数は2つに限られず、検知領域ARの数などに応じた任意の数であってよい。
【0045】
(第3画像の取得)
第3画像取得部30は、第2識別モデルM2によって誤検知物Bが含まれると判断された第2画像P2に基づいて、第1識別モデルM1を再学習させるための第3画像P3を取得する。第3画像取得部30は、誤検知物Bが含まれると判断された対象領域AR(誤検知物Bが含まれると判断された第2画像P2に写る対象領域AR)を含む画像を、第3画像P3として取得する。本実施形態では、第3画像取得部30は、誤検知物Bが含まれると判断された対象領域ARを含み、かつ、対象物Aを含まない画像を、第3画像P3として取得する。第3画像取得部30は、誤検知物Bが含まれると判断された対象領域AR毎に、第3画像P3を取得する。第3画像取得部30は、誤検知物Bが含まれないと判断された対象領域ARについては、第3画像P3を準備しなくてよい。なお、第3画像P3は、対象物Aを含まない画像であることに限られず、例えば、対象物Aを含み、かつ誤検知物Bが含まれると判断された対象領域ARの画像であってもよい。
【0046】
図7は、第3画像の例を示す模式図である。第3画像取得部30は、誤検知物Bが含まれると判断された対象領域AR毎に、撮像領域の少なくとも一部が互いに重複し、かつ画像データが互いに異なる、複数の第3画像P3を取得することが好ましい。すなわち、それぞれの第3画像P3は、同じ対象領域ARを撮像した画像であるが、撮像領域や周囲環境(例えば明るさ)などの、撮像条件が異なった画像といえる。
図7では、第1画像取得部20は、第3画像P3として、第3画像P3a、P3b、P3cを取得する例が示されている。
図7の例では、第3画像P3a、P3b、P3cは、撮像領域の全域が重複しており、同じ対象領域ARを同じ撮像範囲で撮像した画像に相当するといえる。ただし、それぞれの第3画像P3は、一部の撮像範囲が異なってもよい。また、
図7の例では、第3画像P3a、第3画像P3b、第3画像P3cの順で、輝度値が低くなっている。
図7の例では、画像全体で(全ピクセルで)一様に輝度値が異なるが、それに限られず、一部のピクセルの輝度値が異なってもよい。
【0047】
第3画像取得部30は、任意の方法で第3画像P3を取得してよい。例えば、誤検知物Bが含まれると判断された対象領域ARを、撮像条件(例えば撮像範囲や周辺環境)を異ならせて撮像させて、第3画像取得部30は、撮像条件を異ならせて撮像された各画像を、第3画像P3として取得してよい。また例えば、第3画像取得部30は、誤検知物Bが含まれると判断された第2画像P2を、第3画像P3として取得してよい。この場合例えば、第3画像取得部30は、誤検知物Bが含まれると判断された第2画像P2に対して、第1画像P1から第1画像P1aを生成する場合と同様の処理を行うことで、複数の第3画像P3を生成してよい。
【0048】
(第1識別モデルの再学習)
再学習部32は、第3画像P3のデータを教師データとして、仮学習済みの第1識別モデルM1を更に学習させて、学習済みの第1識別モデルM1を生成する。すなわち、再学習部32は、第3画像P3を教師データとして、仮学習済みの第1識別モデルM1に、検知領域ARを含む画像内における対象物Aの有無を学習させることで、学習済みの第1識別モデルM1を生成する。再学習部32は、それぞれの検知領域ARのうちで、誤検知物が含まれると判断された検知領域ARが写る第3画像P3のデータを教師データとして、第1識別モデルM1を更に学習させるといえる。
【0049】
より詳しくは、再学習部32は、第3画像P3のデータと、第3画像P3に対象物Aが含まれない旨を示す情報とを含むデータセットを、教師データとして、仮学習済みの第1識別モデルM1に入力する。再学習部32は、誤検知物Bが含まれると判断された対象領域AR毎に設定された、画像データが異なる複数の第3画像P3(
図7の例では第3画像P3a、P3b、P3c)のそれぞれについて、データセット(第3画像P3のデータと対象物Aが含まれない旨を示す情報)を準備して、それぞれのデータセットを教師データとして、仮学習済みの第1識別モデルM1に入力する。これにより、第1識別モデルM1は、検知領域ARが写る未知の画像データが入力された場合に、演算を実行することで、その画像内に対象物Aが存在するかを出力可能となる。さらに言えば、第1識別モデルM1は、誤検知しやすい物体である誤検知物Bが検出された検知領域ARに、実際には対象物Aが存在していない旨を、教師データとして学習するため、誤検知を抑制しつつ、対象物Aを高精度に検知できる。
【0050】
情報処理装置10は、このように再学習部32によって更に学習された第1識別モデルM1を、例えば通信部12を介して、検知装置1に送信する。検知装置1は、上述のように、再学習部32によって更に学習された第1識別モデルM1を用いて、対象物Aの検知を行う。
【0051】
(処理フロー)
次に、以上説明した情報処理装置10の処理フローを説明する。
図8は、情報処理装置の処理フローを説明するフローチャートである。
図8に示すように、情報処理装置10は、第1画像解析部22により、第1画像P1に基づき設定された第1画像P1aを、仮学習済みの第1識別モデルM1に入力して、第1画像P1aでの対象物A(誤検知物B)の有無の判断結果を取得する(ステップS10)。情報処理装置10は、学習部24により、対象物Aが含むと判断された第1画像P1aに対応する第1画像P1のデータと、その第1画像P1に誤検知物Bが含まれる旨の指定情報とを教師データとして、第2識別モデルMに学習させる(ステップS12)。そして、情報処理装置10は、第2画像解析部28により、検知領域ARを含む第2画像P2のデータを、学習済みの第2識別モデルM2に入力して、第2画像P2での誤検知物Bの有無の判断結果を取得する(ステップS14)。そして、情報処理装置10は、誤検知物Bを含むと判断された検知領域ARが写る第3画像P3のデータと、その第3画像P3に対象物Aが含まない旨を示す情報とを教師データとして、仮学習済みの第1識別モデルM1を更に学習させる(ステップS16)。
【0052】
(効果)
ここで、検知領域AR内の画像を解析して対象物Aを検知する際には、検知領域ARで対象物Aが写った画像を用いて機械学習したAIモデルを用いる場合がある。このようなAIモデルを用いた場合、対象物でない物が対象物Aであると誤検知されるおそれがある。一方、検知領域AR内で対象物Aが写った画像を、撮像条件を異ならせて多数取得して学習させることで、誤検知を抑制させることも可能であるが、検知領域AR内で対象物Aが写った画像を多数準備する必要があるため、学習での負荷が高くなる。特に、検知領域ARが複数ある場合には、それぞれの検知領域ARにおいて対象物Aが写った画像を多数準備する必要があるため、学習での負荷が顕著となる。それに対して、本実施形態に係る情報処理装置10は、仮学習済みの第1識別モデルM1に、任意の第1画像P1から誤検知しやすい誤検知物Bを抽出させる。そして、その誤検知物Bの特徴量を第2識別モデルM2に機械学習させて、その第2識別モデルM2により、監視対象となる検知領域ARを含んだ第2画像P2から誤検知物Bを検知させることで、誤検知しやすい検知領域ARを抽出する。そして、誤検知しやすい検知領域ARを含む第3画像P3を用いて、第1識別モデルM1に更に学習させることで、誤検知しやすい検知領域ARにおいても、誤検知を適切に抑制可能となる。さらに、誤検知しやすい検知領域ARを選んで機械学習させるため、学習用に検知領域ARの画像を多く準備する必要がなくなり、学習での負荷も低減できる。
【0053】
なお、本実施形態では、1つのハードウェアである情報処理装置10が、第1識別モデルM1及び第2識別モデルM2の両方を有して、上記の処理を行ったが、情報処理装置10が行う処理を複数のハードウェアによって実現してもよい。すなわち例えば、第1識別モデルM1を有して第1識別モデルM1を再学習させる装置と、第2識別モデルM2を学習させる装置とを、別の装置としてもよい。この場合、第1識別モデルM1を再学習させる装置は、第2識別モデルM2を学習させる装置から、学習済みの第2識別モデルM2を取得して、それを用いて第1識別モデルM1を再学習させてよい。
【0054】
(他の例)
第2識別モデルM2の教師データの設定の他の例を以下で説明する。
図9は、誤検知物の領域の設定の他の例を示す模式図である。学習部24は、仮学習済みの第1識別モデルM1による第1画像P1aからの対象物Aの検知結果に基づいて、第1画像P1において誤検知される確率が高い領域を抽出して、その領域を含む画像データを、第2識別モデルM2に優先的に機械学習させてよい。この場合例えば、学習部24は、第1画像P1における誤検知物Bの位置を示す領域RB毎に、その領域RBと位置が重なる領域RA(第1画像P1aで検知(誤検知)された対象物Aの位置を示す領域)の数を、算出する。そして、学習部24は、位置が重なる領域RAの数に基づいて、領域RB毎に重み付け指標を設定する。重み付け指標とは、その領域RBが対象物Aとして誤検知される確率を示す指標である。学習部24は、位置が重なる領域RAの数が多いほど、その領域RBの重み付け指標が高い値になるように(対象物Aとして誤検知される確率が高くなるように)、重み付け指標を設定する。
図9の例では、領域RB1には1つの領域RA1が重なっており、領域RB2には、2つの領域RA2a、RA2bが重なっており、領域RB3には、3つの領域RA3a、RA3b、RA3cが重なっている。従って、学習部24は、領域RB1、RB2、RB3の順で、重み付け指標が高くなるように、領域RB1、RB2、RB3に対して重み付け指標を設定する。
【0055】
そして、学習部24は、第1画像P1のデータと、その第1画像P1に含まれる誤検知物Bの位置情報を示す指定情報と、重み付け指標とを、教師データとして、第2識別モデルM2に機械学習させる。そのため、第2識別モデルM2は、対象物Aであると誤検知される頻度が高かった領域と特徴量が近い領域を、誤検知物Bであると高精度に検知することが可能となり、結果として第1識別モデルM1による対象物Aの誤検知をより適切に抑制できる。
【0056】
なお、
図9の例では、位置が重なる領域RAの数が多いほど、その領域RBの重み付け指標が高い値になるように、重み付け指標が設定されていたが、重み付け指標の設定方法はこれに限られない。例えば、学習部24は、領域RB内において、領域RA同士が重なっている領域の面積である重複面積を算出してもよい。この場合、学習部24は、重複面積が大きい領域RBほど、その領域RBの重み付け指標が高い値になるように、重み付け指標を設定してもよい。
【0057】
(効果)
以上説明したように、本実施形態に係る情報処理装置10は、画像内における対象物Aの有無を仮学習させた第1識別モデルM1と、画像内において対象物Aであると誤検知される誤検知物Bの有無を機械学習可能な第2識別モデルM2と、第1画像解析部22と、学習部24と、第2画像解析部28と、再学習部32とを含む。第1画像解析部22は、対象物Aを含まない第1画像P1aのデータを、仮学習済みの第1識別モデルM1に入力することで、第1画像P1aに対象物A(誤検知物B)が含まれるかの判断結果を出力させる。学習部24は、第1画像解析部22によって対象物A(誤検知物B)が含まれると判断された第1画像P1のデータと、その第1画像P1に誤検知物Bが存在することを示す指定情報と、を教師データとして、第2識別モデルM2に、画像内における誤検知物Bの有無を機械学習させる。第2画像解析部28は、監視対象となる検知領域ARが写る第2画像P2のデータを、学習済みの第2識別モデルM2に入力することで、第2画像P2に誤検知物Bが含まれるかの判断結果を出力させる。再学習部32は、第2画像解析部28によって誤検知物Bが含まれると判断された検知領域ARが写る第3画像P3のデータを教師データとして、第1識別モデルM1を更に学習させる。
【0058】
本実施形態に係る情報処理装置10は、仮学習済みの第1識別モデルM1に、画像から誤検知しやすい誤検知物Bを抽出させる。そして、その誤検知物Bの特徴量を第2識別モデルM2に機械学習させて、その第2識別モデルM2により、監視対象となる検知領域ARを含んだ第2画像P2から誤検知物Bを検知させることで、誤検知しやすい検知領域ARを抽出する。そして、誤検知しやすい検知領域ARを含む第3画像P3を用いて、第1識別モデルM1に更に学習させることで、誤検知しやすい検知領域ARにおいても、誤検知を適切に抑制可能となる。さらに、誤検知しやすい検知領域ARを選んで機械学習させるため、学習用に検知領域ARの画像を多く準備する必要がなくなり、学習での負荷も低減できる。
【0059】
第1画像解析部22は、第1画像P1aのデータを、仮学習済みの第1識別モデルM1に入力することで、第1画像P1aにおける対象物A(誤検知物B)の位置を示す情報を出力させることが好ましい。学習部24は、第1画像P1aにおける対象物A(誤検知物B)の位置に基づいて設定された誤検知物Bの位置を示す情報を、指定情報として、第2識別モデルM2に機械学習させる。本開示の情報処理装置10によると、誤検知物Bの位置を機械学習させることで、誤検知しやすい検知領域ARにおいても、誤検知を適切に抑制可能となる。
【0060】
第1画像解析部22は、撮像領域の少なくとも一部が重複し、かつ画像データが異なる複数の第1画像P1aを、仮学習済みの第1識別モデルM1に入力することで、第1画像P1a毎に、対象物A(誤検知物B)の位置を示す情報を出力させることが好ましい。学習部24は、第1画像P1a毎の対象物A(誤検知物B)の位置を示す情報に基づいて、1つの第1画像P1における誤検知物Bの位置を示す情報を、指定情報として設定することが好ましい。本開示の情報処理装置10によると、撮像条件が異なる複数の第1画像P1aを準備して、誤検知物Bの検知を行わせるため、撮像条件が異なる場合にも誤検知物Bを適切に検知することが可能となる。そのため、第1識別モデルM1の再学習時に、撮像条件が異なる検知領域ARの画像を多数準備する必要がなくなり、誤検知を抑制しつつ学習負荷を低減できる。
【0061】
学習部24は、それぞれの第1画像P1aにおける対象物A(誤検知物B)同士の位置が重ならない場合には、位置が重ならないそれぞれの対象物A(誤検知物B)の位置を、第1画像P1における誤検知物Bの位置として指定して、指定情報を設定することが好ましい。本開示の情報処理装置10によると、撮像条件が異なるそれぞれの第1画像P1aにおいて、異なる位置で誤検知された対象物Aを誤検知物Bとして指定する。そのため、撮像条件が異なる場合にも誤検知物Bを適切に検知することが可能となり、結果として第1識別モデルM1による対象物Aの誤検知をより適切に抑制できる。
【0062】
学習部24は、それぞれの第1画像P1における対象物A(誤検知物B)同士の位置が重なる場合には、位置が重なるそれぞれの対象物A(誤検知物B)の位置を含む領域RBを、第1画像P1における誤検知物Bの位置として指定して、指定情報を設定することが好ましい。本開示の情報処理装置10によると、撮像条件が異なるそれぞれの第1画像P1aにおいて、同じ位置で誤検知された対象物Aを誤検知物Bとして指定する。そのため、特に誤検知されやすい箇所を、誤検知物Bとして適切に検知することが可能となり、結果として第1識別モデルM1による対象物Aの誤検知をより適切に抑制できる。
【0063】
学習部24は、誤検知物Bの領域RBと位置が重なる誤検知物B(領域RA)の数が多いほど、その領域RBが対象物Aとして誤検知される確率が高い旨を示す重み付け指標を、教師データとして、第2識別モデルM2に機械学習させることが好ましい。本開示の情報処理装置10によると、対象物Aであると誤検知される頻度が高かった領域と特徴量が近い領域を、誤検知物Bであると高精度に検知することが可能となる。そのため、結果として第1識別モデルM1による対象物Aの誤検知をより適切に抑制できる。
【0064】
第2画像解析部28は、異なる検知領域ARが写る複数の第2画像P2のデータを、学習済みの第2識別モデルM2に入力することで、それぞれの第2画像P2について、誤検知物Bが含まれるかの判断結果を出力させることが好ましい。再学習部32は、それぞれの検知領域ARのうちで、誤検知物Bが含まれると判断された検知領域ARが写る第3画像P3のデータで、第1識別モデルM1を更に学習させることが好ましい。本開示の情報処理装置10によると、検知領域AR毎に誤検知物Bを検知して、誤検知物Bを含む検知領域ARの第3画像P3を用いて、第1識別モデルM1を学習させる。そのため、第1識別モデルM1の再学習時に、撮像条件が異なる検知領域ARの画像を多数準備する必要がなくなり、誤検知を抑制しつつ学習負荷を低減できる。
【0065】
再学習部32は、誤検知物Bが含まれると判断された検知領域ARが写る第3画像P3のデータと、第3画像P3に対象物Aが含まれない旨を示す情報と、を教師データとして、第1識別モデルM1を更に学習させることが好ましい。本開示の情報処理装置10によると、誤検知されやすい検知領域ARの、対象物Aが含まれない状態での第3画像P3を用いて機械学習させるため、誤検知されやすい検知領域ARにおいて誤検知することを適切に抑制できる。
【0066】
本開示の検知装置1は、情報処理装置10の再学習部32により更に学習された第1識別モデルM1を用いて、検知領域ARにおける対象物Aの有無を検知する。この検知装置1は、再学習部32により更に学習された第1識別モデルM1を用いることで、誤検知を抑制しつつ対象物Aを適切に検知できる。
【0067】
以上、本開示の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0068】
1 検知装置
10 情報処理装置
20 第1画像取得部
22 第1画像解析部
24 学習部
26 第2画像取得部
28 第2画像解析部
30 第3画像取得部
32 再学習部
A 対象物
AR 検知領域
B 誤検知物
P1、P1a 第1画像
P2 第2画像
P3 第3画像