(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089476
(43)【公開日】2024-07-03
(54)【発明の名称】情報処理装置、検知装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240626BHJP
G06V 10/72 20220101ALI20240626BHJP
【FI】
G06T7/00 350B
G06V10/72
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022204866
(22)【出願日】2022-12-21
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(71)【出願人】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小林 周
(72)【発明者】
【氏名】松本 知浩
(72)【発明者】
【氏名】杉本 喜一
(72)【発明者】
【氏名】岩田 健司
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096HA08
5L096KA04
(57)【要約】 (修正有)
【課題】対象物の誤検知及び見逃しの少なくとも一方を抑制する情報処理装置、検知装置、情報処理方法及びプログラムを提供する。
【解決手段】検知システム100において、情報処理装置10は、設備W内の監視対象となる検知領域AR0のうちの一部の領域である対象領域ARが写り、かつ、対象物Aが写らない第1画像の画像データを取得する第1画像取得部と、第1画像の画像データに基づいて、検知領域のうちから、対象物の誤検知が起こる誤検知領域と、対象物の見逃しが起こる見逃し領域との少なくとも一方を検出する検出部と、誤検知領域が写る画像に対象物が重畳する画像と、見逃し領域が写る画像に対象物が重畳する画像との、少なくとも一方である第2画像を取得する第2画像取得部と、第2画像の画像データを教師データとして、画像内における対象物の有無を識別モデルに機械学習させる学習部と、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
監視対象となる検知領域のうちの一部の領域である対象領域が写り、かつ対象物が写らない第1画像の画像データを取得する第1画像取得部と、
前記第1画像の画像データに基づいて、前記検知領域のうちから、前記対象物の誤検知が起こる誤検知領域と、前記対象物の見逃しが起こる見逃し領域との少なくとも一方を検出する検出部と、
前記誤検知領域が写る画像に前記対象物が重畳する画像と、前記見逃し領域が写る画像に前記対象物が重畳する画像との、少なくとも一方である第2画像を取得する第2画像取得部と、
前記第2画像の画像データを教師データとして、画像内における前記対象物の有無を識別モデルに機械学習させる学習部と、
を含む、
情報処理装置。
【請求項2】
前記検出部は、画像と、対象物の見逃しが起こる確率を示す難易度スコアとの対応関係を機械学習した見逃し識別モデルに、前記第1画像の画像データを入力することで、前記見逃し領域を検出する、請求項1に記載の情報処理装置。
【請求項3】
前記見逃し識別モデルを機械学習させる見逃し学習部を更に含み、
前記見逃し学習部は、
背景に前記対象物が重畳した学習画像と、前記学習画像に前記対象物が存在することを示す指定情報とを教師データとして、前記見逃し識別モデルに機械学習させ、
前記検出部は、
機械学習済みの前記見逃し識別モデルに、前記第1画像の画像データを入力することで、前記第1画像についての前記難易度スコアを取得し、
前記難易度スコアに基づいて、前記対象領域に前記見逃し領域が含まれているかを判定する、請求項2に記載の情報処理装置。
【請求項4】
前記見逃し学習部は、前記学習画像の位置毎の前記難易度スコアを機械学習させ、
前記検出部は、前記見逃し識別モデルに前記第1画像の画像データを入力することで、前記第1画像の位置毎の前記難易度スコアを取得する、請求項3に記載の情報処理装置。
【請求項5】
前記検出部は、前記対象物であると誤検知される誤検知物の有無を機械学習した誤検知識別モデルに、前記第1画像の画像データを入力することで、前記誤検知領域を検出する、請求項1又は請求項2に記載の情報処理装置。
【請求項6】
前記誤検知識別モデルを機械学習させる誤検知学習部を更に含み、
前記誤検知学習部は、前記対象物を含まない画像と、その画像に前記誤検知物が含まれることを示す指定情報とを教師データとして、前記誤検知識別モデルに機械学習させ、
前記検出部は、前記誤検知識別モデルに前記第1画像の画像データを入力することで、前記対象領域に前記誤検知物が含まれているかを判定する、請求項5に記載の情報処理装置。
【請求項7】
前記第2画像取得部は、前記誤検知領域又は前記見逃し領域と、前記対象物とが撮像された画像を、前記第2画像として取得する、請求項1又は請求項2に記載の情報処理装置。
【請求項8】
前記第2画像取得部は、前記誤検知領域又は前記見逃し領域が写る背景画像に、前記対象物の画像を重畳させた画像を、前記第2画像として生成する、請求項1又は請求項2に記載の情報処理装置。
【請求項9】
前記第2画像取得部は、前記背景画像の各位置における奥行きを示す奥行き情報に基づいて、前記背景画像と前記対象物の画像とを重畳させる、請求項8に記載の情報処理装置。
【請求項10】
請求項1又は請求項2に記載の情報処理装置の、前記学習部により機械学習させた前記識別モデルを用いて、前記検知領域における対象物の有無を検知する、検知装置。
【請求項11】
監視対象となる検知領域のうちの一部の領域である対象領域が写り、かつ対象物が写らない第1画像の画像データを取得するステップと、
前記第1画像の画像データに基づいて、前記検知領域のうちから、前記対象物の誤検知が起こる誤検知領域と、前記対象物の見逃しが起こる見逃し領域との少なくとも一方を検出するステップと、
前記誤検知領域が写る画像に前記対象物が重畳する画像と、前記見逃し領域が写る画像に前記対象物が重畳する画像との、少なくとも一方である第2画像の画像データを取得するステップと、
前記第2画像の画像データを教師データとして、画像内における前記対象物の有無を識別モデルに機械学習させるステップと、
を含む、
情報処理方法。
【請求項12】
監視対象となる検知領域のうちの一部の領域である対象領域が写り、かつ対象物が写らない第1画像の画像データを取得するステップと、
前記第1画像の画像データに基づいて、前記検知領域のうちから、前記対象物の誤検知が起こる誤検知領域と、前記対象物の見逃しが起こる見逃し領域との少なくとも一方を検出するステップと、
前記誤検知領域が写る画像に前記対象物が重畳する画像と、前記見逃し領域が写る画像に前記対象物が重畳する画像との、少なくとも一方である第2画像を取得するステップと、
前記第2画像の画像データを教師データとして、画像内における前記対象物の有無を識別モデルに機械学習させるステップと、
をコンピュータに実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、検知装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
カメラ等で取得した画像を解析して、画像に含まれる対象物を検知する装置がある。例えば特許文献1には、検査対象物を含む部分画像を補正して、補正した部分画像と別の画像とを合成した合成画像により、検査対象物を検知する識別器を学習させる旨が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、機械学習した識別器を用いて対象物を検知する際には、対象物でない物が対象物であると検知される誤検知や、存在する対象物を検知できない見逃しなどが起こるおそれがある。そのため、対象物の誤検知及び見逃しの少なくとも一方を抑制することが求められている。
【0005】
本開示は、上述した課題を解決するものであり、対象物の誤検知及び見逃しの少なくとも一方を抑制可能な情報処理装置、検知装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る情報処理装置は、監視対象となる検知領域のうちの一部の領域である対象領域が写り、かつ対象物が写らない第1画像の画像データを取得する第1画像取得部と、前記第1画像の画像データに基づいて、前記検知領域のうちから、前記対象物の誤検知が起こる誤検知領域と、前記対象物の見逃しが起こる見逃し領域との少なくとも一方を検出する検出部と、前記誤検知領域が写る画像に前記対象物が重畳する画像と、前記見逃し領域が写る画像に前記対象物が重畳する画像との、少なくとも一方である第2画像を取得する第2画像取得部と、前記第2画像の画像データを教師データとして、画像内における前記対象物の有無を識別モデルに機械学習させる学習部と、を含む。
【0007】
本開示に係る検知装置は、前記情報処理装置の、前記学習部により機械学習させた前記識別モデルを用いて、前記検知領域における対象物の有無を検知する。
【0008】
本開示に係る情報処理方法は、監視対象となる検知領域のうちの一部の領域である対象領域が写り、かつ対象物が写らない第1画像の画像データを取得するステップと、前記第1画像の画像データに基づいて、前記検知領域のうちから、前記対象物の誤検知が起こる誤検知領域と、前記対象物の見逃しが起こる見逃し領域との少なくとも一方を検出するステップと、前記誤検知領域が写る画像に前記対象物が重畳する画像と、前記見逃し領域が写る画像に前記対象物が重畳する画像との、少なくとも一方である第2画像の画像データを取得するステップと、前記第2画像の画像データを教師データとして、画像内における前記対象物の有無を識別モデルに機械学習させるステップと、を含む。
【0009】
本開示に係るプログラムは、監視対象となる検知領域のうちの一部の領域である対象領域が写り、かつ対象物が写らない第1画像の画像データを取得するステップと、前記第1画像の画像データに基づいて、前記検知領域のうちから、前記対象物の誤検知が起こる誤検知領域と、前記対象物の見逃しが起こる見逃し領域との少なくとも一方を検出するステップと、前記誤検知領域が写る画像に前記対象物が重畳する画像と、前記見逃し領域が写る画像に前記対象物が重畳する画像との、少なくとも一方である第2画像を取得するステップと、前記第2画像の画像データを教師データとして、画像内における前記対象物の有無を識別モデルに機械学習させるステップと、をコンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、対象物の誤検知及び見逃しの少なくとも一方を抑制できる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、本実施形態に係る検知システムの模式図である。
【
図2】
図2は、検知装置の制御装置の模式的なブロック図である。
【
図3】
図3は、情報処理装置の模式的なブロック図である。
【
図4】
図4は、第1学習画像を説明するための模式図である。
【
図5】
図5は、難易度スコアの算出結果の一例を示す模式図である。
【
図6】
図6は、第2学習画像を説明するための模式図である。
【
図7】
図7は、第2学習画像を説明するための模式図である。
【
図8】
図8は、見逃し領域及び誤検知領域の検出を説明する模式図である。
【
図9】
図9は、見逃し領域及び誤検知領域の検出を説明する模式図である。
【
図12】
図12は、情報処理装置の処理フローを説明するフローチャートである。
【発明を実施するための形態】
【0012】
以下に添付図面を参照して、本開示の好適な実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含むものである。
【0013】
(検知システム)
図1は、本実施形態に係る検知システムの模式図である。本実施形態に係る検知システム100は、対象物Aを検知するシステムである。検知システム100は、検知装置1と、情報処理装置10とを有する。検知装置1は、設備W内に配備されて、対象物Aを検知する装置である。検知装置1は、設備W内において監視対象となる領域である検知領域AR0内に、対象物Aが存在するかを検知する。情報処理装置10は、検知装置1が対象物Aを検知するための識別器である識別モデルMを設定する。識別モデルMは、対象物Aを検知するための処理を実行するAI(Artificial Intelligence)モデル、すなわち対象物Aを検知するための処理を実行するプログラムである。情報処理装置10や識別モデルMについては後述する。なお、設備Wは、例えば工場や倉庫などの屋内設備であるが、それに限られず任意の設備であってよく、例えば屋外の設備であってよい。すなわち、設備Wは、任意の領域を指してよい。また、対象物Aは、本実施形態の例では人であるが、それに限られず、例えば車両など、検知対象となる任意の種類の物体であってよい。
【0014】
(検知装置)
検知装置1は、撮像装置(カメラ)C及び制御装置2を有する。検知装置1は、撮像装置Cにより対象領域ARを撮像して、対象領域ARを撮像した画像を制御装置2により解析することで、対象領域AR内に対象物Aが存在するかを検知する。対象領域ARとは、検知領域AR0の少なくとも一部の領域であり、検知領域AR0のうちで、撮像装置Cによって撮像された画像の撮像範囲内の領域といえる。本実施形態では、検知装置1は、設備W内において異なる位置にある複数の対象領域ARのそれぞれにおいて、対象物Aが存在するかを検知する。本実施形態では、検知装置1は、自動で移動する移動体である。検知装置1は、移動しながら対象物Aの検知を行うため、移動することにより位置が変わる対象領域ARのそれぞれにおいて、対象物Aが存在するかを検知するといえる。ただし、検知装置1は、移動体であることに限られず、設備W内で位置が固定された装置であってよい。この場合例えば、複数の撮像装置Cが設備Wの異なる位置に設けられて、それぞれの撮像装置Cが対象領域ARを撮像する。検知装置1は、各撮像装置Cによるそれぞれの対象領域ARの撮像画像を解析することで、それぞれの対象領域AR内に対象物Aが存在するかを検知する。ただし、検知装置1は、複数の対象領域ARでの対象物Aの検知を行うことに限られず、位置が固定された1つの対象領域ARでの対象物Aの検知を行うものであってよい。
【0015】
図2は、検知装置の制御装置の模式的なブロック図である。制御装置2は、例えばコンピュータであり、
図2に示すように、通信部3と記憶部4と制御部6とを有する。通信部3は、外部の装置と通信を行う通信モジュールであり、例えばアンテナなどであってよい。検知装置1は、無線通信で外部の装置と通信を行うが、有線通信でもよく、通信方式は任意であってよい。記憶部4は、制御部6の演算内容やプログラムの情報や、識別モデルMなどを記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。記憶部4が記憶する制御部6用のプログラムや識別モデルMは、検知装置1が読み取り可能な記録媒体に記憶されていてもよい。
【0016】
制御部6は、演算装置であり、例えばCPU(Central Processing Unit)などの演算回路を含む。制御部6は、画像取得部7と対象物検知部8とを含む。制御部6は、記憶部4からプログラム(ソフトウェア)を読み出して実行することで、画像取得部7と対象物検知部8とを実現して、それらの処理を実行する。なお、制御部6は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、画像取得部7と対象物検知部8との処理の少なくとも一部を、ハードウェア回路で実現してもよい。
【0017】
画像取得部7は、撮像装置Cによって対象領域ARが撮像された撮像画像(対象領域ARを含む画像)を取得する。画像取得部7は、撮像装置Cを制御することで対象領域ARを撮像させて、対象領域ARが撮像された撮像画像を取得する。
【0018】
対象物検知部8は、機械学習済みの識別モデルMを記憶部4から読み出して、画像取得部7によって取得された撮像画像の画像データを、読み出した識別モデルMに入力することで、識別モデルMから、対象領域ARに対象物Aが存在するかを示す出力データを取得する。対象物検知部8は、対象領域ARに対象物Aが存在するかを示す出力データに基づき、対象物Aを検知する。すなわち例えば、対象物検知部8は、出力データが、対象領域ARに対象物Aが存在する旨を示す場合は、対象物Aが存在すると判断し、出力データが、対象領域ARに対象物Aが存在しない旨を示す場合は、対象物Aが存在しないと判断する。検知装置1が移動体である場合には、例えば対象物Aが存在すると判断された場合には、検知装置1は停止してよい。
【0019】
なお、対象物検知部8が読み出す識別モデルMは、後述の情報処理装置10により機械学習済みのモデルであり、対象領域ARを含む画像内における対象物Aの有無を機械学習させたモデルといえる。言い換えれば、対象物検知部8が読み出す識別モデルMは、対象領域AR内に対象物Aが存在する場合の画像の特徴量が、機械学習されたモデルともいえる。そのため、対象物検知部8が読み出す識別モデルMは、対象領域ARを含む画像が入力されたら、演算を行うことにより、対象領域ARに対象物Aが存在するかの判断結果を出力可能となっている。
【0020】
(情報処理装置)
以下、識別モデルMを機械学習させる情報処理装置10の構成について説明する。なお、本実施形態では、識別モデルMを機械学習させる情報処理装置10と、学習済みの識別モデルMを用いて対象物Aを検知する検知装置1(制御装置2)とが、別のハードウェアである。ただしそれに限られず、情報処理装置10と制御装置2とが同じハードウェアであってよく、言い換えれば、情報処理装置10(又は制御装置2)が、識別モデルMの機械学習と、学習済みの識別モデルMを用いた対象物Aの検知処理とを、実行してもよい。
【0021】
図3は、情報処理装置の模式的なブロック図である。情報処理装置10は、例えばコンピュータであり、
図3に示すように、通信部12と記憶部14と制御部16とを有する。情報処理装置10は、情報が入力される入力部や、情報を出力する出力部(表示部など)も備えていてよい。なお、
図1の例では、情報処理装置10は、設備Wの外部に設けられているが、情報処理装置10が設けられる位置は任意であってよい。また、情報処理装置10は、単体の装置で構成してもよいし、他の装置と一体に構成してもよいし、演算装置及びデータサーバ等の各種装置を組み合わせたシステムとして構成してもよく、特に限定されない。
【0022】
通信部12は、外部の装置と通信を行う通信モジュールであり、例えばアンテナなどであってよい。情報処理装置10は、無線通信で外部の装置と通信を行うが、有線通信でもよく、通信方式は任意であってよい。
【0023】
記憶部14は、制御部16の演算内容やプログラムの情報や、識別モデルM、見逃し識別モデルMA(後述)、誤検知識別モデルMB(後述)などを記憶するメモリであり、例えば、RAMと、ROMと、HDDなどの外部記憶装置とのうち、少なくとも1つ含む。記憶部14が記憶する制御部16用のプログラム、識別モデルM、見逃し識別モデルMA、誤検知識別モデルMBは、情報処理装置10が読み取り可能な記録媒体に記憶されていてもよい。
【0024】
制御部16は、演算装置であり、例えばCPUなどの演算回路を含む。制御部16は、第1画像取得部20と、見逃し学習部22と、誤検知学習部24と、検出部26と、第2画像取得部28と、学習部30とを含む。制御部16は、記憶部14からプログラム(ソフトウェア)を読み出して実行することで、第1画像取得部20と見逃し学習部22と誤検知学習部24と検出部26と第2画像取得部28と学習部30とを実現して、それらの処理を実行する。なお、制御部16は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、第1画像取得部20と見逃し学習部22と誤検知学習部24と検出部26と第2画像取得部28と学習部30との処理の少なくとも一部を、ハードウェア回路で実現してもよい。
【0025】
第1画像取得部20は、第1画像P1を取得し、見逃し学習部22は、見逃し識別モデルMAを機械学習させ、誤検知学習部24は、誤検知識別モデルMBを機械学習させる。検出部26は、第1画像P1に基づいて、検知領域AR0のうちから、見逃し領域と誤検知領域を検出する。第2画像取得部28は、見逃し領域や誤検知領域の画像に対象物Aの画像が重畳した第2画像P2を取得する。学習部30は、第2画像P2に基づき、識別モデルMを機械学習させる。これらの各部の具体的な処理内容については、後述する。
【0026】
(情報処理装置の処理)
上述のように、識別モデルMは、対象物Aを検知可能な識別器である。しかし、機械学習した識別器を用いて対象物Aを検知する際には、対象物Aの誤検知や、対象物Aの見逃しなどが起こるおそれがある。誤検知とは、対象物Aでない物が対象物Aであると検知されることを指し、見逃しとは、存在している対象物Aを検知できないことを指す。それに対し、情報処理装置10は、見逃し及び誤検知を抑制できるように、識別モデルMを機械学習させる。本実施形態では、情報処理装置10は、見逃し及び誤検知の両方を抑制できるように識別モデルMを機械学習させるが、それに限られず、見逃し及び誤検知の一方のみを抑制できるように、識別モデルMを機械学習させてもよい。
【0027】
情報処理装置10は、対象領域ARが写る第1画像P1を用いて、機械学習済みの見逃し識別モデルMA及び誤検知識別モデルMBにより、見逃し領域及び誤検知領域を検出する。そして、情報処理装置10は、見逃し領域や誤検知領域を含む第2画像P2のデータを教師データとして、識別モデルMに機械学習させる。以下、識別モデルMに機械学習させる方法を具体的に説明する。
【0028】
(見逃し識別モデルの機械学習)
情報処理装置10は、見逃し学習部22により、見逃し領域を検知するためのAIモデルである見逃し識別モデルMAに、画像と、その画像の難易度スコアとの対応関係を機械学習させる。見逃し領域とは、検知領域AR0のうちで、見逃しが起こる可能性が高い領域を指す。これにより、見逃し識別モデルMAは、画像データが入力されたら、その画像についての難易度スコアを算出可能となる。難易度スコアとは、対象物Aの見逃しが起こる確率を示す指標である。見逃し識別モデルMAとしては、任意のAIモデルが適用できるが、例えばCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)モデルを用いてよい。
【0029】
見逃し学習部22は、任意の方法で見逃し識別モデルMAを機械学習させてよいが、本実施形態での機械学習させる方法の例を説明する。
図4は、第1学習画像を説明するための模式図である。
【0030】
(第1学習画像の取得)
見逃し学習部22は、見逃し識別モデルMA用の教師データとなる第1学習画像(学習画像)PAを取得する。第1学習画像PAは、背景画像PA1と対象物画像PA2とが重畳した画像である。対象物画像PA2は、
図4の例に示すように、対象物Aの画像であり、言い換えれば、検知対象となる対象物Aと同じ種類の対象(本実施形態では人)の画像である。また、背景画像PA1は、対象物画像PA2の背景となる画像であり、
図4の例に示すように、対象物A(検知対象となる対象物Aと同じ種類の対象)を含まない画像といえる。
図4の例に示す背景画像PA1に写っている四角や三角は、背景画像PA1に写っている、対象物Aではない物体を例示している。第1学習画像PAは、このような背景画像PA1と対象物画像PA2とが重畳した画像なので、
図4の例に示すように、背景画像PA1に写っている対象物Aを含まない背景に、対象物Aが写る領域RAが重畳された画像ともいえる。
【0031】
見逃し学習部22は、対象物Aを含まない任意の画像を背景画像PA1として取得してよく、例えば、対象領域ARを含まない画像(対象領域ARが写っていない画像)を背景画像PA1として取得してよい。見逃し学習部22は、複数種類の背景画像PA1を取得することが好ましい。見逃し学習部22は、任意の方法で背景画像PA1を取得してよい。例えば、見逃し学習部22は、通信部12を介して、外部の装置(サーバ)などから、対象物Aや対象領域ARを含まない既存の画像を、背景画像PA1として取得してよい。
【0032】
見逃し学習部22は、対象物A(検知対象となる対象物Aと同じ種類の対象)が写る任意の画像を、対象物画像PA2として取得してよい。見逃し学習部22は、複数種類の対象物画像PA2を取得することが好ましい。見逃し学習部22は、任意の方法で対象物画像PA2を取得してよい。見逃し学習部22は、通信部12を介して、外部の装置(サーバ)などから、対象物Aが写る既存の画像を、対象物画像PA2として取得してよい。また例えば、見逃し学習部22は、対象物Aの画像データ(3次元画像データ)を取得し、対象物Aの画像データに基づいて、対象物Aの大きさや姿勢を異ならせることで、複数の対象物画像PA2を生成してもよい。
【0033】
見逃し学習部22は、取得した背景画像PA1と対象物画像PA2とを重畳させることで、第1学習画像PAを生成する。見逃し学習部22は、背景画像PA1と対象物画像PA2とを任意の方法で重畳させて、第1学習画像PAを生成してよい。例えば
図4に示すように、見逃し学習部22は、それぞれの背景画像PA1から選択した背景画像PA1と、それぞれの対象物画像PA2から抽出した対象物画像PA2とを重畳して、背景画像PA1及び対象物画像PA2ごとに、第1学習画像PAを生成してよい。また例えば、見逃し学習部22は、抽出した背景画像PA1に対して、同じ対象物画像PA2の大きさや位置を異ならせて重畳させることで、同じ背景画像PA1及び対象物画像PA2を用いた複数の第1学習画像PAを生成してよい。
【0034】
このように、本実施形態においては、見逃し学習部22は、背景画像PA1と対象物画像PA2とを重畳させることで、第1学習画像PAを生成していたが、第1学習画像PAの取得方法はこれに限られず任意であってよい。例えば、見逃し学習部22は、対象物Aと背景とを含む既存の画像を、第1学習画像PAとして、外部の装置(サーバ)などから取得してもよい。
【0035】
(見逃し識別モデルの機械学習)
見逃し学習部22は、第1学習画像PAの画像データと、その第1学習画像PAに対象物Aが含まれる旨の指定情報とを含むデータセットを、見逃し識別モデルMA用の教師データとして設定する。見逃し学習部22は、それぞれの第1学習画像PAについて、第1学習画像PAと指定情報とを含むデータセット(教師データ)を準備することで、複数の教師データを準備する。見逃し学習部22は、準備した教師データを未学習の見逃し識別モデルMAに入力することで、見逃し識別モデルMAに、画像と信頼度スコアとの対応関係を機械学習させる。信頼度スコアとは、上述の難易度スコアに相関するスコアであり、その画像における対象物Aの有無の判断結果と、その判断結果が正しい確率とを示す指標である。すなわち例えば、信頼度スコアが、対象物Aが存在するという判断結果を示す場合には、信頼度スコアが高いほど、対象物Aが存在する確率が高くなる。
【0036】
より詳しくは、本実施形態においては、見逃し学習部22は、画像の位置毎に信頼度スコアを算出可能なように、見逃し識別モデルMAを機械学習させることが好ましい。この場合例えば、見逃し学習部22は、第1学習画像PAの画像データと、その第1学習画像PAにおける対象物Aの位置を示す指定情報とを、教師データとして設定する。見逃し学習部22は、準備した教師データを未学習の見逃し識別モデルMAに入力することで、見逃し識別モデルMAに、画像と、その位置における信頼度スコアとの対応関係を、機械学習させる。すなわちこの場合、見逃し学習部22は、指定情報に示す位置に対象物Aが存在する(対象物Aの存在する確率が100%であり)旨を、指定情報として見逃し識別モデルMAに入力する。また、見逃し学習部22は、同じ背景画像PA2に対して、異なる位置に対象物画像PA1に写る対象物A(
図4に示す領域RA)を配置した複数の第1学習画像PAを準備して、それぞれの第1学習画像PAを、上述のように教師データとして機械学習させる。これにより、第1学習画像PAの位置毎に機械学習させることが可能となるため、見逃し識別モデルMAは、画像と、位置毎の信頼度スコアとの対応関係を、機械学習する。このように機械学習させることで、見逃し識別モデルMAは、画像が入力されたら、その画像の位置毎の信頼度スコアを出力可能となる。すなわち、見逃し識別モデルMAは、対象物Aの有無の判断結果と、その判断結果が正しい確率とを示す指標とを、画像の位置毎に出力可能となる。
【0037】
本実施形態においては、見逃し学習部22は、画像と信頼度スコアとの対応関係を学習した見逃し識別モデルMAが、難易度スコアを算出可能となるように設定を行う。すなわち、見逃し学習部22は、算出した信頼度スコアに基づいて難易度スコアを算出するように、見逃し識別モデルMAを設定する。これにより、見逃し識別モデルMAは、画像が入力されたら、その画像の位置毎の難易度スコアを出力可能となる。なお、難易度スコアとは、上述のように、対象物Aの見逃しが起こる確率を示す指標であり、信頼度スコアに相関する。すなわち例えば、信頼度スコアが、対象物Aが存在するという判断結果を示す場合には、信頼度スコアにおいてその判断結果が正しい確率が低い程、難易度スコアは高くなる(すなわち見逃し易くなる)。また例えば、信頼度スコアが、対象物Aが存在しないという判断結果を示す場合にも、信頼度スコアにおいてその判断結果が正しい確率が低い程、難易度スコアは高くなる(すなわち見逃し易くなる)。見逃し学習部22は、予め設定された信頼度スコアと難易度スコアとの対応関係に基づいて、算出した信頼度スコアに基づいて難易度スコアを算出するように、見逃し識別モデルMAを設定してよい。信頼度スコアと難易度スコアとの対応関係は任意に設定されてよいが、例えば、信頼度スコアをp、難易度スコアをqとした場合、以下の式(1)のように対応関係を設定してよい。
【0038】
q=1-p ・・・(1)
【0039】
図5は、難易度スコアの算出結果の一例を示す模式図である。以上説明したように、本実施形態においては、見逃し学習部22は、画像が入力されたら、その画像の位置毎の難易度スコアを算出可能なように、見逃し識別モデルMAを機械学習させる。例えば、見逃し学習部22は、
図5に示すように、画像の位置毎の難易度スコアを示す画像Hを出力するように、見逃し識別モデルMAを構築してもよい。画像Hは、例えば、難易度スコアのとり得る数値範囲を区分して、区分した数値範囲毎に色が設定されることにより、画像の位置毎の難易度スコアを色で示す画像(ヒートマップ)であってよい。
【0040】
以上のように、本実施形態においては、情報処理装置10が、見逃し学習部22により、見逃し識別モデルMAを機械学習させるが、それに限られず、例えば他の装置により機械学習済みの見逃し識別モデルMAを、取得してもよい。
【0041】
(誤検知識別モデルの機械学習)
情報処理装置10は、誤検知学習部24により、誤検知領域を検知するためのAIモデルである誤検知識別モデルMBに、画像内における誤検知物Bの有無を機械学習させる。誤検知領域とは、検知領域AR0のうちで、誤検知が起こる可能性が高い領域を指し、誤検知物Bとは、対象物Aであると誤検知される物体を指す。具体的には、誤検知学習部24は、画像と誤検知物Bの有無との対応関係を、誤検知識別モデルMBに機械学習させる。これにより、誤検知識別モデルMBは、画像データが入力されたら、その画像についての誤検知物Bの有無の判断結果を出力可能となる。以下、誤検知識別モデルMBを機械学習させる方法をより詳細に説明する。誤検知識別モデルMBとしては、任意のAIモデルが適用できるが、例えばCNNモデルを用いてよい。
【0042】
誤検知学習部24は、任意の方法で誤検知識別モデルMBを機械学習させてよいが、本実施形態での機械学習させる方法の例を説明する。
図6及び
図7は、第2学習画像を説明するための模式図である。
【0043】
(第2学習画像の取得)
誤検知学習部24は、誤検知識別モデルMBの教師データとなる第2学習画像PBを取得する。第2学習画像PBは、対象物Aを含まない画像(対象物Aが写っていない画像)である。本実施形態では、誤検知学習部24は、対象物Aを含まず、かつ、検知領域AR0を含まない画像(検知領域AR0が写っていない画像)を、第2学習画像PBとして取得する。ただしそれに限られず、誤検知学習部24は、対象物Aを含まない任意の画像を第2学習画像PBとして取得してよく、例えば、設備Wの環境に近い場所が写っている画像を第2学習画像PBとして取得してよい。設備Wの環境に近い場所とは、例えば設備Wと同じ種類の設備を指してよく、すなわち設備Wが倉庫の場合は、設備Wとは別の倉庫内の画像を第2学習画像PBとしてよい。
図6の例に示す第2学習画像PBに写っている四角は、第2学習画像PBに写っている、対象物Aではない物体を例示している。ただし、第2学習画像PBは、対象物Aを含まない画像であることにも限られず、対象物Aを含む画像であってもよい。なお、誤検知学習部24は、任意の方法で第2学習画像PBを取得してよく、例えば、通信部12を介して、外部の装置(サーバ)などから、対象物Aを含まない既存の画像を、第2学習画像PBとして取得してよい。
【0044】
誤検知学習部24は、取得した第2学習画像PBを用いて、撮像領域(画像の画角内の領域)の少なくとも一部が互いに重複し、かつ画像データが互いに異なる、複数の第2学習画像PBaを生成して、第2学習画像PBaを、誤検知識別モデルMBの学習用に用いてよい。すなわち、それぞれの第2学習画像PBaは、同じ場所を撮像した画像であるが、撮像領域や周囲環境(例えば明るさ)などの、撮像条件が異なった画像といえる。
図6では、誤検知学習部24は、第2学習画像PBaとして、第2学習画像PBa1、PBa2、PBa3を生成する例が示されている。
【0045】
なお、撮像領域の少なくとも一部が重複するとは、それぞれの第2学習画像PBa同士で、共通する撮像領域があることを指す。
図6の例では、第2学習画像PBa1、PBa2、PBa3は、撮像領域の全域が重複しており、同じ場所を同じ撮像範囲で撮像した画像に相当するといえる。ただし、第2学習画像PBaは、一部の撮像範囲が異なってもよく、この場合例えば、誤検知学習部24は、取得した第2学習画像PBに対して、画像の切り出し範囲を異ならせることで、一部の撮像範囲が互いに異なる複数の第2学習画像PBaを生成してよい。画像の切り出し範囲は、設備Wでの撮像装置Cの取り付け位置や角度の変化に基づいて設定されることが好ましい。例えば、撮像装置Cが移動体に装着される場合、移動体の通路と車幅の差分が、撮像装置Cの取付位置の変化分となる。通路幅で取り得る移動体の向きや地面の傾斜によって生じる移動体の角度変化が、カメラ角度の変化分となる。この場合例えば、設備Wにおいて、見積もった変化分の範囲で撮像装置Cを取り付け、想定される位置に目印となるマーカを配置し、網羅的に画像を撮影し、取得画像内でのマーカの位置の変化分を切り出し位置の範囲としてよい。切り出す画像のサイズやアスペクト比は、検知に用いる撮像装置Cで得られる画像に基づき設定されてよい。
【0046】
また、画像データの少なくとも一部が異なるとは、例えば、それぞれの第2学習画像PBaの、各ピクセルの画素データ(階調値)の少なくとも一部が異なることを指し、本実施形態では、少なくとも一部のピクセルの輝度値、コントラスト、及び色相の少なくとも1つが異なることを指す。例えば、誤検知学習部24は、取得した第2学習画像PBの画像データに対して、輝度値、コントラスト、及び色相の少なくとも1つを調整することにより、少なくとも一部の画像データが異なる複数の第2学習画像PBaを生成してよい。輝度値、コントラスト、及び色相の少なくとも1つの調整量は、設備Wにおいて定点カメラを設置し、運用時間内で網羅的に取得した画像の輝度値やコントラストや色相の変化量に基づき設定されてよい。
図6の例では、取得した第2学習画像PBと同じ輝度値の第2学習画像PBa1と、第2学習画像PBa1より輝度値が低い第2学習画像PBa2と、第2学習画像PBa2より輝度値が低い第2学習画像PBa3とが生成されている。
【0047】
誤検知学習部24は、撮像領域が異なる複数種類の第2学習画像PBを取得して、取得した第2学習画像PB毎に、上述のように複数の第2学習画像PBaを準備する。すなわち、
図6では、1つの第2学習画像PBから、複数の第2学習画像PBa(第2学習画像PBa1、PBa2、PBa3)を準備している例が示されているが、誤検知学習部24は、取得した第2学習画像PB毎に、複数の第2学習画像PBaを準備するといえる。
【0048】
なお、第2学習画像PBaの生成方法は、上述の方法に限られず任意であってよい。例えば、取得した第2学習画像PBを、そのまま第2学習画像PBaとして用いてよい。また、1つの第2学習画像PBから生成される第2学習画像PBaの数は3つに限られず、任意であってよい。また、誤検知学習部24は、取得した第2学習画像PBに基づき、自身で複数の第2学習画像PBaを生成するが、自身で生成することに限られず、予め生成された複数の第2学習画像PBaを、例えば通信部12を介して取得してもよい。
【0049】
(誤検知物が含まれる第2学習画像の抽出)
誤検知学習部24は、取得した第2学習画像PBのうちから、誤検知物Bが含まれる第2学習画像PBを選択する。誤検知学習部24は、任意の方法で誤検知物Bが含まれる第2学習画像PBを選択してよいが、本実施形態では、対象物Aの有無を機械学習させた仮識別モデルを用いて、誤検知物Bが含まれる第2学習画像PBを抽出する。具体的には、誤検知学習部24は、記憶部14から仮識別モデルを読み出して、仮識別モデルに第2学習画像PBaのデータを入力することで、第2学習画像PBaに対象物Aが含まれているかの検知結果を取得する。仮識別モデルは、画像内における対象物Aの有無を機械学習させたモデルである。第2学習画像PBaには実際には対象物Aが含まれていないため、仮識別モデルによる、第2学習画像PBaに対象物Aが含まれているかの検知結果とは、第2学習画像PBaに誤検知物Bが含まれているかの検知結果であると言い換えることができる。すなわち、仮識別モデルが第2学習画像PBa内で検知した対象物Aは、誤検知されたもの(すなわち誤検知物B)であるといえる。なお、仮識別モデルとしては、任意のAIモデルが適用できるが、例えばCNN(Conventional Neural Network:畳み込みニューラルネットワーク)モデルを用いてよい。例えば、仮識別モデルは、一般公開データセットを学習したPre-trainedモデルであってよい。
【0050】
誤検知学習部24は、第2学習画像PBaの画像データを仮識別モデルに入力することで、仮識別モデルから、第2学習画像PBaに対象物A(誤検知物B)が含まれるかの判断結果を出力させて、その判断結果を取得する。なお、第2学習画像PBaは対象物Aが含まれない画像なので、第2学習画像PBaに対象物Aが含まれるとの判断結果は、対象物Aでないものを対象物Aであると誤検知した判断結果、すなわち誤検知物Bが含まれるとの判断結果であるといえる。
【0051】
より詳しくは、仮識別モデルは、画像に対象物Aが含まれるかの判断結果として、対象物Aが含まれると判断した画像内における、対象物Aの位置情報を、すなわち画像内で対象物Aが占めている領域の位置情報を出力するように学習されていることが好ましい。従って、誤検知学習部24は、第2学習画像PBaの画像データを、仮学習済みの第2学習画像PBaに入力することで、第2学習画像PBaから、第2学習画像PBa内における対象物Aの位置情報を(対象物Aが占める領域の位置情報を)、取得することが好ましい。なお、仮識別モデルから取得した対象物Aの位置情報は、誤検知された対象物A(すなわち誤検知物B)の位置情報であるといえる。
【0052】
誤検知学習部24は、それぞれの第2学習画像PBaの画像データを仮識別モデルに入力することで、第2学習画像PBa毎に、対象物Aが含まれるかの判断結果と対象物Aの位置情報とを取得する。また上述のように、本実施形態では、撮像領域が異なる複数種類の第2学習画像PB毎に、複数の第2学習画像PBaが準備される。誤検知学習部24は、それらの第2学習画像PB毎に設定された第2学習画像PBaのそれぞれについて、仮識別モデルにより、対象物Aが含まれるかの判断結果と対象物Aの位置情報を取得する。
【0053】
(誤検知識別モデル用の教師データの設定)
誤検知学習部24は、以上のようにして選択した、誤検知物Bが含まれる第2学習画像PBを、誤検知識別モデルMB用の教師データとして設定する。本実施形態では、誤検知学習部24は、対象物Aが含まれると判断された第2学習画像PBaに対応する第2学習画像PBと、その第2学習画像PBについての指定情報とを含むデータセットを、未学習の誤検知識別モデルMB用の教師データとして設定する。指定情報とは、その第2学習画像PBに誤検知物Bが含まれるか否かを示す情報である。すなわち、誤検知学習部24は、対象物Aが含まれると判断された第2学習画像PBのデータと、その第2学習画像PBに誤検知物Bが含まれる旨の情報とを、誤検知識別モデルMB用の教師データとする。誤検知学習部24は、対象物Aが含まれないと判断された第2学習画像PBaに対応する第2学習画像PBについては、教師データとして用いなくてよい。
【0054】
より詳しくは、誤検知学習部24は、仮識別モデルによって示された第2学習画像PBaにおける対象物Aの位置に基づいて、その第2学習画像PBaに対応する第2学習画像PBにおける誤検知物Bの位置を設定する。そして、誤検知学習部24は、第2学習画像PBにおける誤検知物Bの位置情報を、指定情報とする。すなわち、誤検知学習部24は、対象物Aが含まれると判断された第2学習画像PBaに対応する第2学習画像PBのデータと、その第2学習画像PBにおける誤検知物Bの位置情報とを、誤検知識別モデルMB用の教師データとする。
【0055】
本実施形態では、上述のように、同じ第2学習画像PBに対して、画像データが異なる複数の第2学習画像PBaが設定されており、それぞれの第2学習画像PBaについて、対象物Aの位置情報が取得される。そのため、誤検知学習部24は、同じ第2学習画像PBに対応した第2学習画像PBa毎の対象物の位置に基づいて、その第2学習画像PBにおける誤検知物Bの位置を設定して、指定情報とする。例えば、誤検知学習部24は、それぞれの第2学習画像PBaにおける対象物A同士の位置が重なる場合には、それらの対象物Aの位置を含む領域を、第2学習画像PBにおける誤検知物の位置として設定する。また例えば、誤検知学習部24は、それぞれの第2学習画像PBaにおける対象物Aの位置が重ならない場合には、それぞれの対象物Aの位置を、第2学習画像PBにおける誤検知物Bの位置として設定する。
【0056】
また、本実施形態では、撮像領域が異なる複数種類の第2学習画像PB毎に、複数の第2学習画像PBaが準備される。誤検知学習部24は、それらの第2学習画像PB毎に上述の処理を行うことで、対象物Aが含まれると判断された第2学習画像PB毎に、第2学習画像PBのデータと指定情報とを含むデータセットを準備して、誤検知識別モデルMB用の教師データとする。
図7では、教師データとしての、第2学習画像PBと、第2学習画像PB内における誤検知物の位置(領域RB)を示す指定情報との一例が示されている。
【0057】
(誤検知識別モデルの機械学習)
誤検知学習部24は、上述のように設定した教師データ(対象物Aが含まれると判断された第2学習画像PBと指定情報)を、未学習の誤検知識別モデルMBに入力することで、誤検知識別モデルMBに、画像内における誤検知物Bの有無を機械学習させる。これにより、誤検知識別モデルMBは、未知の画像データが入力された場合に、その画像内での誤検知物Bの有無の判断結果を出力可能となる。より詳しくは、誤検知学習部24は、対象物Aが含まれると判断された第2学習画像PBのデータと、その第2学習画像PBにおける誤検知物Bの位置を示す指定情報とを教師データとして、誤検知識別モデルMBに、画像内における誤検知物Bの位置を機械学習させることが好ましい。これにより、誤検知識別モデルMBは、未知の画像データが入力された場合に、誤検知物Bの有無の判断結果と、その画像内における誤検知物Bの位置情報とを出力可能となる。すなわち、学習済みの誤検知識別モデルMBは、画像内における誤検知物Bの有無や誤検知物Bの位置情報を機械学習させたモデルであり、誤検知物Bが存在する場合の画像の特徴量が、機械学習されたモデルともいえる。なお、誤検知識別モデルMBとしては、任意のAIモデルが適用できるが、例えばCNNモデルを用いてよい。
【0058】
また、誤検知学習部24は、誤検知物Bの有無及び誤検知物Bの位置に加えて、誤検知物Bが存在する旨の判断結果が正しい確率を示す確率スコアを算出可能なように、誤検知識別モデルMBを機械学習させてもよい。誤検知学習部24は、準備した教師データを未学習の誤検知識別モデルMBに入力することで、誤検知識別モデルMBに、画像と、誤検知物Bの有無、誤検知物Bの位置及び確率スコアとの対応関係を、機械学習させる。すなわちこの場合、誤検知学習部24は、指定情報に示す位置に誤検知物Bが存在する旨を、指定情報として誤検知識別モデルMBに入力する。このように機械学習させることで、誤検知識別モデルMBは、画像が入力されたら、演算を行うことにより、誤検知物Bの有無、誤検知物Bの位置及び確率スコアを、出力可能となる。
【0059】
以上のように、本実施形態においては、情報処理装置10が、誤検知学習部24により、誤検知識別モデルMBを機械学習させるが、それに限られず、例えば他の装置により機械学習済みの誤検知識別モデルMBを取得してもよい。
【0060】
(第1画像の取得)
第1画像取得部20は、対象領域AR(検知領域AR0の一部の領域)が写り、かつ対象物Aが写らない第1画像P1のデータを取得する。すなわち、第1画像P1は、例えば
図1に示すように、対象物Aが存在しない状態の検知領域AR0の一部を撮像した画像といえる。本実施形態では、第1画像取得部20は、複数の対象領域ARのそれぞれについて、第1画像P1を取得する。すなわち例えば、検知装置1が移動体である場合には、検知装置1の移動に伴い位置が変わる対象領域ARのそれぞれについての、第1画像P1を取得するといえる。第1画像取得部20は、任意の方法で第1画像P1を取得してよいが、例えば、検知装置1や他の装置により撮像された設備W内の対象領域ARの画像を、通信部12を介して、第1画像P1として取得してよい。なお、第1画像P1は、対象物Aを含まない画像であることにも限られず、対象物Aを含んだ対象領域ARの画像であってもよい。
【0061】
(見逃し領域の検出)
図8及び
図9は、見逃し領域及び誤検知領域の検出を説明する模式図である。検出部26は、機械学習済みの見逃し識別モデルMAに、第1画像P1の画像データを入力することで、見逃し領域を検出する。上述のように、見逃し識別モデルMAは、画像と難易度スコアとの対応関係を機械学習済みである。従って、検出部26は、第1画像P1の画像データを見逃し識別モデルMAに入力することで、第1画像P1の難易度スコアを取得する。より詳しくは、検出部26は、第1画像P1の画像データを見逃し識別モデルMAに入力することで、第1画像P1の位置毎の難易度スコアを取得する。
【0062】
検出部26は、第1画像P1の難易度スコアに基づいて、その第1画像P1に写る対象領域ARに、見逃し領域が含まれているかを判定する。検出部26は、難易度スコアに基づいた任意の方法で見逃し領域が含まれているかを判定してよい。例えば、検出部26は、位置毎の難易度スコアに基づく値が所定の閾値以上である場合に、見逃し領域が含まれていると判定し、位置毎の難易度スコアに基づく値が閾値未満である場合には、見逃し領域が含まれていないと判定する。位置毎の難易度スコアに基づく値は、例えば、位置毎の難易度スコアの合計値、平均値、又は分散値などであってよい。
【0063】
検出部26は、それぞれの第1画像P1について上記処理を行うことで、第1画像P1毎に、第1画像P1に写る対象領域ARに見逃し領域が含まれているかを判定する。
図8の線L1は、第1画像P1毎の難易度スコアに基づく値の例を示している。
図8の例では、検出部26は、それぞれの第1画像P1のうちで、難易度スコアに基づく値が閾値以上となる第1画像P1の対象領域ARに、見逃し領域が含まれていると判定する。
【0064】
また、検出部26は、第1画像P1の位置毎の難易度スコアに基づいて、その第1画像P1に写る対象領域ARにおける見逃し領域の位置を検出してもよい。この場合例えば、検出部26は、第1画像P1のうちで難易度スコアが閾値以上となる位置(領域)を、見逃し領域の位置として検出してよい。
【0065】
検出部26は、検知領域AR0(設備W)の座標系における、見逃し領域が含まれていると判定された対象領域ARの位置情報を取得する。検出部26は、検知領域AR0の全域のうちで、見逃し領域が含まれていると判定された対象領域ARの、検知領域AR0の座標系における位置(領域)を、見逃し領域として検出する。
図9の例では、対象領域ARaが写る第1画像P1の難易度スコアが閾値以上であるため、対象領域ARaに見逃し領域が含まれていると判定されている。この場合、検出部26は、検知領域AR0の座標系において、対象領域ARaと少なくとも一部が重なる領域を、見逃し領域として検出する。なお、検知領域AR0の座標系における対象領域ARの位置情報の取得方法は任意であってよく、例えば、検知領域AR0の座標系における、その対象領域ARが写った第1画像P1を撮像した位置及び向きに基づいて、対象領域ARの位置情報が算出されてよい。
【0066】
このように、検出部26は、機械学習済みの見逃し識別モデルMAに第1画像P1の画像データを入力することで、その第1画像P1に写る対象領域ARが見逃し領域を含むかを判断して、見逃し領域を検出する。ただしそれに限られず、検出部26は、第1画像P1の画像データに基づく任意の方法で、その第1画像P1に写る対象領域ARが見逃し領域を含むかを判断して、見逃し領域を検出してよい。
【0067】
(誤検知領域の検出)
検出部26は、誤検知識別モデルMBに、第1画像P1の画像データを入力することで、誤検知領域を検出する。上述のように、誤検知識別モデルMBは、誤検知物Bの有無を機械学習済みである。従って、検出部26は、第1画像P1の画像データを誤検知識別モデルMBに入力することで、第1画像P1に写る対象領域ARにおける誤検知物Bの有無の判断結果を取得する。
【0068】
検出部26は、誤検知物Bの有無の判断結果に基づいて、その第1画像P1に写る対象領域ARに、誤検知物Bが含まれているかを判定する。検出部26は、誤検知物Bの有無の判断結果に基づいた任意の方法で見逃し領域が含まれているかを判定してよい。例えば、検出部26は、誤検知物Bが存在する旨の判断結果を取得した場合に、その第1画像P1に写る対象領域ARに、誤検知物Bが含まれていると判断し、誤検知物Bが存在しない旨の判断結果を取得した場合に、対象領域ARに誤検知物Bが含まれないと判断してよい。また例えば、検出部26は、誤検知識別モデルMBから、誤検知物Bの有無の判断結果が正しい確率を示す確率スコアを取得してよい。そして、検出部26は、確率スコアが所定の閾値以上である場合に、誤検知物Bが含まれていると判断し、確率スコアが所定の閾値未満である場合に、誤検知物Bが含まれていないと判断してよい。
【0069】
検出部26は、それぞれの第1画像P1について上記処理を行うことで、第1画像P1毎に、第1画像P1に写る対象領域ARに誤検知物Bが含まれているかを判定する。
図8の線L2は、第1画像P1毎の確率スコアに基づく値の例を示している。
図8の例では、検出部26は、それぞれの第1画像P1のうちで、確率スコアが閾値以上となる第1画像P1の対象領域ARに、誤検知物Bが含まれていると判定する。
【0070】
検出部26は、検知領域AR0(設備W)の座標系における、誤検知物Bの位置情報を取得する。検出部26は、検知領域AR0の全域のうちで、検知領域AR0の座標系において誤検知物Bを含む位置(領域)を、誤検知領域として検出する。
図9の例では、領域ARbが誤検知物Bであると判定されたため、検出部26は、検知領域AR0の座標系において、領域ARbと少なくとも一部が重なる領域を、誤検知領域として検出する。なお、検知領域AR0の座標系における誤検知物Bの位置情報の取得方法は任意であってよい。例えば、検出部26は、誤検知識別モデルMBから、第1画像P1における誤検知物Bの位置情報(第1画像P1の座標系における誤検知物Bの位置)を取得する。そして、検出部26は、第1画像P1における誤検知物Bの位置と、検知領域AR0の座標系における、その対象領域ARが写った第1画像P1を撮像した位置及び向きとに基づいて、検知領域AR0の座標系における誤検知物Bの位置情報を算出してよい。
【0071】
このように、検出部26は、機械学習済みの誤検知識別モデルMBに第1画像P1の画像データを入力することで、その第1画像P1に写る対象領域ARが誤検知物Bを含むかを判断して、誤検知領域を検出する。ただしそれに限られず、検出部26は、第1画像P1の画像データに基づく任意の方法で、その第1画像P1に写る対象領域ARが誤検知を含むかを判断して、誤検知領域を検出してよい。
【0072】
以上のように、本実施形態では、検出部26は、見逃し領域と誤検知領域との両方を検出するが、それに限られず、第1画像P1の画像データに基づいて、見逃し領域と誤検知領域との一方のみを検出してもよい。
【0073】
(第2画像の取得)
図10は、第2画像の一例を示す模式図である。第2画像取得部28は、検出部26による、見逃し領域及び誤検知領域の少なくとも一方の検出結果に基づき、識別モデルMを機械学習させるための第2画像P2を取得する。本実施形態では、第2画像取得部28は、誤検知領域が写る画像に対象物Aが重畳する画像と、見逃し領域が写る画像に対象物が重畳する画像とを、第2画像P2として取得する。ただしそれに限られず、第2画像取得部28は、誤検知領域が写る画像に対象物Aが重畳する画像と、見逃し領域が写る画像に対象物が重畳する画像との少なくとも一方を、第2画像P2として取得してよい。
【0074】
第2画像取得部28は、それぞれの誤検知領域及び見逃し領域毎に、第2画像P2を準備することが好ましい。以降においては、第2画像P2において、対象物Aの画像と重畳する画像を、すなわち見逃し領域又は誤検知領域が写る画像を、背景画像P2Aとする。また、背景画像P2Aと重畳させる対象物Aの画像を、対象物画像P2Bとする。すなわち、
図10に示すように、第2画像P2は、背景画像P2Aに対象物画像P2Bが重畳した画像といえる。なお、
図10の第2画像P2に写る四角は、対象物A以外の物体を例示したものである。
【0075】
(撮像画像を第2画像とする場合)
第2画像取得部28による第2画像P2の取得方法は任意であってよい。例えば、第2画像取得部28は、対象物Aと、見逃し領域又は誤検知領域とが撮像された撮像画像(対象物Aと、見逃し領域又は誤検知領域とを撮像範囲内に含む撮像画像)を、第2画像P2として取得してよい。この場合例えば、見逃し領域又は誤検知領域に、実際に対象物Aを位置させて、その対象物Aと、見逃し領域又は誤検知領域とを撮像範囲に含むように、撮像を行わせる。第2画像取得部28は、このように撮像された撮像画像を、第2画像P2として取得する。見逃し領域に対象物Aを位置させて撮像する場合、見逃し領域内の任意の位置に対象物Aを位置させてよいが、その見逃し領域のうちで、難易度スコアが最大となる位置に対象物Aを位置させることが好ましい。また、誤検知領域に対象物Aを位置させて撮像する場合、誤検知領域内の任意の位置に対象物Aを位置させてよいが、その誤検知領域のうちで、誤検知物Bとの距離が所定値未満となる位置に対象物Aを位置させることが好ましい。
【0076】
撮像画像を撮像する際の、対象物Aの状態は任意であってよい。対象物Aの状態とは、対象物Aの種類、大きさ、向き、姿勢などであり、対象物Aの状態に応じて、見逃しや誤検知の発生し易さが変化する。第2画像取得部28は、対象物Aの状態が異なった状態で撮像された複数の撮像画像を、第2画像P2として取得してよい。また例えば、対象物Aの状態と、見逃しや誤検知の発生し易さとの対応関係を予め設定しておき、見逃しや誤検知の発生し易さが所定の閾値以上となる状態で対象物Aを位置させた撮像画像を、第2画像P2として取得してよい。対象物Aの状態と、見逃しや誤検知の発生し易さとの対応関係は、任意に設定してよい。
【0077】
(第2画像を生成する場合)
第2画像取得部28は、背景画像P2Aと対象物画像P2Bとを重畳させることで、第2画像P2を生成してよい。この場合、第2画像取得部28は、見逃し領域又は誤検知領域が写る背景画像P2Aを取得する。第2画像取得部28は、任意の方法で背景画像P2Aを取得してよいが、例えば、対象物Aが位置しない見逃し領域又は誤検知領域を撮像した撮像画像を、背景画像P2Aとして取得してよい。また、第2画像取得部28は、任意の方法で対象物画像P2Bを取得してよい。第2画像取得部28は、通信部12を介して、外部の装置(サーバ)などから、対象物Aが写る既存の画像を、対象物画像P2Bとして取得してよい。また例えば、第2画像取得部28は、対象物Aの画像データ(3次元画像データ)を取得して、対象物Aの画像データに基づいて、対象物画像P2Bを生成してもよい。
【0078】
第2画像取得部28は、背景画像P2Aにおける任意の位置に対象物画像P2Bが位置するように、背景画像P2Aと対象物画像P2Bとを重畳させてよい。例えば見逃し領域の背景画像P2Aに重畳する場合、その見逃し領域のうちで、難易度スコアが最大となる位置に対象物画像P2Bを位置させることが好ましい。また、誤検知領域の背景画像P2Aに重畳する場合、その誤検知領域のうちで、誤検知物Bとの距離が所定値未満となる位置に対象物画像P2Bを位置させることが好ましい。
【0079】
対象物画像P2Bにおける対象物Aの状態(種類、大きさ、向き、姿勢など)は任意であってよい。第2画像取得部28は、対象物Aの状態が異なる対象物画像P2Bを生成して、対象物Aの状態が異なる複数の第2画像P2を取得してよい。また例えば、対象物Aの状態と、見逃しや誤検知の発生し易さとの対応関係を予め設定しておき、見逃しや誤検知の発生し易さが所定の閾値以上となる状態とした対象物画像P2Bを、背景画像P2Aに重畳して、第2画像P2を生成してよい。
【0080】
なお、背景画像P2Aと対象物画像P2Bとを重畳させて第2画像P2を生成する場合、第2画像取得部28は、背景画像P2Aの各位置における奥行きを示す奥行き情報に基づいて、背景画像P2Aと対象物画像P2Bとを重畳させてよい。奥行きとは、画像における深さ方向の位置を指す。第2画像取得部28は、背景画像P2Aの奥行き情報を任意の方法で取得してよいが、例えば、複数のカメラにより共通する領域を撮像した撮像画像から、背景画像P2Aにおける各位置の奥行きを算出してよい。また例えば、背景画像P2Aに基づき、公知の方法で深層学習を用いた奥行き推定を行うことで、背景画像P2Aにおける各位置の奥行きを算出してよい。
【0081】
図11は、第2画像の他の例を示す模式図である。背景画像P2Aの奥行き情報を取得したら、第2画像取得部28は、対象物画像P2Bの奥行きを設定する。第2画像取得部28は、背景画像P2Aと対象物画像P2Bとが、設定された奥行きに位置するように、背景画像P2Aと対象物画像P2Bとを重畳させて、第2画像P2を生成する。例えば
図11においては、対象物画像P2Bが、背景画像P2Aに含まれる物体P2A1よりも奥側となるように、奥行きが設定されている。この場合、
図11に示すように、第2画像取得部28は、対象物画像P2Bが物体P2A1よりも奥側となるように、第2画像P2を生成する。
【0082】
なお、以上の説明では、誤検知領域を含む第2画像P2は、誤検知領域の背景画像P2Aに対象物画像P2Bが重畳する画像であった。ただしそれに限られず、誤検知領域の背景画像P2Aに対象物画像P2Bが重畳する画像と、対象物画像P2Bを含まず誤検知領域の背景画像P2Aを含む画像(対象物Aが写らず誤検知領域が写る画像)とを、誤検知領域を含む第2画像P2として取得してもよい。
【0083】
(識別モデルの機械学習)
第2画像P2が取得されたら、学習部30は、第2画像P2の画像データを教師データとして、画像内における対象物Aの有無を、識別モデルMに機械学習させる。より詳しくは、学習部30は、第2画像P2の画像データと、その第2画像P2における対象物Aの有無を示す指定情報とを含むデータセットを、識別モデルM用の教師データとして設定する。学習部30は、それぞれの第2画像P2について、第2画像P2と指定情報とを含むデータセット(教師データ)を準備することで、複数の教師データを準備する。なお、第2画像P2は対象物画像P2Bを含むので、指定情報は、第2画像P2に対象物Aが含まれる旨の情報となる。ただし上述のように、誤検知領域を含む第2画像P2として、対象物画像P2Bを含まず誤検知領域の背景画像P2Aを含む画像も準備される。このような第2画像P2は、対象物画像P2Bを含まないので、指定情報は、第2画像P2に対象物Aが含まれない旨の情報となる。
【0084】
学習部30は、それぞれの教師データ(第2画像P2の画像データと指定情報)を未学習の識別モデルMに入力することで、識別モデルMに、画像と、その画像における対象物Aの有無との対応関係を機械学習させる。このように機械学習させることで、識別モデルMは、画像が入力されたら、演算を行うことにより、その画像における対象物Aの有無の判断結果を出力可能となる。なお、識別モデルMとしては、任意のAIモデルが適用できるが、例えばCNNモデルを用いてよい。
【0085】
学習部30は、第2画像P2の画像データと、その第2画像P2における対象物Aの位置を示す指定情報とを教師データとして、識別モデルMに、画像内における対象物Aの位置を機械学習させてよい。これにより、識別モデルMは、未知の画像データが入力された場合に、識別モデルMの有無の判断結果と、その画像内における識別モデルMの位置情報とを出力可能となる。
【0086】
情報処理装置10は、第2画像P2を教師データとして機械学習させた識別モデルMを、例えば通信部12を介して、検知装置1に送信する。検知装置1は、上述のように、機械学習済みの識別モデルMを用いて、対象物Aの検知を行う。
【0087】
(処理フロー)
次に、以上説明した情報処理装置10の処理フローを説明する。
図12は、情報処理装置の処理フローを説明するフローチャートである。
図12に示すように、情報処理装置10は、第1画像取得部20により、対象領域ARが写り、かつ対象物Aが写らない第1画像P1を取得する(ステップS10)。そして、情報処理装置10は、検出部26により、第1画像P1に基づいて見逃し領域を検出し(ステップS12)、第2画像取得部28により、見逃し領域(背景画像P2A)と対象物A(対象物画像P2B)が重畳した第2画像P2を取得する(ステップS14)。本実施形態では、検出部26は、機械学習済みの見逃し識別モデルMAに第1画像P1の画像データを入力して、第1画像P1についての難易度スコアを取得し、難易度スコアに基づいて、見逃し領域を検出する。また、情報処理装置10は、検出部26により、第1画像P1に基づいて誤検知領域を検出し(ステップS16)、第2画像取得部28により、誤検知領域(背景画像P2A)と対象物A(対象物画像P2B)が重畳した第2画像P2を取得する(ステップS18)。本実施形態では、検出部26は、機械学習済みの誤検知識別モデルMBに第1画像P1の画像データを入力して、第1画像P1に誤検知物Bが含まれるかの判断結果を取得し、その判断結果に基づいて、誤検知領域を検出する。
【0088】
第2画像P2を取得したら、情報処理装置10は、第2画像P2に基づき、すなわち第2画像P2を教師データとして、識別モデルMに機械学習させる(ステップS20)。
【0089】
以上説明したように、本実施形態においては、対象物Aが写らない第1画像P1に基づいて、検知領域AR0のうちから、誤検知領域及び見逃し領域を検出する。そして、その誤検知領域や見逃し領域と、対象物Aとが重畳した第2画像P2により、識別モデルMに、対象物Aの有無を機械学習させる。本実施形態においては、誤検知が起きやすい誤検知領域や見逃しが起きやすい見逃し領域を検出して、誤検知や見逃しが起こりやすい状況を適切に再現した第2画像P2を教師データとする。これにより、誤検知や見逃しが起きやすい領域を、重点的に機械学習させることができる。そのため、本実施形態の方法で機械学習させた識別モデルMを用いることで、対象物Aの誤検知や見逃しを適切に抑制することができる。
【0090】
(効果)
以上説明したように、本開示の第1態様に係る情報処理装置10は、第1画像取得部20と、検出部26と、第2画像取得部28と、学習部30とを含む。第1画像取得部20は、監視対象となる検知領域AR0のうちの一部の領域である対象領域ARが写り、かつ対象物Aが写らない第1画像P1の画像データを取得する。検出部26は、第1画像P1の画像データに基づいて、検知領域AR0のうちから、対象物Aの誤検知が起こる誤検知領域と、対象物Aの見逃しが起こる見逃し領域との少なくとも一方を検出する。第2画像取得部28は、誤検知領域が写る画像に対象物Aが重畳する画像と、見逃し領域が写る画像に対象物Aが重畳する画像との、少なくとも一方である第2画像P2を取得する。学習部30は、第2画像P2の画像データを教師データとして、画像内における対象物Aの有無を、識別モデルMに機械学習させる。本開示によると、誤検知が起きやすい誤検知領域や見逃しが起きやすい見逃し領域を検出して、それらを含む画像を教師データとすることで、誤検知や見逃しが起きやすい領域を用いて、重点的に機械学習させることができる。そのため、本開示によると、対象物Aの誤検知と見逃しとの少なくとも一方を、適切に抑制することができる。
【0091】
本開示の第2態様に係る情報処理装置10は、第1態様に係る情報処理装置10であって、検出部26は、画像と、対象物Aの見逃しが起こる確率を示す難易度スコアとの対応関係を機械学習した見逃し識別モデルMAに、第1画像P1の画像データを入力することで、見逃し領域を検出する。本開示によると、難易度スコアを機械学習した見逃し識別モデルMAを用いることで、見逃し領域を適切に検出して、見逃しを適切に抑制することができる。
【0092】
本開示の第3態様に係る情報処理装置10は、第2態様に係る情報処理装置10であって、見逃し識別モデルMAを機械学習させる見逃し学習部22を更に含む。見逃し学習部22は、背景に対象物Aが重畳した第1学習画像(学習画像)PAと、第1学習画像PAに対象物Aが存在することを示す指定情報とを教師データとして、見逃し識別モデルMAに機械学習させる。検出部26は、機械学習済みの見逃し識別モデルMAに、第1画像P1の画像データを入力することで、第1画像P1についての難易度スコアを取得し、難易度スコアに基づいて、対象領域ARに見逃し領域が含まれているかを判定する。本開示によると、難易度スコアを機械学習した見逃し識別モデルMAを用いることで、見逃し領域を適切に検出して、見逃しを適切に抑制することができる。
【0093】
本開示の第4態様に係る情報処理装置10は、第3態様に係る情報処理装置10であって、見逃し学習部22は、第1学習画像PAの位置毎の難易度スコアを機械学習させ、検出部26は、見逃し識別モデルMAに第1画像P1の画像データを入力することで、第1画像P1の位置毎の難易度スコアを取得する。本開示によると、位置毎の難易度スコアを機械学習した見逃し識別モデルMAを用いることで、見逃し領域を適切に検出して、見逃しを適切に抑制することができる。
【0094】
本開示の第5態様に係る情報処理装置10は、第1態様から第4態様のいずれかに係る情報処理装置10であって、検出部26は、対象物Aであると誤検知される誤検知物Bの有無を機械学習した誤検知識別モデルMBに、第1画像P1の画像データを入力することで、誤検知領域を検出する。本開示によると、誤検知物Bの有無を機械学習した誤検知識別モデルMBを用いることで、誤検知領域を適切に検出して、誤検知を適切に抑制することができる。
【0095】
本開示の第6態様に係る情報処理装置10は、第5態様に係る情報処理装置10であって、誤検知識別モデルMBを機械学習させる誤検知学習部24を更に含む。誤検知学習部24は、対象物Aを含まない第2学習画像PBと、その第2学習画像PBに誤検知物Bが含まれることを示す指定情報とを教師データとして、誤検知識別モデルMBに機械学習させる。検出部26は、誤検知識別モデルMBに第1画像P1の画像データを入力することで、対象領域ARに誤検知物Bが含まれているかを判定する。本開示によると、誤検知物Bの有無を機械学習した誤検知識別モデルMBを用いることで、誤検知領域を適切に検出して、誤検知を適切に抑制することができる。
【0096】
本開示の第7態様に係る情報処理装置10は、第1態様から第6態様のいずれかに係る情報処理装置10であって、第2画像取得部28は、誤検知領域又は見逃し領域と、対象物Aとが撮像された撮像画像を、第2画像P2として取得する。このような第2画像P2を用いて機械学習させることで、対象物Aの誤検知と見逃しとの少なくとも一方を、適切に抑制することができる。
【0097】
本開示の第8態様に係る情報処理装置10は、第1態様から第7態様のいずれかに係る情報処理装置10であって、第2画像取得部28は、誤検知領域又は見逃し領域が写る背景画像P2Aに、対象物Aの画像である対象物画像P2Bを重畳させた画像を、第2画像P2として生成する。このような第2画像P2を用いて機械学習させることで、対象物Aの誤検知と見逃しとの少なくとも一方を、適切に抑制することができる。
【0098】
本開示の第9態様に係る情報処理装置10は、第8態様に係る情報処理装置10であって、第2画像取得部28は、背景画像P2Aの各位置における奥行きを示す奥行き情報に基づいて、背景画像P2Aと対象物画像P2Bとを重畳させる。奥行き情報も用いて画像を重畳することで、誤検知や見逃しが起こりやすい状況を適切に再現した第2画像P2を生成することが可能となり、対象物Aの誤検知と見逃しとの少なくとも一方を、適切に抑制することができる。
【0099】
本開示の第10態様に係る検知装置1は、第1態様から第9態様のいずれかに係る情報処理装置10の、学習部30により機械学習させた識別モデルMを用いて、検知領域AR0における対象物Aの有無を検知する。本開示によると、対象物Aの誤検知と見逃しとの少なくとも一方を、適切に抑制することができる。
【0100】
本開示の第11態様に係る情報処理方法は、監視対象となる検知領域AR0のうちの一部の領域である対象領域ARが写り、かつ対象物Aが写らない第1画像P1の画像データを取得するステップと、第1画像P1の画像データに基づいて、検知領域AR0のうちから、対象物Aの誤検知が起こる誤検知領域と、対象物Aの見逃しが起こる見逃し領域との少なくとも一方を検出するステップと、誤検知領域が写る画像に対象物Aが重畳する画像と、見逃し領域が写る画像に対象物Aが重畳する画像との、少なくとも一方である第2画像P2を取得するステップと、第2画像P2の画像データを教師データとして、画像内における対象物Aの有無を、識別モデルMに機械学習させるステップとを含む。本開示によると、対象物Aの誤検知と見逃しとの少なくとも一方を、適切に抑制することができる。
【0101】
本開示の第12態様に係るプログラムは、監視対象となる検知領域AR0のうちの一部の領域である対象領域ARが写り、かつ対象物Aが写らない第1画像P1の画像データを取得するステップと、第1画像P1の画像データに基づいて、検知領域AR0のうちから、対象物Aの誤検知が起こる誤検知領域と、対象物Aの見逃しが起こる見逃し領域との少なくとも一方を検出するステップと、誤検知領域が写る画像に対象物Aが重畳する画像と、見逃し領域が写る画像に対象物Aが重畳する画像との、少なくとも一方である第2画像P2を取得するステップと、第2画像P2の画像データを教師データとして、画像内における対象物Aの有無を、識別モデルMに機械学習させるステップとを、コンピュータに実行させる。本開示によると、対象物Aの誤検知と見逃しとの少なくとも一方を、適切に抑制することができる。
【0102】
以上、本開示の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0103】
10 情報処理装置
20 第1画像取得部
22 見逃し学習部
24 誤検知学習部
26 検出部
28 第2画像取得部
30 学習部
A 対象物
AR 対象領域
AR0 検知領域
B 誤検知物
M 識別モデル
MA 見逃し識別モデル
MB 誤検知識別モデル
P1 第1画像
P2 第2画像