(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024098564
(43)【公開日】2024-07-24
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240717BHJP
G06T 7/60 20170101ALI20240717BHJP
G06T 7/70 20170101ALI20240717BHJP
H04N 7/18 20060101ALI20240717BHJP
【FI】
G06T7/20 300Z
G06T7/60 180B
G06T7/70 Z
G06T7/60 180D
G06T7/60 180A
H04N7/18 D
H04N7/18 K
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023002116
(22)【出願日】2023-01-11
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】碕山 貴之
(72)【発明者】
【氏名】山本 一真
【テーマコード(参考)】
5C054
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC12
5C054FC13
5C054FE09
5C054FE13
5C054FE16
5C054HA19
5L096AA06
5L096BA02
5L096CA05
5L096DA01
5L096FA16
5L096FA59
5L096FA66
5L096FA67
5L096FA69
5L096FA76
5L096FA77
5L096GA51
5L096HA05
5L096HA11
5L096KA04
(57)【要約】
【課題】検出対象の検出精度を向上させる。
【解決手段】動画像に含まれるフレームにおける1または複数の検出対象および1または複数の遮蔽物の位置に基づいて、接近度が閾値を上回る第1の検出対象と第1の遮蔽物との第1の組が存在するかを判定する第1の判定部と、動画像における1または複数の検出対象の位置に基づいて、1または複数の検出対象の移動情報を算出するとともに、動画像における1または複数の遮蔽物の位置に基づいて、1または複数の遮蔽物の移動情報を算出する算出部と、1または複数の検出対象の移動情報と、1または複数の遮蔽物の移動情報とに基づいて、移動情報同士が一致または類似する第2の検出対象と第2の遮蔽物との第2の組が存在するかを判定する第2の判定部と、第2の組が存在する場合に、第2の組と一致する第1の組が存在するかを判定する第3の判定部と、を備える、情報処理装置が提供される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
動画像における1または複数の検出対象および1または複数の遮蔽物の位置を検出する物体検出部と、
前記動画像に含まれるフレームにおける前記1または複数の検出対象および前記1または複数の遮蔽物の位置に基づいて、接近度が閾値を上回る第1の検出対象と第1の遮蔽物との第1の組が存在するかを判定する第1の判定部と、
前記動画像における前記1または複数の検出対象の位置に基づいて、前記1または複数の検出対象の移動情報を算出するとともに、前記動画像における前記1または複数の遮蔽物の位置に基づいて、前記1または複数の遮蔽物の移動情報を算出する算出部と、
前記1または複数の検出対象の移動情報と、前記1または複数の遮蔽物の移動情報とに基づいて、移動情報同士が一致または類似する第2の検出対象と第2の遮蔽物との第2の組が存在するかを判定する第2の判定部と、
前記第2の組が存在する場合に、前記第2の組と一致する前記第1の組が存在するかを判定する第3の判定部と、
を備える、情報処理装置。
【請求項2】
前記1または複数の検出対象は、自律的な移動が可能な物体であり、
前記1または複数の遮蔽物は、自律的な移動が不可能であり、検出対象とともに移動する物体である、
請求項1に記載の情報処理装置。
【請求項3】
前記第3の判定部は、前記第2の組と一致する前記第1の組が存在しない場合、前記第1の遮蔽物との接近度が前記閾値を上回る前記第1の検出対象が存在しない場合、または、前記第2の遮蔽物の移動情報と一致または類似する移動情報を有する前記第2の検出対象が存在しない場合に、前記第2の遮蔽物が前記1または複数の検出対象には含まれない第3の検出対象の一部または全部を遮蔽していると判定する、
請求項2に記載の情報処理装置。
【請求項4】
前記第3の判定部は、さらに前記第2の遮蔽物の速さが所定の速さ以上である場合に、前記第2の遮蔽物が前記1または複数の検出対象には含まれない第3の検出対象の一部または全部を遮蔽していると判定する、
請求項3に記載の情報処理装置。
【請求項5】
前記第3の判定部は、前記第2の組と一致する前記第1の組が存在する場合に、前記第2の遮蔽物が前記第2の検出対象とともに移動していると判定する、
請求項2に記載の情報処理装置。
【請求項6】
前記第1の判定部は、前記1または複数の検出対象の検出領域と、前記1または複数の遮蔽物の検出領域とに基づいて、検出領域同士の重なり度合いが前記閾値を上回る前記第1の検出対象と前記第1の遮蔽物との前記第1の組が存在するかを判定する、
請求項1に記載の情報処理装置。
【請求項7】
前記情報処理装置は、
前記第2の遮蔽物が前記第3の検出対象の一部または全部を遮蔽していると判定された場合に、前記第2の遮蔽物の位置を前記1または複数の検出対象には含まれない第3の検出対象の位置として設定する処理部を備える、
請求項3に記載の情報処理装置。
【請求項8】
前記情報処理装置は、
前記第2の遮蔽物が前記第3の検出対象の一部または全部を遮蔽していると判定された場合に、前記第2の遮蔽物の数を前記1または複数の検出対象の数に加算する処理部を備える、
請求項3に記載の情報処理装置。
【請求項9】
前記第1の判定部は、前記第1の検出対象と前記第1の遮蔽物との第1の位置関係を判定し、
前記第2の判定部は、前記第2の検出対象と前記第2の遮蔽物との第2の位置関係を判定し、
前記第3の判定部は、前記第1の位置関係と前記第2の位置関係とが一致または類似するかにより、前記第2の組と一致する前記第1の組が存在するかを判定する、
請求項1に記載の情報処理装置。
【請求項10】
前記1または複数の検出対象の移動情報は、前記1または複数の検出対象の速さを含み、
前記1または複数の遮蔽物の移動情報は、前記1または複数の遮蔽物の速さを含む、
請求項1に記載の情報処理装置。
【請求項11】
前記1または複数の検出対象の移動情報は、前記1または複数の検出対象の向きを含み、
前記1または複数の遮蔽物の移動情報は、前記1または複数の遮蔽物の向きを含む、
請求項1に記載の情報処理装置。
【請求項12】
前記1または複数の検出対象は、人物であり、
前記1または複数の遮蔽物は、傘である、
請求項1~11のいずれか一項に記載の情報処理装置。
【請求項13】
動画像における1または複数の検出対象および1または複数の遮蔽物の位置を検出することと、
前記動画像に含まれるフレームにおける前記1または複数の検出対象および前記1または複数の遮蔽物の位置に基づいて、接近度が閾値を上回る第1の検出対象と第1の遮蔽物との第1の組が存在するかを判定することと、
前記動画像における前記1または複数の検出対象の位置に基づいて、前記1または複数の検出対象の移動情報を算出するとともに、前記動画像における前記1または複数の遮蔽物の位置に基づいて、前記1または複数の遮蔽物の移動情報を算出することと、
前記1または複数の検出対象の移動情報と、前記1または複数の遮蔽物の移動情報とに基づいて、移動情報同士が一致または類似する第2の検出対象と第2の遮蔽物との第2の組が存在するかを判定することと、
前記第2の組が存在する場合に、前記第2の組と一致する前記第1の組が存在するかを判定することと、
を備える、コンピュータにより実行される情報処理方法。
【請求項14】
コンピュータを、
動画像における1または複数の検出対象および1または複数の遮蔽物の位置を検出する物体検出部と、
前記動画像に含まれるフレームにおける前記1または複数の検出対象および前記1または複数の遮蔽物の位置に基づいて、接近度が閾値を上回る第1の検出対象と第1の遮蔽物との第1の組が存在するかを判定する第1の判定部と、
前記動画像における前記1または複数の検出対象の位置に基づいて、前記1または複数の検出対象の移動情報を算出するとともに、前記動画像における前記1または複数の遮蔽物の位置に基づいて、前記1または複数の遮蔽物の移動情報を算出する算出部と、
前記1または複数の検出対象の移動情報と、前記1または複数の遮蔽物の移動情報とに基づいて、移動情報同士が一致または類似する第2の検出対象と第2の遮蔽物との第2の組が存在するかを判定する第2の判定部と、
前記第2の組が存在する場合に、前記第2の組と一致する前記第1の組が存在するかを判定する第3の判定部と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、カメラによって撮像されて得られた画像から検出対象を検出する技術が知られている。検出対象の例としては、人物などが主に想定され得る。かかる技術において、検出対象の全部が、画像に写っているとは限らず、画像において検出対象の一部または全部が物体に遮蔽されてしまっている場合があり得る。検出対象の一部または全部を遮蔽し得る物体の例としては、人物の一部または全部を遮蔽し得る傘などが主に想定され得る。
【0003】
以下の説明においては、検出対象の一部または全部を遮蔽する可能性がある物体を「遮蔽物」とも言う。
【0004】
例えば、特許文献1には、遮蔽物によって検出対象の一部または全部が遮蔽されてしまっている場合であっても、検出対象の数を計測する技術が開示されている。より具体的に、特許文献1には、画像における検出対象および遮蔽物を検出するとともに、遮蔽物に遮蔽されていない検出対象を特定し、検出対象、遮蔽物および遮蔽物に遮蔽されていない検出対象それぞれの数に基づいて、検出対象の数を計測する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、画像における検出対象の検出精度を向上させることが可能な技術が提供されることが望まれる。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、動画像における1または複数の検出対象および1または複数の遮蔽物の位置を検出する物体検出部と、前記動画像に含まれるフレームにおける前記1または複数の検出対象および前記1または複数の遮蔽物の位置に基づいて、接近度が閾値を上回る第1の検出対象と第1の遮蔽物との第1の組が存在するかを判定する第1の判定部と、前記動画像における前記1または複数の検出対象の位置に基づいて、前記1または複数の検出対象の移動情報を算出するとともに、前記動画像における前記1または複数の遮蔽物の位置に基づいて、前記1または複数の遮蔽物の移動情報を算出する算出部と、前記1または複数の検出対象の移動情報と、前記1または複数の遮蔽物の移動情報とに基づいて、移動情報同士が一致または類似する第2の検出対象と第2の遮蔽物との第2の組が存在するかを判定する第2の判定部と、前記第2の組が存在する場合に、前記第2の組と一致する前記第1の組が存在するかを判定する第3の判定部と、を備える、情報処理装置が提供される。
【0008】
前記1または複数の検出対象は、自律的な移動が可能な物体であり、前記1または複数の遮蔽物は、自律的な移動が不可能であり、検出対象とともに移動する物体であってもよい。
【0009】
前記第3の判定部は、前記第2の組と一致する前記第1の組が存在しない場合、前記第1の遮蔽物との接近度が前記閾値を上回る前記第1の検出対象が存在しない場合、または、前記第2の遮蔽物の移動情報と一致または類似する移動情報を有する前記第2の検出対象が存在しない場合に、前記第2の遮蔽物が前記1または複数の検出対象には含まれない第3の検出対象の一部または全部を遮蔽していると判定してもよい。
【0010】
前記第3の判定部は、さらに前記第2の遮蔽物の速さが所定の速さ以上である場合に、前記第2の遮蔽物が前記1または複数の検出対象には含まれない第3の検出対象の一部または全部を遮蔽していると判定してもよい。
【0011】
前記第3の判定部は、前記第2の組と一致する前記第1の組が存在する場合に、前記第2の遮蔽物が前記第2の検出対象とともに移動していると判定してもよい。
【0012】
前記第1の判定部は、前記1または複数の検出対象の検出領域と、前記1または複数の遮蔽物の検出領域とに基づいて、検出領域同士の重なり度合いが前記閾値を上回る前記第1の検出対象と前記第1の遮蔽物との前記第1の組が存在するかを判定してもよい。
【0013】
前記情報処理装置は、前記第2の遮蔽物が前記第3の検出対象の一部または全部を遮蔽していると判定された場合に、前記第2の遮蔽物の位置を前記1または複数の検出対象には含まれない第3の検出対象の位置として設定する処理部を備えてもよい。
【0014】
前記情報処理装置は、前記第2の遮蔽物が前記第3の検出対象の一部または全部を遮蔽していると判定された場合に、前記第2の遮蔽物の数を前記1または複数の検出対象の数に加算する処理部を備えてもよい。
【0015】
前記第1の判定部は、前記第1の検出対象と前記第1の遮蔽物との第1の位置関係を判定し、前記第2の判定部は、前記第2の検出対象と前記第2の遮蔽物との第2の位置関係を判定し、前記第3の判定部は、前記第1の位置関係と前記第2の位置関係とが一致または類似するかにより、前記第2の組と一致する前記第1の組が存在するかを判定してもよい。
【0016】
前記1または複数の検出対象の移動情報は、前記1または複数の検出対象の速さを含み、前記1または複数の遮蔽物の移動情報は、前記1または複数の遮蔽物の速さを含んでもよい。
【0017】
前記1または複数の検出対象の移動情報は、前記1または複数の検出対象の向きを含み、前記1または複数の遮蔽物の移動情報は、前記1または複数の遮蔽物の向きを含んでもよい。
【0018】
前記1または複数の検出対象は、人物であり、前記1または複数の遮蔽物は、傘であってもよい。
【0019】
また、上記課題を解決するために本発明の別の観点によれば、動画像における1または複数の検出対象および1または複数の遮蔽物の位置を検出することと、前記動画像に含まれるフレームにおける前記1または複数の検出対象および前記1または複数の遮蔽物の位置に基づいて、接近度が閾値を上回る第1の検出対象と第1の遮蔽物との第1の組が存在するかを判定することと、前記動画像における前記1または複数の検出対象の位置に基づいて、前記1または複数の検出対象の移動情報を算出するとともに、前記動画像における前記1または複数の遮蔽物の位置に基づいて、前記1または複数の遮蔽物の移動情報を算出することと、前記1または複数の検出対象の移動情報と、前記1または複数の遮蔽物の移動情報とに基づいて、移動情報同士が一致または類似する第2の検出対象と第2の遮蔽物との第2の組が存在するかを判定することと、前記第2の組が存在する場合に、前記第2の組と一致する前記第1の組が存在するかを判定することと、を備える、コンピュータにより実行される情報処理方法が提供される。
【0020】
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、動画像における1または複数の検出対象および1または複数の遮蔽物の位置を検出する物体検出部と、前記動画像に含まれるフレームにおける前記1または複数の検出対象および前記1または複数の遮蔽物の位置に基づいて、接近度が閾値を上回る第1の検出対象と第1の遮蔽物との第1の組が存在するかを判定する第1の判定部と、前記動画像における前記1または複数の検出対象の位置に基づいて、前記1または複数の検出対象の移動情報を算出するとともに、前記動画像における前記1または複数の遮蔽物の位置に基づいて、前記1または複数の遮蔽物の移動情報を算出する算出部と、前記1または複数の検出対象の移動情報と、前記1または複数の遮蔽物の移動情報とに基づいて、移動情報同士が一致または類似する第2の検出対象と第2の遮蔽物との第2の組が存在するかを判定する第2の判定部と、前記第2の組が存在する場合に、前記第2の組と一致する前記第1の組が存在するかを判定する第3の判定部と、として機能させるプログラムが提供される。
【発明の効果】
【0021】
以上説明したように本発明によれば、画像における検出対象の検出精度を向上させることが可能な技術が提供される。
【図面の簡単な説明】
【0022】
【
図1】本発明の実施形態の概要について説明するための図である。
【
図2】本発明の実施形態に係る情報処理システム1の機能構成例を示す図である。
【
図3】検出対象Fと遮蔽物Lとの組が近距離物体対であると判定される例について説明するための図である。
【
図4】検出対象Fと遮蔽物Mとの組が近距離物体対ではないと判定される例について説明するための図である。
【
図5】距離判定部124の動作例を示すフローチャートである。
【
図6】検出対象A~Fおよび遮蔽物H~Nそれぞれが属するグループの例を示す図である。
【
図7】検出対象Fと遮蔽物Lとの組が同グループ物体対であると判定される例について説明するための図である。
【
図8】検出対象Fと遮蔽物Mとの組が同グループ物体対ではないと判定される例について説明するための図である。
【
図9】物体追跡部123と移動情報判定部125と遮蔽判定部126と処理部127との動作例を示すフローチャートである。
【
図10】検出対象の位置に応じた情報の提示例を示す図である。
【
図11】検出対象の位置に応じた情報の提示例を示す図である。
【
図12】本発明の実施形態に係る情報処理装置10の例としての情報処理装置900のハードウェア構成を示す図である。
【発明を実施するための形態】
【0023】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0024】
(0.実施形態の概要)
まず、
図1を参照しながら、本発明の実施形態の概要について説明する。
【0025】
図1は、本発明の実施形態の概要について説明するための図である。
図1を参照すると、撮像部110(
図2)によって撮像されて得られた動画像を構成するフレームR1が示されている。動画像は、時系列に沿って連続的に撮像されて得られた複数のフレームによって構成されており、当該複数のフレームは、フレームR1を含む。複数のフレームそれぞれは、静止画像とも換言され得る。
【0026】
フレームR1には、検出対象A~Gが写っている。また、フレームR1には、遮蔽物H~Nが写っている。
図1に示された例では、検出対象A~Gそれぞれが、人物(例えば、歩行者など)であり、遮蔽物H~Nそれぞれが、傘である。しかし、後にも説明するように、検出対象A~Gそれぞれは、歩行者に限定されないし、遮蔽物H~Nそれぞれは、傘に限定されない。
【0027】
ここで、本明細書における「遮蔽物」は、検出対象の一部または全部を遮蔽する可能性がある物体である。したがって、「遮蔽物」には、検出対象の一部または全部を実際に遮蔽している状態の物体が含まれ得る他、検出対象の一部または全部を実際には遮蔽していない状態の物体も含まれ得る。
【0028】
また、本明細書において「検出対象」は、自律的な移動が可能な物体であり得る。自律的な移動は、自己の判断で移動することを意味し得る。
【0029】
一方、本明細書において「遮蔽物」は、自律的な移動が不可能であり、検出対象とともに移動する物体であり得る。検出対象とともに移動する物体は、検出対象によって移動される物体とも換言され得る。したがって、「遮蔽物」は、検出対象の移動と無関係に移動することはできない。例えば、「遮蔽物」は、検出対象が遮蔽物を持ちながら移動すること(または、遮蔽物を身に着けながら移動すること)によって、検出対象とともに移動し得る。
【0030】
また、
図1に示された例では、フレームR1に写る検出対象の数が、検出対象A~Gの7つであるが、フレームR1に写る検出対象の数は7つに限定されない。すなわち、フレームR1に写る検出対象の数は、1または複数であってよい。同様に、
図1に示された例では、フレームR1に写る遮蔽物の数が、遮蔽物H~Nの7つであるが、フレームR1に写る遮蔽物の数は、7つに限定されない。すなわち、フレームR1に写る遮蔽物の数は、1または複数であってよい。
【0031】
また、
図1に示された例では、フレームR1の撮像範囲が横断歩道であるが、フレームR1の撮像範囲は、横断歩道に限定されず、どのような場所であってもよい。例えば、フレームR1の撮像範囲は、横断歩道以外の屋外であってもよいし、屋内であってもよい。動画像に含まれるフレームR1以外のフレームの撮像範囲も同様に、どのような場所であってもよい。
【0032】
一例として、検出対象Aの一部は、検出対象Aとともに移動する遮蔽物Hによって遮蔽されている。しかし、検出対象Aのうち遮蔽物Hによって遮蔽されている部分の割合が小さい。そのため、検出対象AはフレームR1から検出され得る。同様に、検出対象B、C、Eも、フレームR1から検出され得る。
【0033】
検出対象Fの一部は、検出対象Fとともに移動する遮蔽物Lによって遮蔽されており、検出対象Fの他の一部は、他の検出対象Gとともに移動する遮蔽物Mによって遮蔽されている。しかし、検出対象Fのうち遮蔽物Lおよび遮蔽物Mによって遮蔽されている部分の割合が小さい。そのため、検出対象FはフレームR1から検出され得る。
【0034】
一方、検出対象Gの一部は、検出対象Gとともに移動する遮蔽物Mによって遮蔽されている。そして、検出対象Gのうち遮蔽物Mによって遮蔽されてしまっている部分の割合が大きい。そのため、検出対象GはフレームR1から検出されない。
【0035】
なお、検出対象Dは、遮蔽物とともに移動しておらず、検出対象Dの一部が、他の検出対象Eとともに移動する遮蔽物Kによって遮蔽されている。しかし、検出対象Dのうち遮蔽物Kによって遮蔽されている部分の割合が小さいため、検出対象DはフレームR1から検出され得る。遮蔽物Nは、検出対象A~Gのいずれとも一緒に移動しておらず放置されている。
【0036】
(比較例)
図1を参照しながら、比較例について説明する。
【0037】
比較例においては、フレームR1における検出対象A~Fおよび遮蔽物H~Nが検出されるとともに、遮蔽物H~Nそれぞれの状態が、検出対象Gの一部または全部を遮蔽していることによりその検出対象Gを非検出にしている状態であるか否かが特定される。以下では、このようにして遮蔽により検出対象Gを非検出にしている状態の遮蔽物を単に「遮蔽状態の遮蔽物」とも言う。一方、遮蔽により検出対象Gを非検出にしていない状態の遮蔽物を「非遮蔽状態の遮蔽物」とも言う。
【0038】
そして、比較例においては、フレームR1における検出対象A~Fが検出対象として検出される他、遮蔽状態の遮蔽物Mの数と同数だけ非検出の検出対象Gが存在するはずであるという推測の下に、遮蔽状態の遮蔽物Mが検出対象とみなされる。遮蔽物の状態が非遮蔽状態であるか遮蔽状態であるかは、遮蔽物とともに移動する検出対象が検出されるか否かによって決められる。さらに、比較例においては、このようにして検出された検出対象の位置および数が計測される。
【0039】
比較例において、遮蔽状態の遮蔽物Mを特定する手法としては、第1の判断手法から第3の判断手法までが挙げられる。以下では、検出対象として、検出対象Aおよび検出対象Gを例に挙げ、遮蔽物として、遮蔽物H、遮蔽物Mおよび遮蔽物Nを例に挙げて、比較例の第1の判断手法から第3の判断手法までについて説明する。
【0040】
比較例の第1の判断手法において、遮蔽物Hからの距離が近い検出対象Aが検出された場合には、その遮蔽物Hとともに移動している検出対象Aが検出されたと判断される。すなわち、その遮蔽物Hが遮蔽により他の検出対象を非検出にしていないと考えられるため、その遮蔽物Hが非遮蔽状態の遮蔽物であると判断される。
【0041】
一方、比較例の第1の判断手法において、遮蔽物Mからの距離が近い検出対象Gが検出されない場合には、その遮蔽物Mとともに移動している検出対象Gが検出されなかったと判断される。すなわち、その遮蔽物Mが遮蔽により検出対象Gを非検出にしていると考えられるため、その遮蔽物Mが遮蔽状態の遮蔽物であると判断される。
【0042】
比較例の第2の判断手法においては、あらかじめ機械学習により、検出対象と遮蔽物との位置関係を示す学習用データと、遮蔽物が検出対象とともに移動しているか否かを示す正解ラベルとに基づいて推定器が作成される。そして、作成された推定器によって、検出対象Aと遮蔽物Hとの位置関係に基づいて遮蔽物Hが検出対象Aとともに移動しているか否かが判断される。
【0043】
比較例の第3の判断手法においては、あらかじめ機械学習により、検出対象とともに移動している遮蔽物と検出対象との中間点を検出する検出器が作成される。そして、作成された検出器によって、検出対象Aと遮蔽物Hとの間に中間点が検出されるか否かによって、遮蔽物Hが検出対象Aとともに移動しているか否かが判断される。
【0044】
しかし、比較例の第1の判断手法から第3の判断手法までのいずれによっても、遮蔽物Mとともに移動している検出対象Gが検出されなかったと判断され、遮蔽物Nとともに移動している検出対象が検出されなかったと判断される。そして、遮蔽物Mおよび遮蔽物Nのいずれも、遮蔽状態の遮蔽物であると判断されてしまう。
【0045】
しかし、遮蔽物Nは、実際には検出対象とともに移動しておらず、遮蔽により検出対象を非検出にしていないため、非遮蔽状態の遮蔽物である。つまり、比較例の第1の判断手法から第3の判断手法までによれば、検出対象とともに移動していない遮蔽物Nが、遮蔽状態の遮蔽物であると誤って判断されてしまう。
【0046】
さらに、第2の判断手法では、あらかじめ機械学習により推定器を作成する必要がある。また、第3の判断手法では、あらかじめ機械学習により検出器を作成する必要がある。そのため、学習用の画像と推定用の画像との間において撮像条件(例えば、カメラの画角、撮像時刻またはカメラの設置場所の天候など)が異なる場合には、遮蔽物が遮蔽状態であるか非遮蔽状態であるかの判断精度が低下することにより、検出対象の検出精度が低下する可能性がある。
【0047】
(本実施形態による改善)
そこで、本発明の実施形態においては、検出対象の検出精度を向上させることが可能な技術について主に説明する。一例として、本発明の実施形態においては、検出対象とともに移動していない遮蔽物が、遮蔽状態の遮蔽物であると誤って判断されてしまう可能性を低減することにより、検出対象の検出精度を向上させることが可能な技術について説明する。
【0048】
以上、本発明の実施形態の概要について説明した。
【0049】
(1.実施形態の詳細)
本発明の実施形態の詳細について説明する。
【0050】
(1-1.情報処理システムの機能構成例)
続いて、
図2を参照しながら、本発明の実施形態に係る情報処理システムの機能構成例について説明する。
【0051】
図2は、本発明の実施形態に係る情報処理システム1の機能構成例を示す図である。
図2に示されるように、情報処理システム1は、情報処理装置10と、撮像部110と、提示部140とを備える。ここで、情報処理装置10と撮像部110とは、互いに通信可能に接続されている。また、情報処理装置10と提示部140とは、互いに通信可能に接続されている。
【0052】
(撮像部110)
撮像部110は、所定の設置場所に設置されており、設置場所から時系列に沿って連続的に撮像を行って動画像を得る。動画像には、複数のフレームが含まれる。例えば、撮像部110は、検出対象の検出が求められる領域(例えば、横断歩道など)が撮像部110の撮像範囲に含まれるような位置および向きに設置される。撮像部110は、撮像によって得た動画像を情報処理装置10に送信する。
【0053】
(提示部140)
提示部140は、情報処理装置10から送信された提示情報を受信する。そして、提示部140は、受信した提示情報を提示する。以下の説明においては、提示部140がディスプレイである場合を主に想定する。しかし、提示部140は、ディスプレイ以外であってもよい。例えば、提示部140は、マイクロフォンであってもよいし、触覚提示装置などであってもよい。
【0054】
(情報処理装置10)
情報処理装置10は、コンピュータによって実現される。情報処理装置10は、撮像部110によって撮像されて得られた動画像を、撮像部110から受信する。さらに、情報処理装置10は、撮像部110から受信した動画像に基づいて提示情報を生成する。情報処理装置10は、生成した提示情報を提示部140に送信する。
図2に示されるように、情報処理装置10は、制御部120と記憶部130とを備える。
【0055】
(記憶部130)
記憶部130は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部130が、不揮発性のメモリである場合を主に想定する。しかし、記憶部130は、揮発性のメモリであってもよい。
【0056】
(制御部120)
制御部120は、情報処理装置10の全体の動作を制御する。例えば、制御部120は、CPU(Central Processing Unit)などを含み、記憶部130により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。
【0057】
このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【0058】
図2に示されるように、制御部120は、画像取得部121と、物体検出部122と、物体追跡部123と、距離判定部124と、移動情報判定部125と、遮蔽判定部126と、処理部127と、提示制御部128とを備える。以下では、これらのブロックの機能について説明する。
【0059】
以上、本発明の実施形態に係る情報処理システム1の機能構成例について説明した。
【0060】
(1-3.情報処理装置10の詳細機能)
続いて、
図1および
図2を参照しながら、本発明の実施形態に係る情報処理装置10の詳細機能について説明する。なお、
図1および
図2とともに、
図3~
図9も適宜参照する。
【0061】
(画像取得部121)
画像取得部121は、撮像部110から送信された動画像を取得する。動画像には、複数のフレーム(
図1に示されたフレームR1を含む)が含まれる。そして、画像取得部121は、取得した動画像を物体検出部122および物体追跡部123それぞれに出力する。例えば、画像取得部121は、撮像部110から時系列に沿って連続的に送信された複数のフレームを順次に取得し、フレームを取得するたびに物体検出部122および物体追跡部123それぞれにフレームを出力する。
【0062】
(物体検出部122)
物体検出部122は、画像取得部121から出力された動画像に基づいて、動画像に含まれる各フレームにおける検出対象A~Fおよび遮蔽物H~Nそれぞれの位置を検出する。ここでは、検出対象の位置が検出対象を含んだ検出領域の位置として検出され、遮蔽物の位置が遮蔽物を含んだ検出領域の位置として検出される場合を想定する。
【0063】
かかる場合、検出領域は、矩形枠などによって規定され、検出領域の位置は、一例として、その矩形枠の左上隅の座標と右下隅の座標との組み合わせによって表現され得る。しかし、検出領域の位置は、他の形式によって表現されてもよい。ここで、物体検出部122による検出対象および遮蔽物それぞれの位置の検出手法としては、様々な手法が想定される。
【0064】
例えば、物体検出部122は、ディープラーニングを用いた機械学習により、あらかじめ生成された検出対象の検出器にフレームを入力させたことに基づいて、検出対象の検出器から検出対象の位置を出力させてもよい。同様に、物体検出部122は、ディープラーニングを用いた機械学習により、あらかじめ生成された遮蔽物の検出器にフレームを入力させたことに基づいて、遮蔽物の検出器から遮蔽物の位置を出力させてもよい。
【0065】
あるいは、物体検出部122は、フレームに含まれる領域から抽出された特徴量とあらかじめ記憶された検出対象の特徴量とが一致または類似する場合に、その領域の位置を検出対象の位置として検出してもよい。同様に、物体検出部122は、フレームに含まれる領域から抽出された特徴量とあらかじめ記憶された遮蔽物の特徴量とが一致または類似する場合に、その領域の位置を遮蔽物の位置として検出してもよい。
【0066】
(物体追跡部123)
物体追跡部123は、物体検出部122によって検出された各フレームにおける検出対象A~Fそれぞれの位置に基づいて、物体追跡により各フレームに写る同一の検出対象に対する紐づけを行う。さらに、物体追跡部123は、物体検出部122によって検出された遮蔽物H~Nそれぞれの位置に基づいて、物体追跡により各フレームに写る同一の遮蔽物に対する紐づけを行う。
【0067】
例えば、物体追跡部123は、各フレームにおける検出対象A~Fそれぞれの位置に基づいて、所定の二つのフレーム間において位置の差分が所定の距離以下である検出対象同士を紐づけてもよい。あるいは、物体追跡部123は、複数のフレームと、各フレームにおける検出対象A~Fそれぞれの検出領域内の画像とに基づいて、検出領域内の特徴量同士の差分が所定の値以下である検出領域同士を紐づけてもよい。
【0068】
物体追跡部123は、各フレームにおける検出対象Aの位置に基づいて、検出対象Aの移動情報を算出する。同様に、物体追跡部123は、検出対象B~Fそれぞれの移動情報を算出する。また、物体追跡部123は、各フレームにおける遮蔽物Hの位置に基づいて、遮蔽物Hの移動情報を算出する。同様に、物体追跡部123は、遮蔽物I~Nそれぞれの移動情報を算出する。なお、物体追跡部123は、算出部の例に該当する。
【0069】
検出対象A~Fおよび遮蔽物H~Nそれぞれの移動情報は、同様であるため、ここでは、検出対象A~Fおよび遮蔽物H~Nを代表して、検出対象Aの移動情報について主に説明する。以下の説明においては、検出対象Aの移動情報が、検出対象Aの速さと向きとの双方を含む場合を主に想定する。しかし、検出対象Aの移動情報は、検出対象Aの速さと向きとの一方を含んでもよい。
【0070】
例えば、検出対象Aの速さは、所定の二つのフレームのうち、前フレームにおける検出対象Aの位置と後フレームにおける検出対象Aの位置との距離(ピクセル)であってもよい。あるいは、検出対象Aの速さは、当該距離を当該二つのフレーム間の時間で除算した、検出対象Aの単位時間あたりの移動距離(ピクセル/秒)であってもよい。また、検出対象Aの向きは、所定の二つのフレームのうち、前フレームにおける検出対象Aの位置から後フレームにおける検出対象Aの位置への向きであってもよい。
【0071】
(距離判定部124)
距離判定部124は、物体検出部122によって検出されたフレームR1における検出対象A~Fおよび遮蔽物H~Nそれぞれの位置に基づいて、接近度が閾値を上回る検出対象と遮蔽物との組(以下、「近距離物体対」とも言う。)が存在するかを判定する。ここで、検出対象と遮蔽物との接近度は、どのように算出されてもよい。
【0072】
例えば、距離判定部124は、検出対象の位置と遮蔽物の位置とに基づいて、検出対象と遮蔽物との距離を算出し、距離の逆数を、検出対象と遮蔽物との接近度として算出してもよい。あるいは、距離判定部124が、検出対象の検出領域と、遮蔽物の検出領域とに基づいて、検出領域同士の重複領域の面積を、検出対象と遮蔽物との接近度として算出してもよい。
【0073】
あるいは、距離判定部124が、検出対象の検出領域と、遮蔽物の検出領域とに基づいて、検出領域同士の重なり度合いを、検出対象と遮蔽物との接近度として算出してもよい。典型的には、検出領域同士の重なり度合いの指標として、IoU(Intersection over Union)が用いられ得る。IoUは、検出対象の検出領域と遮蔽物の検出領域との和集合の面積に対する、検出対象の検出領域と遮蔽物の検出領域との積集合の面積の割合によって算出され得る。
【0074】
すなわち、検出対象の検出領域をrdとし、遮蔽物の検出領域をrbとし、面積をSとすると、検出対象の検出領域rdと遮蔽物の検出領域rbとに対応するIoU(rd,rb)は、下記の式(1)のように表現され得る。
【0075】
IoU(rd,rb)=S(rd∩rb)/S(rd∪rb) ・・・(1)
【0076】
以下においては、検出対象と遮蔽物との接近度として、検出対象の検出領域と遮蔽物の検出領域との重なり度合い(特に、IoU)が用いられる例について主に説明する。
【0077】
まず、
図3を参照しながら、検出対象Fの検出領域と遮蔽物Lの検出領域との重なり度合いに基づいて、検出対象Fと遮蔽物Lとの組が近距離物体対であると判定される例について説明する。
【0078】
図3は、検出対象Fと遮蔽物Lとの組が近距離物体対であると判定される例について説明するための図である。
図3を参照すると、検出対象Fの検出領域31Fが示されており、遮蔽物Lの検出領域31Lが示されている。さらに、
図3を参照すると、検出対象Fの検出領域31Fと遮蔽物Lの検出領域31Lとの重複領域34LFが示されている。
【0079】
また、検出対象Fの検出領域31Fから重複領域34LFを除いた領域が、検出対象検出・遮蔽物非検出領域38FLである。さらに、遮蔽物Lの検出領域31Lから重複領域34LFを除いた領域が、遮蔽物検出・検出領域非検出領域37LFである。
【0080】
距離判定部124は、検出対象Fの検出領域31Fと遮蔽物Lの検出領域31Lとの重なり度合いを、重複領域34LFと、検出対象検出・遮蔽物非検出領域38FLと、遮蔽物検出・検出領域非検出領域37LFとを合わせた面積に対する、重複領域34LFの面積の割合によって算出し得る。
【0081】
ここで、検出対象Fの検出領域31Fと遮蔽物Lの検出領域31Lとの重なり度合いが閾値を上回る場合を想定する。かかる場合には、距離判定部124は、検出対象Fと遮蔽物Lとの組が近距離物体対の一つであると判定し得る。
【0082】
距離判定部124は、近距離物体対であると判定した、検出対象Fと遮蔽物Lとの位置関係41LFを判定する。そして、距離判定部124は、判定した位置関係41LFを近距離物体位置関係として記憶部130に保存する。なお、位置関係41LFは、検出対象Fと遮蔽物Lとのうち、一方を基準とした他方の相対的な位置であってもよい。
【0083】
同様に、距離判定部124は、検出対象Aと遮蔽物Hとの組、検出対象Bと遮蔽物Iとの組、検出対象Cと遮蔽物Jとの組、および、検出対象Eと遮蔽物Kとの組それぞれが、近距離物体対であると判定する。そして、距離判定部124は、検出対象Aと遮蔽物Hとの位置関係、検出対象Bと遮蔽物Iとの位置関係、検出対象Cと遮蔽物Jとの位置関係、および、検出対象Eと遮蔽物Kとの位置関係も、近距離物体位置関係として記憶部130に保存する。
【0084】
続いて、
図4を参照しながら、検出対象Fの検出領域と遮蔽物Mの検出領域との重なり度合いに基づいて、検出対象Fと遮蔽物Mとの組が近距離物体対ではないと判定される例について説明する。
【0085】
図4は、検出対象Fと遮蔽物Mとの組が近距離物体対ではないと判定される例について説明するための図である。
図4を参照すると、検出対象Fの検出領域31Fが示されており、遮蔽物Mの検出領域31Mが示されている。さらに、
図4を参照すると、検出対象Fの検出領域31Fと遮蔽物Mの検出領域31Mとの重複領域34MFが示されている。
【0086】
また、検出対象Fの検出領域31Fから重複領域34MFを除いた領域が、検出対象検出・遮蔽物非検出領域38FMである。さらに、遮蔽物Mの検出領域31Mから重複領域34MFを除いた領域が、遮蔽物検出・検出領域非検出領域37MFである。
【0087】
距離判定部124は、検出対象Fの検出領域31Fと遮蔽物Mの検出領域31Mとの重なり度合いを、重複領域34MFと、検出対象検出・遮蔽物非検出領域38FMと、遮蔽物検出・検出領域非検出領域37MFとを合わせた面積に対する、重複領域34MFの面積の割合によって算出し得る。
【0088】
ここで、検出対象Fの検出領域31Fと遮蔽物Mの検出領域31Mとの重なり度合いが閾値以下である場合を想定する。かかる場合には、距離判定部124は、検出対象Fと遮蔽物Mとの組が近距離物体対ではないと判定し得る。
【0089】
距離判定部124は、近距離物体対であると判定しなかった検出対象Fと遮蔽物Mとの位置関係41MFを、近距離物体位置関係として記憶部130に保存しない。
【0090】
なお、距離判定部124は、第1の判定部の例に該当する。また、近距離物体対は、第1の組の例に該当する。さらに、近距離物体対を構成する検出対象は、第1の検出対象の例に該当する。また、近距離物体対を構成する遮蔽物は、第1の遮蔽物に該当する。近距離物体対を構成する検出対象と、近距離物体対を構成する遮蔽物との位置関係は、第1の位置関係に該当する。
【0091】
図5は、距離判定部124の動作例を示すフローチャートである。
図5に示されるように、距離判定部124は、検出対象の検出領域と遮蔽物の検出領域との重なり度合いを算出する(S11)。続いて、距離判定部124は、検出領域同士の重なり度合いが閾値を上回る検出対象と遮蔽物との位置関係を算出して、算出した位置関係を近距離物体位置関係として記憶部130に保存する(S12)。
【0092】
距離判定部124は、撮像部110による撮像が継続する場合には(S13において「NO」)、S11に動作を移行させる。一方、距離判定部124は、撮像部110による撮像が終了する場合には(S13において「YES」)、動作を終了する。
【0093】
(移動情報判定部125)
移動情報判定部125は、検出対象A~Fおよび遮蔽物H~Nそれぞれの移動情報に基づいて、移動情報同士が一致または類似する検出対象と遮蔽物との組(以下、「同グループ物体対」とも言う。)が存在するかを判定する。以下では、移動情報判定部125が、速さが同一の速さ範囲に属し、かつ、向きが同一の向き範囲に属する検出対象と遮蔽物との組が同グループ物体対であると判定する場合を想定する。
【0094】
図6は、検出対象A~Fおよび遮蔽物H~Nそれぞれが属するグループの例を示す図である。
図6を参照すると、複数のグループと、複数のグループそれぞれに対応する速さ範囲および向き範囲と、複数のグループそれぞれに属する検出対象および遮蔽物が示されている。
【0095】
図6に示された例では、3つの速さ範囲が、0(ピクセル/秒)以上かつ5(ピクセル/秒)未満、5(ピクセル/秒)以上かつ20(ピクセル/秒)未満、20(ピクセル/秒)以上とされている。移動情報判定部125は、検出対象A~Fおよび遮蔽物H~Nそれぞれの速さが、これらの3つの速さ範囲のいずれに属するかを判定する。
【0096】
ただし、速さ範囲の上限値および下限値は、かかる例に限定されない。また、速さ範囲の種類は、3種類に限定されない。例えば、速さ範囲の種類は、1または2種類であってもよいし、4種類以上であってもよい。
【0097】
複数の速さ範囲は、互いに重複する範囲を有していてもよい。例えば、5(ピクセル/秒)以上かつ25(ピクセル/秒)未満という速さ範囲と、20(ピクセル/秒)以上という速さ範囲とが存在してもよい。このとき、20(ピクセル/秒)以上かつ25(ピクセル/秒)未満の速さは、これらのいずれの速さ範囲にも属する。
【0098】
また、
図6に示された例では、右方向と上方向との間の方向を「右上方向」とし、上方向と左方向との間の方向を「左上方向」とし、左方向から下方向との間を「左下方向」とし、下方向と右方向との間を「右下方向」とし、4つの向き範囲がこれらの4方向とされている。移動情報判定部125は、検出対象A~Fおよび遮蔽物H~Nそれぞれの向きが、これらの4つの向き範囲のいずれに属するかを判定する。
【0099】
ただし、右方向は、右上方向と右下方向のいずれに含まれてもよく、上方向は、右上方向と左上方向のいずれに含まれてもよく、左方向は、左上方向と左下方向のいずれに含まれてもよく、下方向は、左下方向と右下方向のいずれに含まれてもよい。
【0100】
また、向き範囲の種類は、かかる4種類に限定されない。例えば、全方向(360度)が複数に等分割されて得られる各々の角度範囲のいずれに、検出対象A~Fおよび遮蔽物H~Nそれぞれの向きが属するかが判定されてもよい。
【0101】
複数の向き範囲は、互いに重複する範囲を有していてもよい。例えば、右方向は、「右下方向」と「右上方向」とのいずれの向き範囲にも属していてよい。同様に、上方向は、「右上方向」と「左上方向」とのいずれの向き範囲にも属していてよい。左方向は、「左上方向」と「左下方向」とのいずれの向き範囲にも属していてよい。下方向は、「左下方向」と「右下方向」とのいずれの向き範囲にも属していてよい。
【0102】
図6に示された例では、これらの3つの速さ範囲と、4つの向き範囲との組み合わせのバリエーションである12通りのグループが示されている。すなわち、移動情報判定部125は、検出対象A~Fおよび遮蔽物H~Nそれぞれが12通りのグループのどのグループに属するかを判定する。例えば、検出対象Aは、速さ範囲が、0(ピクセル/秒)以上かつ5(ピクセル/秒)未満であり、向き範囲が左下方向であるグループ「2」に属している。グループの数は、12通りに限定されない。
【0103】
なお、物体追跡部123によって、検出対象A~Fおよび遮蔽物H~Nそれぞれの速さのみが算出される場合には、検出対象A~Fおよび遮蔽物H~Nそれぞれの速さ範囲の種類だけグループが存在してもよい。一方、物体追跡部123によって、検出対象A~Fおよび遮蔽物H~Nそれぞれの向きのみが算出される場合には、検出対象A~Fおよび遮蔽物H~Nそれぞれの向き範囲の種類だけグループが存在してもよい。
【0104】
図7を参照しながら、検出対象Fの速さおよび向きと遮蔽物Lの速さおよび向きとに基づいて、検出対象Fと遮蔽物Lとの組が同グループ物体対であると判定される例について説明する。
【0105】
図7は、検出対象Fと遮蔽物Lとの組が同グループ物体対であると判定される例について説明するための図である。
図7を参照すると、検出対象Fの移動情報50F(すなわち、検出対象Fの速さおよび向き)が示されており、遮蔽物Lの移動情報50L(すなわち、遮蔽物Lの速さおよび向き)が示されている。
【0106】
移動情報判定部125は、検出対象Fの移動情報50Fに基づいて、検出対象Fの速さが20(ピクセル/秒)以上という速さ範囲に属し、検出対象Fの向きが「右上方向」という向き範囲に属すると判定する。すなわち、移動情報判定部125は、検出対象Fがグループ「9」に属すると判定する(
図6)。
【0107】
さらに、移動情報判定部125は、遮蔽物Lの移動情報50Lに基づいて、遮蔽物Lの速さが20(ピクセル/秒)以上という速さ範囲に属し、検出対象Lの向きが「右上方向」という向き範囲に属すると判定する。すなわち、移動情報判定部125は、遮蔽物Lもグループ「9」に属すると判定する(
図6)。
【0108】
したがって、移動情報判定部125は、検出対象Fと遮蔽物Lとが同一のグループに属するため、検出対象Fと遮蔽物Lとの組が同グループ物体対の一つであると判定し得る。そして、移動情報判定部125は、同グループ物体対であると判定した、検出対象Fと遮蔽物Lとの位置関係42LFを判定する。
【0109】
なお、位置関係同士の類似範囲は、あらかじめ定められていてよい。例えば、位置関係同士が一致していない場合、かつ、位置関係間の差分が所定の距離以下である場合に、位置関係同士が類似していると判定されてもよい。また、位置関係42LFは、検出対象Fと遮蔽物Lとのうち、一方を基準とした他方の相対的な位置であってもよい。
【0110】
同様に、移動情報判定部125は、検出対象Aと遮蔽物Hとの組、検出対象Bと遮蔽物Iとの組、検出対象Cと遮蔽物Jとの組、および、検出対象Eと遮蔽物Kとの組それぞれが、同グループ物体対であると判定する。
【0111】
続いて、
図8を参照しながら、検出対象Fの速さおよび向きと遮蔽物Mの速さおよび向きとに基づいて、検出対象Fと遮蔽物Mとの組が同グループ物体対ではないと判定される例について説明する。
【0112】
図8は、検出対象Fと遮蔽物Mとの組が同グループ物体対ではないと判定される例について説明するための図である。
図8を参照すると、検出対象Fの移動情報50F(すなわち、検出対象Fの速さおよび向き)が示されており、遮蔽物Mの移動情報50M(すなわち、遮蔽物Mの速さおよび向き)が示されている。
【0113】
図7に示された例と同様に、移動情報判定部125は、検出対象Fがグループ「9」に属すると判定する(
図6)。さらに、移動情報判定部125は、遮蔽物Mの移動情報50Mに基づいて、遮蔽物Mの速さが20(ピクセル/秒)以上という速さ範囲に属し、検出対象Mの向きが「右上方向」という向き範囲に属すると判定する。すなわち、移動情報判定部125は、遮蔽物Mもグループ「9」に属すると判定する(
図6)。
【0114】
したがって、移動情報判定部125は、検出対象Fと遮蔽物Mとが同一のグループに属するため、検出対象Fと遮蔽物Mとの組が同グループ物体対の一つであると判定し得る。移動情報判定部125は、同グループ物体対であると判定した、検出対象Fと遮蔽物Mとの位置関係42MFを判定する。
【0115】
なお、移動情報判定部125は、第2の判定部の例に該当する。また、同グループ物体対は、第2の組の例に該当する。さらに、同グループ物体対を構成する検出対象は、第2の検出対象の例に該当する。また、同グループ物体対を構成する遮蔽物は、第2の遮蔽物に該当する。同グループ物体対を構成する検出対象と、同グループ物体対を構成する遮蔽物との位置関係は、第2の位置関係に該当する。
【0116】
(遮蔽判定部126)
遮蔽判定部126は、同グループ物体対が存在する場合に、同グループ物体対と一致する近距離物体対が存在するか否かを判定する。例えば、遮蔽判定部126は、同グループ物体位置関係と一致または類似する近距離物体位置関係が記憶部130に保存されているか否かにより、同グループ物体対と一致する近距離物体対が存在するか否かを判定する。これにより、同グループ物体対と近距離物体対との同一性が担保され得る。
【0117】
遮蔽判定部126は、同グループ物体位置関係と一致または類似する近距離物体位置関係が記憶部130に保存されている場合に、同グループ物体対を構成する遮蔽物が同グループ物体対を構成する検出対象とともに移動しており、同グループ物体対を構成する遮蔽物が検出対象を非検出にしていないと判定する。
【0118】
一方、遮蔽判定部126は、同グループ物体位置関係と一致または類似する近距離物体位置関係が記憶部130に保存されていない場合に、同グループ物体対を構成する遮蔽物が、検出対象の一部または全部を遮蔽していることにより検出対象を非検出にしていると判定する。
【0119】
図7に示された例では、遮蔽判定部126は、判定した同グループ物体位置関係42LFと一致または類似する近距離物体位置関係が記憶部130に保存されているか否かを判定する。遮蔽判定部126は、判定した同グループ物体位置関係42LFと一致する近距離物体位置関係が記憶部130に保存されていると判定する(
図3)。
【0120】
このとき、遮蔽判定部126は、同グループ物体対を構成する遮蔽物Lが同グループ物体対を構成する検出対象Fとともに移動していると判定する。
【0121】
同様に、遮蔽判定部126は、検出対象Aと遮蔽物Hとの同グループ物体位置関係、検出対象Bと遮蔽物Iとの同グループ物体位置関係、検出対象Cと遮蔽物Jとの同グループ物体位置関係、および、検出対象Eと遮蔽物Kとの同グループ物体位置関係それぞれと一致または類似する近距離物体位置関係も記憶部130に保存されていると判定する。
【0122】
このとき、遮蔽判定部126は、遮蔽物Hが検出対象Aとともに移動しており、遮蔽物Iが検出対象Bとともに移動しており、遮蔽物Jが検出対象Cとともに移動しており、遮蔽物Kが検出対象Eとともに移動していると判定する。
【0123】
図8に示された例では、遮蔽判定部126は、判定した同グループ物体位置関係42MFと一致または類似する近距離物体位置関係が記憶部130に保存されているか否かを判定する。遮蔽判定部126は、判定した同グループ物体位置関係42MFと一致または類似する近距離物体位置関係が記憶部130に保存されていないと判定する(
図4)。
【0124】
遮蔽判定部126は、判定した同グループ物体位置関係42MFと一致または類似する近距離物体位置関係が記憶部130に保存されていないという条件(以下、「第1の遮蔽条件」とも言う。)が満たされた場合、同グループ物体対を構成する遮蔽物Mが、検出対象Gの一部または全部を遮蔽していることにより検出対象Gを非検出にしていると判定する。
【0125】
なお、遮蔽物の移動情報と一致または類似する移動情報を有する検出対象が存在するか否かに関わらず、遮蔽物との接近度が閾値を上回る検出対象が存在しない場合が想定される。すなわち、遮蔽物の検出領域との重なり度合いが閾値を上回る検出領域を有する検出対象が存在しないという条件(以下、「第2の遮蔽条件」とも言う。)が満たされる場合が想定される。このとき、遮蔽判定部126は、遮蔽物が検出対象とともに移動していないため、遮蔽物が検出対象の一部または全部を遮蔽していることにより検出対象を非検出にしていると判定してもよい。
【0126】
また、遮蔽物の移動情報と一致または類似する移動情報を有する検出対象が存在しない場合が想定される。すなわち、遮蔽物の速さおよび向きと一致または類似する速さおよび向きを有する検出対象が存在しないという条件(以下、「第3の遮蔽条件」とも言う。)が満たされる場合が想定される。このとき、遮蔽判定部126は、遮蔽物が検出対象とともに移動していないため、遮蔽物が検出対象の一部または全部を遮蔽していることにより検出対象を非検出にしていると判定してもよい。
【0127】
また、遮蔽物の速さが所定の速さ以上であるという条件(以下、「遮蔽物移動条件」とも言う。)が満たされる場合には、遮蔽物が放置されてはいないと考えられる。その反対に、遮蔽物の速さが所定の速さより小さいという条件(以下、「遮蔽物停止条件」とも言う。)が満たされる場合には、遮蔽物が放置されていると考えられる。例えば、遮蔽物N(
図1)の速さは所定の速さより小さく、遮蔽物Nは、放置されていると考えられる。
【0128】
そこで、遮蔽判定部126は、第1の遮蔽条件が満たされるだけではなく、遮蔽物移動条件も満たされる場合に、遮蔽物が検出対象の一部または全部を遮蔽していることにより検出対象を非検出にしていると判定してもよい。一方、遮蔽判定部126は、第1の遮蔽条件が満たされるだけではなく、遮蔽物停止条件も満たされる場合に、遮蔽物が検出対象を非検出にしていないと判定してもよい。
【0129】
同様に、遮蔽判定部126は、第2の遮蔽条件が満たされるだけではなく、遮蔽物移動条件も満たされる場合に、遮蔽物が検出対象の一部または全部を遮蔽していることにより検出対象を非検出にしていると判定してもよい。一方、遮蔽判定部126は、第2の遮蔽条件が満たされるだけではなく、遮蔽物停止条件も満たされる場合に、遮蔽物が検出対象を非検出にしていないと判定してもよい。
【0130】
また、遮蔽判定部126は、第3の遮蔽条件が満たされるだけではなく、遮蔽物移動条件も満たされる場合に、遮蔽物が検出対象の一部または全部を遮蔽していることにより検出対象を非検出にしていると判定してもよい。一方、遮蔽判定部126は、第3の遮蔽条件が満たされるだけではなく、遮蔽物停止条件も満たされる場合に、遮蔽物が検出対象を非検出にしていないと判定してもよい。
【0131】
遮蔽判定部126は、第3の判定部の例に該当する。また、遮蔽物Mにより非検出にされている遮蔽物Gは、第3の検出対象の例に該当する。
【0132】
(処理部127)
図1に示された例において、遮蔽判定部126によって、遮蔽物Mが検出対象Gの一部または全部を遮蔽していることにより検出対象Gを非検出にしていると判定されることが想定される。かかる場合に、処理部127は、検出対象Gを非検出にしている遮蔽物Mの位置を、その遮蔽物Mにより非検出にされている検出対象Gの位置として設定してもよい。
【0133】
あるいは、処理部127は、遮蔽物Mが検出対象Gを非検出にしていると判定された場合に、検出対象Gを非検出にしている遮蔽物Mの数を、既に検出された検出対象の数に加算して検出対象の数を算出してもよい。例えば、処理部127は、検出対象A~Fの7つが既に検出されている状態において、遮蔽物Mの1つが検出対象Gを非検出にしていると判定された場合、検出対象A~Fの7つに遮蔽物Mの1つを加算して検出対象の数を算出してもよい。
【0134】
(物体追跡部123から処理部127まで)
図9は、物体追跡部123と移動情報判定部125と遮蔽判定部126と処理部127との動作例を示すフローチャートである。
図9に示されるように、物体追跡部123は、各フレームにおける検出対象の位置に基づいて、検出対象の速さおよび向きを算出するとともに、各フレームにおける遮蔽物の位置に基づいて、遮蔽物の速さおよび向きを算出する(S21)。
【0135】
続いて、移動情報判定部125は、検出対象および遮蔽物それぞれの速さおよび向きに応じて、検出対象および遮蔽物それぞれがどのグループに属するかを判断する(S22)。移動情報判定部125は、同じグループに属する検出対象と遮蔽物との位置関係を、同グループ物体位置関係として遮蔽物ごとに算出する(S23)。
【0136】
遮蔽判定部126は、同グループ物体位置関係が算出された場合、互いに一致または類似する、同グループ物体位置関係と近距離物体位置関係とが存在するか否かを判定する(S24)。
【0137】
処理部127は、互いに一致または類似する、同グループ物体位置関係と近距離物体位置関係とが存在する場合(S24において「YES」)、同グループ物体対を構成する遮蔽物が検出対象とともに移動しており、検出対象を非検出にしていないと考えられるため、遮蔽物の位置を破棄して(S25)、S29に動作を移行させる。
【0138】
一方、処理部127は、その他の場合(S24において「NO」)、S26に動作を移行させる。
【0139】
続いて、処理部127は、遮蔽物の速さが所定の速さより小さいか否かを判定する(S26)。処理部127は、遮蔽物の速さが所定の速さより小さい場合には(S26において「YES」)、遮蔽物が放置されており、遮蔽物が検出対象を非検出にしていないと考えられるため、遮蔽物の位置を破棄して(S27)、S29に動作を移行させる。
【0140】
一方、処理部127は、遮蔽物の速さが所定の速さ以上である場合には(S26において「NO」)、遮蔽物が放置されておらず、遮蔽物が遮蔽により検出対象を非検出にしていると考えられるため、検出対象を非検出にしている遮蔽物の位置を、その遮蔽物により非検出にされている検出対象の位置として設定し(S28)、検出対象を非検出にしている遮蔽物の数を、既に検出された検出対象の数に加算して検出対象の数を算出する。
【0141】
処理部127は、撮像部110による撮像が継続する場合には(S29において「NO」)、S21に動作を移行させる。一方、処理部127は、撮像部110による撮像が終了する場合には(S29において「YES」)、動作を終了する。
【0142】
(提示制御部128)
提示制御部128は、処理部127によって算出された検出対象の位置に応じた情報の提示部140による提示を制御する。これによって、ユーザは、提示部140によって提示された情報を確認することにより、より高精度に検出された検出対象の位置を把握することが可能となる。
図10を参照しながら、検出対象の位置に応じた情報の提示例について説明する。
【0143】
図10は、検出対象の位置に応じた情報の提示例を示す図である。
図10に示されるように、提示制御部128は、遮蔽物によって非検出にされていない検出対象A~Fの検出位置に応じた提示情報61A~61Fの提示を制御してもよい。提示情報61A~61Fは、検出対象A~Fそれぞれの検出領域の矩形枠であり、「実線」にて示されている。
【0144】
一方、提示情報61Mは、検出対象を非検出にしている遮蔽物Mの検出領域31Mの矩形枠であり、「破線」にて示されている。このように、提示情報61Mは、提示情報61A~61Fと、提示情報61Mとの表示態様を異ならせることにより、遮蔽物Mによって非検出にされていない検出対象A~Fと、遮蔽物Mによって非検出にされた検出対象Gとが容易に識別され得る。
【0145】
また、提示制御部128は、処理部127によって算出された検出対象の数に応じた情報の提示部140による提示を制御する。これによって、ユーザは、提示部140によって提示された情報を確認することにより、より高精度に算出された検出対象の数を把握することが可能となる。
図10を参照しながら、検出対象の数に応じた情報の提示例について説明する。
【0146】
図11は、検出対象の位置に応じた情報の提示例を示す図である。
図11に示されるように、提示制御部128は、遮蔽物によって非検出にされていない検出対象A~Fの数である「6」と、遮蔽物によって非検出にされている検出領域31Mの数である「1」と、その合計「7」とを含んだ、提示情報62の提示を制御してもよい。
【0147】
以上、本発明の実施形態に係る情報処理装置10の詳細機能について説明した。
【0148】
(1-4.効果)
以上に説明したように、本発明の実施形態によれば、検出対象および遮蔽物それぞれの位置だけではなく、検出対象および遮蔽物それぞれの速さおよび向きに基づいて、遮蔽物が検出対象とともに移動しているか否かが判断される。すなわち、遮蔽物が検出対象を非検出にしていないか否かが判断され得る。これにより、検出対象の検出精度を向上させることが可能となる。
【0149】
さらに、本発明の実施形態によれば、速度が所定の速度より小さい遮蔽物は、放置されているため、検出対象とともに移動しておらず、検出対象を非検出にしていないと判断される。これにより、遮蔽物が検出対象の一部または全部を遮蔽しておらず、遮蔽物が検出対象を非検出にしていないにも関わらず、遮蔽物が検出対象を遮蔽により非検出にしてしまっていると誤って判断されてしまう可能性が低減され得る。
【0150】
また、本発明の実施形態によれば、あらかじめ機械学習により推定器または検出器を作成する必要がない。そのため、撮像条件(例えば、カメラの画角、撮像時刻またはカメラの設置場所の天候など)があまり変化しない状況において、検出対象を検出することが可能となるため、検出対象の検出精度を向上させることが可能である。
【0151】
以上、本発明の実施形態に係る情報処理装置10が奏する効果について説明した。
【0152】
(2.ハードウェア構成例)
続いて、本発明の実施形態に係る情報処理装置10のハードウェア構成例について説明する。
【0153】
以下では、本発明の実施形態に係る情報処理装置10のハードウェア構成例として、情報処理装置900のハードウェア構成例について説明する。なお、以下に説明する情報処理装置900のハードウェア構成例は、情報処理装置10のハードウェア構成の一例に過ぎない。したがって、情報処理装置10のハードウェア構成は、以下に説明する情報処理装置900のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
【0154】
図12は、本発明の実施形態に係る情報処理装置10の例としての情報処理装置900のハードウェア構成を示す図である。情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置910と、通信装置911と、を備える。
【0155】
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバス等から構成されるホストバス904により相互に接続されている。
【0156】
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0157】
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路等から構成されている。情報処理装置900を操作するユーザは、この入力装置908を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0158】
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。
【0159】
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。
【0160】
通信装置911は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置911は、無線通信または有線通信のどちらに対応してもよい。
【0161】
以上、本発明の実施形態に係る情報処理装置10のハードウェア構成例について説明した。
【0162】
(3.まとめ)
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0163】
例えば、
図1に示された例では、検出対象A~Gそれぞれが、人物(例えば、歩行者など)であり、遮蔽物H~Nそれぞれが、傘である場合を想定した。しかし、検出対象A~Gそれぞれは、歩行者に限定されず、動体であればよく、遮蔽物H~Nそれぞれは、傘に限定されず、検出対象とともに移動する物体であればよい。一例として、検出対象は、人物であってもよく、遮蔽物は人物によって移動される、リュックサックまたは帽子などであってもよい。
【0164】
上記では、情報処理装置10が、物体検出部122と物体追跡部123とを備える例について説明した。しかし、情報処理装置10は、物体検出部122を備えていなくてもよい。このとき、物体追跡部123によって検出された検出対象および遮蔽物それぞれの位置が、物体追跡部123から距離判定部124に出力されればよい。
【0165】
上記では、近距離物体位置関係および同グループ物体位置関係それぞれが、検出対象と遮蔽物とのうち、一方を基準とした他方の相対的な位置である場合について主に説明した。しかし、近距離物体位置関係および同グループ物体位置関係それぞれは、かかる例に限定されない。例えば、近距離物体位置関係および同グループ物体位置関係それぞれは、検出対象の検出領域内の特徴量と遮蔽物の検出領域内の特徴量との組み合わせであってもよいし、検出対象と遮蔽物との距離であってもよいし、検出対象と遮蔽物とのうち、一方を基準とした他方への向きであってもよい。
【符号の説明】
【0166】
1 情報処理システム
10 情報処理装置
110 撮像部
120 制御部
121 画像取得部
122 物体検出部
123 物体追跡部
124 距離判定部
125 移動情報判定部
126 遮蔽判定部
127 処理部
128 提示制御部
130 記憶部
140 提示部