特許 6991955 オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-10

(45)【発行日】2022-01-13

(54)【発明の名称】オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220105BHJP

   G06T 7/00 20170101ALI20220105BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 660B

【請求項の数】 16

(21)【出願番号】P 2018220120

(22)【出願日】2018-11-26

(65)【公開番号】P2020086899

(43)【公開日】2020-06-04

【審査請求日】2020-12-02

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】巻渕 有哉

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１７－１１７２４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

所定エリアを撮像する撮像装置が撮像した撮像画像を取得する取得部と、
前記撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第１領域と異なる第２領域である第２オブジェクト領域とを特定するオブジェクト領域特定部と、
前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された前記第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定するモデル領域特定部と、
特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、前記オブジェクトの位置を特定する位置特定部と、
を備えるオブジェクト位置特定装置。

【請求項2】

前記モデル領域特定部は、前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に小さい一以上の第１モデル領域に対応する一以上の第２モデル領域を特定し、
前記位置特定部は、特定された一以上の第２モデル領域のそれぞれに対応する前記第２の距離のうち、相対的に短い第２の距離が、前記第１の閾値以下である場合に、前記オブジェクトの位置を特定する、
請求項１に記載のオブジェクト位置特定装置。

【請求項3】

前記三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合に前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１モデル領域と、前記第２モデル領域との対応関係を特定する対応関係特定部をさらに備え、
前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する、
請求項１又は２に記載のオブジェクト位置特定装置。

【請求項4】

前記対応関係特定部は、前記オブジェクトが取り得る複数のサイズのそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、
前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い複数の第１モデル領域に対応する複数の第２モデル領域を特定する、
請求項３に記載のオブジェクト位置特定装置。

【請求項5】

前記対応関係特定部は、前記オブジェクトが取り得る複数の形状のそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、
前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い複数の第１モデル領域に対応する複数の第２モデル領域を特定する、
請求項３又は４に記載のオブジェクト位置特定装置。

【請求項6】

前記対応関係特定部は、相対的に近い位置の複数の第１モデル領域に対応する前記対応関係を統合する、
請求項３から５のいずれか１項に記載のオブジェクト位置特定装置。

【請求項7】

前記モデル領域特定部は、特定された前記第１オブジェクト領域と、前記第１モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第１の距離が短くなるように前記第１の距離を算出する、
請求項１から６のいずれか１項に記載のオブジェクト位置特定装置。

【請求項8】

前記モデル領域特定部は、前記第１オブジェクト領域を示す位置と、相対的に近い位置を有する一以上の前記第１モデル領域を特定し、特定した一以上の前記第１モデル領域のうち、特定された前記第１オブジェクト領域との前記第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する、
請求項７に記載のオブジェクト位置特定装置。

【請求項9】

前記位置特定部は、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第２の距離が短くなるように前記第２の距離を算出する、
請求項１から８のいずれか１項に記載のオブジェクト位置特定装置。

【請求項10】

前記オブジェクト領域特定部は、前記撮像画像に基づいて、一以上の前記第１オブジェクト領域と、一以上の前記第２オブジェクト領域とを特定し、
前記位置特定部は、一以上の前記第２オブジェクト領域のそれぞれについて、一以上の前記第１オブジェクト領域との距離を示す第３の距離を特定し、一以上の前記第２オブジェクト領域のうち、相対的に短い前記第３の距離が第２の閾値以下であるとともに、前記第２モデル領域との前記第２の距離が前記第１の閾値以下の第２オブジェクト領域に対応する前記オブジェクトの位置を特定する、
請求項１から９のいずれか１項に記載のオブジェクト位置特定装置。

【請求項11】

前記位置特定部は、一以上の前記第２オブジェクト領域のそれぞれについて、一以上の前記第１オブジェクト領域との距離を示す第３の距離を特定し、一以上の前記第２オブジェクト領域のうち、相対的に短い前記第３の距離が前記第２の閾値を超えるとともに、前記第２モデル領域との前記第２の距離が前記第１の閾値以下の第２オブジェクト領域に対応する前記オブジェクトの位置を特定する、
請求項１０に記載のオブジェクト位置特定装置。

【請求項12】

前記位置特定部は、前記第２オブジェクト領域と前記第１オブジェクト領域との和集合に対する、前記第２オブジェクト領域の比率、及び前記第１オブジェクト領域の比率のうち、大きい比率を特定し、特定した当該比率が大きければ大きいほど前記第３の距離が短くなるように前記第３の距離を算出する、
請求項１０又は１１に記載のオブジェクト位置特定装置。

【請求項13】

前記位置特定部は、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、当該第２モデル領域に対応する前記三次元モデルの配置位置に基づいて、前記オブジェクトの前記所定エリアにおける位置を特定する、
請求項１から１２のいずれか１項に記載のオブジェクト位置特定装置。

【請求項14】

前記位置特定部は、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、当該第２オブジェクト領域の前記撮像画像における位置、及び当該第２モデル領域の前記撮像画像における位置の少なくともいずれかに基づいて、前記オブジェクトの前記撮像画像における位置を特定する、
請求項１から１２のいずれか１項に記載のオブジェクト位置特定装置。

【請求項15】

コンピュータが実行する、
所定エリアを撮像する撮像装置が撮像した撮像画像を取得するステップと、
前記撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第１領域と異なる第２領域である第２オブジェクト領域とを特定するステップと、
前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された前記第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定するステップと、
特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、前記オブジェクトの位置を特定するステップと、
を備えるオブジェクト位置特定方法。

【請求項16】

コンピュータを、
所定エリアを撮像する撮像装置が撮像した撮像画像を取得する取得部、
前記撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第１領域と異なる第２領域である第２オブジェクト領域とを特定するオブジェクト領域特定部、
前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された前記第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定するモデル領域特定部、及び、
特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、前記オブジェクトの位置を特定する位置特定部、
として機能させるオブジェクト位置特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラムに関する。

【背景技術】

【0002】

従来、マーケティングや監視等を目的として、店舗内等の所定エリアに設置されている撮像装置により撮像した画像を解析して、所定エリアに存在する人物の位置を特定する技術が開発されている。

【0003】

特許文献１には、全方位カメラにより所定エリアを撮像した撮像画像を解析して人物の位置を特定する画像解析装置が開示されている。特許文献１に記載の画像解析装置は、人物の三次元モデルを所定エリアの一以上の位置に配置した際の当該三次元モデルの撮像画像への投影領域と、当該配置した位置との対応関係を特定しておき、撮像画像内から検出した人物の領域と、当該投影領域とをマッチングすることで、対応する人物位置を特定する。本方式は、斜め下方向を撮像した撮像画像だけでなく、真下方向を撮像した撮像画像にも適用できるという特長がある。

【0004】

非特許文献１には、撮像画像中から人物の全身領域と頭部領域との双方を検出し、検出した全身が示す領域と頭部を示す領域との相対的な位置関係を用いて、人物の過検出（False Positive）を抑制する方式が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１１７２４４号公報

【非特許文献】

【0006】

【文献】Roberto Henschel, Laura Leal-Taixe, Daniel Cremers, Bodo Rosenhahn “Fusion of Head and Full-Body Detectors for Multi-Object Tracking”, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp.1428-1437(2018)

【発明の概要】

【発明が解決しようとする課題】

【0007】

真下方向を撮像した撮像画像においては、撮像対象の人物の位置によって、人物の見た目が大きく変化するという特徴がある。図１２は、複数のエリアの複数の位置における撮像対象の人物の映り具合の一例を示す図である。真下方向を撮像した撮像画像においては、図１２に示すように、撮像対象の人物の位置によって、人物が傾いて写る場合や、人物の頭頂部のみが写る場合がある。このため、真下方向を撮像した撮像画像は、人物の検出精度が低いという問題がある。

【0008】

他方、非特許文献１に開示の方式は、撮像対象の人物の全身を示す領域と頭部を示す領域との理想的な位置関係を事前に一意に特定しておく必要がある。図１３は、撮像対象の人物の全身を示す領域と頭部を示す領域との理想的な位置関係を示す図である。図１３に示す実線で囲まれた領域は、全身に対応する領域を示し、波線で囲まれた領域は、頭部に対応する領域を示している。

【0009】

一方、図１４は、真下方向を撮像した撮像画像で想定される全身と頭部との位置関係の例を示す図である。図１４では、図１３と同様に、実線で囲まれた領域は、全身に対応する領域を示し、波線で囲まれた領域は、頭部に対応する領域を示している。図１４に示すように、真下方向を撮像した撮像画像では、全身を示す領域と頭部を示す領域との位置関係が人物の存在位置によって変化するため、非特許文献１の技術を適用できないという問題がある。

【0010】

そこで、本発明はこれらの点に鑑みてなされたものであり、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を向上することができるオブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の第１の態様に係るオブジェクト位置特定装置は、所定エリアを撮像する撮像装置が撮像した撮像画像を取得する取得部と、前記撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第１領域と異なる第２領域である第２オブジェクト領域とを特定するオブジェクト領域特定部と、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された前記第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定するモデル領域特定部と、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、前記オブジェクトの位置を特定する位置特定部と、を備える。

【0012】

前記モデル領域特定部は、前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に小さい一以上の第１モデル領域に対応する一以上の第２モデル領域を特定し、前記位置特定部は、特定された一以上の第２モデル領域のそれぞれに対応する前記第２の距離のうち、相対的に短い第２の距離が、前記第１の閾値以下である場合に、前記オブジェクトの位置を特定してもよい。

【0013】

前記オブジェクト位置特定装置は、前記三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合に前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１モデル領域と、前記第２モデル領域との対応関係を特定する対応関係特定部をさらに備え、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定してもよい。

【0014】

前記対応関係特定部は、前記オブジェクトが取り得る複数のサイズのそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い複数の第１モデル領域に対応する複数の第２モデル領域を特定してもよい。

【0015】

前記対応関係特定部は、前記オブジェクトが取り得る複数の形状のそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第１オブジェクト領域に対する前記第１の距離が相対的に短い複数の第１モデル領域に対応する複数の第２モデル領域を特定してもよい。
前記対応関係特定部は、相対的に近い位置の複数の第１モデル領域に対応する前記対応関係を統合してもよい。

【0016】

前記モデル領域特定部は、特定された前記第１オブジェクト領域と、前記第１モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第１の距離が短くなるように前記第１の距離を算出してもよい。

【0017】

前記モデル領域特定部は、前記第１オブジェクト領域を示す位置と、相対的に近い位置を有する一以上の前記第１モデル領域を特定し、特定した一以上の前記第１モデル領域のうち、特定された前記第１オブジェクト領域との前記第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定してもよい。

【0018】

前記位置特定部は、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第２の距離が短くなるように前記第２の距離を算出してもよい。

【0019】

前記オブジェクト領域特定部は、前記撮像画像に基づいて、一以上の前記第１オブジェクト領域と、一以上の前記第２オブジェクト領域とを特定し、前記位置特定部は、一以上の前記第２オブジェクト領域のそれぞれについて、一以上の前記第１オブジェクト領域との距離を示す第３の距離を特定し、一以上の前記第２オブジェクト領域のうち、相対的に短い前記第３の距離が第２の閾値以下であるとともに、前記第２モデル領域との前記第２の距離が前記第１の閾値以下の第２オブジェクト領域に対応する前記オブジェクトの位置を特定してもよい。

【0020】

前記位置特定部は、一以上の前記第２オブジェクト領域のそれぞれについて、一以上の前記第１オブジェクト領域との距離を示す第３の距離を特定し、一以上の前記第２オブジェクト領域のうち、相対的に短い前記第３の距離が前記第２の閾値を超えるとともに、前記第２モデル領域との前記第２の距離が前記第１の閾値以下の第２オブジェクト領域に対応する前記オブジェクトの位置を特定してもよい。

【0021】

前記位置特定部は、前記第２オブジェクト領域と前記第１オブジェクト領域との和集合に対する、前記第２オブジェクト領域の比率、及び前記第１オブジェクト領域の比率のうち、大きい比率を特定し、特定した当該比率が大きければ大きいほど前記第３の距離が短くなるように前記第３の距離を算出してもよい。

【0022】

前記位置特定部は、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、当該第２モデル領域に対応する前記三次元モデルの配置位置に基づいて、前記オブジェクトの前記所定エリアにおける位置を特定してもよい。

【0023】

前記位置特定部は、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、当該第２オブジェクト領域の前記撮像画像における位置、及び当該第２モデル領域の前記撮像画像における位置の少なくともいずれかに基づいて、前記オブジェクトの前記撮像画像における位置を特定してもよい。

【0024】

本発明の第２の態様に係るオブジェクト位置特定方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が撮像した撮像画像を取得するステップと、前記撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第１領域と異なる第２領域である第２オブジェクト領域とを特定するステップと、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された前記第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定するステップと、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、前記オブジェクトの位置を特定するステップと、を備える。

【0025】

本発明の第３の態様に係るオブジェクト位置特定プログラムは、コンピュータを、所定エリアを撮像する撮像装置が撮像した撮像画像を取得する取得部、前記撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第１領域と異なる第２領域である第２オブジェクト領域とを特定するオブジェクト領域特定部、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第１領域に対応する複数の第１モデル領域と、前記第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定された前記第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定するモデル領域特定部、及び、特定された前記第２オブジェクト領域と、特定された前記第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、前記オブジェクトの位置を特定する位置特定部、として機能させる。

【発明の効果】

【0026】

本発明によれば、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を向上することができるという効果を奏する。

【図面の簡単な説明】

【0027】

【図1】本実施形態に係るオブジェクト位置特定装置の概要を示す図である。

【図2】本実施形態に係るオブジェクト位置特定装置の構成を示す図である。

【図3】本実施形態に係るオブジェクト位置特定装置における処理の流れを示すフローチャートである。

【図4】本実施形態に係る所定エリアの複数の位置のそれぞれにおけるオブジェクトと、当該オブジェクトの第１オブジェクト領域及び第２オブジェクト領域の関係を示す図である。

【図5】検出モデルを用いて、第１オブジェクト領域及び第２オブジェクト領域を特定した結果の一例を示す図である。

【図6】本実施形態に係る三次元モデルの一例を示す図である。

【図7】本実施形態に係る第１モデル領域と、第２モデル領域とを特定する例を示す図である。

【図8】本実施形態に係る異なるサイズの複数の三次元モデルの一例を示す図である。

【図9】同一の中心位置を有する第１モデル領域の一例を示す図である。

【図10】本実施形態に係るモデル領域特定部が、第２モデル領域を特定する例を説明する図である。

【図11】図５に示す第１オブジェクト領域及び第２オブジェクト領域を特定した結果に対して、第２モデル領域を特定した例を示す図である。

【図12】複数のエリアの複数の位置における撮像対象の人物の映り具合の一例を示す図である。

【図13】斜め下方向を撮像した撮像画像において想定される、撮像対象の人物の全身を示す領域と頭部を示す領域との理想的な位置関係を示す図である。

【図14】真下方向を撮像した撮像画像で想定される全身と頭部との位置関係の例を示す図である。

【発明を実施するための形態】

【0028】

［オブジェクト位置特定装置１の概要］
図１は、本実施形態に係るオブジェクト位置特定装置１の概要を示す図である。オブジェクト位置特定装置１は、撮像装置が撮像した画像に映るオブジェクトの位置を特定するコンピュータである。撮像装置は、例えば、所定エリアの天井に設置され、真下方向を撮像する全方位カメラである。なお、本実施形態では、撮像装置が真下方向を撮像する全方位カメラであることとするが、これに限らない。撮像装置は、全方位カメラとは異なる通常のカメラであってもよく、撮像装置の撮像角度も、任意の角度であってもよい。

【0029】

オブジェクト位置特定装置１は、撮像装置が撮像した所定エリアの撮像画像を取得する（図１の（１））。所定エリアは、例えば店舗内の空間である。オブジェクトは、例えば、所定エリア内を行動する店員や顧客である。

【0030】

オブジェクト位置特定装置１は、撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、撮像画像に映るオブジェクトを示し、第１領域と異なる第２領域である第２オブジェクト領域とを特定する（図１の（２））。図１では、撮像画像における破線の矩形領域が第１オブジェクト領域を示しており、実線の矩形領域が第２オブジェクト領域を示している。

【0031】

オブジェクト位置特定装置１は、オブジェクトに対応する三次元モデルを、所定エリアを示す三次元空間の複数の位置のそれぞれに仮想的に配置した場合に撮像画像に映る三次元モデルの投影領域のうち、第１領域に対応する複数の第１モデル領域と、第２領域に対応する複数の第２モデル領域との対応関係に基づいて、特定した第１オブジェクト領域に対し、相対的に近い位置の第１モデル領域に対応する第２モデル領域を特定する（図１の（３））。ここで、対応関係としては、１つの第１モデル領域と、１つの第２モデル領域との関係を示す場合と、１つの第１モデル領域と、複数の第２モデル領域との関係を示す場合とがあるものとする。

【0032】

オブジェクト位置特定装置１は、特定した第２オブジェクト領域と、特定した第２モデル領域との距離が第１の閾値以下の場合に、当該第２オブジェクト領域に対応するオブジェクトの位置を特定する（図１の（４））。

【0033】

このようにすることで、オブジェクト位置特定装置１は、オブジェクトの第１領域と、第２領域との適切な位置関係を示す第１モデル領域と、第２モデル領域との対応関係に基づいて、撮像画像中で特定された第１オブジェクト領域と、第２オブジェクト領域との位置関係が適切である場合にオブジェクトの位置を特定することができる。

【0034】

また、第１モデル領域と、第２モデル領域との対応関係は、撮像装置が撮像した撮像画像に対する三次元モデルの投影領域に基づいて規定されるものである。したがって、オブジェクト位置特定装置１は、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を維持することができる。

【0035】

［オブジェクト位置特定装置１の構成］
続いて、オブジェクト位置特定装置１の構成を説明する。図２は、本実施形態に係るオブジェクト位置特定装置１の構成を示す図である。図２に示すように、オブジェクト位置特定装置１は、記憶部１１と、制御部１２とを備える。

【0036】

記憶部１１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶している。例えば、記憶部１１は、オブジェクト位置特定装置１を、取得部１２１、オブジェクト領域特定部１２２、対応関係特定部１２３、モデル領域特定部１２４、及び位置特定部１２５として機能させるオブジェクト位置特定プログラムを記憶している。

【0037】

制御部１２は、例えばＣＰＵ（Central Processing Unit）である。制御部１２は、記憶部１１に記憶されたオブジェクト位置特定プログラムを実行することにより、取得部１２１、オブジェクト領域特定部１２２、対応関係特定部１２３、モデル領域特定部１２４、及び位置特定部１２５として機能する。

【0038】

以下、オブジェクト位置特定装置１における処理の流れを示す図３を参照しながら、取得部１２１、オブジェクト領域特定部１２２、対応関係特定部１２３、モデル領域特定部１２４、及び位置特定部１２５の詳細について説明する。図３は、本実施形態に係るオブジェクト位置特定装置１における処理の流れを示すフローチャートである。

【0039】

取得部１２１は、所定エリアを撮像する撮像装置が撮像した撮像画像を取得する（Ｓ１）。例えば、撮像装置が撮像した所定エリアの撮像画像は、記憶部１１に予め記憶されている。取得部１２１は、記憶部１１に記憶されている撮像画像を取得する。

【0040】

オブジェクト領域特定部１２２は、取得部１２１が取得した撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、取得部１２１が取得した撮像画像に映るオブジェクトを示し、第１領域とは異なる第２領域である第２オブジェクト領域とを特定する（Ｓ２）。オブジェクト領域特定部１２２は、取得部１２１が取得した撮像画像から、第１オブジェクト領域と第２オブジェクト領域とを、一以上特定する。

【0041】

ここで、第１領域は、例えばオブジェクトとしての人物の頭部を示す領域であり、第２領域は、人物の全身を示す領域である。第２領域のサイズは、第１領域を内包するサイズである。例えば、オブジェクト領域特定部１２２は、第１領域を示す矩形の中心位置を示す情報（ｕ，ｖ）と、当該矩形の横幅及び高さを示す情報（ｗ，ｈ）とから構成される４次元のベクトル（ｕ，ｖ，ｗ，ｈ）を特定することにより、第１オブジェクト領域を特定する。同様に、オブジェクト領域特定部１２２は、第２領域を示す矩形の中心位置を示す情報と、当該矩形の横幅及び高さを示す情報とから構成される４次元のベクトルを特定することにより、第２オブジェクト領域を特定する。なお、以下の説明において、矩形を示す４次元のベクトルを矩形情報ともいう。以下、各領域を矩形により表す場合を例として説明するが、オブジェクト領域特定部１２２は、他の任意の形状により各領域を特定してもよい。

【0042】

オブジェクト領域特定部１２２は、撮像画像中の第１オブジェクト領域及び第２オブジェクト領域のそれぞれについて正解の矩形情報を付与して学習した機械学習（例えば、Support Vector Machine）や深層学習（例えば、Convolutional Neural Network）の検出モデルを用いることにより、撮像画像に含まれる第１オブジェクト領域と、第２オブジェクト領域とを特定する。図４は、本実施形態に係る所定エリアの複数の位置のそれぞれにおけるオブジェクトと、当該オブジェクトの第１オブジェクト領域及び第２オブジェクト領域の関係を示す図である。オブジェクト領域特定部１２２は、図４に示すように、撮像画像に対し、矩形情報を手動で付与した情報を用いて、予め学習を行い、検出モデルを作成することができる。

【0043】

なお、オブジェクト領域特定部１２２は、第１オブジェクト領域と第２オブジェクト領域とを個別に学習した２つの検出モデルを用いてもよいが、推論時間の観点では、第１オブジェクト領域を１クラス目、第２オブジェクト領域を２クラス目として学習させ、第１オブジェクト領域と第２オブジェクト領域とを一度に検出することが可能な単一の検出モデルを使用することが望ましい。

【0044】

図５は、検出モデルを用いて、第１オブジェクト領域及び第２オブジェクト領域を特定した結果の一例を示す図である。図５に示される撮像画像には３つのオブジェクトＰ１～Ｐ３が映っているとともに、４つの第１オブジェクト領域Ｈ１～Ｈ４と、５つの第２オブジェクト領域Ｆ１～Ｆ５とが検出されていることが確認できる。第１オブジェクト領域Ｈ３及びＨ４と、第２オブジェクト領域Ｆ４及びＦ５とは過検出（False Positive）である。一方で、オブジェクトＰ３に対応する第１オブジェクト領域は未検出（False Negative）である。

【0045】

例えば、特許文献１に開示されている従来方式を用いて第２オブジェクト領域の検出に基づくオブジェクトの検出を行う場合、図５の例における適合率（Precision）は３／５＝６０％であり、検出率（Recall）は３／３＝１００％となる。本実施形態に係るオブジェクト位置特定装置は、当該適合率を向上させることも目的とする。

【0046】

対応関係特定部１２３は、オブジェクトを模した三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合に、撮像画像に映る三次元モデルの領域である投影領域のうち、第１領域に対応する第１モデル領域と、第２領域に対応する第２モデル領域との対応関係を特定する（Ｓ３）。

【0047】

図６は、本実施形態に係る三次元モデルの一例を示す図である。例えば、オブジェクトとしての特定の身長の人物のみが所定エリアに存在し、かつ、全ての人物が直立状態と仮定し、使用する三次元モデルの高さを一定値（例えば、１．７ｍ）とする。三次元モデルの形状は簡易的なものであってもよく、図６に示すように、頭部を球体、胴体部分を円柱により構成してもよい。また、人物の身長が１．７ｍであり、７等身であると想定した場合、図６に示すように、頭部に対応する球体の直径を０．２ｍとしてもよい。

【0048】

対応関係特定部１２３は、所定エリア上の位置に三次元モデルを仮想的に配置した場合に、撮像装置が撮像した画像に含まれる三次元モデルの投影領域を算出する。例えば、記憶部１１に、三次元モデルを構成する点群を示す点群情報を記憶させておくとともに、撮像装置により撮像された画像の一点と三次元空間における一点との対応関係を示す撮像装置のキャリブレーションに関するパラメータを記憶させておく。ここで、三次元モデルを構成する点群を構成する複数の点のそれぞれは、三次元空間における座標により表現される。また、パラメータには、撮像装置の設置位置及び設置方向によって定まる外部パラメータと、撮像装置の画像歪みに関する内部パラメータとが含まれる。

【0049】

対応関係特定部１２３は、記憶部１１から当該点群情報と当該パラメータとを取得し、所定エリア上の位置に三次元モデルを仮想的に配置した場合に、当該点群情報が示す点群の少なくとも一部について、当該パラメータに基づいて、撮像装置が撮像する画像上への投影点を算出する。そして、対応関係特定部１２３は、第１領域（頭部）に対応する投影点の点群を含む領域の輪郭を近似する多角形領域の外接矩形を第１モデル領域として特定するとともに、第２領域（全身）に対応する投影点の点群を含む領域の輪郭を近似する多角形領域の外接矩形を第２モデル領域として特定する。

【0050】

図７は、本実施形態に係る第１モデル領域と、第２モデル領域とを特定する例を示す図である。図７に示すように、対応関係特定部１２３は、例えば、所定エリアの一平面上（Ｚ＝０）の位置（Ｘ，Ｙ）に三次元モデルを仮想的に配置した場合に、第１モデル領域Ｈｍを示す撮像画像上の位置を示す矩形情報（ｕ＿ｈ，ｖ＿ｈ，ｗ＿ｈ，ｈ＿ｈ）と、第２モデル領域Ｆｍを示す撮像画像上の位置を示す矩形情報（ｕ＿ｆ，ｖ＿ｆ，ｗ＿ｆ，ｈ＿ｆ）とが特定されていることが確認できる。ここで、ｕ＿ｈ，ｖ＿ｈ、及びｕ＿ｆ，ｖ＿ｆは、外接矩形の中心座標を示す情報である。また、ｗ＿ｈ及びｗ＿ｆは、外接矩形の横幅を示す情報である。また、ｈ＿ｈ及びｈ＿ｆは、外接矩形の高さを示す情報である。

【0051】

対応関係特定部１２３は、第１モデル領域を示す矩形情報及び第２モデル領域を示す矩形情報との対応関係を示す情報として、以下に示す８次元のベクトルを生成する。
（ｕ＿ｈ，ｖ＿ｈ，ｗ＿ｈ，ｈ＿ｈ，ｕ＿ｆ，ｖ＿ｆ，ｗ＿ｆ，ｈ＿ｆ）

【0052】

対応関係特定部１２３は、所定エリアの複数の位置に三次元モデルを仮想的に配置したときの第１モデル領域と第２モデル領域との関係を示す８次元のベクトルを特定することにより、複数の第１モデル領域と、複数の第２モデル領域との対応関係を特定する。対応関係特定部１２３は、特定した複数の８次元のベクトルをモデル情報として記憶部１１に記憶させる。

【0053】

なお、本実施形態において、対応関係特定部１２３は、オブジェクト領域特定部１２２の処理の後に、対応関係を特定することとしたが、これに限らない。オブジェクト領域特定部１２２は、第１モデル領域と第２モデル領域の対応関係を予め特定し、モデル情報を記憶部１１に記憶させるようにしてもよい。また、対応関係特定部１２３は、後述するモデル領域特定部１２４が、第１オブジェクト領域に対応する第２モデル領域を特定する際の計算コストを抑えるため、モデル情報が示す８次元のベクトルを参照されるデータとして、参照時のクエリとする最初の２次元データを、ｋｄ（k-dimensional）木によりインデックス化しておいてもよい。

【0054】

なお、所定エリア内に多様な身長の人物が存在する場合や、人物の姿勢が変化する場合がある。この場合に、所定エリア内におけるオブジェクトのサイズや形状を一定と仮定すると、オブジェクトの位置特定の精度が低下するという問題がある。そこで、対応関係特定部１２３は、オブジェクトが取り得る複数のサイズ及び複数の形状のそれぞれに対応する三次元モデルに対応する第１モデル領域と第２モデル領域との対応関係を特定してもよい。

【0055】

図８は、本実施形態に係る異なるサイズの複数の三次元モデルの一例を示す図である。なお、本実施形態では、異なるサイズの複数の三次元モデルの一例について説明するが、異なる形状の三次元モデルについても、同様に実施できるため、詳細な説明を省略する。図８に示す例では、オブジェクトとしての人物の身長の範囲を１．３ｍ～１．７ｍと仮定し、０．２ｍ間隔で３つの三次元モデルを規定している。この場合、対応関係特定部１２３は、所定エリアにおける１つの位置について、３つの三次元モデルのそれぞれに対応して、以下に示すように、第１モデル領域を示す撮像画像上の位置を示す矩形情報と、第２モデル領域を示す撮像画像上の位置を示す矩形情報とを特定する。

【0056】

オブジェクトの高さが１．７ｍ
第１モデル領域の矩形情報：（ｕ１＿ｈ，ｖ１＿ｈ，ｗ１＿ｈ，ｈ１＿ｈ）
第２モデル領域の矩形情報：（ｕ１＿ｆ，ｖ１＿ｆ，ｗ１＿ｆ，ｈ１＿ｆ）

【0057】

オブジェクトの高さが１．５ｍ
第１モデル領域の矩形情報：（ｕ２＿ｈ，ｖ２＿ｈ，ｗ２＿ｈ，ｈ２＿ｈ）
第２モデル領域の矩形情報：（ｕ２＿ｆ，ｖ２＿ｆ，ｗ２＿ｆ，ｈ２＿ｆ）

【0058】

オブジェクトの高さが１．３ｍ
第１モデル領域の矩形情報：（ｕ３＿ｈ，ｖ３＿ｈ，ｗ３＿ｈ，ｈ３＿ｈ）
第２モデル領域の矩形情報：（ｕ３＿ｆ，ｖ３＿ｆ，ｗ３＿ｆ，ｈ３＿ｆ）

【0059】

そして、対応関係特定部１２３は、所定エリアにおける１つの位置について、以下に示す３つのモデル情報を生成することができる。
（ｕ１＿ｈ、ｖ１＿ｈ，ｗ１＿ｈ，ｈ１＿ｈ，ｕ１＿ｆ，ｖ１＿ｆ，ｗ１＿ｆ，ｈ１＿ｆ）
（ｕ２＿ｈ、ｖ２＿ｈ，ｗ２＿ｈ，ｈ２＿ｈ，ｕ２＿ｆ，ｖ２＿ｆ，ｗ２＿ｆ，ｈ２＿ｆ）
（ｕ３＿ｈ、ｖ３＿ｈ，ｗ３＿ｈ，ｈ３＿ｈ，ｕ３＿ｆ，ｖ３＿ｆ，ｗ３＿ｆ，ｈ３＿ｆ）

【0060】

三次元モデルの高さの範囲を大きくするほど、また、複数の三次元モデルの高さの間隔を狭くするほど、後述する位置特定部１２５において高精度にオブジェクトの位置を特定することが可能である。その一方で、特定したモデル情報の容量が増加するという問題、及び、後述するモデル領域特定部１２４において第１オブジェクト領域に対応する第２モデル領域を特定するための計算コストが増大するという問題がある。

【0061】

そこで、対応関係特定部１２３は、相対的に近い位置の複数の第１モデル領域に対応する第１モデル領域と第２モデル領域との対応関係を統合してもよい。例えば、対応関係特定部１２３は、複数の第１モデル領域に対応する矩形情報を参照し、相対的に近い中心位置を有する複数の第１モデル領域を特定し、当該複数の第１モデル領域のそれぞれに対応する複数の対応関係を統合する。

【0062】

図９は、同一の中心位置を有する第１モデル領域の一例を示す図である。図９に示す例では、異なる配置位置及び異なるサイズの３つの三次元モデルの第１モデル領域Ｈｍ１～Ｈｍ３の中心位置が同一である例を示している。ここで、３つの第１モデル領域Ｈｍ１～Ｈｍ３の中心位置が同一であることから、第１モデル領域Ｈｍ１～Ｈｍ３の中心位置を示す情報（ｕ１＿ｈ、ｖ１＿ｈ）、（ｕ２＿ｈ、ｖ２＿ｈ）、（ｕ３＿ｈ、ｖ３＿ｈ）において、以下の関係が成り立つ。
ｕ１＿ｈ＝ｕ２＿ｈ＝ｕ３＿ｈ
ｖ１＿ｈ＝ｖ２＿ｈ＝ｖ３＿ｈ

【0063】

この場合、対応関係特定部１２３は、例えば、以下のように構成した２０次元のベクトルを、同一の中心位置を有する対応関係を示すモデル情報として記憶部１１に記憶させる。このようにすることで、モデル情報の参照時に計算コストを抑えることができるとともに、記憶量も削減できる。
（ｕ１＿ｈ，ｖ１＿ｈ，ｗ１＿ｈ，ｈ１＿ｈ，ｕ１＿ｆ，ｖ１＿ｆ，ｗ１＿ｆ，ｈ１＿ｆ，
ｗ２＿ｈ，ｈ２＿ｈ，ｕ２＿ｆ，ｖ２＿ｆ，ｗ２＿ｆ，ｈ２＿ｆ，
ｗ３＿ｈ，ｈ３＿ｈ，ｕ３＿ｆ，ｖ３＿ｆ，ｗ３＿ｆ，ｈ３＿ｆ）

【0064】

モデル領域特定部１２４は、三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合における撮像画像に映る三次元モデルの領域である投影領域のうち、第１領域に対応する複数の第１モデル領域と、第２領域に対応する複数の第２モデル領域との対応関係に基づいて、オブジェクト領域特定部１２２が特定した第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する（Ｓ４）。

【0065】

具体的には、モデル領域特定部１２４は、対応関係特定部１２３が特定し、記憶部１１に記憶されているモデル情報に基づいて、特定された第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する。

【0066】

モデル領域特定部１２４は、特定された第１オブジェクト領域と、第１モデル領域との重複率を算出し、当該重複率が大きければ大きいほど第１の距離が短くなるように第１の距離を算出する。例えば、モデル領域特定部１２４は、１から重複率を減算した値を、第１の距離として算出する。ここで、重複率は、ＩｏＵ（Intersection over Union）である。特定した第１オブジェクト領域をＡ、第１モデル領域をＢとした場合、重複率は、（Ａ∩Ｂ）／（Ａ∪Ｂ）により表される。モデル領域特定部１２４は、記憶部１１に記憶されているモデル情報を参照し、第１オブジェクト領域との第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する。

【0067】

なお、モデル領域特定部１２４は、特定された第１オブジェクト領域に対する距離を示す第１の距離が相対的に短い第１モデル領域に対応する第２モデル領域を複数特定してもよい。このようにすることで、モデル領域特定部１２４は、特定された第１オブジェクト領域に対し、異なるサイズ及び姿勢を有する三次元モデルに対応する複数の第２モデル領域を特定することができる。

【0068】

また、モデル領域特定部１２４は、ｋｄ木を用いたモデル情報を参照し、特定した第１オブジェクト領域の中心位置との距離が相対的に短い第１モデル領域を特定してもよい。ここで、ｋｄ木を用いることにより、第１モデル領域の特定を高速に行うことができるものの、特定された第１モデル領域は、第１オブジェクト領域との重複率が大きいとは限らない。そこで、モデル領域特定部１２４は、まず、第１オブジェクト領域を示す位置と、相対的に近い中心位置を有する一以上の第１モデル領域を特定し、その後、特定した一以上の第１モデル領域のうち、特定された第１オブジェクト領域との重複率を算出することにより、第１の距離が相対的に短い第１モデル領域を特定してもよい。

【0069】

図１０は、本実施形態に係るモデル領域特定部１２４が、第２モデル領域を特定する例を説明する図である。図１０に示すように、例えば、モデル領域特定部１２４は、第１オブジェクト領域の中心位置との距離が相対的に短い第１モデル領域として、図１０に示す４つの第１モデル領域を特定したとする。この場合に、モデル領域特定部１２４は、第１オブジェクト領域と、４つの第１モデル領域のそれぞれとの第１の距離を算出する。例えば、第１オブジェクト領域と、矩形情報が（ｕ３＿ｈ，ｖ３＿ｈ，ｗ３＿ｈ，ｈ３＿ｈ）である第１モデル領域との第１の距離が最も短い場合、モデル領域特定部１２４は、当該第１モデル領域に関連付けられている第２モデル領域として、矩形情報が（ｕ３＿ｆ，ｖ３＿ｆ，ｗ３＿ｆ，ｈ３＿ｆ）の第２モデル領域を特定する。

【0070】

モデル領域特定部１２４は、オブジェクト領域特定部１２２が特定した複数の第１オブジェクト領域のそれぞれに対し、第２モデル領域を特定する。図１１は、図５に示す第１オブジェクト領域及び第２オブジェクト領域を特定した結果に対して、第２モデル領域を特定した例を示す図である。図１１に示すように、第１オブジェクト領域Ｈ１～Ｈ４に対して、第２モデル領域Ｆｍ１～Ｆｍ４が特定されていることが確認できる。なお、図が煩雑になるため、図１１では、第２モデル領域の特定の過程で特定された第１モデル領域Ｈｍについては示していない。

【0071】

位置特定部１２５は、オブジェクト領域特定部１２２が特定した第２オブジェクト領域と、モデル領域特定部１２４が特定した第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合にオブジェクトの位置を特定する（Ｓ５）。

【0072】

具体的には、位置特定部１２５は、オブジェクト領域特定部１２２が特定した一以上の第２オブジェクト領域のそれぞれについて、モデル領域特定部１２４が特定した第２モデル領域の中から、第２の距離が第１の閾値以下である第２モデル領域を特定する。そして、位置特定部１２５は、第２モデル領域が特定できた第２オブジェクト領域について、当該第２オブジェクト領域が示すオブジェクトの位置を特定する。位置特定部１２５は、第２モデル領域が複数特定されている場合、特定された一以上の第２モデル領域のそれぞれに対応する第２の距離のうち、相対的に短い第２の距離が第１の閾値以下である場合に、当該第２オブジェクト領域に対応するオブジェクトの位置を特定する。

【0073】

位置特定部１２５は、特定された第２オブジェクト領域と、第２モデル領域との重複率を算出し、当該重複率が大きければ大きいほど第２の距離が短くなるように第２の距離を算出する。例えば、位置特定部１２５は、１から重複率を減算した値を、第２の距離として算出する。ここで、重複率は、第２オブジェクト領域と、第２モデル領域とのＩｏＵである。

【0074】

図１１に示す例では、第２オブジェクト領域Ｆ１、Ｆ２、Ｆ３、Ｆ４及びＦ５のそれぞれに対して、第２の距離が最も小さい第２モデル領域は、それぞれ、Ｆｍ１、Ｆｍ２、Ｆｍ３、該当なし（重複するものがない）、Ｆｍ４である。位置特定部１２５は、図１１に示す例において、第２モデル領域との第２の距離が第１の閾値以下の第２オブジェクト領域として、第２オブジェクト領域Ｆ１及びＦ２を特定する。

【0075】

位置特定部１２５は、特定された第２オブジェクト領域と、特定された第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、当該第２モデル領域に対応する三次元モデルの配置位置に基づいて、当該第２オブジェクト領域に対応するオブジェクトの所定エリアにおける位置を特定する。

【0076】

例えば、第２モデル領域を示す矩形情報と、当該第２モデル領域に対応する三次元モデルが配置されている所定エリア上の位置（Ｘ，Ｙ）とを関連付けて、位置対応関係情報（ｕ＿ｆ，ｖ＿ｆ，ｗ＿ｆ，ｈ＿ｆ，Ｘ，Ｙ）として記憶部１１に予め記憶させておく。なお、所定エリア上の位置（Ｘ，Ｙ）は、第１モデル領域と第２モデル領域との対応関係を示すモデル情報に関連付けられていてもよい。

【0077】

位置特定部１２５は、特定された第２オブジェクト領域と、特定された第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、位置対応関係情報を参照し、当該第２モデル領域に関連付けられている所定エリア上の位置（Ｘ，Ｙ）を、特定された第２オブジェクト領域に対応するオブジェクトの所定エリア上の位置として特定する。

【0078】

また、位置特定部１２５は、特定された第２オブジェクト領域と、特定された第２モデル領域との距離を示す第２の距離が第１の閾値以下である場合に、当該第２オブジェクト領域の撮像画像における位置を示す矩形情報、及び当該第２モデル領域の撮像画像における位置を示す矩形情報の少なくともいずれかに基づいて、特定された第２オブジェクト領域に対応するオブジェクトの撮像画像における位置を特定する。このようにすることで、オブジェクト位置特定装置１は、オブジェクトの撮像画像における位置も特定することができる。

【0079】

以上のように、オブジェクト位置特定装置１を用いた場合の図５及び図１１の例における適合率（Ｐｒｅｃｉｓｉｏｎ）は、２／２＝１００％となり、特許文献１に記載されている従来手法を用いた場合の適合率６０％を上回る。一方で、従来手法において検出できていた第２オブジェクト領域Ｆ３については、上記の処理により未検出となるため、検出率（Ｒｅｃａｌｌ）は、従来手法に比べて低下し、２／３＝６６％となる。

【0080】

そこで、オブジェクト位置特定装置１は、入力部（不図示）を介して、適合率を優先させるか否かの設定を受け付けるようにしてもよい。ここで、適合率を優先させる設定を「適合率優先モード」といい、適合率を優先させず、検出率を上昇させる設定を「検出率適合率バランス型モード」という。

【0081】

「適合率優先モード」に設定されている場合、位置特定部１２５は、一以上の第２オブジェクト領域のそれぞれについて、一以上の第１オブジェクト領域との距離を示す第３の距離を特定し、一以上の第２オブジェクト領域のうち、相対的に短い第３の距離が第２の閾値以下であるとともに、第２モデル領域との第２の距離が第１の閾値以下の第２オブジェクト領域に対応するオブジェクトの位置を特定する。

【0082】

また、「検出率適合率バランス型モード」に設定されている場合、位置特定部１２５は、「適合率優先モード」に対応する処理に加えて、一以上の第２オブジェクト領域のうち、相対的に短い第３の距離が第２の閾値を超えるとともに、第２モデル領域との第２の距離が第１の閾値以下の第２オブジェクト領域に対応するオブジェクトの位置を特定する。

【0083】

ここで、位置特定部１２５は、第２オブジェクト領域と第１オブジェクト領域との和集合に対する、第２オブジェクト領域の比率、及び第１オブジェクト領域の比率のうち、大きい比率を特定し、特定した当該比率が大きければ大きいほど第３の距離が短くなるように第３の距離を算出する。第１オブジェクト領域をＡ、第２オブジェクト領域をＢとした場合、位置特定部１２５は、第３の距離を、例えば、１－ｍａｘ（Ａ／（Ａ∪Ｂ），Ｂ／（Ａ∪Ｂ））により算出する。ここで、ｍａｘ（）は、内部に渡される２つの数値のうち、大きい数値を選択する関数である。このようにすることで、第１オブジェクト領域Ａが第２オブジェクト領域Ｂに内包される、又は第２オブジェクト領域Ｂが第１オブジェクト領域Ａに内包される場合に第３の距離がゼロと特定される。

【0084】

図１１に示す例では、第１オブジェクト領域との第３の距離が第２の閾値（例えば０．６）を超える第２オブジェクト領域として、Ｆ３及びＦ４が特定される。また、第２オブジェクト領域Ｆ１、Ｆ２及びＦ５については、第３の距離が最も小さい第１オブジェクト領域として、それぞれ、Ｈ１、Ｈ２、Ｈ４が特定される。

【0085】

また、第２オブジェクト領域Ｆ１、Ｆ２及びＦ５の中で、第２モデル領域との第２の距離が第１の閾値（例えば０．６）以下の第２オブジェクト領域として、Ｆ１及びＦ２が特定される。位置特定部１２５は、「検出率適合率バランス型モード」に設定されている場合、「適合率優先モード」に設定されている場合にオブジェクトの位置を特定した第２オブジェクト領域Ｆ１及びＦ２と合わせて、第２オブジェクト領域Ｆ３及びＦ４に対応するオブジェクトの位置も特定する。例えば、位置特定部１２５は、記憶部１１に記憶されているモデル情報を参照し、第２の距離が第１の閾値以下の第２のモデル領域を特定し、当該第２のモデル領域の位置に基づいて、第２オブジェクト領域Ｆ３及びＦ４に対応するオブジェクトの位置を特定する。その結果、検出率（Recall）は、適合率優先モードでの６６％から３／３＝１００％に向上する。一方で、適合率（Precision）は、１００％から３／４＝７５％に低下する。本実施形態に係るオブジェクト位置特定装置１の「適合率優先モード」及び「検出率適合率バランス型モード」は、いずれも従来手法に対して適合率を向上させることができる。

【0086】

［本実施形態における効果］
以上説明したように、本実施形態に係るオブジェクト位置特定装置１は、所定エリアの撮像画像に映るオブジェクトを示す第１領域である第１オブジェクト領域と、第１領域と異なる第２領域である第２オブジェクト領域とを特定する。オブジェクト位置特定装置１は、オブジェクトを模した三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合に撮像画像に映る三次元モデルの投影領域のうち、第１領域に対応する第１モデル領域と第２領域に対応する第２モデル領域との対応関係に基づいて、特定した第１オブジェクト領域との距離が相対的に短い第１モデル領域に対応する第２モデル領域を特定する。そして、オブジェクト位置特定装置１は、特定した第２オブジェクト領域と特定した第２モデル領域との距離が第１の閾値以下である場合に、オブジェクトの位置を特定する。このようにすることで、オブジェクト位置特定装置１は、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を維持することができる。

【0087】

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。例えば、上記実施形態において、第２領域は、オブジェクトとしての人の全身を示す領域であることとしたが、これに限らない。第２領域は、人の胴体を示す領域であってもよい。

【0088】

また、上記実施形態において、オブジェクト位置特定装置１は、撮像画像から特定した第２オブジェクト領域と、撮像画像から特定した第１オブジェクト領域に基づいて特定した第２モデル領域とを比較し、適切な位置関係を有する第２オブジェクト領域を特定することにより、オブジェクトの過検出を抑制することとしたが、これに限らない。例えば、オブジェクト位置特定装置１は、撮像画像から特定した第２オブジェクト領域と、モデル情報とを参照し、第２オブジェクト領域に対応する第１モデル領域を特定してもよい。そして、オブジェクト位置特定装置１は、特定した第１オブジェクト領域と、特定した第１モデル領域とを比較し、適切な位置関係を有する第１オブジェクト領域を特定することにより、オブジェクトの過検出を抑制することとしてもよい。

【0089】

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【符号の説明】

【0090】

１・・・オブジェクト位置特定装置、１１・・・記憶部、１２・・・制御部、１２１・・・取得部、１２２・・・オブジェクト領域特定部、１２３・・・対応関係特定部、１２４・・・モデル領域特定部、１２５・・・位置特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】