(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118544
(43)【公開日】2024-09-02
(54)【発明の名称】座標特定装置、学習装置及び座標特定方法
(51)【国際特許分類】
G06T 7/292 20170101AFI20240826BHJP
G06T 7/55 20170101ALI20240826BHJP
【ＦＩ】
G06T7/292
G06T7/55
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023024876
(22)【出願日】2023-02-21
(71)【出願人】
【識別番号】000003687
【氏名又は名称】東京電力ホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100179833
【弁理士】
【氏名又は名称】松本 将尚
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(72)【発明者】
【氏名】甘利 治雄
(72)【発明者】
【氏名】石毛 浩和
(72)【発明者】
【氏名】富木 洋一
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA02
5L096CA04
5L096CA05
5L096DA01
5L096DA02
5L096FA19
5L096FA59
5L096FA64
5L096FA66
5L096FA69
5L096FA76
5L096FA81
5L096GA51
5L096KA04
(57)【要約】
【課題】複数の単眼カメラにより取得された画像に映り込んだ物体の位置座標をそれぞれ特定し、当該物体が同一の物体であるか否かを判定する。
【解決手段】座標特定装置は、第１画像と第２画像とを取得する取得部と、取得された画像に含まれる物体の位置を検出する物体検出部と、検出された物体の位置に基づき画像の中において物体が存在する位置を示す特定点を検出する特定点検出部と、画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき特定点の絶対座標を特定する絶対座標特定部と、第１画像に含まれる物体が存在する特定された特定点の絶対座標と、第２画像に含まれる物体が存在する特定された特定点の絶対座標とに基づき、第１画像に含まれる物体と第２画像に含まれる物体とが同一の物体であるか否かを判定する判定部と、判定された結果を出力する出力部とを備える。
【選択図】図１２
【解決手段】座標特定装置は、第１画像と第２画像とを取得する取得部と、取得された画像に含まれる物体の位置を検出する物体検出部と、検出された物体の位置に基づき画像の中において物体が存在する位置を示す特定点を検出する特定点検出部と、画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき特定点の絶対座標を特定する絶対座標特定部と、第１画像に含まれる物体が存在する特定された特定点の絶対座標と、第２画像に含まれる物体が存在する特定された特定点の絶対座標とに基づき、第１画像に含まれる物体と第２画像に含まれる物体とが同一の物体であるか否かを判定する判定部と、判定された結果を出力する出力部とを備える。
【選択図】図１２
【特許請求の範囲】
【請求項1】
第１地点に設置された第１撮像装置により撮像された画像である第１画像と、前記第１地点とは異なる第２地点に設置され、前記第１撮像装置とは異なる第２撮像装置により撮像された画像であって、前記第１画像と略同一の時刻に撮像された画像である第２画像とを取得する取得部と、
取得された画像に含まれる物体の位置を検出する物体検出部と、
検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出部と、
画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定部と、
前記第１画像に含まれる物体が存在する特定された前記特定点の絶対座標と、前記第２画像に含まれる物体が存在する特定された前記特定点の絶対座標とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する判定部と、
判定された結果を出力する出力部と、
を備える座標特定装置。
取得された画像に含まれる物体の位置を検出する物体検出部と、
検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出部と、
画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定部と、
前記第１画像に含まれる物体が存在する特定された前記特定点の絶対座標と、前記第２画像に含まれる物体が存在する特定された前記特定点の絶対座標とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する判定部と、
判定された結果を出力する出力部と、
を備える座標特定装置。
【請求項2】
前記判定部は、前記第１画像に含まれる物体が存在すると特定された前記特定点の絶対座標と、前記第２画像に含まれる物体が存在すると特定された前記特定点の絶対座標との間の距離が所定の閾値より小さい場合に、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であると判定する
請求項１に記載の座標特定装置。
請求項１に記載の座標特定装置。
【請求項3】
前記物体検出部は、取得された画像に含まれる物体の位置と大きさとを検出し、
前記判定部が同一の物体であるか否かを判定するための所定の閾値は、前記物体検出部により検出された物体の大きさに基づいて定められる
請求項２に記載の座標特定装置。
前記判定部が同一の物体であるか否かを判定するための所定の閾値は、前記物体検出部により検出された物体の大きさに基づいて定められる
請求項２に記載の座標特定装置。
【請求項4】
前記取得部は、画像と、画像が撮像された時刻に関する情報とを対応付けて取得し、
前記判定部は、前記第１画像が撮像された時刻と、前記第２画像が撮像された時刻とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する
請求項１又は請求項２に記載の座標特定装置。
前記判定部は、前記第１画像が撮像された時刻と、前記第２画像が撮像された時刻とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する
請求項１又は請求項２に記載の座標特定装置。
【請求項5】
前記取得部は、動画像データを構成する複数のフレームそれぞれを画像として取得し、
複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する軌跡検出部を更に備え、
前記判定部は、検出された軌跡に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する
請求項１又は請求項２に記載の座標特定装置。
複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する軌跡検出部を更に備え、
前記判定部は、検出された軌跡に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する
請求項１又は請求項２に記載の座標特定装置。
【請求項6】
前記物体検出部により検出された物体の特徴量を検出する特徴量検出部を更に備え、
前記判定部は、抽出された特徴量に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する
請求項１又は請求項２に記載の座標特定装置。
前記判定部は、抽出された特徴量に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する
請求項１又は請求項２に記載の座標特定装置。
【請求項7】
前記取得部は、動画像データを構成する複数のフレームそれぞれを画像として取得し、
複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する軌跡検出部と、
前記物体検出部により検出された物体の特徴量を検出する特徴量検出部とを更に備え、
前記特徴量検出部により検出される特徴量には、速度ベクトル、又は加速度ベクトルが含まれ、
前記判定部は、抽出された特徴量に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する
請求項１又は請求項２に記載の座標特定装置。
複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する軌跡検出部と、
前記物体検出部により検出された物体の特徴量を検出する特徴量検出部とを更に備え、
前記特徴量検出部により検出される特徴量には、速度ベクトル、又は加速度ベクトルが含まれ、
前記判定部は、抽出された特徴量に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する
請求項１又は請求項２に記載の座標特定装置。
【請求項8】
請求項１又は請求項２に記載の座標特定装置により同一か否かの判定が行われた結果と、互いに対応する前記第１画像及び前記第２画像とを教師データとして、２枚の画像に写された物体が同一であるか否かを学習する
学習装置。
学習装置。
【請求項9】
第１地点に設置された第１撮像装置により撮像された画像である第１画像と、前記第１地点とは異なる第２地点に設置され、前記第１撮像装置とは異なる第２撮像装置により撮像された画像である第２画像とを取得する取得工程と、
取得された画像に含まれる物体の位置を検出する物体検出工程と、
検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出工程と、
画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定工程と、
前記第１画像に含まれる物体が存在する特定された前記特定点の絶対座標と、前記第２画像に含まれる物体が存在する特定された前記特定点の絶対座標とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する判定工程と、
判定された結果を出力する出力工程と、
を有する座標特定方法。
取得された画像に含まれる物体の位置を検出する物体検出工程と、
検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出工程と、
画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定工程と、
前記第１画像に含まれる物体が存在する特定された前記特定点の絶対座標と、前記第２画像に含まれる物体が存在する特定された前記特定点の絶対座標とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する判定工程と、
判定された結果を出力する出力工程と、
を有する座標特定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、座標特定装置、学習装置及び座標特定方法に関する。
【背景技術】
【0002】
従来、赤外線や超音波等を物体に照射する距離センサ等を用いて、物体が存在する位置までの距離情報を取得するための技術が知られている。このような距離センサ等を用いて取得された距離情報に基づき、物体が存在する位置座標を取得する技術が知られている。また、距離センサに代えて、２台の異なる位置に配置された撮像装置により対象の物体を撮像し、撮像された２枚の画像を解析することにより物体が存在する位置座標を導出する技術があった。このような技術を開示した文献の一例として、例えば、特許文献１を例示することができる。また、このような技術を適用した製品として、ステレオカメラが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１３４２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したようなステレオカメラを用いて位置座標を取得しようとした場合、監視カメラとは別に、新たに単眼カメラを設置することを要する。すなわちステレオカメラを構成するためには監視カメラを１台用いる場合と比べてコストが２倍以上になるといった課題があった。
【0005】
また、カメラを用いて移動する物体（移動体）の位置座標を検出しようとした場合、移動体がカメラの画角内に存在すれば位置座標を検出することができるかもしれない。しかしながらカメラにより撮像可能な範囲（画角）は限られており、移動体の位置座標を検出可能な範囲は限られている。そこで、広い範囲で移動体の位置座標を検出しようとした場合、複数のカメラを用意することが考えられる。複数のカメラにより移動体の位置座標を特定しようとする場合、各カメラによりそれぞれ撮像された移動体が、同一のものであるか否かを判定することは容易でなかった。
【0006】
そこで、本発明は、複数の単眼カメラにより取得された画像に映り込んだ物体の位置座標をそれぞれ特定し、当該物体が同一の物体であるか否かを判定可能な座標特定装置、学習装置及び座標特定方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
（１）本発明の一態様は、第１地点に設置された第１撮像装置により撮像された画像である第１画像と、前記第１地点とは異なる第２地点に設置され、前記第１撮像装置とは異なる第２撮像装置により撮像された画像であって、前記第１画像と略同一の時刻に撮像された画像である第２画像とを取得する取得部と、取得された画像に含まれる物体の位置を検出する物体検出部と、検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出部と、画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定部と、前記第１画像に含まれる物体が存在する特定された前記特定点の絶対座標と、前記第２画像に含まれる物体が存在する特定された前記特定点の絶対座標とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する判定部と、判定された結果を出力する出力部と、を備える座標特定装置である。
【0008】
（２）本発明の一態様は、上記（１）に記載の座標特定装置において、前記判定部は、前記第１画像に含まれる物体が存在すると特定された前記特定点の絶対座標と、前記第２画像に含まれる物体が存在すると特定された前記特定点の絶対座標との間の距離が所定の閾値より小さい場合に、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であると判定するものである。
【0009】
（３）本発明の一態様は、上記（１）又は（２）に記載の座標特定装置において、前記物体検出部は、取得された画像に含まれる物体の位置と大きさとを検出し、前記判定部が同一の物体であるか否かを判定するための所定の閾値は、前記物体検出部により検出された物体の大きさに基づいて定められるものである。
【0010】
（４）本発明の一態様は、上記（１）から（３）のいずれかに記載の座標特定装置において、前記取得部は、画像と、画像が撮像された時刻に関する情報とを対応付けて取得し、前記判定部は、前記第１画像が撮像された時刻と、前記第２画像が撮像された時刻とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定するものである。
【0011】
（５）本発明の一態様は、上記（１）から（４）のいずれかに記載の座標特定装置において、前記取得部は、動画像データを構成する複数のフレームそれぞれを画像として取得し、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する軌跡検出部を更に備え、前記判定部は、検出された軌跡に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定するものである。
【0012】
（６）本発明の一態様は、上記（１）から（５）のいずれかに記載の座標特定装置において、前記物体検出部により検出された物体の特徴量を検出する特徴量検出部を更に備え、前記判定部は、抽出された特徴量に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定するものである。
【0013】
（７）本発明の一態様は、上記（１）から（６）のいずれかに記載の座標特定装置において、前記取得部は、動画像データを構成する複数のフレームそれぞれを画像として取得し、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する軌跡検出部と、前記物体検出部により検出された物体の特徴量を検出する特徴量検出部とを更に備え、前記特徴量検出部により検出される特徴量には、速度ベクトル、又は加速度ベクトルが含まれ、前記判定部は、抽出された特徴量に基づいて、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定するものである。
【0014】
（８）本発明の一態様は、上記（１）から（７）のいずれかに記載の座標特定装置により同一か否かの判定が行われた結果と、互いに対応する前記第１画像及び前記第２画像とを教師データとして、２枚の画像に写された物体が同一であるか否かを学習する学習装置である。
【0015】
（９）本発明の一態様は、第１地点に設置された第１撮像装置により撮像された画像である第１画像と、前記第１地点とは異なる第２地点に設置され、前記第１撮像装置とは異なる第２撮像装置により撮像された画像である第２画像とを取得する取得工程と、取得された画像に含まれる物体の位置を検出する物体検出工程と、検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出工程と、画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定工程と、前記第１画像に含まれる物体が存在する特定された前記特定点の絶対座標と、前記第２画像に含まれる物体が存在する特定された前記特定点の絶対座標とに基づき、前記第１画像に含まれる物体と前記第２画像に含まれる物体とが同一の物体であるか否かを判定する判定工程と、判定された結果を出力する出力工程と、を有する座標特定方法である。
【発明の効果】
【0016】
本発明によれば、複数の単眼カメラにより取得された画像に映り込んだ物体の位置座標をそれぞれ特定し、当該物体が同一の物体であるか否かを判定することができる。
【図面の簡単な説明】
【0017】
【図1】第１の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。
【図2】第１の実施形態に係る座標特定の対象となる画像の一例と、物体検出の一例を示す図である。
【図3】第１の実施形態に係る特定点の一例について説明するための図である。
【図4】第１の実施形態に係る絶対座標特定部の機能構成の一例を示す機能構成図である。
【図5】第１の実施形態に係る画像の範囲の一例について説明するための図である。
【図6】第１の実施形態に係る特定点が第２範囲に存在する場合における絶対座標特定処理の一例について説明するための図である。
【図7】第１の実施形態に係る座標特定方法について説明するフローチャートである。
【図8】第２の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。
【図9】第３の実施形態に係る座標特定システムの概要を説明するための図である。
【図10】第３の実施形態に係る複数の撮像装置それぞれにより同一の物体を撮像した際の画像の一例を示す図である。
【図11】第３の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。
【図12】第３の実施形態に係る座標特定方法について説明するフローチャートである。
【図13】第４の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。
【図14】第５の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。
【図15】第６の実施形態に係る学習装置が用いる教師データの一例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の態様に係る座標特定装置及び座標特定方法について、好適な実施の形態を掲げ、添付の図面を参照しながら詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。
【0019】
【0020】
図１は、第１の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。同図を参照しながら、座標特定システム１の機能構成の一例について説明する。座標特定システム１は、座標特定装置１０と、撮像装置２０とを備える。座標特定システム１は、座標特定装置１０と撮像装置２０とを備えることにより、物体の位置座標を特定する。座標特定システム１により特定される位置座標は、絶対座標である。以下の説明において、絶対座標とは、撮像装置２０内における相対座標とは異なる座標であることを示す。絶対座標の特定に用いられる座標系は、例えば座標特定システム１が用いられる場所における座標系であってもよいし、地球上における１点を特定可能な地理座標系、投影座標系、又は鉛直座標系であってもよい。座標特定システム１が用いられる場所としては、工場の施設内部又は敷地内、又は公園や駅等における所定の敷地内等を例示することができる。
【0021】
なお、図示する一例において、座標特定装置１０と、撮像装置２０とは、１対１で対応する。しかしながら、座標特定装置１０と撮像装置２０とは、１対Ｎで対応するよう構成されていてもよい。すなわち、座標特定装置１０は、複数の撮像装置２０によりそれぞれ撮像された画像に映り込んだそれぞれの物体の位置座標を特定してもよい。座標特定装置１０と撮像装置２０とが１対Ｎで対応する場合、座標特定装置１０は、所定の通信ネットワーク（例えば、イーサネット）を介して、複数の撮像装置２０それぞれと接続されてもよい。
【0022】
なお、座標特定装置１０と撮像装置２０とが１対１で対応する場合、座標特定装置１０は、撮像装置２０の近傍に備えられることが好適である。また、座標特定装置１０と撮像装置２０とが１対Ｎで対応する場合、座標特定装置１０は、サーバ装置として存在していてもよいし、クラウド上に構成されていてもよい。
【0023】
撮像装置２０は、画像ＩＭを撮像する。撮像した画像ＩＭを含む情報を座標特定装置１０に提供する。撮像装置２０から座標特定装置１０に提供される情報には、画像ＩＭが撮像された時刻を特定する情報、撮像条件や撮像環境等に関する情報等が含まれていてもよい。また、撮像装置２０は、動画像を撮像してもよい。撮像装置２０が動画像を撮像する場合、撮像装置２０は、撮像した動画像データを構成するフレーム画像を、画像ＩＭとして座標特定装置１０に提供してもよい。
【0024】
撮像装置２０は、具体的には単願カメラである。撮像装置２０は、例えば固定位置に設置された監視カメラであってもよい。本実施形態において、撮像装置２０の撮像角度及び画角は、固定されていることが好適である。
【0025】
なお、撮像装置２０が設置される角度（撮像装置２０の撮像角度）については、撮像した画像の左右方向（ロール方向）が水平となるように設置されていることが好適である。この場合、上下方向（ピッチ方向）については、撮像対象（又は撮像範囲）に応じて適宜定められればよい。撮像した画像の左右方向が水平となるよう設置されることにより、後述する座標変換を容易にすることができる。なお、本実施形態においては、撮像装置２０により撮像された画像の左右方向が水平に設置される場合の一例に限定されるものではなく、傾いて設置されていてもよい。左右方向が傾いて設置される場合、所定の演算により左右水平となるような補正を行うことにより、後述する座標変換を適用することが可能である。当該補正処理には、公知技術が用いられてもよい。
【0026】
座標特定装置１０は、撮像装置２０から画像ＩＭを取得する。座標特定装置１０は、取得した画像ＩＭに基づき、当該画像ＭＩ内に写された物体が存在する座標を特定する。なお、座標特定装置１０による座標特定の対象となる物体とは、撮像装置２０により撮像可能な画角内を移動する移動体であってもよい。具体的には、座標特定装置１０による座標特定の対象となる物体とは、座標特定システム１の監視対象となる範囲に入り込んだ人物や、動物、車両等であってもよい。
【0027】
座標特定装置１０は、取得部１１と、物体検出部１２と、特定点検出部１３と、対応表記憶部１４と、絶対座標特定部１５と、出力部１６とを備える。座標特定装置１０は、バスで接続された不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read only memory）又はＲＡＭ（Random access memory）等の記憶装置等を備え、座標特定プログラムを実行することにより、座標特定装置１０は、取得部１１と、物体検出部１２と、特定点検出部１３と、対応表記憶部１４と、絶対座標特定部１５と、出力部１６とを備える装置として機能する。
【0028】
なお、座標特定装置１０の各機能の全てまたは一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアを用いて実現されてもよい。座標特定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。座標特定プログラムは、電気通信回線を介して送信されてもよい。
【0029】
取得部１１は、撮像装置２０から画像ＩＭを取得する。取得部１１は、取得した画像ＩＭを物体検出部１２に提供する。なお、取得部１１は、撮像装置２０から動画像データを取得した場合、動画像データに含まれるフレーム画像を、画像ＩＭとして物体検出部１２に提供する。
【0030】
物体検出部１２は、取得部１１から画像ＩＭを取得する。物体検出部１２は、取得された画像ＩＭに含まれる物体の位置を検出する。物体検出部１２は、例えば公知の動体検出技術を用いることにより検出された動体を、物体として検出してもよい。公知の動体検出技術の一例としては、例えば物体が存在していない状態における画像（以下、背景画像と記載する）との比較により差分を検出し、差分が検出された場合に動体が存在するとして検出するものであってもよい。背景画像は予め記憶されていてもよいし、検出対象の画像より前に取得された画像ＩＭを背景画像として用いてもよい。また、物体検出部１２は、公知の機械学習アルゴリズム等により物体検出を行ってもよい。
【0031】
図２は、第１の実施形態に係る座標特定の対象となる画像の一例と、物体検出の一例を示す図である。同図を参照しながら、画像ＩＭの一例と、物体検出部１２により行われる物体検出の一例について説明する。図示する一例において、撮像装置２０は、施設の敷地内に設置された監視カメラである。撮像装置２０により撮像された画像ＩＭには、建物や、道が撮像されている。また、図示する一例において、画像ＩＭには人物Ｐが写されている。物体検出部１２は、画像ＩＭに写された人物Ｐを、物体として検出する。
【0032】
物体検出部１２は、具体的には、検出した物体を囲うバウンディングボックスＢＢを検出する。バウンディングボックスＢＢは、物体を囲う矩形であってもよい。図１に戻り、物体検出部１２は、検出されたバウンディングボックスＢＢに関する情報を、特定点検出部１３に出力する。バウンディングボックスＢＢに関する情報には、バウンディングボックスＢＢを構成する矩形が存在する位置座標、バウンディングボックスＢＢの大きさを特定する情報、及びバウンディングボックスＢＢ内の画素情報等が含まれていてもよい。
【0033】
特定点検出部１３は、物体検出部１２からバウンディングボックスＢＢに関する情報を取得する。特定点検出部１３は、物体検出部１２により検出された物体の位置情報に基づき、特定点ＳＰの位置を検出する。特定点検出部１３により検出される特定点ＳＰとは、画像ＩＭの中において（すなわち、相対座標系において）物体が存在する位置を示す点である。
【0034】
図３は、第１の実施形態に係る特定点の一例について説明するための図である。同図を参照しながら、特定点ＳＰの位置の一例について説明する。同図には、図２に示した画像ＩＭから検出されたバウンディングボックスＢＢが示されている。図示するように、バウンディングボックスＢＢは、辺Ｌ１乃至辺Ｌ４を有する矩形の形状を有している。特定点ＳＰとは、バウンディングボックスＢＢにより位置が特定された物体が存在する絶対座標を特定するために用いられる点である。座標特定の対象となる物体が人物Ｐである場合、人物が存在する位置、すなわち人物が地面に接する点とは、バウンディングボックスＢＢを構成する底辺（辺Ｌ４）の近傍であるということができる。本実施形態では、バウンディングボックスＢＢを構成する底辺（辺Ｌ４）の中点を特定点ＳＰとする。なお、特定点ＳＰの検出方法は、この一例に限定されず、バウンディングボックスＢＢ内のいずれかの点を特定点ＳＰとしてもよい。図１に戻り、特定点検出部１３は、特定点ＳＰの位置座標に関する情報を絶対座標特定部１５に出力する。
【0035】
対応表記憶部１４は、撮像装置２０に応じた対応表ＣＴを記憶する。対応表ＣＴとは、画像ＩＭが有する各ピクセルの座標（すなわち相対座標）と絶対座標とが対応付けられた表である。ここで、画像ＩＭの解像度がＦＨＤ（１９２０×１０８０）である場合、画像ＩＭは約２００万ピクセルを有する。対応表ＣＴは、この場合、約２００万ピクセルそれぞれに対応する絶対座標を記憶する。なお、対応表ＣＴは、必ずしも表形式により記憶されている場合の一例に限定されず、各ピクセルの座標から絶対座標を導くことが可能な数式等の態様により記憶されていてもよい。
【0036】
対応表ＣＴは、撮像装置２０が設置された後、撮像装置２０の撮像角度等に応じて作成される。対応表ＣＴは、公知技術を用いて作成されてもよい。ここで、公知技術によれば、平面（地面）上の４点の座標について、画像ＩＭのピクセル（すなわち相対座標）と、絶対座標とを対応付けすることができれば、画像ＩＭが有する全てのピクセルについて絶対座標を対応付けすることが可能となる。当該対応付け処理は、撮像装置２０が設置された後、公知技術によるオープンソースのライブラリ当等を用いて行われてもよい。対応付け処理に必要とされる４点は、なるべく密集せず、４点を含んで構成される面が広い範囲となるような点であることが好適である。また、対応付け処理に必要とされる４点は、互いに同じ直線上にない点であることが好適である。
【0037】
絶対座標特定部１５は、特定点検出部１３から特定点ＳＰの位置座標に関する情報を取得し、対応表記憶部１４から対応表ＣＴを取得する。絶対座標特定部１５は、取得した対応表ＣＴに基づき、特定点ＳＰの絶対座標ＡＣを特定する。絶対座標特定部１５は、具体的には、対応表ＣＴを参照し、画像ＩＭにおける特定点ＳＰに対応する絶対座標ＡＣを特定する。絶対座標特定部１５は、特定した絶対対座標ＡＣを出力部１６に出力する。
【0038】
出力部１６は、絶対座標特定部１５により特定された絶対座標ＡＣを取得する。出力部１６は、取得した絶対座標ＡＣを、例えば不図示の情報処理装置等に出力する。出力部１６は、絶対座標ＡＣと対応付けて、物体の画像情報（例えばバウンディングボックスＢＢ内の画像情報）を出力してもよい。情報処理装置は、連続するフレームそれぞれについての絶対座標ＡＣを取得し、絶対座標ＡＣから、物体の軌跡を検出してもよい。また、情報処理装置は、検出された軌跡と、物体の画像情報から、異常検知や、侵入者（不審者）検知等を行ってもよい。
【0039】
図４は、第１の実施形態に係る絶対座標特定部の機能構成の一例を示す機能構成図である。図４を参照しながら、より詳細な絶対座標特定部１５の機能について説明する。ここで、物体検出部１２の精度は必ずしも高くなく、物体が存在する位置や大きさを誤検出する場合がある。誤検出の内容としては、実際には物体が存在していない場所であるのに物体が存在するとして検出してしまう場合や、物体が存在可能な位置ではあるが、実際の物体の大きさよりも小さい（例えば人物の上半身のみを囲うような）バウンディングボックスＢＢが検出されてしまう場合を例示することができる。同図を参照しながら行う説明では、絶対座標特定部１５は、物体検出部１２がバウンディングボックスＢＢの位置を誤検出してしまったような場合についても対応可能な構成を有している。絶対座標特定部１５は、範囲情報記憶部１５１と、範囲検出部１５２と、座標特定部１５３とを備える。
【0040】
範囲情報記憶部１５１は、範囲情報ＡＩを記憶する。範囲情報ＡＩとは、画像が有する各ピクセルのうち、少なくとも２以上の範囲を特定する情報である。２以上の範囲の一例としては、例えば、第１範囲ＡＲ１として地面部分、第２範囲ＡＲ２として建造物の壁部分、第３範囲ＡＲ３として空部分を特定する情報である。
【0041】
図５は、第１の実施形態に係る画像の範囲の一例について説明するための図である。同図を参照しながら、範囲情報ＡＩにより特定される範囲について説明する。同図は、図２に示した画像ＩＭに対応する。図示する一例では、画像ＩＭの全領域について、第１範囲ＡＲ１、第２範囲ＡＲ２又は第３範囲ＡＲ３のいずれかに区分されている。すなわち、範囲情報ＡＩに基づけば、画像ＩＭの座標情報に応じて、第１範囲ＡＲ１、第２範囲ＡＲ２又は第３範囲ＡＲ３のいずれかに区分することができる。図４に戻り、範囲情報記憶部１５１は、記憶した範囲情報ＡＩを範囲検出部１５２に出力する。
【0042】
範囲検出部１５２は、範囲情報記憶部１５１から範囲情報ＡＩを取得し、特定点検出部１３から特定点ＳＰに関する情報を取得する。範囲検出部１５２は、取得した範囲情報ＡＩに基づき、特定点ＳＰが存在する範囲を検出する。例えば範囲情報ＡＩにより、画像ＩＭが第１範囲ＡＲ１乃至第３範囲ＡＲ３の３つの範囲に区分されている場合、特定点ＳＰが存在する範囲は、第１範囲ＡＲ１乃至第３範囲ＡＲ３のいずれかとなる。特定点ＳＰが存在する範囲を特定する情報を、特定範囲情報ＳＡＩと記載する。範囲検出部１５２は、特定された特定範囲情報ＳＡＩを座標特定部１５３に出力する。
【0043】
座標特定部１５３は、範囲検出部１５２から特定範囲情報ＳＡＩを取得し、対応表記憶部１４から対応表ＣＴを取得する。座標特定部１５３は、範囲検出部１５２により検出された範囲に応じて異なる方法により絶対座標を特定する。以下、例えば、第１範囲ＡＲ１として地面部分、第２範囲ＡＲ２として建造物の壁部分、第３範囲ＡＲ３として空部分である場合において、特定点ＳＰが存在する範囲が第１範囲ＡＲ１乃至第３範囲ＡＲ３のいずれかであると判定された場合それぞれの処理について説明する。
【0044】
なお、以下の説明においては、特定点ＳＰが存在する範囲に応じた方法により、相対座標から絶対座標に変換する場合の一例について説明する。すなわち、座標特定装置１０は、特定点ＳＰが存在する範囲に応じて異なる処理を行うことにより、絶対座標を特定する。しかしながら本実施形態はこの一例に限定されず、例えば相対座標から絶対座標への変換を行った後、特定点ＳＰが存在する範囲に応じた処理を行ってもよい。すなわち、画像ＩＭの全てについて絶対座標に変換し、座標変換を行った後に、特定点ＳＰが存在する範囲に応じて異なる処理を行ってもよい。
【0045】
第１の例として、範囲検出部１５２により特定点ＳＰが存在する範囲が第１範囲ＡＲ１、すなわち地面部分であるとして特定された場合、座標特定部１５３は、画像ＩＭにおける第１範囲ＡＲ１と絶対座標と互いにが対応付けされた対応表ＣＴを取得する。範囲検出部１５２は、取得した対応表ＣＴに基づき絶対座標を特定する。具体的には、座標特定部１５３は、範囲検出部１５２により検出された範囲が第１範囲ＡＲ１である場合、対応表ＣＴにおいて特定点に対応する座標を絶対座標として特定する。
【0046】
第２の例として、範囲検出部１５２により特定点ＳＰが存在する範囲が第２範囲ＡＲ２、すなわち建造物の壁部分であるとして特定された場合、特定点ＳＰの位置を地面部分である第１範囲ＡＲ１に変換し、変換された座標に基づいて、絶対座標を特定する。変換された座標と、絶対座標との対応関係は、第１範囲ＡＲ１と絶対座標と互いにが対応付けされた対応表ＣＴを参照する。ここで、図を参照しながら建造物の壁部分である第２範囲ＡＲ２から地面部分である第１範囲ＡＲ１への座標変換の一例について説明する。
【0047】
図６は、第１の実施形態に係る特定点が第２範囲に存在する場合における絶対座標特定処理の一例について説明するための図である。同図は、図５に示した第１範囲ＡＲ１乃至第３範囲ＡＲ３の区分に対応する。図示する一例では、バウンディングボックスＢＢ－１に基づき特定点ＳＰ－１が特定されている。また、特定された特定点ＳＰ－１の位置は、第２範囲ＡＲ２の範囲内である。この場合、例えば物体としての人物が壁際に存在しており、上半身部分だけを囲うバウンディングボックスＢＢが検出されてしまった可能性がある。換言すれば、バウンディングボックスＢＢの上側部分だけが誤って検出されており（バウンディングボックスＢＢの下側が正確に検出されておらず）、実際にはバウンディングボックスＢＢは、もう少し下方に伸びた形状である可能性がある。したがって、特定点ＳＰ－１は、実際に物体が存在する位置より上方に誤検出されてしまっている可能性がある。この場合、座標特定部１５３は、特定点ＳＰ－１の下方側の点であって、第１範囲ＡＲ１の範囲内の点を特定点ＳＰ－２として新たに特定し、新たに特定された特定点ＳＰ－２に基づき絶対座標への変換を行う。すなわち、座標特定部１５３は、検出された範囲が第２範囲である場合、特定点ＳＰ－１に対応する特定点ＳＰ－２であって、第１範囲ＡＲ１における特定点ＳＰ－２に対応する座標を対応表ＣＴから導出し、導出した座標を絶対座標として特定する。
【0048】
より具体的には、座標特定部１５３は、検出された範囲が第２範囲ＡＲ２である場合、特定点ＳＰ－１から垂直線上に下方向をピクセルごとに、第１範囲ＡＲ１又は第２範囲ＡＲ２のいずれであるか探索していく。座標特定部１５３は、探索するピクセルが含まれる範囲が第１範囲ＡＲ１となった点の座標を絶対座標として特定する。なお、特定点ＳＰ－２の特定方法はこの一例に限定されず、建造物の形状等に応じて、好適な方法により行われてもよい。
【0049】
第３の例として、範囲検出部１５２により特定点ＳＰが存在する範囲が第３範囲ＡＲ３、すなわち空部分であるとして特定された場合、座標特定部１５３は、絶対座標の特定を行わない。ここで、空部分に物体が置かれることはできない。したがって、座標特定部１５３は、特定点ＳＰが存在する範囲が第３範囲ＡＲ３として特定された場合は、物体検出処理において誤検出された可能性が高い。よって、この場合、座標特定部１５３は、絶対座標の特定を行わない。なお、詳細には説明しないが、空中に浮遊する物体（例えばドローン等）の座標を対応表ＣＴに基づき絶対座標に変換することも可能である。
【0050】
また、撮像装置２０の設置場所によっては、画像ＩＭに異なる複数の斜面が写されている場合がある。異なる複数の斜面が写されている場合の一例としては、撮像角度に対して平行な地面と、当該地面と接続されたスロープ（又は坂道）とが存在しているような場合を例示することができる。この場合、範囲情報記憶部１５１は、地面の角度が互いに異なる面を互いに異なる範囲とする範囲情報ＡＩを記憶していてもよい。更に対応表記憶部１４は、当該範囲ごとに異なる対応表ＣＴを記憶していてもよい。この場合、座標特定部１５３は、範囲検出部１５２により検出された範囲に応じた対応表ＣＴを取得する。座標特定部１５３は、範囲検出部１５２により検出された範囲に応じて異なる対応表ＣＴに基づき、特定点ＳＰの絶対座標を特定する。
【0051】
図７は、第１の実施形態に係る座標特定方法について説明するフローチャートである。同図を参照しながら、上述した座標特定装置１０の一連の動作の一例について説明する。
【0052】
（ステップＳ１１）取得部１１は、撮像装置２０から画像ＩＭを取得する。当該工程を、取得工程、又は取得ステップと記載する場合がある。
【0053】
なお、座標特定装置１０が複数の撮像装置２０について絶対座標の特定を行う場合、取得部１１は、画像ＩＭと併せて、撮像装置２０を識別する撮像装置識別番号を取得してもよい。
【0054】
（ステップＳ１２）物体検出部１２は、取得された画像ＩＭについて、画像ＩＭに含まれる物体の位置を検出する物体検出処理を行う。物体検出処理の一例としては、公知の動体検出技術が用いられてもよい。当該工程を、物体検出工程、又は物体検出ステップと記載する場合がある。
【0055】
（ステップＳ１３）物体検出部１２により物体が検出された場合（すなわち、ステップＳ１３；ＹＥＳ）、処理がステップＳ１４に進められる。また、物体検出部１２により物体が検出されなかった場合（すなわち、ステップＳ１３；ＮＯ）、処理がステップＳ１１に戻される。
【0056】
（ステップＳ１４）物体が検出された場合、特定点検出部１３は、特定点ＳＰの検出を行う。特定点ＳＰとは、検出された物体の位置に基づき、画像ＩＭの中において物体が存在する位置を示す点である。特定点検出部１３は、例えば物体を囲うバウンディングボックスＢＢを構成する底辺の中点を特定点ＳＰとして検出する。当該工程を、特定点検出工程、又は特定点検出ステップと記載する場合がある。
【0057】
（ステップＳ１５）絶対座標特定部１５は、特定された特定点ＳＰの画像ＩＭにおける座標と、対応表ＣＴに基づき、絶対座標を特定する。対応表ＣＴとは、画像ＩＭが有する各ピクセルの座標と絶対座標とが対応付けられたものであるため、画像ＩＭにおける座標から絶対座標を導出することが可能である。当該工程を、絶対座標特定工程、又は絶対座標特定ステップと記載する場合がある。
【0058】
（ステップＳ１６）出力部１６は、絶対座標特定部１５により特定された絶対座標を出力する。当該工程を、出力工程、又は出力ステップと記載する場合がある。
【0059】
［第１の実施形態のまとめ］
以上説明したように、本実施形態に係る座標特定装置１０は、取得部１１を備えることにより画像ＩＭを取得し、物体検出部１２を備えることにより取得された画像ＩＭに含まれる物体の位置を検出し、特定点検出部１３を備えることにより検出された物体の位置に基づき画像ＩＭの中において物体が存在する位置を示す特定点ＳＰを検出し、絶対座標特定部１５を備えることにより画像ＩＭが有する各ピクセルの座標と絶対座標とが対応付けられた対応表ＣＴに基づき特定点ＳＰの絶対座標を特定し、出力部１６を備えることにより特定された絶対座標を出力する。本実施形態によれば、撮像装置２０により撮像された画像ＩＭの座標（すなわち相対座標）と絶対座標とを対応付けた対応表ＣＴを予め用意しておくことにより、物体が存在する位置の絶対座標を特定する。本実施形態によれば、座標変換をするだけで絶対座標を特定することができるため、透視図法等を用いた空間位置の座標計算を行うことを要しないため計算負荷を軽減することができる。したがって、本実施形態によれば、高速処理を行うことができる。また、座標特定装置１０は、単眼カメラにより取得された画像ＩＭを用いて絶対座標を特定するため、距離センサや、複数の単眼カメラを用いることを要しない。したがって、本実施形態によれば、撮像装置２０に映り込んだ物体の位置座標を低コストで求めることができる。
以上説明したように、本実施形態に係る座標特定装置１０は、取得部１１を備えることにより画像ＩＭを取得し、物体検出部１２を備えることにより取得された画像ＩＭに含まれる物体の位置を検出し、特定点検出部１３を備えることにより検出された物体の位置に基づき画像ＩＭの中において物体が存在する位置を示す特定点ＳＰを検出し、絶対座標特定部１５を備えることにより画像ＩＭが有する各ピクセルの座標と絶対座標とが対応付けられた対応表ＣＴに基づき特定点ＳＰの絶対座標を特定し、出力部１６を備えることにより特定された絶対座標を出力する。本実施形態によれば、撮像装置２０により撮像された画像ＩＭの座標（すなわち相対座標）と絶対座標とを対応付けた対応表ＣＴを予め用意しておくことにより、物体が存在する位置の絶対座標を特定する。本実施形態によれば、座標変換をするだけで絶対座標を特定することができるため、透視図法等を用いた空間位置の座標計算を行うことを要しないため計算負荷を軽減することができる。したがって、本実施形態によれば、高速処理を行うことができる。また、座標特定装置１０は、単眼カメラにより取得された画像ＩＭを用いて絶対座標を特定するため、距離センサや、複数の単眼カメラを用いることを要しない。したがって、本実施形態によれば、撮像装置２０に映り込んだ物体の位置座標を低コストで求めることができる。
【0060】
また、上述した座標特定装置１０によれば、範囲検出部１５２を備えることにより、画像が有する各ピクセルのうち、少なくとも２以上の範囲を特定する情報である範囲情報ＡＩに基づき、特定点ＳＰの存在する範囲を検出する。また、座標特定装置１０は、座標特定部１５３を備えることにより、検出された範囲に応じて異なる対応表ＣＴに基づき、特定点ＳＰの絶対座標を特定する。２以上の範囲は、例えば地面の傾斜に基づいて定められてもよい。すなわち、本実施形態によれば、地面の傾斜が互いに異なる複数の面が画像ＩＭ内に存在する場合であっても、対応表ＣＴを参照することにより絶対座標を特定することができる。したがって、本実施形態によれば、地面の傾斜が互いに異なる複数の面が画像ＩＭ内に存在する場合であっても、撮像装置２０映り込んだ物体の位置座標を低コストで求めることができる。
【0061】
また、上述した座標特定装置１０によれば、範囲検出部１５２を備えることにより、取得された画像が有する各ピクセルのうち、少なくとも第１範囲ＡＲ１及び第２範囲ＡＲ２を特定する情報である範囲情報ＡＩに基づき、特定点ＳＰの存在する範囲を検出する。第１範囲ＡＲ１とは地面部分を示す範囲であり、第２範囲ＡＲ２とは建造物の壁部分を示す範囲であってもよい。また、座標特定装置１０は、座標特定部１５３を備えることにより、検出された範囲が第１範囲ＡＲ１である場合は対応表ＣＴにおいて特定点ＳＰに対応する座標を絶対座標として特定し、検出された範囲が第２範囲ＡＲ２である場合は特定点ＳＰに対応する点であって第１範囲ＡＲ１における点に対応する座標を絶対座標として特定する。すなわち、座標特定装置１０によれば、特定点検出部１３により第２範囲ＡＲ２に特定点ＳＰが存在すると検出された場合は、特定点ＳＰの座標を第１範囲ＡＲ１における位置に変更し、変更した新たな特定点ＳＰの座標に基づいて絶対座標を特定する。すなわち、本実施形態によれば、物体検出部１２によりバウンディングボックスＢＢの位置又は大きさが誤検出され、特定点ＳＰが壁等の物体が置かれることができない位置に存在すると検出された場合であっても、物体が存在すると推測される正しい位置の絶対座標を特定することができる。
【0062】
また、上述した座標特定装置１０によれば、座標特定部１５３は、検出された範囲が第２範囲ＡＲ２である場合、特定点ＳＰから垂直線上に下方向をピクセルごとに探索していき、探索するピクセルが含まれる範囲が第１範囲ＡＲ１となった点の座標を絶対座標として特定する。したがって、本実施形態によれば、容易に、物体が存在すると推測される正しい位置の絶対座標を特定することができる。
【0063】
また、上述した座標特定装置１０によれば、範囲検出部１５２は、取得された画像ＩＭが有する各ピクセルのうち、範囲情報ＡＩに基づき、第３範囲ＡＲ３を検出する。第３範囲ＡＲ３とは、空部分を示す範囲であってもよい。座標特定部１５３は、検出された範囲が第３範囲ＡＲ３である場合は絶対座標の特定を行わない。ここで、本実施形態の一例としては、平面上に置かれた物体の位置座標を、対応表ＣＴを参照することにより絶対座標に変換するものである。したがって、空中部分に存在すると検出された物体について、対応表ＣＴを参照して絶対座標に変換すると、誤検出してしまうおそれがある。本実施形態によれば、空中部分に存在すると検出された物体については絶対座標に変換しない（又は変換したとしても出力しない）ことにより、誤検出された結果が出力されることを抑止することができる。
【0064】
［第２の実施形態］
次に、図７を参照しながら、第２の実施形態について説明する。第２の実施形態においては、動画像データに映り込んだ物体の位置検出を行うことを前提とする。具体的には、第２の実施形態においては、動画像データに含まれる各フレーム画像を、画像ＩＭとして扱う。すなわち第２の実施形態において取得部１１は、動画像データを構成する複数のフレームそれぞれを画像ＩＭとして取得する。また、第２の実施形態においては、画像ＩＭに映り込んだ物体は、画像ＩＭ内を移動することを前提とする。
次に、図７を参照しながら、第２の実施形態について説明する。第２の実施形態においては、動画像データに映り込んだ物体の位置検出を行うことを前提とする。具体的には、第２の実施形態においては、動画像データに含まれる各フレーム画像を、画像ＩＭとして扱う。すなわち第２の実施形態において取得部１１は、動画像データを構成する複数のフレームそれぞれを画像ＩＭとして取得する。また、第２の実施形態においては、画像ＩＭに映り込んだ物体は、画像ＩＭ内を移動することを前提とする。
【0065】
図８は、第２の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。同図を参照しながら、座標特定システム１Ａの機能構成の一例について説明する。座標特定システム１Ａは、座標特定装置１０に代えて座標特定装置１０Ａを備える点において座標特定システム１とは異なる。座標特定装置１０Ａは、軌跡検出部１７と、平滑化部１８とを更に備える点において座標特定装置１０とは異なる。座標特定システム１Ａの説明において、座標特定システム１と同様の構成については、同様の符号を付すことにより説明を省略する場合がある。
【0066】
本実施形態において、物体検出部１２により検出されるバウンディングボックスＢＢを、バウンディングボックスＢＢ１と記載する。軌跡検出部１７は、物体検出部１２からバウンディングボックスＢＢ１に関する情報を取得する。軌跡検出部１７は、動画像データを構成する複数のフレームそれぞれにおいて物体検出が行われた結果（すなわち各フレームにおけるバウンディングボックスＢＢ１）に基づいて、物体の軌跡を検出する。軌跡検出部１７により行われる軌跡の検出処理は、公知のトラッキング技術等が用いられてもよい。軌跡検出部１７により検出された軌跡についての情報は、軌跡情報ＴＩとして平滑化部１８に出力される。
【0067】
ここで、物体検出部１２により検出されるバウンディングボックスＢＢ１は、各フレーム画像ＩＭに基づき検出されている。換言すれば、バウンディングボックスＢＢ１の検出に前後のフレーム画像ＩＭの情報は用いられていない。ここで、移動体が存在する位置は、連続するフレーム画像ＩＭの中で、スムーズに移動するはずである。本実施形態においては、バウンディングボックスＢＢの位置を、連続するフレーム画像ＩＭを考慮して平滑化処理を行う。
【0068】
平滑化部１８は、軌跡検出部１７から軌跡情報ＴＩを取得する。平滑化部１８は、軌跡検出部１７により検出された軌跡を平滑化処理（スムージング処理）することにより、各フレームにおける物体が存在する位置を推定する。平滑化部１８により行われる平滑化処理には、公知の技術が用いられてもよい。平滑化部１８は、平滑化処理を行った結果として、新たなバウンディングボックスＢＢの位置を特定する。平滑化部１８により新たに特定されたバウンディングボックスＢＢを、バウンディングボックスＢＢ２と記載する。平滑化部１８は、バウンディングボックスＢＢ２に関する情報を特定点検出部１３に出力する。特定点検出部１３は、取得したバウンディングボックスＢＢ２に基づき特定点ＳＰを検出する。
【0069】
絶対座標特定部１５は、平滑化部１８により平滑化処理が行われたことにより推定された物体の位置（すなわちバウンディングボックスＢＢ２）に基づいて特定された特定点ＳＰに基づいて絶対座標を特定する。
【0070】
［第２の実施形態のまとめ］
以上説明したように、座標特定装置１０Ａにおいて、取得部１１は、動画像データを構成する複数のフレームそれぞれを画像ＩＭとして取得する。また、座標特定装置１０Ａは、軌跡検出部１７を更に備えることにより、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する。また、座標特定装置１０Ａは、平滑化部１８を更に備えることにより、軌跡検出部１７により検出された軌跡を平滑化処理し、各フレームにおける物体が存在する位置を推定する。座標特定装置１０Ａにおいて、絶対座標特定部１５は、平滑化部１８により平滑化処理が行われたことにより推定された物体の位置に基づいて特定された特定点ＳＰに基づいて絶対座標を特定する。すなわち、本実施形態によれば、特定点ＳＰの検出を行う前に、前後のフレーム画像（又は動画像データを構成する複数のフレーム画像）に基づいて、バウンディングボックスＢＢの位置が修正される。したがって、あるフレーム画像だけバウンディングボックスＢＢの位置が誤検出されているような場合であっても、その他のフレーム画像に基づいて修正することができる。したがって、本実施形態によれば、物体の存在位置が誤検出された場合であっても、精度よく絶対座標を特定することができる。
以上説明したように、座標特定装置１０Ａにおいて、取得部１１は、動画像データを構成する複数のフレームそれぞれを画像ＩＭとして取得する。また、座標特定装置１０Ａは、軌跡検出部１７を更に備えることにより、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する。また、座標特定装置１０Ａは、平滑化部１８を更に備えることにより、軌跡検出部１７により検出された軌跡を平滑化処理し、各フレームにおける物体が存在する位置を推定する。座標特定装置１０Ａにおいて、絶対座標特定部１５は、平滑化部１８により平滑化処理が行われたことにより推定された物体の位置に基づいて特定された特定点ＳＰに基づいて絶対座標を特定する。すなわち、本実施形態によれば、特定点ＳＰの検出を行う前に、前後のフレーム画像（又は動画像データを構成する複数のフレーム画像）に基づいて、バウンディングボックスＢＢの位置が修正される。したがって、あるフレーム画像だけバウンディングボックスＢＢの位置が誤検出されているような場合であっても、その他のフレーム画像に基づいて修正することができる。したがって、本実施形態によれば、物体の存在位置が誤検出された場合であっても、精度よく絶対座標を特定することができる。
【0071】
［第３の実施形態］
次に、図９から図１２を参照しながら、第３の実施形態について説明する。第３の実施形態においては、画角の一部が重なるように設置された複数の撮像装置２０を用いて物体の位置検出を行うことを前提とする。
次に、図９から図１２を参照しながら、第３の実施形態について説明する。第３の実施形態においては、画角の一部が重なるように設置された複数の撮像装置２０を用いて物体の位置検出を行うことを前提とする。
【0072】
図９は、第３の実施形態に係る座標特定システムの概要を説明するための図である。同図を参照しながら、第３の実施形態に係る座標特定システム１Ｂの概要について説明する。座標特定システム１Ｂは、複数の撮像装置２０を備える。以下、複数の撮像装置２０の一例として、２台の撮像装置２０を用いる場合について説明する。図示する一例では、複数の撮像装置２０の一例として、第１撮像装置２０－１及び第２撮像装置２０－２が示されている。なお、本実施形態はこの一例に限定されず、３台以上の撮像装置２０を用いる場合についても同様に適用することができる。
【0073】
第１撮像装置２０－１は、画角αを有する。第２撮像装置２０－２は、画角βを有する。画角α及び画角βは、互いに同一であってもよいし、同一でなくてもよい。ここで、第１撮像装置２０－１及び第２撮像装置２０－２は、画角αの一部と画角βの一部とが互いに重なり合う位置に配置される。換言すれば、第１撮像装置２０－１により撮像される画像ＩＭの一部と、第２撮像装置２０－２により撮像される画像ＩＭの一部とは、互いに同一の場所を異なる角度から撮像するものであるということもできる。
【0074】
図示する一例では、物体としての移動体の一例として、人物Ｐが示されている。第１撮像装置２０－１及び第２撮像装置２０－２は画角αの一部と画角βの一部とが互いに重なり合う位置に配置されているため、人物Ｐが第１撮像装置２０－１により撮像される画像ＩＭと第２撮像装置２０－２により撮像される画像ＩＭの両方に映り込む特定の場所が存在することとなる。座標特定システム１Ｂは、複数の撮像装置２０によりそれぞれ撮像された複数の画像ＩＭに写された物体が、同一の物体であるか否かを検出し、複数の撮像装置２０により物体が移動した際の軌跡を検出する。また、座標特定システム１Ｂは、リアルタイムで物体の移動を追跡する。
【0075】
図１０は、第３の実施形態に係る複数の撮像装置それぞれにより同一の物体を撮像した際の画像の一例を示す図である。同図を参照しながら、複数の撮像装置２０により同一の物体を撮像した場合の画像ＩＭの一例について説明する。図１０（Ａ）は、図９に示した第１撮像装置２０－１により撮像された画像ＩＭの一例を示す。第１撮像装置２０－１により撮像された画像ＩＭを、第１画像ＩＭ－１と記載する。また、図１０（Ｂ）は、図９に示した第２撮像装置２０－２により撮像された画像ＩＭの一例を示す。第２撮像装置２０－２により撮像された画像ＩＭを、第２画像ＩＭ－２と記載する。
【0076】
図示するように、第１画像ＩＭ－１及び第２画像ＩＭ－２のいずれにも、人物Ｐが写されている。第１画像ＩＭ－１及び第２画像ＩＭ－２は、互いに撮像される角度が異なるため、画像から同一の人物であるか否かを判定することは容易でない。座標特定システム１Ｂは、第１画像ＩＭ－１及び第２画像ＩＭ－２それぞれについて特定点ＳＰを検出し、検出された特定点ＳＰから絶対座標を特定し、絶対座標が一致するか否かに基づいて、同一の物体か否かを判定する。なお、絶対座標が一致するか否かとは、座標が完全に一致する場合に限定されず、所定の範囲内である場合も含む。以下、第１画像ＩＭ－１に含まれる物体に基づいて検出される特定点ＳＰを第１特定点ＳＰ－１と記載し、第２画像ＩＭ－２に含まれる物体に基づいて検出される特定点ＳＰを第２特定点ＳＰ－２と記載する。
【0077】
図１１は、第３の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。同図を参照しながら、座標特定システム１Ｂの機能構成の一例について説明する。座標特定システム１Ｂは、座標特定装置１０に代えて座標特定装置１０Ｂを備える点において座標特定システム１とは異なる。座標特定装置１０Ｂは、取得部１１に代えて取得部１１Ｂを備え、判定部３１を更に備える点において座標特定装置１０とは異なる。座標特定システム１Ｂの説明において、座標特定システム１と同様の構成については、同様の符号を付すことにより説明を省略する場合がある。
【0078】
取得部１１Ｂは、第１画像ＩＭ－１と第２画像ＩＭ－２とを取得する。第１画像ＩＭ－１とは、第１地点に設置された第１撮像装置２０－１により撮像された画像である。第２画像ＩＭ－２とは、第２地点に設置された第２撮像装置２０－２により撮像された画像である。第１撮像装置２０－１と第２撮像装置２０－２とは、互いに異なる装置である。また、第１撮像装置２０－１が設置される第１地点と、第２撮像装置２０－２が設置される第２地点とは、互いに異なる地点である。第１画像ＩＭ－１と第２画像ＩＭ－２とは、略同一の時刻に撮像された画像であることが好適である。略同一の時刻とは、物体を異なる角度から撮像したときに、それぞれの画像から、被写体を同一の物体であると特定し得る範囲であってもよい。
【0079】
物体検出部１２は、取得部１１Ｂから第１画像ＩＭ－１と第２画像ＩＭ－２とを取得する。物体検出部１２は、取得された第１画像ＩＭ－１及び第２画像ＩＭ－２それぞれに含まれる物体の位置を検出する。また、特定点検出部１３は、物体検出部１２により検出された物体の位置に基づき、第１画像ＩＭ－１及び第２画像ＩＭ－２それぞれの中において物体が存在する位置を示す特定点ＳＰを検出する。具体的には、特定点検出部１３は、第１画像ＩＭ－１の中において物体が存在する位置を示す第１特定点ＳＰ－１を検出し、第２画像ＩＭ－２の中において物体が存在する位置を示す第２特定点ＳＰ－２を検出する。また、絶対座標特定部１５は、第１画像ＩＭ－１が有するピクセルの座標と絶対座標とが対応付けられた対応表ＣＴに基づき、第１特定点ＳＰ－１の絶対座標を特定する。また、絶対座標特定部１５は、第２画像ＩＭ－２が有するピクセルの座標と絶対座標とが対応付けられた対応表ＣＴに基づき、第２特定点ＳＰ－２の絶対座標を特定する。絶対座標特定部１５が第１画像ＩＭ－１から絶対座標を算出するために用いる対応表ＣＴと、第２画像ＩＭ－２から絶対座標を算出するために用いる対応表ＣＴとは、異なる。
【0080】
判定部３１は、第１画像ＩＭ－１に含まれる物体が存在する特定された第１特定点ＳＰ－１の絶対座標と、第２画像ＩＭ－２に含まれる物体が存在する特定された第２特定点ＳＰ－２の絶対座標とに基づき、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。具体的には、判定部３１は、第１特定点ＳＰ－１の絶対座標と第２特定点ＳＰ－２の絶対座標とが一致する場合に同一の物体であると判定する。ここで、第１特定点ＳＰ－１の絶対座標と第２特定点ＳＰ－２の絶対座標とが一致する場合とは、座標が完全に一致する場合に限定されず、座標が所定の範囲内に存在する場合を含む。具体的には、判定部３１は、第１特定点ＳＰ－１の絶対座標と第２特定点ＳＰ－２の絶対座標との間の距離が、所定の閾値より小さい場合に、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であると判定する。同一か否かの判定に用いられる所定の閾値は、予め決められていてもよいし、所定の方法により動的に導出されるものであってもよい。出力部１６は、判定部３１により判定された結果を出力する。
【0081】
ここで、同一か否かの判定に用いられる所定の閾値は、物体の大きさに基づいて定められてもよい。すなわち、物体の大きさに応じて、同一か否かを判定するために許容される距離を決定してもよい。この場合、物体検出部１２は、取得された第１画像ＩＭ－１及び第２画像ＩＭ－２に含まれる物体の位置と大きさとを検出する。当該位置と大きさは、例えばバウンディングボックスＢＢにより検出されてもよい。また、判定部３１が同一の物体であるか否かを判定するための所定の閾値は、物体検出部１２により検出された物体の大きさ、例えばバウンディングボックスＢＢの大きさに基づいて定められる。具体的には、判定部３１は、バウンディングボックスＢＢを構成する底辺の大きさを閾値として、第１特定点ＳＰ－１の絶対座標と第２特定点ＳＰ－２の絶対座標との間の距離が閾値以内であれば同一の物体であると判断してもよい。なお、当該閾値は、底辺の大きさである場合の一例に限定されず、底辺の大きさに基づく値であったり、バウンディングボックスＢＢの高さに基づく値であってもよい。
【0082】
また、同一か否かの判定を行うためには、同時刻に撮像された第１画像ＩＭ－１及び第２画像ＩＭ－２を用いることが好適である。なお、同時刻とは、２枚の画像の撮像時刻が完全に一致する場合に限定されるものではなく、２枚の画像の撮像時刻が所定の範囲内（例えば数秒以内）である場合等であってもよい。この場合、取得部１１Ｂは、画像ＩＭと、画像ＩＭが撮像された時刻に関する情報とを対応付けて取得する。なお、取得部１１Ｂが時刻に関する情報を取得することができない場合、取得部１１Ｂは、画像ＩＭを取得した時刻のタイムスタンプを付して画像ＩＭと対応付けてもよい。判定部３１は、第１画像ＩＭ－１が撮像された時刻（または取得部１１Ｂにより付されたタイムスタンプ）と、第２画像ＩＭ－２が撮像された時刻（または取得部１１Ｂにより付されたタイムスタンプ）とに基づき、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。
【0083】
図１２は、第３の実施形態に係る座標特定方法について説明するフローチャートである。同図を参照しながら、上述した座標特定装置１０Ｂの一連の動作の一例について説明する。
【0084】
（ステップＳ２１）取得部１１Ｂは、複数の撮像装置２０それぞれから画像を取得する。具体的には、取得部１１Ｂは、第１地点に設置された第１撮像装置２０－１により撮像された画像である第１画像ＩＭ－１を取得し、第１地点とは異なる第２地点に設置され第１撮像装置２０－１とは異なる第２撮像装置２０－２により撮像された画像である第２画像ＩＭ－２を取得する。当該工程を、取得工程、又は取得ステップと記載する場合がある。なお、第１画像ＩＭ－１と第２画像ＩＭ２とを識別するため、第１画像ＩＭ－１及び第２画像ＩＭ２には、それぞれ識別情報が付されていてもよい。第１画像ＩＭ－１及び第２画像ＩＭ２に識別情報が付されていない場合、取得部１１Ｂにより識別情報が付されてもよい。
【0085】
（ステップＳ２２）物体検出部１２は、取得された第１画像ＩＭ－１及び第２画像ＩＭ－２それぞれについて、物体の位置を検出する物体検出処理を行う。物体検出処理の一例としては、公知の動体検出方法が用いられてもよい。当該工程を、物体検出工程、又は物体検出ステップと記載する場合がある。
【0086】
（ステップＳ２３）物体検出部１２により第１画像ＩＭ－１及び第２画像ＩＭ－２のいずれについても物体が検出された場合（すなわち、ステップＳ２３；ＹＥＳ）、処理がステップＳ２４に進められる。また、物体検出部１２により第１画像ＩＭ－１及び第２画像ＩＭ－２のいずれか一方、又はいずれについても物体が検出されなかった場合（すなわち、ステップＳ２３；ＮＯ）、処理がステップＳ２１に戻される。
【0087】
（ステップＳ２４）第１画像ＩＭ－１及び第２画像ＩＭ－２のいずれについても物体が検出された場合、特定点検出部１３は、第１画像ＩＭ－１について第１特定点ＳＰ－１の検出を行い、第２画像ＩＭ－２について第２特定点ＳＰ－２の検出を行う。当該工程を、特定点検出工程、又は特定点検出ステップと記載する場合がある。
【0088】
（ステップＳ２５）絶対座標特定部１５は、特定された第１特定点ＳＰ－１の第１画像ＩＭ－１における座標と、対応する対応表ＣＴに基づき、第１画像ＩＭ－１における物体の絶対座標を特定する。また、絶対座標特定部１５は、特定された第２特定点ＳＰ－２の第２画像ＩＭ－２における座標と、対応する対応表ＣＴに基づき、第２画像ＩＭ－２における物体の絶対座標を特定する。当該工程を、絶対座標特定工程、又は絶対座標特定ステップと記載する場合がある。
【0089】
（ステップＳ２６）判定部３１は、特定された第１画像ＩＭ－１における物体の絶対座標と、第２画像ＩＭ－２における物体の絶対座標とに基づき、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。当該工程を、判定工程、又は判定ステップと記載する場合がある。
【0090】
（ステップＳ２７）出力部１６は、判定された結果を出力する。出力部１６は、判定された結果と対応付けて、絶対座標を出力してもよい。また、出力部１６は、判定された結果と対応付けて、第１画像ＩＭ－１内の画像情報及び第２画像ＩＭ－２内の画像情報を出力してもよい。当該工程を、出力工程、又は出力ステップと記載する場合がある。
【0091】
［第３の実施形態のまとめ］
以上説明したように、本実施形態に係る座標特定装置１０Ｂは、取得部１１Ｂを備えることにより、第１地点に設置された第１撮像装置２０－１により撮像された画像である第１画像ＩＭ－１と、第１地点とは異なる第２地点に設置され、第１撮像装置２０－１とは異なる第２撮像装置２０－２により撮像された画像である第２画像ＩＭ－２とを取得する。また、座標特定装置１０Ｂは、物体検出部１２を備えることにより取得された第１画像ＩＭ－１及び第２画像ＩＭ－２に含まれる物体の位置をそれぞれ検出し、特定点検出部１３を備えることにより検出された物体の位置に基づき画像の中において物体が存在する位置を示す特定点ＳＰを検出し、絶対座標特定部１５を備えることにより画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、特定点ＳＰの絶対座標を特定する。更に、座標特定装置１０Ｂは、判定部３１を備えることにより、第１画像ＩＭ－１に含まれる物体が存在する特定された特定点ＳＰの絶対座標と、第２画像ＩＭ－２に含まれる物体が存在する特定された特定点ＳＰの絶対座標とに基づき、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。すなわち、座標特定装置１０Ｂによれば、複数の単眼カメラにより取得された画像に映り込んだ物体の位置座標をそれぞれ特定し、特定された位置座標に基づいて当該物体が同一の物体であるか否かを判定する。したがって、本実施形態によれば、ステレオカメラや距離センサ等を用いることがないため、低コストで移動体を追跡することができる。また、撮像装置２０の数を増やすことにより、広い範囲において移動体を追跡することができる。また、複数の撮像装置２０により移動体の追跡を行うことが可能となるため、様々な角度から移動体を捉えることができ、移動体が建造物の陰に隠れてしまい追跡できなくなるような事態の発生を抑止することができる。
以上説明したように、本実施形態に係る座標特定装置１０Ｂは、取得部１１Ｂを備えることにより、第１地点に設置された第１撮像装置２０－１により撮像された画像である第１画像ＩＭ－１と、第１地点とは異なる第２地点に設置され、第１撮像装置２０－１とは異なる第２撮像装置２０－２により撮像された画像である第２画像ＩＭ－２とを取得する。また、座標特定装置１０Ｂは、物体検出部１２を備えることにより取得された第１画像ＩＭ－１及び第２画像ＩＭ－２に含まれる物体の位置をそれぞれ検出し、特定点検出部１３を備えることにより検出された物体の位置に基づき画像の中において物体が存在する位置を示す特定点ＳＰを検出し、絶対座標特定部１５を備えることにより画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、特定点ＳＰの絶対座標を特定する。更に、座標特定装置１０Ｂは、判定部３１を備えることにより、第１画像ＩＭ－１に含まれる物体が存在する特定された特定点ＳＰの絶対座標と、第２画像ＩＭ－２に含まれる物体が存在する特定された特定点ＳＰの絶対座標とに基づき、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。すなわち、座標特定装置１０Ｂによれば、複数の単眼カメラにより取得された画像に映り込んだ物体の位置座標をそれぞれ特定し、特定された位置座標に基づいて当該物体が同一の物体であるか否かを判定する。したがって、本実施形態によれば、ステレオカメラや距離センサ等を用いることがないため、低コストで移動体を追跡することができる。また、撮像装置２０の数を増やすことにより、広い範囲において移動体を追跡することができる。また、複数の撮像装置２０により移動体の追跡を行うことが可能となるため、様々な角度から移動体を捉えることができ、移動体が建造物の陰に隠れてしまい追跡できなくなるような事態の発生を抑止することができる。
【0092】
また、上述した座標特定装置１０Ｂによれば、判定部３１は、第１画像ＩＭ－１に含まれる物体が存在すると特定された第１特定点ＳＰ－１の絶対座標と、第２画像ＩＭ－２に含まれる物体が存在すると特定された第２特定点ＳＰ－２の絶対座標との間の距離が、所定の閾値より小さい場合に、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であると判定する。すなわち、判定部３１は、２つの画像それぞれにおける絶対座標が完全一致しない場合であっても、所定の範囲内に存在する場合には、同一の物体であると判定する。判定に用いられる所定の閾値は、測定精度等により定められていてもよい。本実施形態によれば、測定精度に応じて閾値を変えすることができるため、絶対座標の算出精度が高くない場合であっても、異なる物体であると誤検知されてしまうような事態の発生を抑止することができる。
【0093】
また、上述した座標特定装置１０Ｂによれば、物体検出部１２は、取得部１１Ｂにより取得された画像に含まれる物体の位置と大きさとを検出し、判定部３１が同一の物体であるか否かを判定するための所定の閾値は、物体検出部１２により検出された物体の大きさに基づいて定められる。ここで、異なる２枚の画像ＩＭに写された物体が同一の物体であると判定されるための許容範囲は、判定対象となる物体の大きさに応じて異なる。本実施形態によれば、判定対象となる物体の大きさに応じて同一の物体であるか否かの判定を行うために用いられる閾値が決定されるため、精度よく物体が同一の物体であるか否かを判定することができる。また、複数のカメラそれぞれにより、特定の絶対座標に物体が存在すると検出された場合であっても、当該物体の大きさが異なれば、同一の物体でない可能性がある。したがって、座標特定装置１０Ｂによれば、物体が同一であると誤判定されるような事態の発生を抑止することができ、精度よく物体が同一の物体であるか否かを判定することができる。
【0094】
また、上述した座標特定装置１０Ｂによれば、取得部１１Ｂは、画像と、画像が撮像された時刻に関する情報とを対応付けて取得し、判定部３１は、第１画像ＩＭ－１が撮像された時刻と第２画像ＩＭ－２が撮像された時刻とに基づき、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。すなわち、座標特定装置１０Ｂは、画像が撮像された時刻に基づき、略同一時刻に撮像された画像に基づき同一の物体であるか否かを判定する。したがって、座標特定装置１０Ｂによれば、精度よく物体が同一の物体であるか否かを判定することができる。
【0095】
［第４の実施形態］
次に、図１３を参照しながら、第４の実施形態について説明する。第４の実施形態においては、動画像データに映り込んだ物体の位置検出を行うことを前提とする。具体的には、第２の実施形態においては、動画像データに含まれるフレーム画像を対象として、物体が同一であるか否かの判定を行う。すなわち第４の実施形態において取得部１１Ｂは、動画像データを構成する複数のフレームそれぞれを第１画像ＩＭ－１及び第２画像ＩＭ－２として取得する。また、第４の実施形態において、判定対象となる物体は、第１画像ＩＭ－１及び第２画像ＩＭ－２内を移動することを前提とする。
次に、図１３を参照しながら、第４の実施形態について説明する。第４の実施形態においては、動画像データに映り込んだ物体の位置検出を行うことを前提とする。具体的には、第２の実施形態においては、動画像データに含まれるフレーム画像を対象として、物体が同一であるか否かの判定を行う。すなわち第４の実施形態において取得部１１Ｂは、動画像データを構成する複数のフレームそれぞれを第１画像ＩＭ－１及び第２画像ＩＭ－２として取得する。また、第４の実施形態において、判定対象となる物体は、第１画像ＩＭ－１及び第２画像ＩＭ－２内を移動することを前提とする。
【0096】
図１３は、第４の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。同図を参照しながら、座標特定システム１Ｃの機能構成の一例について説明する。座標特定システム１Ｃは、座標特定装置１０Ｂに代えて座標特定装置１０Ｃを備える点において座標特定システム１Ｂとは異なる。座標特定装置１０Ｃは、軌跡検出部１７を更に備える点において座標特定装置１０Ｂとは異なる。座標特定システム１Ｃの説明において、座標特定システム１Ｂと同様の構成については、同様の符号を付すことにより説明を省略する場合がある。
【0097】
軌跡検出部１７は、物体検出部１２からバウンディングボックスＢＢに関する情報を取得する。軌跡検出部１７は、動画像データを構成する複数のフレームそれぞれにおいて物体検出が行われた結果（すなわち各フレームにおけるバウンディングボックスＢＢ）に基づいて、物体の軌跡を検出する。軌跡検出部１７により行われる軌跡の検出処理は、公知のトラッキング技術が用いられてもよい。軌跡検出部１７により検出された軌跡についての情報は、軌跡情報ＴＩとして判定部３１に出力される。
【0098】
判定部３１は、軌跡検出部１７により検出された軌跡に基づいて、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。具体的には、判定部３１は、第１撮像装置２０－１から取得された動画像データ及び第２撮像装置２０－２から取得された動画像データについて、複数フレーム分の軌跡を比較し、軌跡が一致している、又は類似している場合には、同一か否かの判定対象とする。また、判定部３１は、当該軌跡が一致していない、又は類似していない場合には、同一でないと判定する。なお、一致又は類似の判定は、公知の技術が用いられてもよい。
【0099】
［第４の実施形態のまとめ］
以上説明したように、本実施形態に係る座標特定装置１０Ｃによれば、取得部１１Ｂは、動画像データを構成する複数のフレームそれぞれを画像として取得し、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて物体の軌跡を検出し、判定部３１は、検出された軌跡に基づいて、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。同一又は類似の軌跡を有する物体は、互いに同一である可能性が高く、同一又は類似の軌跡を有しない物体は、互いに同一である可能性が低い。したがって、座標特定装置１０Ｃによれば、物体が同一であると誤判定されるような事態の発生を抑止することができ、精度よく物体が同一の物体であるか否かを判定することができる。
以上説明したように、本実施形態に係る座標特定装置１０Ｃによれば、取得部１１Ｂは、動画像データを構成する複数のフレームそれぞれを画像として取得し、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて物体の軌跡を検出し、判定部３１は、検出された軌跡に基づいて、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。同一又は類似の軌跡を有する物体は、互いに同一である可能性が高く、同一又は類似の軌跡を有しない物体は、互いに同一である可能性が低い。したがって、座標特定装置１０Ｃによれば、物体が同一であると誤判定されるような事態の発生を抑止することができ、精度よく物体が同一の物体であるか否かを判定することができる。
【0100】
［第５の実施形態］
次に、図１４を参照しながら、第５の実施形態について説明する。
次に、図１４を参照しながら、第５の実施形態について説明する。
【0101】
図１４は、第５の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。同図を参照しながら、座標特定システム１Ｄの機能構成の一例について説明する。座標特定システム１Ｄは、座標特定装置１０Ｃに代えて座標特定装置１０Ｄを備える点において座標特定システム１Ｃとは異なる。座標特定装置１０Ｄは、軌跡検出部１７に代えて、又は加えて特徴量検出部３２を備える点において座標特定装置１０Ｃとは異なる。座標特定システム１Ｄの説明において、座標特定システム１Ｃと同様の構成については、同様の符号を付すことにより説明を省略する場合がある。
【0102】
特徴量検出部３２は、物体検出部１２からバウンディングボックスＢＢに関する情報を取得する。特徴量検出部３２は、バウンディングボックスＢＢ内の画像に基づき、物体検出部１２により検出された物体の特徴量Ｆを検出する。特徴量Ｆの一例としては、バウンディングボックスＢＢ内に含まれる色の統計量、バウンディングボックスＢＢ内に存在する物体の形状、及び物体検知された結果得られたクラス等を例示することができる。特徴量Ｆの検出処理には、既存の機械学習アルゴリズム等が用いられてもよい。特徴量検出部３２は、検出された特徴量Ｆを判定部３１に出力する。
【0103】
判定部３１は、特徴量検出部３２により抽出された特徴量Ｆに基づいて、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。具体的には、判定部３１は、第１撮像装置２０－１から取得された動画像データに基づき抽出された特徴量Ｆと、第２撮像装置２０－２から取得された動画像データに基づき抽出された特徴量Ｆとを比較し、差分が所定の閾値内である場合に、同一か否かの判定対象とする。また、判定部３１は、差分が所定の閾値内でない場合には、同一でないと判定する。なお、所定の閾値は予め定められていてもよいし、特徴量に応じて動的に決定されてもよい。
【0104】
また、座標特定装置１０Ｄは、実施形態４において説明した軌跡検出部１７を更に備えていてもよい。この場合、特徴量検出部３２は、軌跡検出部１７により検出された軌跡に基づく特徴量Ｆを抽出してもよい。この場合、特徴量検出部３２により検出される特徴量Ｆには、速度ベクトル、又は加速度ベクトル等が含まれていてもよい。判定部３１は、特徴量Ｆとして抽出された速度ベクトル及び加速度ベクトルの少なくとも一方に基づいて、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定してもよい。
【0105】
［第５の実施形態のまとめ］
以上説明したように、本実施形態に係る座標特定装置１０Ｄは、特徴量検出部３２を更に備えることにより、物体検出部１２により検出された物体の特徴量Ｆを検出し、判定部３１は、抽出された特徴量Ｆに基づいて、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。第１画像ＩＭ－１及び第２画像ＩＭ－２それぞれから抽出された特徴量Ｆが互いに類似している場合、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とは互いに同一である可能性が高い。したがって、座標特定装置１０Ｄによれば、物体が同一であると誤判定されるような事態の発生を抑止することができ、精度よく物体が同一の物体であるか否かを判定することができる。
以上説明したように、本実施形態に係る座標特定装置１０Ｄは、特徴量検出部３２を更に備えることにより、物体検出部１２により検出された物体の特徴量Ｆを検出し、判定部３１は、抽出された特徴量Ｆに基づいて、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。第１画像ＩＭ－１及び第２画像ＩＭ－２それぞれから抽出された特徴量Ｆが互いに類似している場合、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とは互いに同一である可能性が高い。したがって、座標特定装置１０Ｄによれば、物体が同一であると誤判定されるような事態の発生を抑止することができ、精度よく物体が同一の物体であるか否かを判定することができる。
【0106】
また、上述した座標特定装置１０Ｄによれば、取得部１１Ｂは、動画像データを構成する複数のフレームそれぞれを画像として取得する。座標特定装置１０Ｄは、軌跡検出部１７を備えることにより、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出し、特徴量検出部３２を備えることにより、物体検出部１２により検出された物体の特徴量Ｆを検出する。また、特徴量検出部３２により検出される特徴量Ｆには、速度ベクトル、又は加速度ベクトルが含まれる。判定部３１は、特徴量Ｆとして抽出された速度ベクトル、又は加速度ベクトルに基づいて、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とが同一の物体であるか否かを判定する。すなわち、本実施形態によれば、物体の時間的な動きについても考慮して、第１画像ＩＭ－１に含まれる物体と第２画像ＩＭ－２に含まれる物体とは互いに同一であるか否かを判定する。したがって、座標特定装置１０Ｄによれば、物体が同一であると誤判定されるような事態の発生を抑止することができ、精度よく物体が同一の物体であるか否かを判定することができる。
【0107】
［第６の実施形態］
次に、図１５を参照しながら、第６の実施形態について説明する。第６の実施形態においては、上述した実施形態により得られた結果に基づいて、２つの画像に映し出された物体が同一であるか否かを推論する学習モデルの生成を行う。本実施形態に係る学習装置は、上述した実施形態により得られた結果を教師データとして、学習を行う。すなわち、本実施形態に係る学習装置は、上述した座標特定装置１０等により同一か否かの判定が行われた結果と、互いに対応する第１画像ＩＭ－１及び第２画像ＩＭ－２とを教師データとして、２枚の画像に写された物体が同一であるか否かを学習する。
次に、図１５を参照しながら、第６の実施形態について説明する。第６の実施形態においては、上述した実施形態により得られた結果に基づいて、２つの画像に映し出された物体が同一であるか否かを推論する学習モデルの生成を行う。本実施形態に係る学習装置は、上述した実施形態により得られた結果を教師データとして、学習を行う。すなわち、本実施形態に係る学習装置は、上述した座標特定装置１０等により同一か否かの判定が行われた結果と、互いに対応する第１画像ＩＭ－１及び第２画像ＩＭ－２とを教師データとして、２枚の画像に写された物体が同一であるか否かを学習する。
【0108】
図１５は、第６の実施形態に係る学習装置が用いる教師データの一例を示す図である。同図を参照しながら、学習装置が学習のために用いる教師データの一例について説明する。図示するように、教師データには、第１画像ＩＭ－１と、第２画像ＩＭ－２と、判定結果とが対応付けられている。第１画像ＩＭ－１及び第２画像ＩＭ－２は、画像を識別する情報（例えば、画像ファイル名）が、判定結果は、“一致”又は“不一致”が記載されている。なお、教師データには、その他の情報が対応付けられていてもよい。その他の情報とは、撮像時刻、撮像時の天気や気温等の環境データ、その他撮像に関する条件等であってもよい。
【0109】
図示する一例では、第１のデータとして、第１画像“ＩＭＧ１－１”と、第２画像“ＩＭＧ２－１”と、判定結果“一致”とが対応付けられ、第２のデータとして、第１画像“ＩＭＧ１－２”と、第２画像“ＩＭＧ２－２”と、判定結果“一致”とが対応付けられ、第３のデータとして、第１画像“ＩＭＧ１－３”と、第２画像“ＩＭＧ２－３”と、判定結果“不一致”とが対応付けられている。
【0110】
［第６の実施形態のまとめ］
以上説明したように、本実施形態に係る学習装置は、上述した座標特定装置１０乃至座標特定装置１０Ｄにより同一か否かの判定が行われた結果と、互いに対応する第１画像ＩＭ－１及び第２画像ＩＭ－２とを教師データとして、２枚の画像に写された物体が同一であるか否かを学習する。すなわち、学習装置は、同一の物体を異なる角度から撮像した画像と、互いに異なる物体を異なる角度から撮像した画像とに基づき、２つの画像に映し出された物体が同一であるか否かを推論するための学習を行う。ここで、学習のための教師データを収集するためには、複数の条件における画像を用意することが求められ、容易ではない。本実施形態によれば、座標特定装置１０等により判定が行われた結果を教師データとすることができる。したがって、本実施形態によれば、容易に教師データを収集することができる。また、本実施形態に係る学習装置を用いて学習された学習モデルを用いることにより、絶対座標を取得することができない場合であっても、２枚の画像に写された物体が同一であるか否かを推論することができる。
以上説明したように、本実施形態に係る学習装置は、上述した座標特定装置１０乃至座標特定装置１０Ｄにより同一か否かの判定が行われた結果と、互いに対応する第１画像ＩＭ－１及び第２画像ＩＭ－２とを教師データとして、２枚の画像に写された物体が同一であるか否かを学習する。すなわち、学習装置は、同一の物体を異なる角度から撮像した画像と、互いに異なる物体を異なる角度から撮像した画像とに基づき、２つの画像に映し出された物体が同一であるか否かを推論するための学習を行う。ここで、学習のための教師データを収集するためには、複数の条件における画像を用意することが求められ、容易ではない。本実施形態によれば、座標特定装置１０等により判定が行われた結果を教師データとすることができる。したがって、本実施形態によれば、容易に教師データを収集することができる。また、本実施形態に係る学習装置を用いて学習された学習モデルを用いることにより、絶対座標を取得することができない場合であっても、２枚の画像に写された物体が同一であるか否かを推論することができる。
【0111】
なお、上述した実施形態における座標特定装置１０乃至座標特定装置１０Ｄ、及び学習装置が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【0112】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0113】
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
【符号の説明】
【0114】
１…座標特定システム、１０…座標特定装置、１１…取得部、１２…物体検出部、１３…特定点検出部、１４…対応表記憶部、１５…絶対座標特定部、１６…出力部、１７…軌跡検出部、１８…平滑化部、２０…撮像装置、１５１…範囲情報記憶部、１５２…範囲検出部、１５３…座標特定部、ＡＲ１…第１範囲、ＡＲ２…第２範囲、ＡＲ３…第３範囲、ＩＭ…画像、ＢＢ…バウンディングボックス、ＳＰ…特定点、ＣＴ…対応表、ＡＣ…絶対座標、ＡＩ…範囲情報、ＳＡＩ…特定範囲情報、ＴＩ…軌跡情報、３１…判定部、３２…特徴量検出部、ＪＲ…判定結果、Ｆ…特徴量
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】