IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東京電力株式会社の特許一覧

<>
  • 特開-座標特定装置及び座標特定方法 図1
  • 特開-座標特定装置及び座標特定方法 図2
  • 特開-座標特定装置及び座標特定方法 図3
  • 特開-座標特定装置及び座標特定方法 図4
  • 特開-座標特定装置及び座標特定方法 図5
  • 特開-座標特定装置及び座標特定方法 図6
  • 特開-座標特定装置及び座標特定方法 図7
  • 特開-座標特定装置及び座標特定方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118545
(43)【公開日】2024-09-02
(54)【発明の名称】座標特定装置及び座標特定方法
(51)【国際特許分類】
   G06T 7/70 20170101AFI20240826BHJP
【FI】
G06T7/70 A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023024881
(22)【出願日】2023-02-21
(71)【出願人】
【識別番号】000003687
【氏名又は名称】東京電力ホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100179833
【弁理士】
【氏名又は名称】松本 将尚
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(72)【発明者】
【氏名】甘利 治雄
(72)【発明者】
【氏名】石毛 浩和
(72)【発明者】
【氏名】富木 洋一
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA02
5L096CA04
5L096DA01
5L096DA02
5L096FA19
5L096FA69
5L096HA05
(57)【要約】
【課題】単眼カメラにより取得された画像に映り込んだ物体の位置座標を低コストで求める。
【解決手段】座標特定装置は、画像を取得する取得部と、取得された画像に含まれる物体の位置を検出する物体検出部と、検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出部と、画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定部と、特定された絶対座標を出力する出力部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
画像を取得する取得部と、
取得された画像に含まれる物体の位置を検出する物体検出部と、
検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出部と、
画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定部と、
特定された絶対座標を出力する出力部と、
を備える座標特定装置。
【請求項2】
前記絶対座標特定部は、
画像が有する各ピクセルのうち、少なくとも2以上の範囲を特定する情報である範囲情報に基づき、前記特定点の存在する範囲を検出する範囲検出部と、
検出された範囲に応じて異なる前記対応表に基づき、前記特定点の絶対座標を特定する座標特定部とを備える
請求項1に記載の座標特定装置。
【請求項3】
前記絶対座標特定部は、
取得された画像が有する各ピクセルのうち、少なくとも第1範囲及び第2範囲を特定する情報である範囲情報に基づき、前記特定点の存在する範囲を検出する範囲検出部と、
検出された範囲が第1範囲である場合は前記対応表において前記特定点に対応する座標を絶対座標として、検出された範囲が第2範囲である場合は前記特定点に対応する点であって前記第1範囲における点に対応する座標を絶対座標として特定する座標特定部とを備える
請求項1に記載の座標特定装置。
【請求項4】
前記座標特定部は、検出された範囲が第2範囲である場合、前記特定点から垂直線上に下方向をピクセルごとに探索していき、探索するピクセルが含まれる範囲が前記第1範囲となった点の座標を絶対座標として特定する
請求項3に記載の座標特定装置。
【請求項5】
前記範囲検出部は、取得された画像が有する各ピクセルのうち、前記範囲情報に基づき、第3範囲を検出し、
前記座標特定部は、検出された範囲が第3範囲である場合は絶対座標の特定を行わない
請求項2又は請求項3に記載の座標特定装置。
【請求項6】
前記取得部は、動画像データを構成する複数のフレームそれぞれを画像として取得し、
複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する軌跡検出部と、
検出された軌跡を平滑化処理することにより、各フレームにおける物体が存在する位置を推定する平滑化部とを更に備え、
前記絶対座標特定部は、平滑化処理が行われたことにより推定された物体の位置に基づいて特定された前記特定点に基づいて絶対座標を特定する
請求項1から請求項4のいずれか一項に記載の座標特定装置。
【請求項7】
画像を取得する取得工程と、
取得された画像に含まれる物体の位置を検出する物体検出工程と、
検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出工程と、
画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定工程と、
特定された絶対座標を出力する出力工程と、
を有する座標特定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、座標特定装置及び座標特定方法に関する。
【背景技術】
【0002】
従来、赤外線や超音波等を物体に照射する距離センサ等を用いて、物体が存在する位置までの距離情報を取得するための技術が知られている。このような距離センサ等を用いて取得された距離情報に基づき、物体が存在する位置座標を取得する技術が知られている。また、距離センサに代えて、2台の異なる位置に配置された撮像装置により対象の物体を撮像し、撮像された2枚の画像を解析することにより物体が存在する位置座標を導出する技術があった。このような技術を開示した文献の一例として、例えば、特許文献1を例示することができる。また、このような技術を適用した製品として、ステレオカメラが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-134220号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
単眼カメラにより構成される監視カメラに映り込んだ物体の位置座標を特定するため、上述したような技術を用いることが考えられる。距離センサを用いて位置座標を取得しようとした場合、監視カメラとは別に距離センサを設置することを要する。すなわち、距離センサを用いて位置座標を取得しようとした場合、距離センサと監視カメラとを組み合わせてシステム化するためのコストを要するといった問題があった。また、ステレオカメラを用いて位置座標を取得しようとした場合、監視カメラとは別に、新た一台単眼カメラを設置することを要する。すなわちステレオカメラを構成するためには監視カメラを1台用いる場合と比べてコストが2倍以上になるといった課題があった。
【0005】
そこで、本発明は、単眼カメラにより取得された画像に映り込んだ物体の位置座標を低コストで求めることが可能な座標特定装置及び座標特定方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
(1)本発明の一態様は、画像を取得する取得部と、取得された画像に含まれる物体の位置を検出する物体検出部と、検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出部と、画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定部と、特定された絶対座標を出力する出力部と、を備える座標特定装置である。
【0007】
(2)本発明の一態様は、上記(1)に記載の座標特定装置において、前記絶対座標特定部は、画像が有する各ピクセルのうち、少なくとも2以上の範囲を特定する情報である範囲情報に基づき、前記特定点の存在する範囲を検出する範囲検出部と、検出された範囲に応じて異なる前記対応表に基づき、前記特定点の絶対座標を特定する座標特定部とを備えるものである。
【0008】
(3)本発明の一態様は、上記(1)又は(2)に記載の座標特定装置において、前記絶対座標特定部は、取得された画像が有する各ピクセルのうち、少なくとも第1範囲及び第2範囲を特定する情報である範囲情報に基づき、前記特定点の存在する範囲を検出する範囲検出部と、検出された範囲が第1範囲である場合は前記対応表において前記特定点に対応する座標を絶対座標として、検出された範囲が第2範囲である場合は前記特定点に対応する点であって前記第1範囲における点に対応する座標を絶対座標として特定する座標特定部とを備えるものである。
【0009】
(4)本発明の一態様は、上記(1)から(3)のいずれかに記載の座標特定装置において、前記座標特定部は、検出された範囲が第2範囲である場合、前記特定点から垂直線上に下方向をピクセルごとに探索していき、探索するピクセルが含まれる範囲が前記第1範囲となった点の座標を絶対座標として特定するものである。
【0010】
(5)本発明の一態様は、上記(2)又は(3)に記載の座標特定装置において、前記範囲検出部は、取得された画像が有する各ピクセルのうち、前記範囲情報に基づき、第3範囲を検出し、前記座標特定部は、検出された範囲が第3範囲である場合は絶対座標の特定を行わないものである。
【0011】
(6)本発明の一態様は、上記(1)から(5)のいずれかに記載の座標特定装置において、前記取得部は、動画像データを構成する複数のフレームそれぞれを画像として取得し、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する軌跡検出部と、検出された軌跡を平滑化処理することにより、各フレームにおける物体が存在する位置を推定する平滑化部とを更に備え、前記絶対座標特定部は、平滑化処理が行われたことにより推定された物体の位置に基づいて特定された前記特定点に基づいて絶対座標を特定するものである。
【0012】
(7)本発明の一態様は、画像を取得する取得工程と、取得された画像に含まれる物体の位置を検出する物体検出工程と、検出された物体の位置に基づき、画像の中において物体が存在する位置を示す特定点を検出する特定点検出工程と、画像が有する各ピクセルの座標と絶対座標とが対応付けられた対応表に基づき、前記特定点の絶対座標を特定する絶対座標特定工程と、特定された絶対座標を出力する出力工程と、を有する座標特定方法である。
【発明の効果】
【0013】
本発明によれば、単眼カメラにより取得された画像に映り込んだ物体の位置座標を低コストで求めることができる。
【図面の簡単な説明】
【0014】
図1】第1の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。
図2】第1の実施形態に係る座標特定の対象となる画像の一例と、物体検出の一例を示す図である。
図3】第1の実施形態に係る特定点の一例について説明するための図である。
図4】第1の実施形態に係る絶対座標特定部の機能構成の一例を示す機能構成図である。
図5】第1の実施形態に係る画像の範囲の一例について説明するための図である。
図6】第1の実施形態に係る特定点が第2範囲に存在する場合における絶対座標特定処理の一例について説明するための図である。
図7】第1の実施形態に係る座標特定方法について説明するフローチャートである。
図8】第2の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。
【発明を実施するための形態】
【0015】
以下、本発明の態様に係る座標特定装置及び座標特定方法について、好適な実施の形態を掲げ、添付の図面を参照しながら詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。
【0016】
[第1の実施形態]
まず、図1から図6を参照しながら、第1の実施形態について説明する。
【0017】
図1は、第1の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。同図を参照しながら、座標特定システム1の機能構成の一例について説明する。座標特定システム1は、座標特定装置10と、撮像装置20とを備える。座標特定システム1は、座標特定装置10と撮像装置20とを備えることにより、物体の位置座標を特定する。座標特定システム1により特定される位置座標は、絶対座標である。以下の説明において、絶対座標とは、撮像装置20内における相対座標とは異なる座標であることを示す。絶対座標の特定に用いられる座標系は、例えば座標特定システム1が用いられる場所における座標系であってもよいし、地球上における1点を特定可能な地理座標系、投影座標系、又は鉛直座標系であってもよい。座標特定システム1が用いられる場所としては、工場の施設内部又は敷地内、又は公園や駅等における所定の敷地内等を例示することができる。
【0018】
なお、図示する一例において、座標特定装置10と、撮像装置20とは、1対1で対応する。しかしながら、座標特定装置10と撮像装置20とは、1対Nで対応するよう構成されていてもよい。すなわち、座標特定装置10は、複数の撮像装置20によりそれぞれ撮像された画像に映り込んだそれぞれの物体の位置座標を特定してもよい。座標特定装置10と撮像装置20とが1対Nで対応する場合、座標特定装置10は、所定の通信ネットワーク(例えば、イーサネット)を介して、複数の撮像装置20それぞれと接続されてもよい。
【0019】
なお、座標特定装置10と撮像装置20とが1対1で対応する場合、座標特定装置10は、撮像装置20の近傍に備えられることが好適である。また、座標特定装置10と撮像装置20とが1対Nで対応する場合、座標特定装置10は、サーバ装置として存在していてもよいし、クラウド上に構成されていてもよい。
【0020】
撮像装置20は、画像IMを撮像する。撮像した画像IMを含む情報を座標特定装置10に提供する。撮像装置20から座標特定装置10に提供される情報には、画像IMが撮像された時刻を特定する情報、撮像条件や撮像環境等に関する情報等が含まれていてもよい。また、撮像装置20は、動画像を撮像してもよい。撮像装置20が動画像を撮像する場合、撮像装置20は、撮像した動画像データを構成するフレーム画像を、画像IMとして座標特定装置10に提供してもよい。
【0021】
撮像装置20は、具体的には単願カメラである。撮像装置20は、例えば固定位置に設置された監視カメラであってもよい。本実施形態において、撮像装置20の撮像角度及び画角は、固定されていることが好適である。
【0022】
なお、撮像装置20が設置される角度(撮像装置20の撮像角度)については、撮像した画像の左右方向(ロール方向)が水平となるように設置されていることが好適である。この場合、上下方向(ピッチ方向)については、撮像対象(又は撮像範囲)に応じて適宜定められればよい。撮像した画像の左右方向が水平となるよう設置されることにより、後述する座標変換を容易にすることができる。なお、本実施形態においては、撮像装置20により撮像された画像の左右方向が水平に設置される場合の一例に限定されるものではなく、傾いて設置されていてもよい。左右方向が傾いて設置される場合、所定の演算により左右水平となるような補正を行うことにより、後述する座標変換を適用することが可能である。当該補正処理には、公知技術が用いられてもよい。
【0023】
座標特定装置10は、撮像装置20から画像IMを取得する。座標特定装置10は、取得した画像IMに基づき、当該画像MI内に写された物体が存在する座標を特定する。なお、座標特定装置10による座標特定の対象となる物体とは、撮像装置20により撮像可能な画角内を移動する移動体であってもよい。具体的には、座標特定装置10による座標特定の対象となる物体とは、座標特定システム1の監視対象となる範囲に入り込んだ人物や、動物、車両等であってもよい。
【0024】
座標特定装置10は、取得部11と、物体検出部12と、特定点検出部13と、対応表記憶部14と、絶対座標特定部15と、出力部16とを備える。座標特定装置10は、バスで接続された不図示のCPU(Central Processing Unit)、ROM(Read only memory)又はRAM(Random access memory)等の記憶装置等を備え、座標特定プログラムを実行することにより、座標特定装置10は、取得部11と、物体検出部12と、特定点検出部13と、対応表記憶部14と、絶対座標特定部15と、出力部16とを備える装置として機能する。
【0025】
なお、座標特定装置10の各機能の全てまたは一部は、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)又はFPGA(Field-Programmable Gate Array)等のハードウェアを用いて実現されてもよい。座標特定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。座標特定プログラムは、電気通信回線を介して送信されてもよい。
【0026】
取得部11は、撮像装置20から画像IMを取得する。取得部11は、取得した画像IMを物体検出部12に提供する。なお、取得部11は、撮像装置20から動画像データを取得した場合、動画像データに含まれるフレーム画像を、画像IMとして物体検出部12に提供する。
【0027】
物体検出部12は、取得部11から画像IMを取得する。物体検出部12は、取得された画像IMに含まれる物体の位置を検出する。物体検出部12は、例えば公知の動体検出技術を用いることにより検出された動体を、物体として検出してもよい。公知の動体検出技術の一例としては、例えば物体が存在していない状態における画像(以下、背景画像と記載する)との比較により差分を検出し、差分が検出された場合に動体が存在するとして検出するものであってもよい。背景画像は予め記憶されていてもよいし、検出対象の画像より前に取得された画像IMを背景画像として用いてもよい。また、物体検出部12は、公知の機械学習アルゴリズム等により物体検出を行ってもよい。
【0028】
図2は、第1の実施形態に係る座標特定の対象となる画像の一例と、物体検出の一例を示す図である。同図を参照しながら、画像IMの一例と、物体検出部12により行われる物体検出の一例について説明する。図示する一例において、撮像装置20は、施設の敷地内に設置された監視カメラである。撮像装置20により撮像された画像IMには、建物や、道が撮像されている。また、図示する一例において、画像IMには人物Pが写されている。物体検出部12は、画像IMに写された人物Pを、物体として検出する。
【0029】
物体検出部12は、具体的には、検出した物体を囲うバウンディングボックスBBを検出する。バウンディングボックスBBは、物体を囲う矩形であってもよい。図1に戻り、物体検出部12は、検出されたバウンディングボックスBBに関する情報を、特定点検出部13に出力する。バウンディングボックスBBに関する情報には、バウンディングボックスBBを構成する矩形が存在する位置座標、バウンディングボックスBBの大きさを特定する情報、及びバウンディングボックスBB内の画素情報等が含まれていてもよい。
【0030】
特定点検出部13は、物体検出部12からバウンディングボックスBBに関する情報を取得する。特定点検出部13は、物体検出部12により検出された物体の位置情報に基づき、特定点SPの位置を検出する。特定点検出部13により検出される特定点SPとは、画像IMの中において(すなわち、相対座標系において)物体が存在する位置を示す点である。
【0031】
図3は、第1の実施形態に係る特定点の一例について説明するための図である。同図を参照しながら、特定点SPの位置の一例について説明する。同図には、図2に示した画像IMから検出されたバウンディングボックスBBが示されている。図示するように、バウンディングボックスBBは、辺L1乃至辺L4を有する矩形の形状を有している。特定点SPとは、バウンディングボックスBBにより位置が特定された物体が存在する絶対座標を特定するために用いられる点である。座標特定の対象となる物体が人物Pである場合、人物が存在する位置、すなわち人物が地面に接する点とは、バウンディングボックスBBを構成する底辺(辺L4)の近傍であるということができる。本実施形態では、バウンディングボックスBBを構成する底辺(辺L4)の中点を特定点SPとする。なお、特定点SPの検出方法は、この一例に限定されず、バウンディングボックスBB内のいずれかの点を特定点SPとしてもよい。図1に戻り、特定点検出部13は、特定点SPの位置座標に関する情報を絶対座標特定部15に出力する。
【0032】
対応表記憶部14は、撮像装置20に応じた対応表CTを記憶する。対応表CTとは、画像IMが有する各ピクセルの座標(すなわち相対座標)と絶対座標とが対応付けられた表である。ここで、画像IMの解像度がFHD(1920×1080)である場合、画像IMは約200万ピクセルを有する。対応表CTは、この場合、約200万ピクセルそれぞれに対応する絶対座標を記憶する。なお、対応表CTは、必ずしも表形式により記憶されている場合の一例に限定されず、各ピクセルの座標から絶対座標を導くことが可能な数式等の態様により記憶されていてもよい。
【0033】
対応表CTは、撮像装置20が設置された後、撮像装置20の撮像角度等に応じて作成される。対応表CTは、公知技術を用いて作成されてもよい。ここで、公知技術によれば、平面(地面)上の4点の座標について、画像IMのピクセル(すなわち相対座標)と、絶対座標とを対応付けすることができれば、画像IMが有する全てのピクセルについて絶対座標を対応付けすることが可能となる。当該対応付け処理は、撮像装置20が設置された後、公知技術によるオープンソースのライブラリ当等を用いて行われてもよい。対応付け処理に必要とされる4点は、なるべく密集せず、4点を含んで構成される面が広い範囲となるような点であることが好適である。また、対応付け処理に必要とされる4点は、互いに同じ直線上にない点であることが好適である。
【0034】
絶対座標特定部15は、特定点検出部13から特定点SPの位置座標に関する情報を取得し、対応表記憶部14から対応表CTを取得する。絶対座標特定部15は、取得した対応表CTに基づき、特定点SPの絶対座標ACを特定する。絶対座標特定部15は、具体的には、対応表CTを参照し、画像IMにおける特定点SPに対応する絶対座標ACを特定する。絶対座標特定部15は、特定した絶対対座標ACを出力部16に出力する。
【0035】
出力部16は、絶対座標特定部15により特定された絶対座標ACを取得する。出力部16は、取得した絶対座標ACを、例えば不図示の情報処理装置等に出力する。出力部16は、絶対座標ACと対応付けて、物体の画像情報(例えばバウンディングボックスBB内の画像情報)を出力してもよい。情報処理装置は、連続するフレームそれぞれについての絶対座標ACを取得し、絶対座標ACから、物体の軌跡を検出してもよい。また、情報処理装置は、検出された軌跡と、物体の画像情報から、異常検知や、侵入者(不審者)検知等を行ってもよい。
【0036】
図4は、第1の実施形態に係る絶対座標特定部の機能構成の一例を示す機能構成図である。図4を参照しながら、より詳細な絶対座標特定部15の機能について説明する。ここで、物体検出部12の精度は必ずしも高くなく、物体が存在する位置や大きさを誤検出する場合がある。誤検出の内容としては、実際には物体が存在していない場所であるのに物体が存在するとして検出してしまう場合や、物体が存在可能な位置ではあるが、実際の物体の大きさよりも小さい(例えば人物の上半身のみを囲うような)バウンディングボックスBBが検出されてしまう場合を例示することができる。同図を参照しながら行う説明では、絶対座標特定部15は、物体検出部12がバウンディングボックスBBの位置を誤検出してしまったような場合についても対応可能な構成を有している。絶対座標特定部15は、範囲情報記憶部151と、範囲検出部152と、座標特定部153とを備える。
【0037】
範囲情報記憶部151は、範囲情報AIを記憶する。範囲情報AIとは、画像が有する各ピクセルのうち、少なくとも2以上の範囲を特定する情報である。2以上の範囲の一例としては、例えば、第1範囲AR1として地面部分、第2範囲AR2として建造物の壁部分、第3範囲AR3として空部分を特定する情報である。
【0038】
図5は、第1の実施形態に係る画像の範囲の一例について説明するための図である。同図を参照しながら、範囲情報AIにより特定される範囲について説明する。同図は、図2に示した画像IMに対応する。図示する一例では、画像IMの全領域について、第1範囲AR1、第2範囲AR2又は第3範囲AR3のいずれかに区分されている。すなわち、範囲情報AIに基づけば、画像IMの座標情報に応じて、第1範囲AR1、第2範囲AR2又は第3範囲AR3のいずれかに区分することができる。図4に戻り、範囲情報記憶部151は、記憶した範囲情報AIを範囲検出部152に出力する。
【0039】
範囲検出部152は、範囲情報記憶部151から範囲情報AIを取得し、特定点検出部13から特定点SPに関する情報を取得する。範囲検出部152は、取得した範囲情報AIに基づき、特定点SPが存在する範囲を検出する。例えば範囲情報AIにより、画像IMが第1範囲AR1乃至第3範囲AR3の3つの範囲に区分されている場合、特定点SPが存在する範囲は、第1範囲AR1乃至第3範囲AR3のいずれかとなる。特定点SPが存在する範囲を特定する情報を、特定範囲情報SAIと記載する。範囲検出部152は、特定された特定範囲情報SAIを座標特定部153に出力する。
【0040】
座標特定部153は、範囲検出部152から特定範囲情報SAIを取得し、対応表記憶部14から対応表CTを取得する。座標特定部153は、範囲検出部152により検出された範囲に応じて異なる方法により絶対座標を特定する。以下、例えば、第1範囲AR1として地面部分、第2範囲AR2として建造物の壁部分、第3範囲AR3として空部分である場合において、特定点SPが存在する範囲が第1範囲AR1乃至第3範囲AR3のいずれかであると判定された場合それぞれの処理について説明する。
【0041】
なお、以下の説明においては、特定点SPが存在する範囲に応じた方法により、相対座標から絶対座標に変換する場合の一例について説明する。すなわち、座標特定装置10は、特定点SPが存在する範囲に応じて異なる処理を行うことにより、絶対座標を特定する。しかしながら本実施形態はこの一例に限定されず、例えば相対座標から絶対座標への変換を行った後、特定点SPが存在する範囲に応じた処理を行ってもよい。すなわち、画像IMの全てについて絶対座標に変換し、座標変換を行った後に、特定点SPが存在する範囲に応じて異なる処理を行ってもよい。
【0042】
第1の例として、範囲検出部152により特定点SPが存在する範囲が第1範囲AR1、すなわち地面部分であるとして特定された場合、座標特定部153は、画像IMにおける第1範囲AR1と絶対座標と互いにが対応付けされた対応表CTを取得する。範囲検出部152は、取得した対応表CTに基づき絶対座標を特定する。具体的には、座標特定部153は、範囲検出部152により検出された範囲が第1範囲AR1である場合、対応表CTにおいて特定点に対応する座標を絶対座標として特定する。
【0043】
第2の例として、範囲検出部152により特定点SPが存在する範囲が第2範囲AR2、すなわち建造物の壁部分であるとして特定された場合、特定点SPの位置を地面部分である第1範囲AR1に変換し、変換された座標に基づいて、絶対座標を特定する。変換された座標と、絶対座標との対応関係は、第1範囲AR1と絶対座標と互いにが対応付けされた対応表CTを参照する。ここで、図を参照しながら建造物の壁部分である第2範囲AR2から地面部分である第1範囲AR1への座標変換の一例について説明する。
【0044】
図6は、第1の実施形態に係る特定点が第2範囲に存在する場合における絶対座標特定処理の一例について説明するための図である。同図は、図5に示した第1範囲AR1乃至第3範囲AR3の区分に対応する。図示する一例では、バウンディングボックスBB-1に基づき特定点SP-1が特定されている。また、特定された特定点SP-1の位置は、第2範囲AR2の範囲内である。この場合、例えば物体としての人物が壁際に存在しており、上半身部分だけを囲うバウンディングボックスBBが検出されてしまった可能性がある。換言すれば、バウンディングボックスBBの上側部分だけが誤って検出されており(バウンディングボックスBBの下側が正確に検出されておらず)、実際にはバウンディングボックスBBは、もう少し下方に伸びた形状である可能性がある。したがって、特定点SP-1は、実際に物体が存在する位置より上方に誤検出されてしまっている可能性がある。この場合、座標特定部153は、特定点SP-1の下方側の点であって、第1範囲AR1の範囲内の点を特定点SP-2として新たに特定し、新たに特定された特定点SP-2に基づき絶対座標への変換を行う。すなわち、座標特定部153は、検出された範囲が第2範囲である場合、特定点SP-1に対応する特定点SP-2であって、第1範囲AR1における特定点SP-2に対応する座標を対応表CTから導出し、導出した座標を絶対座標として特定する。
【0045】
より具体的には、座標特定部153は、検出された範囲が第2範囲AR2である場合、特定点SP-1から垂直線上に下方向をピクセルごとに、第1範囲AR1又は第2範囲AR2のいずれであるか探索していく。座標特定部153は、探索するピクセルが含まれる範囲が第1範囲AR1となった点の座標を絶対座標として特定する。なお、特定点SP-2の特定方法はこの一例に限定されず、建造物の形状等に応じて、好適な方法により行われてもよい。
【0046】
第3の例として、範囲検出部152により特定点SPが存在する範囲が第3範囲AR3、すなわち空部分であるとして特定された場合、座標特定部153は、絶対座標の特定を行わない。ここで、空部分に物体が置かれることはできない。したがって、座標特定部153は、特定点SPが存在する範囲が第3範囲AR3として特定された場合は、物体検出処理において誤検出された可能性が高い。よって、この場合、座標特定部153は、絶対座標の特定を行わない。なお、詳細には説明しないが、空中に浮遊する物体(例えばドローン等)の座標を対応表CTに基づき絶対座標に変換することも可能である。
【0047】
また、撮像装置20の設置場所によっては、画像IMに異なる複数の斜面が写されている場合がある。異なる複数の斜面が写されている場合の一例としては、撮像角度に対して平行な地面と、当該地面と接続されたスロープ(又は坂道)とが存在しているような場合を例示することができる。この場合、範囲情報記憶部151は、地面の角度が互いに異なる面を互いに異なる範囲とする範囲情報AIを記憶していてもよい。更に対応表記憶部14は、当該範囲ごとに異なる対応表CTを記憶していてもよい。この場合、座標特定部153は、範囲検出部152により検出された範囲に応じた対応表CTを取得する。座標特定部153は、範囲検出部152により検出された範囲に応じて異なる対応表CTに基づき、特定点SPの絶対座標を特定する。
【0048】
図7は、第1の実施形態に係る座標特定方法について説明するフローチャートである。同図を参照しながら、上述した座標特定装置10の一連の動作の一例について説明する。
【0049】
(ステップS11)取得部11は、撮像装置20から画像IMを取得する。当該工程を、取得工程、又は取得ステップと記載する場合がある。
【0050】
なお、座標特定装置10が複数の撮像装置20について絶対座標の特定を行う場合、取得部11は、画像IMと併せて、撮像装置20を識別する撮像装置識別番号を取得してもよい。
【0051】
(ステップS12)物体検出部12は、取得された画像IMについて、画像IMに含まれる物体の位置を検出する物体検出処理を行う。物体検出処理の一例としては、公知の動体検出技術が用いられてもよい。当該工程を、物体検出工程、又は物体検出ステップと記載する場合がある。
【0052】
(ステップS13)物体検出部12により物体が検出された場合(すなわち、ステップS13;YES)、処理がステップS14に進められる。また、物体検出部12により物体が検出されなかった場合(すなわち、ステップS13;NO)、処理がステップS11に戻される。
【0053】
(ステップS14)物体が検出された場合、特定点検出部13は、特定点SPの検出を行う。特定点SPとは、検出された物体の位置に基づき、画像IMの中において物体が存在する位置を示す点である。特定点検出部13は、例えば物体を囲うバウンディングボックスBBを構成する底辺の中点を特定点SPとして検出する。当該工程を、特定点検出工程、又は特定点検出ステップと記載する場合がある。
【0054】
(ステップS15)絶対座標特定部15は、特定された特定点SPの画像IMにおける座標と、対応表CTに基づき、絶対座標を特定する。対応表CTとは、画像IMが有する各ピクセルの座標と絶対座標とが対応付けられたものであるため、画像IMにおける座標から絶対座標を導出することが可能である。当該工程を、絶対座標特定工程、又は絶対座標特定ステップと記載する場合がある。
【0055】
(ステップS16)出力部16は、絶対座標特定部15により特定された絶対座標を出力する。当該工程を、出力工程、又は出力ステップと記載する場合がある。
【0056】
[第1の実施形態のまとめ]
以上説明したように、本実施形態に係る座標特定装置10は、取得部11を備えることにより画像IMを取得し、物体検出部12を備えることにより取得された画像IMに含まれる物体の位置を検出し、特定点検出部13を備えることにより検出された物体の位置に基づき画像IMの中において物体が存在する位置を示す特定点SPを検出し、絶対座標特定部15を備えることにより画像IMが有する各ピクセルの座標と絶対座標とが対応付けられた対応表CTに基づき特定点SPの絶対座標を特定し、出力部16を備えることにより特定された絶対座標を出力する。本実施形態によれば、撮像装置20により撮像された画像IMの座標(すなわち相対座標)と絶対座標とを対応付けた対応表CTを予め用意しておくことにより、物体が存在する位置の絶対座標を特定する。本実施形態によれば、座標変換をするだけで絶対座標を特定することができるため、透視図法等を用いた空間位置の座標計算を行うことを要しないため計算負荷を軽減することができる。したがって、本実施形態によれば、高速処理を行うことができる。また、座標特定装置10は、単眼カメラにより取得された画像IMを用いて絶対座標を特定するため、距離センサや、複数の単眼カメラを用いることを要しない。したがって、本実施形態によれば、撮像装置20に映り込んだ物体の位置座標を低コストで求めることができる。
【0057】
また、上述した座標特定装置10によれば、範囲検出部152を備えることにより、画像が有する各ピクセルのうち、少なくとも2以上の範囲を特定する情報である範囲情報AIに基づき、特定点SPの存在する範囲を検出する。また、座標特定装置10は、座標特定部153を備えることにより、検出された範囲に応じて異なる対応表CTに基づき、特定点SPの絶対座標を特定する。2以上の範囲は、例えば地面の傾斜に基づいて定められてもよい。すなわち、本実施形態によれば、地面の傾斜が互いに異なる複数の面が画像IM内に存在する場合であっても、対応表CTを参照することにより絶対座標を特定することができる。したがって、本実施形態によれば、地面の傾斜が互いに異なる複数の面が画像IM内に存在する場合であっても、撮像装置20映り込んだ物体の位置座標を低コストで求めることができる。
【0058】
また、上述した座標特定装置10によれば、範囲検出部152を備えることにより、取得された画像が有する各ピクセルのうち、少なくとも第1範囲AR1及び第2範囲AR2を特定する情報である範囲情報AIに基づき、特定点SPの存在する範囲を検出する。第1範囲AR1とは地面部分を示す範囲であり、第2範囲AR2とは建造物の壁部分を示す範囲であってもよい。また、座標特定装置10は、座標特定部153を備えることにより、検出された範囲が第1範囲AR1である場合は対応表CTにおいて特定点SPに対応する座標を絶対座標として特定し、検出された範囲が第2範囲AR2である場合は特定点SPに対応する点であって第1範囲AR1における点に対応する座標を絶対座標として特定する。すなわち、座標特定装置10によれば、特定点検出部13により第2範囲AR2に特定点SPが存在すると検出された場合は、特定点SPの座標を第1範囲AR1における位置に変更し、変更した新たな特定点SPの座標に基づいて絶対座標を特定する。すなわち、本実施形態によれば、物体検出部12によりバウンディングボックスBBの位置又は大きさが誤検出され、特定点SPが壁等の物体が置かれることができない位置に存在すると検出された場合であっても、物体が存在すると推測される正しい位置の絶対座標を特定することができる。
【0059】
また、上述した座標特定装置10によれば、座標特定部153は、検出された範囲が第2範囲AR2である場合、特定点SPから垂直線上に下方向をピクセルごとに探索していき、探索するピクセルが含まれる範囲が第1範囲AR1となった点の座標を絶対座標として特定する。したがって、本実施形態によれば、容易に、物体が存在すると推測される正しい位置の絶対座標を特定することができる。
【0060】
また、上述した座標特定装置10によれば、範囲検出部152は、取得された画像IMが有する各ピクセルのうち、範囲情報AIに基づき、第3範囲AR3を検出する。第3範囲AR3とは、空部分を示す範囲であってもよい。座標特定部153は、検出された範囲が第3範囲AR3である場合は絶対座標の特定を行わない。ここで、本実施形態の一例としては、平面上に置かれた物体の位置座標を、対応表CTを参照することにより絶対座標に変換するものである。したがって、空中部分に存在すると検出された物体について、対応表CTを参照して絶対座標に変換すると、誤検出してしまうおそれがある。本実施形態によれば、空中部分に存在すると検出された物体については絶対座標に変換しない(又は変換したとしても出力しない)ことにより、誤検出された結果が出力されることを抑止することができる。
【0061】
[第2の実施形態]
次に、図7を参照しながら、第2の実施形態について説明する。第2の実施形態においては、動画像データに映り込んだ物体の位置検出を行うことを前提とする。具体的には、第2の実施形態においては、動画像データに含まれる各フレーム画像を、画像IMとして扱う。すなわち第2の実施形態において取得部11は、動画像データを構成する複数のフレームそれぞれを画像IMとして取得する。また、第2の実施形態においては、画像IMに映り込んだ物体は、画像IM内を移動することを前提とする。
【0062】
図8は、第2の実施形態に係る座標特定システムの機能構成の一例を示す機能構成図である。同図を参照しながら、座標特定システム1Aの機能構成の一例について説明する。座標特定システム1Aは、座標特定装置10に代えて座標特定装置10Aを備える点において座標特定システム1とは異なる。座標特定装置10Aは、軌跡検出部17と、平滑化部18とを更に備える点において座標特定装置10とは異なる。座標特定システム1Aの説明において、座標特定システム1と同様の構成については、同様の符号を付すことにより説明を省略する場合がある。
【0063】
本実施形態において、物体検出部12により検出されるバウンディングボックスBBを、バウンディングボックスBB1と記載する。軌跡検出部17は、物体検出部12からバウンディングボックスBB1に関する情報を取得する。軌跡検出部17は、動画像データを構成する複数のフレームそれぞれにおいて物体検出が行われた結果(すなわち各フレームにおけるバウンディングボックスBB1)に基づいて、物体の軌跡を検出する。軌跡検出部17により行われる軌跡の検出処理は、公知のトラッキング技術等が用いられてもよい。軌跡検出部17により検出された軌跡についての情報は、軌跡情報TIとして平滑化部18に出力される。
【0064】
ここで、物体検出部12により検出されるバウンディングボックスBB1は、各フレーム画像IMに基づき検出されている。換言すれば、バウンディングボックスBB1の検出に前後のフレーム画像IMの情報は用いられていない。ここで、移動体が存在する位置は、連続するフレーム画像IMの中で、スムーズに移動するはずである。本実施形態においては、バウンディングボックスBBの位置を、連続するフレーム画像IMを考慮して平滑化処理を行う。
【0065】
平滑化部18は、軌跡検出部17から軌跡情報TIを取得する。平滑化部18は、軌跡検出部17により検出された軌跡を平滑化処理(スムージング処理)することにより、各フレームにおける物体が存在する位置を推定する。平滑化部18により行われる平滑化処理には、公知の技術が用いられてもよい。平滑化部18は、平滑化処理を行った結果として、新たなバウンディングボックスBBの位置を特定する。平滑化部18により新たに特定されたバウンディングボックスBBを、バウンディングボックスBB2と記載する。平滑化部18は、バウンディングボックスBB2に関する情報を特定点検出部13に出力する。特定点検出部13は、取得したバウンディングボックスBB2に基づき特定点SPを検出する。
【0066】
絶対座標特定部15は、平滑化部18により平滑化処理が行われたことにより推定された物体の位置(すなわちバウンディングボックスBB2)に基づいて特定された特定点SPに基づいて絶対座標を特定する。
【0067】
[第2の実施形態のまとめ]
以上説明したように、座標特定装置10Aにおいて、取得部11は、動画像データを構成する複数のフレームそれぞれを画像IMとして取得する。また、座標特定装置10Aは、軌跡検出部17を更に備えることにより、複数のフレームそれぞれにおいて物体検出が行われた結果に基づいて、物体の軌跡を検出する。また、座標特定装置10Aは、平滑化部18を更に備えることにより、軌跡検出部17により検出された軌跡を平滑化処理し、各フレームにおける物体が存在する位置を推定する。座標特定装置10Aにおいて、絶対座標特定部15は、平滑化部18により平滑化処理が行われたことにより推定された物体の位置に基づいて特定された特定点SPに基づいて絶対座標を特定する。すなわち、本実施形態によれば、特定点SPの検出を行う前に、前後のフレーム画像(又は動画像データを構成する複数のフレーム画像)に基づいて、バウンディングボックスBBの位置が修正される。したがって、あるフレーム画像だけバウンディングボックスBBの位置が誤検出されているような場合であっても、その他のフレーム画像に基づいて修正することができる。したがって、本実施形態によれば、物体の存在位置が誤検出された場合であっても、精度よく絶対座標を特定することができる。
【0068】
なお、上述した実施形態における座標特定装置10及び座標特定装置10Aが備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0069】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0070】
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
【符号の説明】
【0071】
1…座標特定システム、10…座標特定装置、11…取得部、12…物体検出部、13…特定点検出部、14…対応表記憶部、15…絶対座標特定部、16…出力部、17…軌跡検出部、18…平滑化部、20…撮像装置、151…範囲情報記憶部、152…範囲検出部、153…座標特定部、AR1…第1範囲、AR2…第2範囲、AR3…第3範囲、IM…画像、BB…バウンディングボックス、SP…特定点、CT…対応表、AC…絶対座標、AI…範囲情報、SAI…特定範囲情報、TI…軌跡情報
図1
図2
図3
図4
図5
図6
図7
図8