特許第5783304号(P5783304)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧

特許5783304情報処理装置、情報処理方法およびプログラム
<>
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000012
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000013
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000014
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000015
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000016
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000017
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000018
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000019
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000020
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000021
  • 特許5783304-情報処理装置、情報処理方法およびプログラム 図000022
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】5783304
(24)【登録日】2015年7月31日
(45)【発行日】2015年9月24日
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
   G08G 1/01 20060101AFI20150907BHJP
   G08G 1/04 20060101ALI20150907BHJP
   H04N 7/18 20060101ALI20150907BHJP
【FI】
   G08G1/01 C
   G08G1/04 D
   H04N7/18 C
【請求項の数】13
【全頁数】22
(21)【出願番号】特願2014-141203(P2014-141203)
(22)【出願日】2014年7月9日
【審査請求日】2015年2月17日
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(72)【発明者】
【氏名】渡辺 孝光
(72)【発明者】
【氏名】今中 規景
【審査官】 近藤 利充
(56)【参考文献】
【文献】 米国特許出願公開第2010/0322476(US,A1)
【文献】 特開2014−56536(JP,A)
【文献】 特開2012−198680(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 − 99/00
H04N 7/18
G06T 1/00 、 7/60
(57)【特許請求の範囲】
【請求項1】
撮像装置によって撮像された撮像画像を取得する画像取得部と、
あらかじめ登録された複数の登録データから、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを取得する登録データ取得部と、
前記撮像装置によって撮像された撮像画像から交通量を計測するために必要な所定のキャリブレーションデータを、前記登録データに基づいて選択するデータ選択部と、
を備え、
前記撮像装置は、所定の選択操作が入力されると、当該選択操作によって選択される方向に自動的に撮像方向を合わせ、
前記登録データ取得部は、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを、前記撮像方向に対応する複数の登録データから取得する、
情報処理装置。
【請求項2】
前記データ選択部は、あらかじめ前記登録データに対応付けられたキャリブレーションデータを選択する、
請求項1に記載の情報処理装置。
【請求項3】
前記撮像装置は、前記所定の選択操作によって、前記撮像方向として複数の方向の何れかを選択可能であり、
前記情報処理装置は、前記複数の方向それぞれについて複数の登録データを記憶する記憶部を備える、
請求項1に記載の情報処理装置。
【請求項4】
前記登録データ取得部は、前記複数の登録データそれぞれと前記撮像画像または前記撮像画像から得られる特徴量との類似度を算出し、算出した類似度が閾値を超える登録データと前記撮像画像または前記撮像画像から得られる特徴量とが類似していると判断する、
請求項1に記載の情報処理装置。
【請求項5】
前記情報処理装置は、前記撮像装置によって撮像された撮像画像から前記キャリブレーションデータを用いて交通量を計測する計測部を備える、
請求項1に記載の情報処理装置。
【請求項6】
前記計測部は、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データが取得された場合には、前記交通量の計測を自動的に継続または開始する、
請求項5に記載の情報処理装置。
【請求項7】
前記計測部は、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データが取得されなかった場合には、前記交通量の計測を停止する、
請求項5に記載の情報処理装置。
【請求項8】
前記複数の登録データそれぞれは、画像および当該画像から得られる特徴量の少なくとも何れか一方を含む、
請求項1に記載の情報処理装置。
【請求項9】
前記キャリブレーションデータは、前記撮像装置によって撮像された撮像画像に映る道路の平面式および前記撮像装置の焦点距離のうち少なくとも何れか一方を含む、
請求項1に記載の情報処理装置。
【請求項10】
前記情報処理装置は、前記複数の登録データと前記複数の登録データそれぞれに対応するキャリブレーションデータとを記憶部に登録する登録処理部を備える、
請求項1に記載の情報処理装置。
【請求項11】
前記登録処理部は、所定の基準データおよび前記基準データに対応するキャリブレーションデータに基づいて、前記複数の登録データと前記複数の登録データそれぞれに対応するキャリブレーションデータとを生成する、
請求項10に記載の情報処理装置。
【請求項12】
撮像装置によって撮像された撮像画像を取得するステップと、
あらかじめ登録された複数の登録データから、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを取得するステップと、
前記撮像装置によって撮像された撮像画像から交通量を計測するために必要な所定のキャリブレーションデータを、前記登録データに基づいて選択するステップと、
を含み、
前記撮像装置は、所定の選択操作が入力されると、当該選択操作によって選択される方向に自動的に撮像方向を合わせ、
前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを、前記撮像方向に対応する複数の登録データから取得するステップを含む、
情報処理方法。
【請求項13】
コンピュータを、
撮像装置によって撮像された撮像画像を取得する画像取得部と、
あらかじめ登録された複数の登録データから、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを取得する登録データ取得部と、
前記撮像装置によって撮像された撮像画像から交通量を計測するために必要な所定のキャリブレーションデータを、前記登録データに基づいて選択するデータ選択部と、
を備え、
前記撮像装置は、所定の選択操作が入力されると、当該選択操作によって選択される方向に自動的に撮像方向を合わせ、
前記データ選択部は、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを、前記撮像方向に対応する複数の登録データから取得する、
情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関するものである。
【背景技術】
【0002】
近年、撮像画像から走行車両の量(以下、「交通量」とも言う。)を計測する技術が開発されている。交通量を計測するに当たっては、撮像装置のキャリブレーションデータを生成する必要がある。ここで、キャリブレーションデータを生成する技術には様々な技術が知られている。例えば、撮像画像に映る車両の特定部位の軌跡と車両のフロントガラスの勾配とに基づいてキャリブレーションデータを生成する技術が開示されている(例えば、非特許文献1参照)。
【0003】
一方、近年では、撮像装置として、パン・チルト・ズーム機能(以下、単に「PTZ機能」とも言う。)を有する撮像装置が利用される機会が増えてきている。PTZ機能を有する撮像装置には、あらかじめ1または複数の方向を設定しておくことが可能であり(以下、「プリセット」とも言う。)、ユーザによる選択操作がなされると、PTZ機能を有する撮像装置は、ユーザによる選択操作によって選択される方向に自動的に撮像方向を合わせることが可能である。そして、自動的に合わせられた撮像方向に従って撮像された撮像画像から交通量が計測される。
【0004】
このようなPTZ機能を有する撮像装置が交通量の計測に用いられる場合、それぞれのプリセットされた方向に対応するキャリブレーションデータを生成して登録しておく動作(以下、「キャリブレーション」とも言う。)があらかじめ行われているとよい。かかるキャリブレーションが行われていれば、交通量の計測時点において自動的に合わせられた撮像方向に対応するキャリブレーションデータを取得すればよいため、キャリブレーションデータを生成する時間を低減することが可能である。
【先行技術文献】
【特許文献】
【0005】
【非特許文献1】Neeraj K. Kanhere, Stanley T. Birchfield, Wayne A. Sarasua“Automatic Camera Calibration Using Pattern Detection for Vision-Based SpeedSensing” Transportation Research Board Annual Meeting, Washington, D.C.,January 2008
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、撮像装置のPTZ機能を制御する駆動機構の機械的な精度等により、プリセットされた撮像方向に撮像装置が向けられたとしても、キャリブレーションが行われた時点と交通量の計測時点とにおいて、撮像装置の設置位置は完全に一致しているとは限らない。したがって、自動的に合わせられた撮像方向に対応するキャリブレーションデータが事前に取得されたとしても、取得されたキャリブレーションデータの精度は十分ではない可能性がある。また、自動的に合わせられた撮像方向に従って撮像された撮像画像からキャリブレーションデータを生成し直せば、キャリブレーションデータを生成する時間を要してしまう。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、自動的に合わせられた撮像方向に対応するキャリブレーションデータをより迅速に補正することが可能な技術を提供することにある。
【課題を解決するための手段】
【0008】
上記問題を解決するために、本発明のある観点によれば、撮像装置によって撮像された撮像画像を取得する画像取得部と、あらかじめ登録された複数の登録データから、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを取得する登録データ取得部と、前記撮像装置によって撮像された撮像画像から交通量を計測するために必要な所定のキャリブレーションデータを、前記登録データに基づいて選択するデータ選択部と、を備え、前記撮像装置は、所定の選択操作が入力されると、当該選択操作によって選択される方向に自動的に撮像方向を合わせ、前記登録データ取得部は、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを、前記撮像方向に対応する複数の登録データから取得する、情報処理装置が提供される。
【0009】
前記データ選択部は、あらかじめ前記登録データに対応付けられたキャリブレーションデータを選択してよい。
【0010】
前記撮像装置は、前記所定の選択操作によって、前記撮像方向として複数の方向の何れかを選択可能であり、前記情報処理装置は、前記複数の方向それぞれについて複数の登録データを記憶する記憶部を備えてよい。
【0011】
前記登録データ取得部は、前記複数の登録データそれぞれと前記撮像画像または前記撮像画像から得られる特徴量との類似度を算出し、算出した類似度が閾値を超える登録データと前記撮像画像または前記撮像画像から得られる特徴量とが類似していると判断してよい。
【0012】
前記情報処理装置は、前記撮像装置によって撮像された撮像画像から前記キャリブレーションデータを用いて交通量を計測する計測部を備えてよい。
【0013】
前記計測部は、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データが取得された場合には、前記交通量の計測を自動的に継続または開始してよい。
【0014】
前記計測部は、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データが取得されなかった場合には、前記交通量の計測を停止してよい。
【0015】
前記複数の登録データそれぞれは、画像および当該画像から得られる特徴量の少なくとも何れか一方を含んでよい。
【0016】
前記キャリブレーションデータは、前記撮像装置によって撮像された撮像画像に映る道路の平面式および前記撮像装置の焦点距離のうち少なくとも何れか一方を含んでよい。
【0017】
前記情報処理装置は、前記複数の登録データと前記複数の登録データそれぞれに対応するキャリブレーションデータとを記憶部に登録する登録処理部を備えてよい。
【0018】
前記登録処理部は、所定の基準データおよび前記基準データに対応するキャリブレーションデータに基づいて、前記複数の登録データと前記複数の登録データそれぞれに対応するキャリブレーションデータとを生成してよい。
【0019】
また、本発明のある観点によれば、撮像装置によって撮像された撮像画像を取得するステップと、あらかじめ登録された複数の登録データから、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを取得するステップと、前記撮像装置によって撮像された撮像画像から交通量を計測するために必要な所定のキャリブレーションデータを、前記登録データに基づいて選択するステップと、を含み、前記撮像装置は、所定の選択操作が入力されると、当該選択操作によって選択される方向に自動的に撮像方向を合わせ、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを、前記撮像方向に対応する複数の登録データから取得するステップを含む、情報処理方法が提供される。
【0020】
また、本発明のある観点によれば、コンピュータを、撮像装置によって撮像された撮像画像を取得する画像取得部と、あらかじめ登録された複数の登録データから、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを取得する登録データ取得部と、前記撮像装置によって撮像された撮像画像から交通量を計測するために必要な所定のキャリブレーションデータを、前記登録データに基づいて選択するデータ選択部と、を備え、前記撮像装置は、所定の選択操作が入力されると、当該選択操作によって選択される方向に自動的に撮像方向を合わせ、前記データ選択部は、前記撮像画像または前記撮像画像から得られる特徴量に一致または類似する登録データを、前記撮像方向に対応する複数の登録データから取得する、情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【0021】
以上説明したように本発明によれば、自動的に合わせられた撮像方向に対応するキャリブレーションデータをより迅速に補正することが可能である。
【図面の簡単な説明】
【0022】
図1】本発明の実施形態に係る交通量計測システムの構成例を示す図である。
図2】同実施形態に係る撮像装置の機能構成例を示す図である。
図3】同実施形態に係る情報処理装置の機能構成例を示す図である。
図4】同実施形態に係る撮像装置によって撮像される基準画像の例を示す図である。
図5】登録処理部により使用されるパラメータを示す図である。
図6】基準画像に対応する道路平面式の算出について説明するための図である。
図7】対応情報の登録例を示す図である。
図8】対応情報の登録動作の流れを示すフローチャートである。
図9】キャリブレーションデータの選択例を示す図である。
図10】キャリブレーションデータを用いて交通量を計測する手法の例を示した図である。
図11】交通量の計測動作の流れを示すフローチャートである。
【発明を実施するための形態】
【0023】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0024】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0025】
[構成の説明]
まず、本発明の実施形態の構成を説明する。図1は、本発明の実施形態に係る交通量計測システム1の構成例を示す図である。図1に示すように、本発明の実施形態に係る交通量計測システム1は、撮像装置10および情報処理装置20を備える。撮像装置10と情報処理装置20との間は、有線または無線によって接続されている。
【0026】
図1に示すように、撮像装置10は、道路平面を撮像可能に設置されており、撮像した画像を情報処理装置20に提供することが可能である。図1に示した例では、道路平面上を車両Mが走行している。情報処理装置20は、撮像装置10から提供された撮像画像から交通量を計測する。
【0027】
さらに、撮像装置10はPTZ機能を有している。すなわち、図1に示すように、パン(撮像方向の左右振り)機能、チルト(撮像方向の上下振り)機能およびズーム(撮像範囲の拡大縮小)機能を有している。撮像装置10には、あらかじめ1または複数の方向を設定しておくことが可能であり、ユーザによる選択操作がなされると、撮像装置10は、ユーザによる選択操作によって選択される方向に自動的に撮像方向を合わせることが可能である。
【0028】
撮像装置10が交通量の計測に用いられる場合には、プリセットがあらかじめ行われているのがよい。プリセットがあらかじめ行われていれば、情報処理装置20は、交通量の計測時点において自動的に合わせられた撮像方向に対応するキャリブレーションデータを取得すればよい。そのため、キャリブレーションデータを生成する時間を低減することが可能である。
【0029】
しかしながら、撮像装置10のPTZ機能を制御する駆動機構の機械的な精度等により、プリセットされた撮像方向に撮像装置10が向けられたとしても、キャリブレーションが行われた時点と交通量の計測時点とにおいて、撮像装置10の設置位置は完全に一致しているとは限らない。したがって、自動的に合わせられた撮像方向に対応するキャリブレーションデータが事前に取得されたとしても、取得されたキャリブレーションデータの精度は十分ではない可能性がある。また、交通量の計測時点において撮像装置10が何らかの理由(例えば、強風、振動、地震など)で揺れた場合にも、取得されたキャリブレーションデータの精度が低下してしまう可能性がある。
【0030】
また、自動的に合わせられた撮像方向に従って撮像された撮像画像からキャリブレーションデータを生成し直せば、キャリブレーションデータを生成する時間を要してしまう。特に、上記した非特許文献1に記載された技術を用いてキャリブレーションデータを生成する場合には、撮像画像に車両が映るまでキャリブレーションデータを生成することができないため、キャリブレーションデータを生成するために多くの時間を費やしてしまう。
【0031】
そこで、本明細書においては、自動的に合わせられた撮像方向に対応するキャリブレーションデータをより迅速に補正することが可能な技術を主に提案する。キャリブレーションデータが迅速に補正されれば、撮像装置10の揺れへの耐性も強くなる。なお、本明細書においては、キャリブレーションデータの例として、道路平面式および焦点距離を用いるが、キャリブレーションデータの種類は特に限定されない。例えば、キャリブレーションデータは、道路平面式および焦点距離のうち何れか一方を含んでいてもよい。以上、交通量計測システム1の構成例について説明した。
【0032】
続いて、撮像装置10の機能構成例を説明する。図2は、本発明の実施形態に係る撮像装置10の機能構成例を示す図である。図2に示すように、本発明の実施形態に係る撮像装置10は、制御部110、撮像部120、操作部130、記憶部140および出力部150を備える。
【0033】
制御部110は、撮像装置10の動作全体を制御する機能を有する。また、撮像部120は、実空間を撮像することにより撮像画像を取得する機能を有し、例えば、単眼カメラにより構成される。操作部130は、ユーザからの各種操作の入力を受け付ける機能を有する。
【0034】
記憶部140は、制御部110を動作させるためのプログラムやデータを記憶することができる。また、記憶部140は、制御部110の動作の過程で必要となる各種データを一時的に記憶することもできる。出力部150は、制御部110による制御に従って出力を行う機能を有する。出力部150の種類は特に限定されず、表示装置であってもよいし、音声出力装置であってもよいし、情報処理装置20への情報送信を行う通信装置であってもよい。
【0035】
なお、図2に示した例では、撮像部120、操作部130、記憶部140および出力部150は、撮像装置10の内部に存在するが、撮像部120、操作部130、記憶部140および出力部150の全部または一部は、撮像装置10の外部に備えられていてもよい。以上、本発明の実施形態に係る撮像装置10の機能構成例について説明した。
【0036】
続いて、本発明の実施形態に係る情報処理装置20の機能構成について説明する。図3は、本発明の実施形態に係る情報処理装置20の機能構成例を示す図である。図3に示すように、本発明の実施形態に係る情報処理装置20は、制御部210、記憶部280および出力部290を備える。
【0037】
制御部210は、情報処理装置20の動作全体を制御する機能を有する。記憶部280は、制御部210を動作させるためのプログラムやデータを記憶することができる。また、記憶部280は、制御部210の動作の過程で必要となる各種データを一時的に記憶することもできる。出力部290は、制御部210による制御に従って情報(交通量など)の出力を行う機能を有する。出力部290の種類は特に限定されず、表示装置であってもよいし、音声出力装置であってもよいし、撮像装置10への情報送信を行う通信装置であってもよい。
【0038】
なお、図3に示した例では、記憶部280および出力部290は、情報処理装置20の内部に存在するが、記憶部280および出力部290の全部または一部は、情報処理装置20の外部に備えられていてもよい。また、制御部210は、画像取得部211と、登録処理部212と、出力制御部213と、登録データ取得部214と、データ選択部215と、計測部216とを備える。制御部210が備えるこれらの各機能部の詳細については、後に説明する。以上、本発明の実施形態に係る情報処理装置20の機能構成例について説明した。
【0039】
[対応情報の登録]
続いて、本発明の実施形態の詳細を説明する。図4は、本発明の実施形態に係る撮像装置10によって撮像される撮像画像Img’の例を示す図である。図4に示すように、撮像装置10および道路平面が実空間に存在する。撮像装置10は、撮像方向が道路平面に向けられた状態で設置されている。撮像装置10により撮像された撮像画像Img’には道路に設けられたレーンの境界線が映っている。また、図4に示すように、撮像装置10のレンズの中心が原点Oに設定されている。撮像装置10によって撮像された撮像画像は、撮像装置10から情報処理装置20に提供される。
【0040】
続いて、情報処理装置20の機能詳細について説明する。まず、撮像装置10によって撮像された撮像画像Img’が画像取得部211によって取得される。そして、登録処理部212によって複数の登録画像と当該複数の登録画像それぞれに対応するキャリブレーションデータとを方向ごとに記憶部280に登録する処理が行われる。なお、本明細書においては、撮像画像Img’を基準として複数の登録画像を生成する例を説明する。
【0041】
図5は、登録処理部212により使用されるパラメータを示す図である。登録処理部212は、撮像部120を構成する撮像素子のサイズと制御部210に提供される撮像画像Img’のサイズとに基づいて、撮像素子の単位pixel当たりの撮像画像Img’のサイズpix_dotをパラメータとして算出する。撮像画像Img’は、原点Oから焦点距離だけ離れた撮像素子の撮像面上に撮像された撮像画像Imgに基づいて生成される。また、制御部210に提供された撮像画像Img’は、登録処理部212によって利用され得る。
【0042】
図5に示すように、ここでは、撮像素子がCCD(Charge Coupled Device)である場合を例として説明するが、CCDは撮像素子の一例に過ぎない。したがって、撮像素子はCMOS(Complementary Metal Oxide Semiconductor)等であってもよい。
【0043】
ここで、CCDサイズをccd_sizeとし、撮像画像Img’(横:width×縦:height)のサイズをimg_sizeとすると、登録処理部212は、以下の(数式1)によりpix_dotを算出することができる。一般的に、CCDサイズは、CCDの対角線の長さで表されるため、この(数式1)に示されるように、CCDサイズが撮像画像Img’の縦横の2乗和の平方根で除されることにより算出される。しかし、このような手法によるパラメータpix_dotの算出は一例に過ぎないため、他の手法によりパラメータpix_dotが算出されてもよい。例えば、CCDの対角線の代わりにCCDの縦または横の長さが用いられてもよい。
【0044】
【数1】
【0045】
なお、CCDサイズは、例えば、撮像部120から容易に取得される。また、撮像画像Img’のサイズは、例えば、記憶部140から取得される。したがって、情報処理装置20における制御部210は、これらのサイズに基づいて、CCDの撮像面に撮像される撮像画像Imgの実空間における3次元座標と撮像画像Img’の2次元座標との対応関係を把握することができる。すなわち、情報処理装置20における制御部210は、この対応関係に基づいて、撮像画像Img’の2次元座標からCCDの撮像面に撮像される撮像画像Imgの実空間における3次元座標を把握することができる。
【0046】
このように算出されたパラメータを用いて撮像画像Img’(以下、「基準画像」とも言う。)に対応する道路平面式が算出され得る。以下、図6を参照しながら、基準画像に対応する道路平面式の算出について説明する。図6は、基準画像に対応する道路平面式の算出について説明するための図である。
【0047】
図6に示したように、原点Oを基準としたxyz座標系(実空間)を想定する。このxyz座標系において、道路平面式をR1x+R2x+R3z+R4=0とする。また、車両の進行方向を示すベクトルである進行方向ベクトルvを(vx,vy,vz)とする。なお、以下の説明では、図6に示したように、原点Oから焦点距離fだけ離れた点(焦点)をy軸上に設定し、この焦点を通りy軸に垂直な平面を撮像面とし、この撮像面上に撮像画像Imgが撮像されるものとして説明を続けるが、各座標軸の設定はこのような例に限定されない。
【0048】
道路平面上には、平行な2直線があらかじめ描かれている。したがって、撮像画像Imgには、この平行な2直線が映されている。また、道路平面上には、既知の大きさQ_dis離れた2点Q1,Q2があらかじめ描かれている。撮像画像Imgには、2点Q1,Q2が、Q1’(xs1,f,zs1),Q2’(xs2,f,zs2)として映される。なお、図6に示した例では、Q1,Q2が道路平面上の平行な2直線の各々上の点として描かれているが、Q1,Q2は、道路平面上の点であれば、特に限定されない。
【0049】
また、撮像画像Imgに映る2直線のうち、第1の直線が通る2点をT1(x1,y1,z1)およびT4(x4,y4,z4)とし、第2の直線が通る2点をT2(x2,y2,z2)およびT3(x3,y3,z3)とする。すると、図6に示すように、T1、T2、T3およびT4の各々と原点Oとを結ぶ直線と道路平面との交点の座標は、t1・T1、t2・T2、t3・T3およびt4・T4と表される。登録処理部212は、例えば、以下に示す(前提条件1)に基づいて、道路平面式を生成することができる。
【0050】
(前提条件1)
(条件1)道路平面上の平行な2直線の方向ベクトルは同じである。
(条件2)撮像装置10のロールは0である。
(条件3)原点Oから道路平面までの距離を高さHとする。
(条件4)道路平面上にQ_dis離れたQ1およびQ2が存在する。
なお、上記ロールが0である状態とは、道路平面に対して垂直な方向に設置されている物体が撮像画像Img上においても縦方向に映るように物体が設置されている状態を意味する。
【0051】
登録処理部212は、以上に示したように取得される各種データと(条件1)とに基づいて、以下の(数式2)および(数式3)に示される関係式を導き出すことができる。
【0052】
【数2】
【数3】
【0053】
また、登録処理部212は、以上に示したように取得される各種データと(条件2)とに基づいて、以下の(数式4)に示される関係式を導き出すことができる。なお、ロールが0の状態であれば、道路平面式と平行な軸方向(図6に示した例では、x軸方向)への道路平面に対する垂線の成分が0になるため、計算式が簡略化される(例えば、x軸方向への垂線の成分が0であれば、R1=0として計算できる)。
【0054】
【数4】
【0055】
また、登録処理部212は、以上に示したように取得される各種データと(条件3)とに基づいて、以下の(数式5)に示される関係式を導き出すことができる。
【0056】
【数5】
【0057】
また、登録処理部212は、以上に示したように取得される各種データと(条件4)とに基づいて、以下の(数式6)および(数式7)に示される関係式を導き出すことができる。
【0058】
【数6】
【数7】
【0059】
ここで、K1は、原点Oから道路平面上のQ1(xr1,yr1,zr1)までの距離が原点Oから撮像画像Img上のQ1’(xs1,f,zs1)までの距離の何倍になっているかを示す値である。同様に、K2は、原点Oから道路平面上のQ2(xr2,yr2,zr2)までの距離が原点Oから撮像画像Img上のQ2’(xs2,f,zs2)までの距離の何倍になっているかを示す値である。したがって、以下の(数式8)に示される関係式を導き出すことができる。
【0060】
【数8】
【0061】
登録処理部212は、(数式8)に示される関係式から、道路平面上の2点(Q1およびQ2)の距離の測定値Q_dis’を、以下の(数式9)により算出することができる。
【0062】
【数9】
【0063】
登録処理部212は、測定値Q_dis’と既知の大きさQ_disとの差分が最も小さくなる場合におけるR1、R2、R3およびR4を、(数式1)〜(数式9)に基づいて算出することができる。このようにR1、R2、R3およびR4が算出されることにより、道路平面式R1x+R2x+R3z+R4=0が決定される。
【0064】
以上に説明したような道路平面式の算出手法は、一例に過ぎない。したがって、登録処理部212は、他の手法により道路平面式を算出することも可能である。例えば、道路平面上の平行な2直線間の距離が既知であれば、この道路平面上の平行な2直線間の距離を用いることにより、(条件2)を使用しないで道路平面式を算出することができる。
【0065】
また、登録処理部212は、進行方向ベクトルv(vx,vy,vz)を算出することもできる。より詳細には、登録処理部212は、道路平面上の平行な2直線のうちの少なくともいずれか一方の直線の方向を算出することにより、進行方向ベクトルvを算出することができる。例えば、登録処理部212は、座標t2・T2と座標t3・T3との差分を進行方向ベクトルvとして算出してもよいし、座標t1・T1と座標t4・T4との差分を進行方向ベクトルvとして算出してもよい。
【0066】
以上に説明したような手法により、登録処理部212は、道路平面式および進行方向ベクトルvを算出することができる。また、図6に示すように、登録処理部212は、計測範囲Eを設定してもよい。そうすれば、計測範囲Eに基づいて交通量が計測され得る。例えば、登録処理部212は、入力操作に基づいて計測範囲Eを設定してもよいし、進行方向ベクトルv(vx,vy,vz)に基づいて自動的に計測範囲Eを設定してもよい。ただし、撮像範囲自体を計測範囲とする場合などには、計測範囲の設定は特になされなくてもよい。出力制御部213は、登録処理部212によって算出された各種情報を出力部290に出力させてもよい。
【0067】
以上に示したような手法により、登録処理部212は、基準画像に対応するキャリブレーションデータ(道路平面式および焦点距離)を生成することが可能である。また、登録処理部212は、基準画像を基準として撮像方向を変更して撮像された1または複数の画像(以下、「ずれ画像」とも言う。)と当該1または複数のずれ画像それぞれに対応するキャリブレーションデータを生成する。
【0068】
そして、登録処理部212は、基準画像を撮像したときの方向(撮像方向)と複数の登録画像と当該複数の登録画像それぞれに対応するキャリブレーションデータとが対応付けられた情報(以下、単に「対応情報」とも言う。)を記憶部280に登録する。図7は、対応情報の登録例を示す図である。図7を参照すると、基準画像Img1を基準として生成されたずれ画像Img11〜Img18とずれ画像Img11〜Img18それぞれに対応するキャリブレーションデータと方向D1とが対応付けられて記憶部280に登録されている。
【0069】
また、図7を参照すると、基準画像Img2を基準として生成されたずれ画像Img21〜Img26とずれ画像Img21〜Img26それぞれに対応するキャリブレーションデータと方向D2とが対応付けられて記憶部280に登録されている。なお、登録処理部212によって生成されるずれ画像の数は特に限定されない。また、ずれ画像およびずれ画像に対応するキャリブレーションデータを生成する手法も特に限定されない。以下に、登録処理部212によるずれ画像およびずれ画像に対応するキャリブレーションデータの生成の一例を説明する。
【0070】
まず、登録処理部212は、基準画像に対応する道路平面式R1x+R2y+R3z+R4=0によって示される道路平面上における任意の5点以上を求める。ここでは、任意の5点の3次元座標を、p1(x1,y1,z1)〜p5(x5,y5,z5)として示す。続いて、登録処理部212は、任意の5点p1〜p5それぞれに対応する基準画像上の2次元座標P1(X1,Y1)〜P5(X5,Y5)を、焦点距離をfとして、以下の式によって算出する。
【0071】
X=x×f/y
Y=z×f/y
【0072】
続いて、登録処理部212は、任意の5点p1(x1,y1,z1)〜p5(x5,y5,z5)を回転させた後の各点p1’(x1’,y1’,z1’)〜p5’(x5’,y5’,z5’)を、以下の数式(10)によって算出する。ただし、θはロール回転角、φはピッチ回転角、Ψはロー回転角を表しており、これらの角度は、想定されるずれ幅に応じて適宜に設計されてよい。
【0073】
【数10】
【0074】
続いて、登録処理部212は、ベクトルp1’p2’とベクトルp1’p3’との外積によって、ずれ画像の道路平面式R1’x+R2’y+R3’z+R4’=0の係数であるR1’、R2’およびR3’を算出する。また、登録処理部212は、点p1’をずれ画像の道路平面式R1’x+R2’y+R3’z+R4’=0に代入すると、R4’を算出することができる。このようにして、ずれ画像の道路平面式がキャリブレーションデータの一例として算出され得る。
【0075】
続いて、登録処理部212は、5点p1’(x1’,y1’,z1’)〜p5’
(x5’,y5’,z5’)それぞれに対応するずれ画像上の2次元座標P1’(X1’,Y1’)〜P5’(X5’,Y5’)を、ずれ画像に対応する焦点距離をf+Δfとして、以下の式によって算出する。ただし、Δfは焦点距離のずれ幅を示しており、想定される焦点距離のずれ幅に応じて適宜に設計されてよい。f+Δfは、ずれ画像に対応するキャリブレーションデータの一例に相当し得る。
【0076】
X’=x’×(f+Δf)/y’
Y’=z’×(f+Δf)/y’
【0077】
続いて、登録処理部212は、基準画像における任意の5点P1(X1,Y1)〜P5(X5,Y5)とずれ画像における5点P1’(X1’,Y1’)〜P5’(X5’,Y5’)とを用いて平面射影変換行列を算出する。そうすれば、登録処理部212は、算出した平面射影変換行列によって基準画像を平面射影変換すると、ずれ画像を生成することができる。
【0078】
続いて、対応情報の登録動作の流れについて説明する。図8は、対応情報の登録動作の流れを示すフローチャートである。なお、図8に示したフローチャートは、対応情報の登録動作の一例を示したに過ぎない。したがって、対応情報の登録動作は、図8のフローチャートによって示される動作例に限定されない。
【0079】
まず、画像取得部211は、撮像装置10によって撮像された基準画像と基準画像を撮像したときの撮像装置10の方向とを取得する(ステップS11)。続いて、登録処理部212は、基準画像に対応するキャリブレーションデータを生成する(ステップS12)。
【0080】
続いて、登録処理部212は、基準画像と当該基準画像に対応するキャリブレーションデータとに基づいて、複数の登録画像と当該複数の登録画像それぞれに対応するキャリブレーションデータとを生成する(ステップS13)。そして、登録処理部212は、複数の登録画像と当該複数の登録画像それぞれに対応するキャリブレーションデータと撮像装置10の方向との対応情報を記憶部280に登録する(ステップS14)。
【0081】
出力制御部213は、登録処理部212によって算出された各種情報を出力部290に出力させてもよい。続いて、制御部210は、登録動作を継続する場合には(ステップS15において「Yes」)、ステップS11に動作を移行させるが、登録動作を継続しない場合には(ステップS15において「No」)、動作を終了させる。以上、対応情報の登録動作の流れについて説明した。
【0082】
[交通量の計測]
以上に説明したようにして、あらかじめ対応情報が登録され得る。実際に交通量の計測が行われる場合には、操作部130によってユーザによる選択操作が受け付けられると、制御部110は、ユーザによる選択操作によって選択される方向に自動的に撮像方向を合わせることが可能である。そして、制御部110は、交通量計測の対象となる撮像画像の撮像を開始する。情報処理装置20における画像取得部211は、この撮像画像を取得する。
【0083】
登録データ取得部214は、あらかじめ登録された複数の登録画像から撮像画像に一致または類似する登録画像を取得する。特に、登録データ取得部214は、撮像画像に一致または類似する登録画像を、撮像方向に対応する複数の登録画像から取得する。そして、データ選択部215は、登録データ取得部214によって取得された登録画像に基づいてキャリブレーションデータを選択する。例えば、データ選択部215は、あらかじめ登録画像に対応付けられたキャリブレーションデータを選択してもよい。
【0084】
かかる構成によれば、自動的に合わせられた撮像方向に従って撮像された撮像画像からキャリブレーションデータを生成し直さなくても精度のよいキャリブレーションデータを取得することが可能となる。また、撮像画像に車両が映らなくてもキャリブレーションデータを生成することが可能である。したがって、自動的に合わせられた撮像方向に対応するキャリブレーションデータをより迅速に補正することが可能となる。
【0085】
具体的な例を用いて説明する。図9は、キャリブレーションデータの選択例を示す図である。図9には、画像取得部211によって交通量計測の対象となる撮像画像Img−xが取得され、登録データ取得部214によってImg−xに類似するずれ画像Img15が、撮像方向D1に対応する複数の登録画像(基準画像Img1、ずれ画像Img11〜Img18)から取得された例が示されている。そして、データ選択部215は、ずれ画像Img15に対応付けられたキャリブレーションデータを選択する例が示されている。
【0086】
なお、登録データ取得部214は、複数の登録画像それぞれと撮像画像とが一致または類似するか否かを判定するが、その判定手法は特に限定されない。例えば、登録データ取得部214は、複数の登録画像それぞれと撮像画像から特徴量を抽出し、特徴量の類似度が閾値を超える登録画像と撮像画像とが一致または類似すると判定してよい。
【0087】
また、特徴量を抽出する手法は特に限定されない。例えば、撮像画像に映るライン(例えば、道路のレーン境界や壁と道路との境界など)が特徴点とされてもよい。また、類似度の算出の手法は特に限定されない。例えば、類似度の算出には、相互相関法が用いられてもよい。
【0088】
また、登録データ取得部214は、撮像画像に一致または類似する登録画像が複数存在した場合には、撮像画像との類似度が最も高い登録画像を取得するようにすればよい。一方、登録データ取得部214は、撮像画像に一致または類似する登録画像が存在しない場合には、登録画像を取得しなくてよい。かかる場合、キャリブレーションデータの選択も行わなくてよく、交通量の計測も継続または開始しなくてよい。
【0089】
また、登録データ取得部214によって取得可能な複数の登録画像は変化しなくてもよいし、登録データ取得部214による取得結果に基づいて変化されてもよい。例えば、図9に示したように、登録データ取得部214によってずれ画像Img15が取得された場合には、ずれ画像Img15を基準として新たな画像が登録データ取得部214によって取得可能な登録画像とされてもよい。
【0090】
計測部216は、撮像装置10によって撮像された撮像画像からキャリブレーションデータを用いて交通量を計測する。交通量の計測手法は特に限定されない。図10は、キャリブレーションデータを用いて交通量を計測する手法の例を示した図である。例えば、計測部216は、撮像画像から抽出される車両領域に基づいて所定の検出位置(例えば、車両走行軸X15における車両の所定位置の座標など)を検出し、検出位置に基づいて交通量を計測してもよい。あるいは、計測部216は、他の手法によって交通量を計測してもよい。
【0091】
なお、交通量の計測を開始するタイミングは特に限定されない。例えば、計測部216は、撮像画像に一致または類似する登録画像が取得された場合には、有効なキャリブレーションデータが取得できると考えられるため、交通量の計測を自動的に継続または開始してもよい。また、交通量の計測を停止するタイミングは特に限定されない。例えば、計測部216は、撮像画像に一致または類似する登録画像が取得されなかった場合には、有効なキャリブレーションデータが取得できないと考えられるため、交通量の計測を自動的に停止してもよい。
【0092】
続いて、交通量の計測動作の流れについて説明する。図11は、交通量の計測動作の流れを示すフローチャートである。なお、図11に示したフローチャートは、交通量の計測動作の一例を示したに過ぎない。したがって、交通量の計測動作は、図11のフローチャートによって示される動作例に限定されない。
【0093】
まず、画像取得部211は、撮像装置10の撮像方向を取得し(ステップS21)、撮像装置10によって撮像された撮像画像を取得する(ステップS22)。続いて、登録データ取得部214は、画像取得部211によって取得された撮像方向に対応する複数の登録画像から撮像画像に一致または類似する登録画像を取得する(ステップS23)。
【0094】
続いて、データ選択部215は、登録データ取得部214によって取得された登録画像に対応付けられたキャリブレーションデータを選択する(ステップS24)。計測部216は、キャリブレーションデータを用いて交通量を計測する(ステップS25)。
【0095】
出力制御部213は、計測部216によって計測された交通量を出力部290に出力させてもよい。続いて、制御部210は、計測動作を継続する場合には(ステップS26において「Yes」)、ステップS21に動作を移行させるが、計測動作を継続しない場合には(ステップS26において「No」)、動作を終了させる。以上、交通量の計測動作について説明した。
【0096】
[効果の説明]
以上に説明したように、本発明の実施形態によれば、撮像装置10によって撮像された撮像画像を取得する画像取得部211と、あらかじめ登録された複数の登録画像から、撮像画像に一致または類似する登録画像を取得する登録データ取得部214と、撮像装置10によって撮像された撮像画像から交通量を計測するために必要な所定のキャリブレーションデータを、登録画像に基づいて選択するデータ選択部215と、を備える、情報処理装置20が提供される。
【0097】
撮像装置10は、所定の選択操作が入力されると、当該選択操作によって選択される方向に自動的に撮像方向を合わせ、登録データ取得部214は、撮像画像に一致または類似する登録画像を、撮像方向に対応する複数の登録画像から取得する。
【0098】
かかる構成によれば、自動的に合わせられた撮像方向に従って撮像された撮像画像からキャリブレーションデータを生成し直さなくても精度のよいキャリブレーションデータを取得することが可能となる。また、撮像画像に車両が映らなくてもキャリブレーションデータを生成することが可能である。したがって、自動的に合わせられた撮像方向に対応するキャリブレーションデータをより迅速に補正することが可能となる。
【0099】
[変形例の説明]
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0100】
例えば、上記では、複数の登録画像があらかじめ登録される例を示したが、複数の登録画像の代わりに複数の登録画像それぞれから抽出された特徴量があらかじめ登録されていてもよい。複数の登録画像それぞれから抽出された特徴量があらかじめ登録されていれば、登録画像から特徴量を抽出するために要する時間を省略することが可能となるため、キャリブレーションデータをより高速に取得することが可能となる。
【0101】
また、登録データ取得部214による登録画像ごとの取得頻度に偏りがある場合、撮像装置10が故障していることも考えられる。そこで、情報処理装置20は、登録データ取得部214による登録画像ごとの取得頻度に基づいて撮像装置10が故障しているか否かを判断してもよい。例えば、情報処理装置20は、複数の登録画像のうち、所定の登録画像(例えば、ずれ画像)が登録データ取得部214によって取得された頻度に基づいて、撮像装置10が故障しているか否かを判断してもよい。
【0102】
より具体的には、情報処理装置20は、複数の登録画像のうち、所定の登録画像が登録データ取得部214によって取得される頻度が閾値を超えた場合に、撮像装置10が故障していると判断してもよい。かかる場合、出力制御部213は、撮像装置10が故障している旨を出力させてもよい。また、出力制御部213は、撮像装置10が故障している旨とともに、または撮像装置10が故障している旨の代わりに取得頻度が閾値を超えた登録画像を出力させてもよい。
【0103】
また、撮像装置10に与えられる振動に従って登録データ取得部214によって取得される登録画像も変化すると考えられる。そこで、情報処理装置20は、登録データ取得部214によって取得された登録画像の時間変化を解析することによって、撮像装置10に与えられる振動の周期を検出することも可能である。撮像装置10に与えられる振動は、地震などによって撮像装置10に与えられる振動であってよい。出力制御部213は、撮像装置10に与えられる振動の周期を出力させてもよい。
【0104】
また、あらかじめ登録される基準画像およびそのキャリブレーションデータの種類は特に限定されない。例えば、撮像時刻の異なる複数の基準画像およびそれらに対応するキャリブレーションデータが登録されていてもよい。そうすれば、天候による交通量の変化、時刻による交通量の変化への耐性をより強くすることが可能となる。また、例えば、撮像装置10の設置位置を変更して撮像した複数の基準画像およびそれらに対応するキャリブレーションデータが登録されていてもよい。そうすれば、複数の位置における交通量計測を行うことが可能となる。
【0105】
また、上記では、登録データ取得部214が複数の登録画像を自動的に生成する例を説明したが、複数の登録画像は、登録データ取得部214によって自動的に生成されなくてもよい。例えば、ユーザが撮像装置10の撮像方向を手動によってずらしながら撮像操作を行うことによって、複数の登録画像が撮像されてもよい。
【0106】
制御部110を構成する各ブロックは、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)などから構成され、記憶部140により記憶されているプログラムがCPUによりRAMに展開されて実行されることにより、その機能が実現され得る。あるいは、制御部110を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【0107】
制御部210を構成する各ブロックは、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)などから構成され、記憶部280により記憶されているプログラムがCPUによりRAMに展開されて実行されることにより、その機能が実現され得る。あるいは、制御部210を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【0108】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【0109】
1 交通量計測システム
10 撮像装置
110 制御部
120 撮像部
130 操作部
140 記憶部
150 出力部
20 情報処理装置
210 制御部
211 画像取得部
212 登録処理部
213 出力制御部
214 登録データ取得部
215 データ選択部
216 計測部
280 記憶部
290 出力部

【要約】      (修正有)
【課題】自動的に合わせられた撮像方向に対応するキャリブレーションデータをより迅速に補正する技術を提供する。
【解決手段】情報処理装置20は、あらかじめ登録された複数の登録画像から、撮像画像に一致または類似する登録画像を取得する登録データ取得部214と、撮像装置によって撮像された撮像画像から交通量を計測するために必要な所定のキャリブレーションデータを、登録画像に基づいて選択するデータ選択部215と、を備える。撮像装置は、所定の選択操作が入力されると、選択操作によって選択される方向に自動的に撮像方向を合わせ、登録データ取得部214は、撮像画像に一致または類似する登録画像を、撮像方向に対応する複数の登録データから取得する。
【選択図】図3
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11