(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023125005
(43)【公開日】2023-09-07
(54)【発明の名称】キャリブレーション処理装置、キャリブレーション処理方法およびプログラム
(51)【国際特許分類】
G06T 7/80 20170101AFI20230831BHJP
G08G 1/04 20060101ALI20230831BHJP
H04N 17/00 20060101ALI20230831BHJP
【FI】
G06T7/80
G08G1/04 D
H04N17/00 200
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022028906
(22)【出願日】2022-02-28
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】高橋 司
(72)【発明者】
【氏名】中川 寛崇
(72)【発明者】
【氏名】園田 久美
【テーマコード(参考)】
5C061
5H181
5L096
【Fターム(参考)】
5C061BB11
5C061CC01
5H181AA01
5H181BB04
5H181BB05
5H181CC03
5H181CC04
5H181DD01
5H181FF04
5H181FF13
5H181FF33
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096FA66
5L096FA67
5L096FA69
5L096HA08
(57)【要約】
【課題】カメラのキャリブレーションの精度を向上させることを可能とする技術が提供されることが要求される。
【解決手段】ダイナミックマップに基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得する取得部と、前記実距離と、前記第1の点と前記第2の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、を備える、キャリブレーション処理装置が提供される。
【選択図】
図3
【特許請求の範囲】
【請求項1】
ダイナミックマップに基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得する取得部と、
前記実距離と、前記第1の点と前記第2の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、
を備える、キャリブレーション処理装置。
【請求項2】
前記取得部は、前記ダイナミックマップの静的情報に基づいて前記実距離を取得する、
請求項1に記載のキャリブレーション処理装置。
【請求項3】
前記キャリブレーション処理部は、前記撮像部の向きの変更に基づいて、前記キャリブレーションを再実行する、
請求項1または2に記載のキャリブレーション処理装置。
【請求項4】
前記キャリブレーション処理部は、前記撮像部の焦点距離の変更に基づいて、前記キャリブレーションを再実行する、
請求項1~3のいずれか一項に記載のキャリブレーション処理装置。
【請求項5】
前記キャリブレーション処理部は、前記キャリブレーションの結果として、実空間に存在する道路平面を示す式を道路平面式として得る、
請求項1~4のいずれか一項に記載のキャリブレーション処理装置。
【請求項6】
前記第1の点および前記第2の点それぞれは、実空間に存在する道路平面上の点である、
請求項5に記載のキャリブレーション処理装置。
【請求項7】
ダイナミックマップに基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得することと、
前記実距離と、前記第1の点と前記第2の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行することと、
を備える、キャリブレーション処理方法。
【請求項8】
コンピュータを、
ダイナミックマップに基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得する取得部と、
前記実距離と、前記第1の点と前記第2の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、
を備えるキャリブレーション処理装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、キャリブレーション処理装置、キャリブレーション処理方法およびプログラムに関するものである。
【背景技術】
【0002】
近年、カメラのキャリブレーションに係る技術が知られている。例えば、電子地図上においてユーザによって指定された2点と、カメラによって撮像された画像において指定された2点とに基づいてキャリブレーションを行う技術が開示されている(例えば、特許文献1参照)。
【0003】
また、道路などを監視するカメラのキャリブレーション技術が開示されている。一例として、専用車両を用意し、その専用車両を撮像することによって得られる画像における専用車両の複数の特徴点を特定し、当該複数の特徴点の位置関係に基づいてキャリブレーションを行う技術が開示されている(例えば、特許文献2参照)。
【0004】
さらに、ダイナミックマップの座標系における移動機の現在位置を推定するために用いられるパラメータを、衛星信号を用いた移動機(例えば、車両など)の測位情報に基づいて校正するキャリブレーション技術が開示されている(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第6022423号公報
【特許文献2】特開2002-232869号公報
【特許文献3】特許第6437174号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、カメラのキャリブレーションの精度を向上させることを可能とする技術が提供されることが要求される。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、カメラのキャリブレーションの精度を向上させることを可能とする技術を提供することにある。
【課題を解決するための手段】
【0008】
上記問題を解決するために、本発明のある観点によれば、ダイナミックマップに基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得する取得部と、前記実距離と、前記第1の点と前記第2の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、を備える、キャリブレーション処理装置が提供される。
【0009】
前記取得部は、前記ダイナミックマップの静的情報に基づいて前記実距離を取得してもよい。
【0010】
前記キャリブレーション処理部は、前記撮像部の向きの変更に基づいて、前記キャリブレーションを再実行してもよい。
【0011】
前記キャリブレーション処理部は、前記撮像部の焦点距離の変更に基づいて、前記キャリブレーションを再実行してもよい。
【0012】
前記キャリブレーション処理部は、前記キャリブレーションの結果として、実空間に存在する道路平面を示す式を道路平面式として得てもよい。
【0013】
前記第1の点および前記第2の点それぞれは、実空間に存在する道路平面上の点であってもよい。
【0014】
また、本発明のある観点によれば、ダイナミックマップに基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得することと、前記実距離と、前記第1の点と前記第2の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行することと、を備える、キャリブレーション処理方法が提供される。
【0015】
また、本発明のある観点によれば、コンピュータを、ダイナミックマップに基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得する取得部と、前記実距離と、前記第1の点と前記第2の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部と、を備えるキャリブレーション処理装置として機能させるプログラムが提供される。
【発明の効果】
【0016】
以上説明したように本発明によれば、カメラのキャリブレーションの精度を向上させることが可能である。
【図面の簡単な説明】
【0017】
【
図1】本発明の実施形態の概要を説明するための図である。
【
図2】同実施形態に係る計測システムの機能構成例を示す図である。
【
図3】同実施形態に係る監視カメラの機能構成例を示す図である。
【
図4】同実施形態に係る操作端末の機能構成例を示す図である。
【
図5】ダイナミックマップの構成例を示す図である。
【
図6】キャリブレーション処理部により使用されるパラメータを示す図である。
【
図7】キャリブレーション処理部の機能を説明するための図である。
【
図8】同実施形態に係る計測システムの動作例を示すフローチャートである。
【
図9】同実施形態に係る監視カメラの例としての情報処理装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0018】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0019】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。
【0020】
[概要の説明]
続いて、本発明の実施形態の概要を説明する。
図1は、本発明の実施形態の概要を説明するための図である。
図1に示すように、撮像部が組み込まれた監視カメラ10および道路平面が実空間に存在する。また、撮像部が組み込まれた監視カメラ10は、撮像方向が道路平面に向けられた状態で設置されている。監視カメラ10により撮像された撮像画像Img’には道路に設けられたレーンの境界線が写っている。また、
図1に示すように、監視カメラ10のレンズの中心が原点Oに設定されている。
【0021】
図1には、監視カメラ10に撮像部が組み込まれている例が示されているが、撮像部は監視カメラ10に組み込まれていなくてもよく、監視カメラ10の外部に設置されていてもよい。かかる場合、例えば、監視カメラ10は、撮像部から送信された撮像画像Img’を受信することにより撮像画像Img’を取得してもよい。また、例えば、監視カメラ10は、記録媒体に記録された撮像画像Img’を読み込むことにより撮像画像Img’を取得してもよい。
【0022】
撮像部によって道路平面が撮像されて得られた撮像画像Img’は、単位時間あたりに所定の基準位置を通過する車両の台数(交通量)の計測に用いられ得る。あるいは、撮像画像Img’は、所定の基準位置を通過する車両速度を計測するために用いられ得る。あるいは、撮像画像Img’は、所定の基準位置を通過する車両の種別を検出するために用いられ得る。かかる交通量の計測、車両速度の計測または車両の種別の検出が行われる前には、撮像部のキャリブレーションが実行される必要がある。
【0023】
近年、撮像部のキャリブレーションに係る技術として上記したように様々な先行技術が知られている。しかし、これらの先行技術には、幾つかの課題が存在し得る。
【0024】
第1の課題として、先行技術ではキャリブレーションの精度が向上しないという課題が挙げられる。例えば、手動によってキャリブレーションを実施することが想定されるが、キャリブレーションの実施者によってキャリブレーション結果(キャリブレーションによって設定される値)が異なる可能性がある。また、同一の人物によってキャリブレーションが実施されたとしても、実施されるタイミングによってキャリブレーション結果が異なる可能性もある。
【0025】
そのため、キャリブレーションを複数回実施し、複数回実施されたキャリブレーション結果それぞれを用いて実際に計測を行い、計測結果が一番望ましいキャリブレーション結果を採用する手法も想定され得る。しかし、計測結果に対する評価方法および評価指標が不明確である限りは、どのキャリブレーション結果が採用されるかが安定しないため、キャリブレーションの精度が向上しない。
【0026】
したがって、キャリブレーションの精度を向上させることを可能とする技術が提供されることが要求される。
【0027】
第2の課題として、撮像部の画角の変化に対する耐性がないことが課題として挙げられる。例えば、CCTV(Closed-circuit Television)カメラなどは、道路管理者が道路状況を確認するためにカメラを旋回させることがある。カメラが旋回した場合には、カメラの画角が変わってしまうため、手動によるキャリブレーションの実施だけでは、画角の変化に対応できない。そのため、カメラの画角が変わってしまった場合には、キャリブレーションを再度実施する必要が生じる。
【0028】
したがって、撮像部の画角の変化に対する耐性を有するキャリブレーションを実現する技術が提供されることが要求される。
【0029】
第3の課題として、キャリブレーションの精度を向上させるために専用車両を準備する必要があることが課題として挙げられる。特許文献2に記載の技術では、キャリブレーションの都度、対象となるカメラ設置現場に専用のリファレンス車両を移動しなければならない。
【0030】
また、対象となるカメラ設置現場に専用のリファレンス車両を移動したとしても、使用中の高速道路におけるキャリブレーションでは、高速走行環境でのキャリブレーションが必要となってしまう。そのため、キャリブレーションが1回の車両走行で完了するとは限らない。さらに、道路の使用を中断してまで専用のリファレンス車両を用いてキャリブレーションを行うのは現実的ではない。
【0031】
したがって、専用車両を準備せずともキャリブレーションの精度を向上させることが可能な技術が提供されることが要求される。
【0032】
以上、本発明の実施形態の概要を説明した。
【0033】
[実施形態の詳細]
続いて、本発明の実施形態の詳細について説明する。まず、本発明の実施形態に係る計測システムの機能構成例について説明する。
図2は、本発明の実施形態に係る計測システムの機能構成例を示す図である。
図2に示すように、本発明の実施形態に係る計測システム1は、監視カメラ10、操作端末20、ダイナミックマップDB(データベース)30、監視画像ストレージ40および交通量計測装置50を備える。
【0034】
監視カメラ10、操作端末20、ダイナミックマップDB30、監視画像ストレージ40および交通量計測装置50は、ネットワークに接続されており、ネットワークを介して互いに通信可能に構成されている。
【0035】
(監視カメラ10)
監視カメラ10は、キャリブレーション処理装置の例として機能し得る。ここで、
図3を参照しながら、監視カメラ10の機能構成例について説明する。
図3は、本発明の実施形態に係る監視カメラ10の機能構成例を示す図である。
図3に示すように、本発明の実施形態に係る監視カメラ10は、制御部120、撮像部110、記憶部130および通信部140を備える。
【0036】
(撮像部110)
撮像部110は、実空間を撮像することにより撮像画像を取得する機能を有する。例えば、撮像部110は、単眼カメラにより構成される。
【0037】
(制御部120)
制御部120は、CPU(Central Processing Unit)などの演算装置(プロセッサ)を含み、ROM(Read Only Memory)により記憶されているプログラムが演算装置によりRAMに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【0038】
演算装置による演算に必要なデータは、記憶部130によって適宜記憶される。
図3に示すように、制御部120は、取得部121と、キャリブレーション処理部122とを備える。取得部121およびキャリブレーション処理部122の詳細については、後に説明する。
【0039】
(記憶部130)
記憶部130は、制御部120を実現するためのプログラムおよびデータを記憶することが可能な記録媒体である。また、記憶部130は、制御部120の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性メモリであってよい。
【0040】
(通信部140)
通信部140は、通信インタフェースによって構成され、制御部120による制御に従って通信を行う機能を有する。例えば、通信部140は、ネットワークを介して、操作端末20、ダイナミックマップDB30、監視画像ストレージ40および交通量計測装置50それぞれと通信を行うことが可能である。
【0041】
なお、
図3に示した例では、撮像部110、制御部120、記憶部130および通信部140は、監視カメラ10の内部に存在するが、撮像部110、記憶部130および通信部140の全部または一部は、監視カメラ10の外部に備えられていてもよい。
【0042】
(操作端末20)
図4は、本発明の実施形態に係る操作端末20の機能構成例を示す図である。操作端末20は、コンピュータによって構成され、道路管理者によって操作される。
図4に示すように、操作端末20は、入力部210、制御部220、記憶部230、通信部240および表示部250を備える。
【0043】
(入力部210)
入力部210は、入力デバイスによって構成され、道路管理者から各種操作の入力を受け付ける。例えば、入力部210は、撮像部110の旋回操作および撮像部110のズーム操作の入力を受け付ける。例えば、入力デバイスの種類は、キーボードであってもよいし、マウスであってもよいし、タッチパネルであってもよいし、他のデバイスであってもよい。
【0044】
旋回操作は、撮像部110の向き(例えば、パンおよびチルト)の変更指示に該当し得る。例えば、撮像部110の向きの変更指示は、基準となる向きに対する差分を含んでもよい。基準となる向きは、撮像部110の現在の向き(すなわち、変更前の向き)であってもよいし、他の向きであってもよい。例えば、基準となる向きは、記憶部130に記憶されており、撮像部110の向きの変更に伴って適宜に更新されてよい。
【0045】
ズーム操作は、撮像部110の焦点距離の変更指示に該当し得る。例えば、撮像部110の焦点距離の変更指示は、基準となる焦点距離に対する差分を含んでもよい。基準となる焦点距離は、撮像部110の現在の焦点距離(すなわち、変更前の焦点距離)であってもよいし、他の焦点距離であってもよい。例えば、基準となる焦点距離は、記憶部130に記憶されており、撮像部110の焦点距離の変更に伴って適宜に更新されてよい。
【0046】
(制御部220)
制御部220は、CPU(Central Processing Unit)などの演算装置(プロセッサ)を含み、ROM(Read Only Memory)により記憶されているプログラムが演算装置によりRAMに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【0047】
演算装置による演算に必要なデータは、記憶部230によって適宜記憶される。
【0048】
(記憶部230)
記憶部230は、制御部220を実現するためのプログラムおよびデータを記憶することが可能な記録媒体である。また、記憶部230は、制御部220の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性メモリであってよい。
【0049】
(通信部240)
通信部240は、通信インタフェースによって構成され、制御部220による制御に従って通信を行う機能を有する。例えば、通信部240は、ネットワークを介して、監視カメラ10、ダイナミックマップDB30、監視画像ストレージ40および交通量計測装置50それぞれと通信を行うことが可能である。
【0050】
(表示部250)
表示部250は、制御部220による制御に従って表示を行う機能を有する。表示部250による表示内容は、道路管理者によって視認され得る。ここで、表示部250の形態は特に限定されない。例えば、表示部250は、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。
【0051】
なお、
図4に示した例では、入力部210、制御部220、記憶部230、通信部240および表示部250は、操作端末20の内部に存在するが、入力部210、記憶部230、通信部240および表示部250の全部または一部は、操作端末20の外部に備えられていてもよい。
【0052】
(ダイナミックマップDB30)
ダイナミックマップDB30は、ダイナミックマップを保持するデータベースである。ここで、
図5を参照しながら、ダイナミックマップの構成例について説明する。
図5は、ダイナミックマップの構成例を示す図である。
【0053】
図5に示すように、ダイナミックマップ31は、静的情報L1、準静的情報L2、準動的情報L3および動的情報L4を備える。
【0054】
静的情報L1は、道路の形状を示す路面情報、車線の位置を示す車線情報、構造物(標識など)の位置を示す構造物情報などを含んだ3次元地図情報である。静的情報L1は、MMS(Mobile Mapping System)と呼ばれる計測システムによって構築される。MMSは、カメラまたはレーザースキャナなどの3次元計測器、GPS(Global Positioning System)などの衛星測位機器などによって構成され得る。静的情報L1は、所定の頻度(例えば、1カ月に1回以上の頻度)で更新され得る。
【0055】
準静的情報L2は、交通規制の予定情報、道路工事予定情報、広域気象予報情報などを含んだ情報である。例えば、準静的情報L2は、外部から得られる情報であり、準静的情報L2としては、道路管理者から提供される交通情報、気象情報、プローブ情報などがある。準静的情報L2は、所定の頻度(例えば、1時間に1回以上の頻度)で更新され得る。
【0056】
準動的情報L3は、事故情報、渋滞情報、交通規制情報、狭域気象情報などを含んだ情報である。例えば、準動的情報L3は、外部から得られる情報であり、準動的情報L3としては、道路管理者から提供される交通情報、気象情報、プローブ情報などがある。準動的情報L3は、所定の頻度(例えば、1分に1回以上の頻度)で更新され得る。
【0057】
動的情報L4は、周辺車両の情報、歩行者の情報、信号情報といった、リアルタイムに変化する情報である。例えば、動的情報L4は、カメラまたはレーダーなどの車載センサーによって車両が直接収集する周辺状況の情報と、「ITS先読み情報」と呼ばれる周辺車両または歩行者の情報とを含み得る。これらの情報は、車車間通信、路車間通信または5G(第5世代移動通信システム)を介して取得され得る。動的情報L4は、所定の頻度(例えば、1秒に1回以上の頻度)で更新され得る。
【0058】
【0059】
(監視画像ストレージ40)
監視画像ストレージ40は、監視カメラ10によって撮像された撮像画像を、ネットワークを介して監視カメラ10から受信する。そして、監視画像ストレージ40は、監視カメラ10から受信した撮像画像を記憶する。例えば、監視画像ストレージ40によって記憶された撮像画像は、交通量計測装置50に提供され得る。また、監視画像ストレージ40によって記憶された撮像画像は、操作端末20によって表示されることにより、道路管理者によって視認され得る。
【0060】
(交通量計測装置50)
交通量計測装置50は、監視画像ストレージ40から提供された撮像画像を取得する。そして、交通量計測装置50は、監視画像ストレージ40から取得した撮像画像と、監視カメラ10によるキャリブレーションの結果とに基づいて、車両の台数(交通量)および車両速度を計測する。また、交通量計測装置50は、監視画像ストレージ40から取得した撮像画像と、監視カメラ10によるキャリブレーションの結果とに基づいて、所定の基準位置を通過する車両の種別を検出する。
【0061】
なお、交通量の計測、車両速度の計測および車両の種別の検出は、公知の技術であるため、詳細な説明を省略する。
【0062】
(取得部121)
取得部121は、ダイナミックマップDB30からダイナミックマップ31(
図5)を取得し、ダイナミックマップ31に基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得する。例えば、操作端末20が備える表示部250によってダイナミックマップ31が表示され、道路管理者によってダイナミックマップ31における2点を指定する操作が入力部210に入力された場合、取得部121は、その2点を第1の点および第2の点として認識してもよい。
【0063】
ここでは、取得部121が、ダイナミックマップ31の静的情報L1に基づいて、第1の点と第2の点との距離を実距離として取得する場合を主に想定する。例えば、第1の点および第2の点それぞれは、実空間に存在する道路平面上の2点(特に、道路平面上の平行な2直線の各々上の点)であってもよい。道路平面上の平行な2直線は、車両が走行する車線を構成し得る。
【0064】
一例として、上記したように、静的情報L1には、車線情報が含まれ得る。そこで、道路管理者によってダイナミックマップ31における車線を指定する操作が入力された場合には、取得部121は、その車線の幅の実距離をダイナミックマップ31の静的情報L1から取得してもよい。
【0065】
他の一例として、上記したように、静的情報L1には、構造物情報が含まれ得る。そこで、道路管理者によってダイナミックマップ31における構造物を指定する操作が入力された場合には、取得部121は、その構造物の実寸を実距離としてダイナミックマップ31の静的情報L1から取得してもよい。例えば、取得部121は、構造物の実寸の例として標識の高さを実距離として取得してもよい。
【0066】
以下では、取得部121が、道路管理者によって指定された車線の幅の実距離をダイナミックマップ31の静的情報L1から取得する場合を主に想定する。なお、以下の説明において、車線の幅の実距離は、点Q1(第1の点)と点Q2(第2の点)との実距離Q_disに該当する。
【0067】
(キャリブレーション処理部122)
キャリブレーション処理部122は、キャリブレーションを行う。より詳細に、キャリブレーション処理部122は、キャリブレーションの一例として、道路平面を示す式(以下、「道路平面式」とも言う)を算出する処理を行うとともに、キャリブレーションの他の一例として、車両の進行方向を算出する処理を行う。すなわち、キャリブレーション処理部122は、キャリブレーションの結果の一例として、道路平面式を得るとともに、キャリブレーションの結果の他の一例として、車両の進行方向を得る。
【0068】
キャリブレーション処理部122は、取得部121から点Q1と点Q2との実距離Q_disを取得する。さらに、キャリブレーション処理部122は、点Q1と点Q2とが撮像部110によって少なくとも写された撮像画像を撮像部110から取得する。そして、キャリブレーション処理部122は、点Q1と点Q2との実距離Q_disと、撮像画像とに基づいて、キャリブレーションを実行する。
【0069】
これによって、キャリブレーションの精度が向上し得るとともに、キャリブレーションの精度を向上させるために専用車両を準備する必要がなくなる。
【0070】
以下では、
図6および
図7を参照しながら、キャリブレーション処理部122により行われるキャリブレーションの例について説明する。
【0071】
図6は、キャリブレーション処理部122により使用されるパラメータを示す図である。キャリブレーション処理部122は、撮像部110を構成する撮像素子のサイズと制御部120に提供される撮像画像Img’のサイズとに基づいて、撮像素子の単位pixel当たりの撮像画像Img’のサイズpix_dotをパラメータとして算出する。撮像画像Img’は、原点Oから焦点距離だけ離れた撮像素子の撮像面上に撮像された撮像画像Img(
図7)に基づいて生成される。また、制御部120に提供された撮像画像Img’は、取得部121によって取得されてキャリブレーション処理部122によって利用され得る。
【0072】
図6に示すように、ここでは、撮像素子がCCD(Charge Coupled Device)である場合を例として説明するが、CCDは撮像素子の一例に過ぎない。したがって、撮像素子はCMOS(Complementary Metal Oxide Semiconductor)等であってもよい。
【0073】
ここで、CCDサイズをccd_sizeとし、撮像画像Img’(横:width×縦:height)のサイズをimg_sizeとすると、キャリブレーション処理部122は、以下の数式(1)によりpix_dotを算出することができる。一般的に、CCDサイズは、CCDの対角線の長さで表されるため、この数式(1)に示されるように、CCDサイズが撮像画像Img’の縦横の2乗和の平方根で除されることにより算出される。しかし、このような手法によるパラメータpix_dotの算出は一例に過ぎないため、他の手法によりパラメータpix_dotが算出されてもよい。例えば、CCDの対角線の代わりにCCDの縦または横の長さが用いられてもよい。
【0074】
【0075】
なお、CCDサイズは、例えば、撮像部110から容易に取得される。また、撮像画像Img’のサイズは、例えば、記憶部130から取得される。したがって、制御部120は、これらのサイズに基づいて、CCDの撮像面に撮像される撮像画像Imgの実空間における3次元座標と制御部120に提供される撮像画像Img’の2次元座標との対応関係を把握することができる。すなわち、制御部120は、この対応関係に基づいて、制御部120に提供される撮像画像Img’の2次元座標からCCDの撮像面に撮像される撮像画像Imgの実空間における3次元座標を把握することができる。
【0076】
このように算出されたパラメータを用いてキャリブレーションが行われ得る。以下、
図7を参照しながら、キャリブレーション処理部122によりパラメータを用いて行われるキャリブレーションの例について説明する。
【0077】
図7は、キャリブレーション処理部122の機能を説明するための図である。
図7に示したように、原点Oを基準としたxyz座標系(実空間)を想定する。このxyz座標系において、道路平面式をR1x+R2x+R3z+R4=0とする。また、車両の進行方向を示すベクトルである進行方向ベクトルvを(vx,vy,vz)とする。なお、以下の説明では、
図7に示したように、原点Oから焦点距離fだけ離れた点(焦点)をy軸上に設定し、この焦点を通りy軸に垂直な平面を撮像面とし、この撮像面上に撮像画像Imgが撮像されるものとして説明を続けるが、各座標軸の設定はこのような例に限定されない。
【0078】
道路平面上には、平行な2直線があらかじめ描かれている。したがって、撮像画像Imgには、この平行な2直線が写されている。また、道路平面上には、既知の大きさQ_dis離れた2点Q1,Q2があらかじめ描かれている。撮像画像Imgには、2点Q1,Q2が、Q1’(xs1,f,zs1),Q2’(xs2,f,zs2)として写される。なお、
図7に示した例では、Q1,Q2が道路平面上の平行な2直線の各々上の点として描かれているが、Q1,Q2は、道路平面上の点であれば、特に限定されない。
【0079】
また、撮像画像Imgに写る2直線のうち、第1の直線が通る2点をT1(x1,y1,z1)およびT4(x4,y4,z4)とし、第2の直線が通る2点をT2(x2,y2,z2)およびT3(x3,y3,z3)とする。すると、
図7に示すように、T1、T2、T3およびT4の各々と原点Oとを結ぶ直線と道路平面との交点の座標は、t1・T1、t2・T2、t3・T3およびt4・T4と表される。キャリブレーション処理部122は、例えば、以下に示す(前提条件1)に基づいて、キャリブレーションを行うことができる。
【0080】
(前提条件1)
(条件1)道路平面上の平行な2直線の方向ベクトルは同じである。
(条件2)撮像部110のロールは0である。
(条件3)原点Oから道路平面までの距離を高さHとする。
(条件4)道路平面上にQ_dis離れたQ1およびQ2が存在する。
なお、上記ロールが0であるとは、道路平面に対して垂直な方向に設置されている物体が撮像画像Img上においても縦方向に写るように撮像部110が設置されている状態を意味する。
【0081】
キャリブレーション処理部122は、以上に示したように取得される各種データと(条件1)とに基づいて、以下の数式(2)および数式(3)に示される関係式を導き出すことができる。
【0082】
【0083】
【0084】
また、キャリブレーション処理部122は、以上に示したように取得される各種データと(条件2)とに基づいて、以下の数式(4)に示される関係式を導き出すことができる。なお、ロールが0の状態であれば、道路平面式と平行な軸方向(
図7に示した例では、x軸方向)への道路平面に対する垂線の成分が0になるため、計算式が簡略化される(例えば、x軸方向への垂線の成分が0であれば、R1=0として計算できる)。
【0085】
【0086】
また、キャリブレーション処理部122は、以上に示したように取得される各種データと(条件3)とに基づいて、以下の数式(5)に示される関係式を導き出すことができる。
【0087】
【0088】
また、キャリブレーション処理部122は、以上に示したように取得される各種データと(条件4)とに基づいて、以下の数式(6)および数式(7)に示される関係式を導き出すことができる。
【0089】
【0090】
【0091】
ここで、K1は、原点Oから道路平面上のQ1(xr1,yr1,zr1)までの距離が原点Oから撮像画像Img上のQ1’(xs1,f,zs1)までの距離の何倍になっているかを示す値である。同様に、K2は、原点Oから道路平面上のQ2(xr2,yr2,zr2)までの距離が原点Oから撮像画像Img上のQ2’(xs2,f,zs2)までの距離の何倍になっているかを示す値である。したがって、以下の数式(8)に示される関係式を導き出すことができる。
【0092】
【0093】
キャリブレーション処理部122は、数式(8)に示される関係式から、道路平面上の2点(Q1およびQ2)の距離の測定値Q_dis’を、以下の数式(9)により算出することができる。
【0094】
【0095】
キャリブレーション処理部122は、測定値Q_dis’と既知の大きさQ_disとの差分が最も小さくなる場合におけるR1、R2、R3およびR4を、数式(1)~数式(9)に基づいて算出することができる。このようにR1、R2、R3およびR4が算出されることにより、道路平面式R1x+R2x+R3z+R4=0が決定される。
【0096】
以上に説明したような道路平面式の算出手法は、一例に過ぎない。したがって、キャリブレーション処理部122は、他の手法により道路平面式を算出することも可能である。例えば、道路平面上の平行な2直線間の距離が既知であれば、この道路平面上の平行な2直線間の距離を用いることにより、(条件2)を使用しないで道路平面式を算出することができる。
【0097】
また、キャリブレーション処理部122は、進行方向ベクトルv(vx,vy,vz)を算出することもできる。より詳細には、キャリブレーション処理部122は、道路平面上の平行な2直線のうちの少なくともいずれか一方の直線の方向を算出することにより、進行方向ベクトルvを算出することができる。例えば、キャリブレーション処理部122は、座標t2・T2と座標t3・T3との差分を進行方向ベクトルvとして算出してもよいし、座標t1・T1と座標t4・T4との差分を進行方向ベクトルvとして算出してもよい。
【0098】
以上に説明したような手法により、キャリブレーション処理部122は、キャリブレーションを行うことができる。このようなキャリブレーションにより算出された道路平面式R1x+R2x+R3z+R4=0および進行方向ベクトルv(vx,vy,vz)を交通量および車両速度の計測のために利用することができる。
図7に示すように、キャリブレーション処理部122は、進行方向ベクトルv(vx,vy,vz)と平行な車両走行軸Aを設定してもよい。上記のようにxyz座標が実空間の実サイズに合わせて設定されれば、車両走行軸Aも実空間において実サイズに合わせて設定され得る。
【0099】
また、
図7に示すように、キャリブレーション処理部122は、計測範囲E1を設定してもよい。そうすれば、計測範囲E1から抽出される車両領域に基づいて交通量および車両速度が計測され得る。例えば、キャリブレーション処理部122は、入力操作に基づいて計測範囲E1を設定してもよいし、進行方向ベクトルv(vx,vy,vz)に基づいて自動的に計測範囲E1を設定してもよい。ただし、撮像範囲自体を計測範囲とする場合などには、計測範囲の設定は特になされなくてもよい。
【0100】
キャリブレーション処理部122は、設定した各種情報を、通信部140を介して交通量計測装置50に出力してもよい。キャリブレーション処理部122によって設定された各種情報は、交通量計測装置50による交通量の計測、車両速度の計測および車両の種別の検出に用いられる。
【0101】
なお、上記したように、道路管理者は、撮像部110の旋回操作を入力部210に入力し得る。旋回操作は、撮像部110の向きの変更指示に該当し得る。例えば、撮像部110の向きの変更指示は、基準となる向きに対する差分を含んでもよい。制御部120は、撮像部110の向きの変更指示の通知を操作端末20から受けると、撮像部110の向きの変更指示に含まれる差分だけ撮像部110の向きが基準となる向きから変化するように撮像部110の向きを調整する。
【0102】
このとき、キャリブレーション処理部122は、撮像部110の向きの変更に基づいて、キャリブレーションを再実行してもよい。より詳細に、キャリブレーション処理部122は、撮像部110の向きの変更指示の通知を操作端末20から受けると、キャリブレーションを再実行してもよい。これによって、撮像部110の画角に対する耐性が発揮されるようになる。
【0103】
あるいは、上記したように、道路管理者は、撮像部110のズーム操作を入力部210に入力し得る。ズーム操作は、撮像部110の焦点距離の変更指示に該当し得る。例えば、撮像部110の焦点距離の変更指示は、基準となる焦点距離に対する差分を含んでもよい。制御部120は、撮像部110の焦点距離の変更指示の通知を操作端末20から受けると、撮像部110の焦点距離の変更指示に含まれる差分だけ撮像部110の焦点距離が基準となる焦点距離から変化するように撮像部110の焦点距離を調整する。
【0104】
このとき、キャリブレーション処理部122は、撮像部110の焦点距離の変更に基づいて、キャリブレーションを再実行してもよい。より詳細に、キャリブレーション処理部122は、撮像部110の焦点距離の変更指示の通知を操作端末20から受けると、キャリブレーションを再実行してもよい。これによって、撮像部110の画角に対する耐性が発揮されるようになる。
【0105】
(計測システム1の動作例)
続いて、本発明の実施形態に係る計測システム1の動作例について説明する。
図8は、本発明の実施形態に係る計測システム1の動作例を示すフローチャートである。なお、
図8に示したフローチャートは、計測システム1の動作の一例を示したに過ぎない。したがって、計測システム1の動作は、
図8のフローチャートによって示される動作例に限定されない。
【0106】
図8に示すように、監視カメラ10において、取得部121は、ダイナミックマップ31の静的情報L1に基づいて、実空間に存在する道路平面上の2点の距離を実距離として取得する(S11)。続いて、キャリブレーション処理部122は、取得部121から2点の実距離を取得する。さらに、キャリブレーション処理部122は、2点が撮像部110によって少なくとも写された撮像画像を撮像部110から取得する(S12)。そして、キャリブレーション処理部122は、2点の実距離と撮像画像とに基づいて、キャリブレーションを実行する(S13)。
【0107】
続いて、キャリブレーション処理部122は、キャリブレーションの結果を、通信部140を介して交通量計測装置50に出力する。交通量計測装置50は、キャリブレーション処理部122からキャリブレーションの結果を取得するとともに、撮像部110によって新たに撮像された撮像画像を撮像部110から取得する。交通量計測装置50は、キャリブレーションの結果と撮像画像とに基づいて、交通量の計測を行う(S15)。このとき、交通量計測装置50は、キャリブレーションの結果と撮像画像とに基づいて、車両速度の計測および車両の種別の検出をさらに行ってもよい。
【0108】
道路管理者によって、撮像部110の向きの変更指示または撮像部110の焦点距離の変更指示が入力された場合(S16において「YES」)、S11に動作が移行され、キャリブレーションが再度実行される。一方、道路管理者によって、撮像部110の向きの変更指示および撮像部110の焦点距離の変更指示のいずれも入力されない場合(S16において「NO」)、S17に動作が移行される。
【0109】
交通量計測を継続する場合には(S17において「NO」)、S14に動作が移行され、交通量計測が継続される。一方、交通量計測が継続しない場合には(S17において「YES」)、動作が終了する。
【0110】
(ハードウェア構成例)
続いて、本発明の実施形態に係る監視カメラ10の例としての情報処理装置のハードウェア構成例について説明する。
図9は、本発明の実施形態に係る監視カメラ10の例としての情報処理装置のハードウェア構成を示す図である。なお、操作端末20のハードウェア構成も、
図9に示された情報処理装置900のハードウェア構成と同様に実現されてよい。
【0111】
図9に示すように、情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置910と、通信装置911と、を備える。
【0112】
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバス等から構成されるホストバス904により相互に接続されている。
【0113】
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0114】
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等、利用者が情報を入力するための入力手段と、利用者による入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路等から構成されている。情報処理装置900を操作する利用者は、この入力装置908を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0115】
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプ等の表示装置およびスピーカー等の音声出力装置を含む。
【0116】
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。
【0117】
通信装置911は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置911は、無線通信または有線通信のどちらに対応してもよい。
【0118】
以上、本発明の実施形態に係る監視カメラ10の例としての情報処理装置900のハードウェア構成例について説明した。
【0119】
以上、本発明の実施形態の詳細について説明した。
【0120】
[効果の説明]
以上に説明したように、本発明の実施形態によれば、ダイナミックマップに基づいて実空間に存在する第1の点と第2の点との距離を実距離として取得する取得部121と、前記実距離と、前記第1の点と前記第2の点とが撮像部によって少なくとも写された撮像画像とに基づいて、キャリブレーションを実行するキャリブレーション処理部122と、を備える、監視カメラ10が提供される。
【0121】
かかる構成によれば、カメラのキャリブレーションの精度を向上させることが可能となる。さらに、かかる構成によれば、キャリブレーションの精度を向上させるために専用車両を準備する必要がなくなる。
【0122】
[変形例の説明]
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0123】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【0124】
1 計測システム
10 監視カメラ
110 撮像部
120 制御部
121 取得部
122 キャリブレーション処理部
130 記憶部
140 通信部
20 操作端末
210 入力部
220 制御部
230 記憶部
240 通信部
250 表示部
30 ダイナミックマップDB
31 ダイナミックマップ