特開 2022-100957 観察装置及び観察装置のキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022100957

(43)【公開日】2022-07-06

(54)【発明の名称】観察装置及び観察装置のキャリブレーション方法

(51)【国際特許分類】

   G08G 1/04 20060101AFI20220629BHJP

   H04N 7/18 20060101ALI20220629BHJP

【ＦＩ】

G08G1/04 D

H04N7/18 D

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2020215264

(22)【出願日】2020-12-24

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100180655

【弁理士】

【氏名又は名称】鈴木 俊樹

(72)【発明者】

【氏名】木森 大地

(72)【発明者】

【氏名】吉川 敦

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CE02

5C054CF06

5C054HA19

5H181AA01

5H181CC04

5H181CC24

5H181DD01

(57)【要約】

【課題】計測車両などを用いることなく、キャリブレーションが必要なずれが生じたことを検出できる観察装置及び観察装置のキャリブレーション方法を提供する。
【解決手段】観察装置（５）は、マーカーを含む撮影対象を撮影して撮影画像を取得する検出装置（５０）と、撮影画像に含まれるマーカーの輪郭と撮影画像の端部とが交わる交点を認識ポイントとして、撮影画像における複数の認識ポイントの位置を記憶する記憶部（５２）と、複数の認識ポイントのうち、記憶された位置より所定距離以上の変化があった認識ポイントの数が所定条件を満たす場合に、検出装置の位置又は向きにずれが生じたと判定する制御部（５３）と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

マーカーを含む撮影対象を撮影して撮影画像を取得する検出装置と、
前記撮影画像に含まれる前記マーカーの輪郭と前記撮影画像の端部とが交わる交点を認識ポイントとして、前記撮影画像における複数の前記認識ポイントの位置を記憶する記憶部と、
複数の前記認識ポイントのうち、記憶された位置より所定距離以上の変化があった前記認識ポイントの数が所定条件を満たす場合に、前記検出装置の位置又は向きにずれが生じたと判定する制御部と、を備える、観察装置。

【請求項2】

前記記憶部は、前記認識ポイントから延びる前記マーカーの輪郭の一部によって形成される稜線の角度を記憶し、
前記制御部は、前記稜線の角度の変化に基づき、前記検出装置に生じたずれを検出する、請求項１に記載の観察装置。

【請求項3】

前記所定距離は、前記認識ポイントを形成する前記マーカーの前記検出装置からの距離が遠いほど大きい値である、請求項１又は２に記載の観察装置。

【請求項4】

複数の前記認識ポイントを形成する前記マーカーは、前記認識ポイント毎に異なっている、請求項１から３のいずれか一項に記載の観察装置。

【請求項5】

前記制御部は、反対方向へ位置が変化した複数の前記認識ポイントが所定以上含まれる場合、報知を行う、請求項１から４のいずれか一項に記載の観察装置。

【請求項6】

前記撮影画像の端部は、前記撮影画像の外周を形成する辺であり、
前記認識ポイントは前記撮影画像の複数の端部について、それぞれ同数となるように設定される、請求項１から５のいずれか一項に記載の観察装置。

【請求項7】

前記制御部は、前記検出装置の位置又は向きに生じたずれを検出した場合に、前記撮影画像における位置と、当該位置に存在する前記撮影対象までの距離との対応についてキャリブレーションを実行する、請求項１から６のいずれか一項に記載の観察装置。

【請求項8】

前記所定条件は、前記変化があった前記認識ポイントの数が、複数の前記認識ポイントの半数を超えることである、請求項１から７のいずれか一項に記載の観察装置。

【請求項9】

前記所定条件は、前記変化があった前記認識ポイントの数が、所定の値を超えることである、請求項１から７のいずれか一項に記載の観察装置。

【請求項10】

前記認識ポイントは、前記撮影画像の端部が構成する４つの辺のうち、３つ以上の辺に存在する、請求項１から９のいずれか一項に記載の観察装置。

【請求項11】

前記検出装置は路面を観察し、
前記マーカーは、前記路面に存在する物体である、
請求項１から１０のいずれか一項に記載の観察装置。

【請求項12】

検出装置を備える観察装置のキャリブレーション方法であって、
マーカーを含む撮影対象を撮影した撮影画像を取得することと、
前記撮影画像に含まれる前記マーカーの輪郭と前記撮影画像の端部とが交わる交点を認識ポイントとして、前記撮影画像における複数の前記認識ポイントの位置を記憶させることと、
複数の前記認識ポイントのうち、記憶された位置より所定距離以上の変化があった前記認識ポイントの数が所定条件を満たす場合に、前記検出装置の位置又は向きにずれが生じたと判定することと、を含む、観察装置のキャリブレーション方法。

【請求項13】

算出した前記検出装置の位置又は向きの変化量に基づいて、前記撮影画像における前記撮影対象の位置と前記撮影対象までの距離との対応についてキャリブレーションを実行すること、を含む、請求項１２に記載の観察装置のキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、観察装置及び観察装置のキャリブレーション方法に関する。

【背景技術】

【0002】

近年、路側に観察装置を設置して、車両及び歩行者などを検出して、当該車両及び歩行者との距離に応じて、接近車両に対して危険を通知する安全運転支援システムの開発が進められている。観察装置は一般に道路に近い位置に取り付けられ、走行車両などの振動の影響を受け得る。振動によって観察装置の設置角度が変動した場合、観察装置が検出した車両等との距離の検出が正確に行われなくなる。そのため、観察装置はキャリブレーションによって検出の正確さを保つ必要がある。例えば特許文献１は、目印（マーカー）を搭載した計測車両を用いて、観察装置の一種である路側機をキャリブレーションする技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１００３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、計測車両などを用いずに、観察装置のキャリブレーションが可能な技術が求められている。また、このような技術が、適切なキャリブレーションのタイミングを検知できればさらに有用である。

【0005】

かかる事情に鑑みてなされた本開示の目的は、計測車両などを用いることなく、キャリブレーションが必要なずれが生じたことを検出できる観察装置及び観察装置のキャリブレーション方法を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る観察装置は、
マーカーを含む撮影対象を撮影して撮影画像を取得する検出装置と、
前記撮影画像に含まれる前記マーカーの輪郭と前記撮影画像の端部とが交わる交点を認識ポイントとして、前記撮影画像における複数の前記認識ポイントの位置を記憶する記憶部と、
複数の前記認識ポイントのうち、記憶された位置より所定距離以上の変化があった前記認識ポイントの数が所定条件を満たす場合に、前記検出装置の位置又は向きにずれが生じたと判定する制御部と、を備える。

【0007】

本開示の一実施形態に係る観察装置のキャリブレーション方法は、
検出装置を備える観察装置のキャリブレーション方法であって、
マーカーを含む撮影対象を撮影した撮影画像を取得することと、
前記撮影画像に含まれる前記マーカーの輪郭と前記撮影画像の端部とが交わる交点を認識ポイントとして、前記撮影画像における複数の前記認識ポイントの位置を記憶させることと、
複数の前記認識ポイントのうち、記憶された位置より所定距離以上の変化があった前記認識ポイントの数が所定条件を満たす場合に、前記検出装置の位置又は向きにずれが生じたと判定することと、を含む。

【発明の効果】

【0008】

本開示によれば、計測車両などを用いることなく、キャリブレーションが必要なずれが生じたことを検出できる観察装置及び観察装置のキャリブレーション方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係る観察装置を備える通信システムの構成例を示す図である。

【図2】図２は、一実施形態に係る観察装置の機能ブロック図の一例である。

【図3】図３は、一実施形態に係る観察装置の構成例を示す図である。

【図4】図４は、一実施形態に係る観察装置の設置例を示す図である。

【図5】図５は、検出装置のずれとキャリブレーションについて説明する図である。

【図6】図６は、検出装置のずれとキャリブレーションについて説明する図である。

【図7】図７は、認識ポイント及び稜線について説明する図である。

【図8】図８は、検出装置の位置又は向きの変化量について説明する図である。

【図9】図９は、一実施形態に係る観察装置のキャリブレーション方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

（通信システム）
図１は、一実施形態に係る観察装置５を備える通信システム１の構成例を示す。通信システム１は、例えば、高度道路交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）の安全運転支援通信システムである。安全運転支援通信システムは、安全運転支援システムと呼ばれたり、安全運転支援無線システムと呼ばれたりする。

【0011】

観察装置５は、路上の車両、物体及び人を観察する装置であって、例えば路側機又は監視カメラ装置などである。本実施形態において、観察装置５は、路側機であって、複数の道路７（車道）が交差する交差点の近くに配置されて、路面を観察する。ここで、観察装置５は、交差点以外の路側に配置されてよい。観察装置５の詳細については後述する。

【0012】

通信システム１では、観察装置５と、道路７を走る自動車などの車両６とが、互いに無線通信を行うことが可能である。また、複数の車両６は、互いに無線通信を行うことが可能であってよい。通信システム１では、さらに、歩行者９が所持する電子機器を含んで無線通信を行うことが可能であってよい。電子機器は、例えば、スマートフォンなどの携帯端末装置である。

【0013】

観察装置５は、車両６の運転者の安全運転を支援するための安全運転支援情報を、車両６に通知することが可能である。安全運転支援情報は、例えば信号機４の点灯に関する情報、道路規制に関する情報、観察装置５が配置されている交差点の形状（道路７の形状）などを示す道路線形情報を含んでよい。また、観察装置５は、観察する路上の車両６及び歩行者９を検知する。観察装置５は、例えば横断歩道３を渡る歩行者９を検知することができる。観察装置５は、交差点に近づく車両６を検知することができる。観察装置５は検知する車両６及び歩行者等の物体までの距離を検知することができる。観察装置５は、検知した車両６及び歩行者９に関する情報を、安全運転支援情報に含めて車両６に通知することが可能である。また、観察装置５は、車両６から通知される情報も安全運転支援情報に含めて、他の車両６に通知することが可能である。また、上記のように、観察装置５は、これらの情報を歩行者９が所持する電子機器に通知することが可能であってよい。

【0014】

車両６は車両情報を例えば定期的に観察装置５などに送信してよい。車両情報は、例えば、車両６の位置、速度、ウィンカーに関する情報などを含み得る。車両６は、搭載している電子機器によって、観察装置５などから通知される各種情報を受け取ることができる。車両６が搭載する電子機器は、例えばカーナビゲーションシステムなどであってよい。車両６が搭載する電子機器は、観察装置５から通知される情報に基づいて、警告などの通知を運転者に行うことによって、運転者の安全運転を支援することができる。運転者への通知は、例えば交差点で曲がる場合に、前方から他の車両６が近づいてきていること、曲がった先の横断歩道３に歩行者９が存在することなどであってよい。

【0015】

このように、通信システム１は、車両６の運転者の安全運転を支援する。ここで、車両６は、自動車に限定されない。例えば、車両６は、自動二輪車、バス、路面電車、自転車を含み得る。

【0016】

（観察装置の機能ブロック図）
図２は、本実施形態に係る観察装置５の機能ブロック図である。観察装置５は、検出装置５０と、通信部５１と、記憶部５２と、制御部５３と、を備える。検出装置５０は複数であってよい。複数の検出装置５０はそれぞれが独立に動作可能であってよい。

【0017】

検出装置５０は車両６及び歩行者９などを検出する装置である。検出装置５０はセンサを含んで構成される。検出装置５０は、例えばイメージセンサを含んで構成される可視光カメラであってよい。また、検出装置５０は、赤外線センサを含んで構成される赤外線カメラであってよい。本実施形態において、検出装置５０は、少なくとも可視光カメラを含み、後述するマーカーＭを含む撮影対象を撮影して撮影画像を取得する。

【0018】

ここで、検出装置５０が含むセンサは、イメージセンサ及び赤外線センサに限定されない。検出装置５０が含むセンサは、例えば３Ｄレーザースキャナなどを含み得る。検出装置５０は、センサが検出した検出信号、上記の撮影画像などを制御部５３に出力する。

【0019】

通信部５１は、制御部５３によって制御されて車両６と無線通信を行う。通信部５１は、通信回路と、アンテナとで構成されてよい。アンテナは例えば無指向性のアンテナであってよい。通信部５１は、例えばＩＴＳに割り当てられている７００ＭＨｚ帯を使用して無線通信を行ってよい。また、通信部５１は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いて無線通信を行ってよい。

【0020】

通信部５１は、アンテナで受信した信号に対して増幅処理などの各種処理を行い、処理後の受信信号を制御部５３に出力する。制御部５３は、入力される受信信号に対して各種処理を行って、当該受信信号に含まれる情報を取得する。また、制御部５３は、情報を含む送信信号を通信部５１に出力する。通信部５１は、入力される送信信号に対して増幅処理などの各種処理を行って、処理後の送信信号をアンテナから無線送信する。

【0021】

記憶部５２は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部５２は、例えば制御部５３において実行されるプログラム、及び、制御部５３において実行された処理の結果などを記憶してよい。また、記憶部５２は、制御部５３のワークメモリとして機能してよい。記憶部５２は、例えばＲＯＭ及びＲＡＭなどの半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。記憶部５２は、例えば、小型のハードディスクドライブ及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などを含んでよい。

【0022】

本実施形態において、記憶部５２は、制御部５３において実行されるキャリブレーションに関連するデータを記憶する。キャリブレーションに関連するデータとして、記憶部５２は、後述する認識ポイントの位置を含む認識ポイントのデータ５２１を記憶してよい。また、記憶部５２は、後述する稜線のデータ５２２を記憶してよい。また、記憶部５２は、撮影画像における撮影対象の位置と撮影対象までの距離との対応を示す座標－距離の対応データを記憶してよい。また、記憶部５２は、後述する検出装置５０の変化量の算出及びキャリブレーションを制御部５３に実行させるためのプログラムを記憶してよい。

【0023】

制御部５３は、観察装置５の他の構成要素を制御することによって、観察装置５の動作を統括的に管理する。制御部５３は、１つ以上のプロセッサを含んでよい。プロセッサは、アクセス可能なメモリからプログラムをロードして、観察装置５の各種の機能を実現させてよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサの少なくともいずれかを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部５３は、１つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）の少なくともいずれかを含んでよい。

【0024】

制御部５３は、取得した検出装置５０からの検出信号などに基づいて、安全運転支援情報を生成することができる。例えば制御部５３は、検出装置５０から取得した撮影画像に含まれる歩行者９までの距離を測定して、歩行者９が接近していると判定した場合に、車両６に警告してよい。また、本実施形態において、制御部５３は、後述する認識ポイントの数が所定条件を満たす場合に、検出装置５０の位置又は向きの変化量を算出すること、及び、算出した変化量に基づくキャリブレーションを実行する。これらの処理の詳細については後述する。

【0025】

（観察装置の構成）
図３は、本実施形態に係る観察装置５の構成例を示す図である。図３に示すように、観察装置５は、複数の検出装置５０を備え、これらが接続部５７に接続されて相対的な位置関係が定められた路上観察ユニットとして提供されてよい。

【0026】

接続部５７は検出装置５０を接続するための部材である。本実施形態において、接続部５７は金属製の枠型の部材である。ただし、接続部５７の材料及び形状は限定されない。ここで、図３に示すように、路上観察ユニットである観察装置５に対して、直交座標を定めることができる。例えばｕ軸方向、ｖ軸方向、ｗ軸方向は、それぞれ接続部５７の頂点において互いに直角に交わる辺が延びる方向に対応する。図３に示すように、本実施形態に係る観察装置５において、複数の検出装置５０はｗ軸方向に並んで配置される。

【0027】

図４は観察装置５の設置例を示す。観察装置５は、例えば観察対象の道路７が交差する交差点付近の柱５９に設置される。柱５９に接続部５７が固定されて、接続部５７に対して検出装置５０の向きが調整されてよい。ここで、観察装置５は、路上を観察するように設置された場合に、ｗ軸方向が鉛直方向となる。ここで、図４において、ｚ軸方向が鉛直方向であって、ｘ軸及びｙ軸はｚ軸に直交する水平の方向を示す。

【0028】

ここで、検出装置５０は例えばネジ５６（図３参照）、はめ合い等によって接続部５７に取り付けられて向きが調整されてよい。検出装置５０は、接続部に対する設置角度を変更するための調整機構を有してよく、例えばパン、チルト、ヨー方向への回転が可能であってよい。調整機構は雲台のような構造であってよいが、これに限定されない。検出装置５０は、例えば図３に示すｕ軸方向、ｖ軸方向、ｗ軸方向に軸を有することで、可動部分を土台部分に対して３軸方向に調整可能な構造であってよい。柱５９に接続部５７が固定された場合に、検出装置５０は適切な俯角で路上を観察するよう調整され、向きが変化しないよう、ネジ止め等により固定される。

【0029】

（キャリブレーション）
上記のように、観察装置５は、例えば観察対象の道路７が交差する交差点付近に設置されるため、走行車両などの振動の影響を受け得る。例えば走行車両などの振動を受け続けることによって、検出装置５０を接続部５７に固定するためのネジ５６、嵌合部分などが緩んだり、回転したりして、検出装置５０の検出方向がずれることがある。又は、観察装置５を取り付けた柱５９に衝撃が加わることにより検出装置５０の検出方向がずれることがある。そのような場合に、観察装置５が正確な距離測定を実行し続けるためにキャリブレーションが必要になる。

【0030】

図５及び図６は、検出装置５０のずれとキャリブレーションについて説明する図である。図５は、当初の位置にある検出装置５０が、５０ｍ先のマーカーＭを撮影する様子、及び、その撮影画像を例示する。マーカーＭは１つに限られず、複数であってよい。ここで、マーカーＭは、検出装置５０の撮影対象のうち、観察装置５からの特定の距離に位置する物である。そのため、マーカーＭを用いて、撮像画像における座標と観察装置５からの撮影対象までの距離とを対応付けることが可能である。マーカーＭとしては、例えば建物、バスなどの停留所を示す設置物（以下、バス停）、看板、道路７に描かれた白線など、移動しにくい物体が選択される。図５に示される撮影画像において、マーカーＭは座標（５０，４０）の位置にあり、この座標が観察装置５から５０ｍ先の位置に対応づけられる。ここで、撮影画像の座標は、水平方向をＸ軸、垂直方向をＹ軸として、左上の頂点が座標（０，０）となる。撮影画像における座標と観察装置５からの距離の情報は、座標－距離の対応データとして、記憶部５２に記憶されてよい。座標－距離の対応データは、撮影画像中の全ピクセルの座標について、観察装置５からの距離を対応付けされたものでよいし、一部のピクセルの座標について対応付けをされたものでよい。

【0031】

図６は、検出装置５０が図５の状態からチルト方向にずれた後で、５０ｍ先のマーカーＭを撮影する様子、及び、その撮影画像を例示する。図６に示すように、図５において座標（５０，４０）の位置にあったマーカーＭは、座標（４５，４５）に移動している。検出装置５０が図６のような状態に変化した場合に、座標（５０，４０）を５０ｍ先の位置とする当初の対応付けでは、観察装置５が正確な距離測定を実行することができない。そのため、新たに座標（４５，４５）を５０ｍ先の位置とする対応付けを行うキャリブレーションが必要になる。キャリブレーションとは、撮影画像における位置（座標）と、当該位置に存在する撮影対象と観察装置との距離の対応関係の補正である。本実施形態において、キャリブレーションは記憶部５２に記憶されている座標－距離の対応データを更新することによって実行される。座標－距離の対応データは、撮影画像における位置（座標）と、その座標にある撮影対象までの距離との対応付けを定めるデータである。観察装置５の制御部５３は、距離測定を実行する場合に、記憶部５２から読みだした座標－距離の対応データに基づいて、撮影対象までの距離を算出する。

【0032】

ここで、観察装置５の設置場所によっては、マーカーＭとして路上に取り付けられた看板などの移動し得るものを選択することがあり得る。又は、マーカーＭとして選択した白線に物体が置かれることで正しく認識できなくなったり、経年劣化によって消えたり、形状が変化したりする場合がある。このような場合に、マーカーＭが移動したこと、異なった形状に認識されたことを検出装置５０がずれたと誤判定して、キャリブレーションを実行すると、観察装置５が正確な距離測定を実行することができない。したがって、検出装置５０がずれたことを適切に判定することが必要である。また、検出装置５０には、チルト方向以外のずれ（例えばパン方向のずれ、一方向へのずれなど）が生じ得る。そのため、ずれの方向及びずれの量を適切に判定することが必要である。本実施形態に係る観察装置５は、以下に説明する方法で、キャリブレーションが必要なずれが生じたことを検出し、検出装置５０の位置又は向きの変化量を算出する。

【0033】

（認識ポイント）
観察装置５の制御部５３は、観察装置５の設置場所に応じて、マーカーＭを設定する。そして、制御部５３は、検出装置５０から取得した撮影画像に含まれるマーカーＭの輪郭と、撮影画像の端部とが交わる交点を認識ポイントとする。制御部５３は、認識ポイントが複数であるように、マーカーＭを１つ以上定める。また、制御部５３は、稜線を設定する。稜線は、撮影画像における、マーカーＭの輪郭の一部であって、認識ポイントから延びる線である。稜線は、直線であるか、直線に近似できる線であるように選択される。ここで、認識ポイント及び稜線を形成するマーカーＭは、座標－距離の対応データを生成するのに用いた物体であってよいし、それ以外の物体であってよい。検出装置５０から取得した撮影画像に含まれる様々な物体が、認識ポイント及び稜線を形成するマーカーＭとなりうる。

【0034】

図７は認識ポイント及び稜線について説明する図である。図７は、検出装置５０から取得した撮影画像の例、認識ポイントのデータ５２１の例及び稜線のデータ５２２の例を含む。図７に示される撮影画像において、マーカーＭは左上の建物、中央の道路７の白線及び右下のバス停である。ここで、撮影画像の端部は４つの辺（上辺、右辺、下辺及び左辺）を構成する。認識ポイントＰ１は、バス停の輪郭と下辺とが交わる交点である。認識ポイントＰ２は、建物の輪郭と左辺とが交わる交点である。また、認識ポイントＰ３は、道路７の白線の輪郭と上辺とが交わる交点である。図７に示される撮影画像において、その他の丸を付した部分は認識ポイントとなり得る。制御部５３は、このような全ての交点を認識ポイントとしてよいし、一部を選択して認識ポイントとしてよい。制御部５３は、複数の認識ポイントを設定する。一例として、制御部５３は、１０から２０の認識ポイントを設定してよい。ここで、認識ポイントは、検出装置５０の位置又は向きの変化量を算出可能なように、撮影画像の端部が構成する４つの辺のうち３つ以上の辺に存在する必要がある。また、認識ポイントは、撮影画像の各辺で同数となるように配分されてよい。各辺における認識ポイントの位置は、撮影画像において所定以上離れるように設定してよい。近接する認識ポイントは同一の物体、又は近接する異なる物体によって形成される場合が多いためである。認識ポイント及び稜線を形成する撮影画像中の物体は、認識ポイント及び稜線ごとに異なる物体であることが望ましい。１つの物体によって多くの認識ポイントが設定されると、当該物体の位置のずれが、検出装置のずれと誤判断されるためである。ここで、認識ポイントは、撮影画像中の物体を画像認識することで、制御部が自動的に設定してよいし、オペレータが撮影画像中から選択することで設定してよい。

【0035】

図７に示される撮影画像において、稜線Ｌ１はバス停の輪郭の一部であって、認識ポイントＰ１から延びる。また、稜線Ｌ２は道路７の白線の輪郭の一部であって、認識ポイントＰ３から延びる。その他のマーカーＭの輪郭の一部が稜線に設定されてよい。制御部５３は、このような全ての部分を稜線としてよいし、一部を選択して稜線としてよい。制御部５３は、１つ以上の稜線を設定してよい。一例として、制御部５３は、１０から２０の稜線を設定してよい。

【0036】

制御部５３は、設定した認識ポイントについての情報を、認識ポイントのデータ５２１として、記憶部５２に記憶させる。認識ポイントのデータ５２１は、撮影画像における複数の認識ポイントの位置（座標）を含む。図７の例では、認識ポイントのデータ５２１は、認識ポイントの番号と、撮影画像上の位置と、その認識ポイントの１ピクセルのずれに対する検出装置５０の角度変化と、を対応付ける。ここで、角度変化におけるＸ方向の値はパン方向の変化量を示す。また、角度変化におけるＹ方向の値はチルト方向の変化量を示す。

【0037】

また、制御部５３は、設定した稜線についての情報を、稜線のデータ５２２として、記憶部５２に記憶させる。稜線のデータ５２２は、撮影画像における稜線の始点及び終点の位置（座標）を含む。図７の例では、稜線のデータ５２２は、稜線のデータ上の番号と、始点及び終点の位置と、撮影画像において稜線が撮影画像の端部（すなわち、画像の外周の辺）となす角度と、を対応付ける。

【0038】

制御部５３は、検出装置５０から新たな撮影画像を取得した場合に、認識ポイント及び稜線を新たな撮影画像から抽出して、それらの位置（座標）を求める。制御部５３は、記憶部５２に記憶された認識ポイントのデータ５２１及び稜線のデータ５２２の位置などの情報と比較することによって、検出装置５０がずれたかを判定する。そして、検出装置５０がずれたと判定する場合に、制御部５３は、検出装置５０の変化量を算出する。また、制御部５３は、算出した変化量に基づいて、撮影画像における撮影対象の位置と撮影対象までの距離との対応についてキャリブレーションを実行する。

【0039】

図８は、検出装置５０の位置又は向きの変化量について説明する図である。図８の例において、撮影画像Ｉｔ０は、記憶部５２に記憶された認識ポイントのデータ５２１及び稜線のデータ５２２に対応する認識ポイント及び稜線を含む、過去の撮影画像である。また、撮影画像Ｉｔ１は、新たな撮影画像である。

【0040】

制御部５３は、撮影画像Ｉｔ０で複数の認識ポイント（図８の破線の丸）及び稜線を設定する。制御部５３は、複数の認識ポイントの位置などを特定して、記憶部５２に認識ポイントのデータ５２１を記憶させる。また、制御部５３は、稜線の傾き（角度）などを特定して、記憶部５２に稜線のデータ５２２を記憶させる。新たな撮影画像Ｉｔ１を取得すると、制御部５３は、撮影画像Ｉｔ１において、認識ポイント（図８の撮影画像Ｉｔ１の端部における実線の丸）及び稜線を抽出する。撮影画像Ｉｔ１における認識ポイントを構成する物体は、撮影画像Ｉｔ０における認識ポイントを構成する物体と同一の物体である。そして、撮影画像Ｉｔ０及び撮影画像Ｉｔ１の認識ポイントの位置及び稜線の傾きなどを比較して、検出装置５０がずれたかを判定する。

【0041】

制御部５３は、撮影画像Ｉｔ０について設定した複数の認識ポイントのうち、記憶された位置より所定距離以上の変化があった認識ポイントの数が所定条件を満たす場合に、検出装置５０がずれたと判定する。ここで、所定距離は、例えば大型車両が近くを走行して伝わった振動などによる検出装置５０の日常的な小さな揺れを、誤って検出装置５０がずれたと判定しないために設定される。所定距離は、一例として３ピクセル程度に設定されてよい。図８の例において、所定距離以上の変化があった認識ポイントには、矢印が付されている。例えば認識ポイントＰ１及び認識ポイントＰ２は、所定距離以上の変化があった認識ポイントである。また、例えば認識ポイントＰ３は、所定距離以上の変化がなかった認識ポイントである。ここで、本実施形態において、所定条件は変化があった認識ポイントの数が、複数の認識ポイントの半数を超えることである。変化があった認識ポイントの数が全体の過半数であれば、一部のマーカーＭが移動したのでなく、検出装置５０のずれが生じたと考えられるからである。本実施形態に係る観察装置５は、検出装置５０にキャリブレーションが必要なずれが生じたことを十分な精度で判定することができる。ここで、所定条件で用いられる変化があった認識ポイントの数の全体における比率の閾値は、５０％に限定されない。例えば、この閾値を全体の５０％未満の値（例えば３０％）に設定して、より頻繁にキャリブレーションが実行されるようにしてよい。また、同様の観点から、所定条件は、変化があった認識ポイントの数が、所定の値（例えば５）を超えることであってよい。ここで、検出装置５０のずれに対する認識ポイントの変化量は、通常遠くにあるマーカーＭによる認識ポイントほど大きくなる。従って、すべての認識ポイントについて、所定距離を同一の値とするのではなく、遠くのマーカーＭによる認識ポイントほど所定距離が大きくなるように設定してよい。

【0042】

制御部５３は、検出装置５０がずれたと判定する場合に、撮影画像Ｉｔ０及び撮影画像Ｉｔ１の認識ポイントの位置及び稜線の傾きなどの比較結果に基づいて、検出装置５０の位置又は向きの変化量を算出する。認識ポイントが撮影画像においてＸ方向に変化した場合、検出装置がパン方向に回転したと判断できる。認識ポイントが撮影画像においてＹ方向に変化した場合、検出装置がチルト方向に回転したと判断できる。稜線の角度が撮影画像において変化した場合、検出装置がロール方向に回転したと判断できる。制御部５３は、座標の回転処理で用いられる公知の手法によって、検出装置５０の変化量を算出してよい。

【0043】

制御部５３は、算出した変化量に基づいて、撮影画像における撮影対象の位置と撮影対象までの距離との対応関係を更新する。具体的に述べると、制御部５３は、キャリブレーションとして、記憶部５２に記憶されている座標－距離の対応データを更新する。これにより、観察装置５は正確な距離測定を実行し続けることができる。検出装置５０にキャリブレーションが必要なずれが生じたと判断した場合であっても、所定の場合にはキャリブレーションを実施せず、観察装置５を管理する管理者に報知を行ってよい。所定の場合とは、例えば算出した変化量が非常に大きい場合、認識ポイントの位置の変化方向に矛盾がある場合、稜線の変化方向に矛盾がある場合である。認識ポイント及び稜線の変化に矛盾があるとは、反対方向に変化している認識ポイント及び稜線が一定数以上存在する場合が例示できる。若しくは、多くの認識ポイントが消滅した場合も例示できる。このような場合には、観察装置５が故障した、又は重大な障害が発生した可能性があるため、管理者が状態を確認する必要がある。

【0044】

また、制御部５３は、撮影画像Ｉｔ１において抽出された認識ポイントの位置及び稜線の傾きを用いて、記憶部５２に記憶されている認識ポイントのデータ５２１及び稜線のデータ５２２を更新する。

【0045】

（観察装置のキャリブレーション方法）
図９は、一実施形態に係る観察装置５のキャリブレーション方法の一例を示すフローチャートである。観察装置５は、図９に示されるフローチャートに従ってキャリブレーションのための一連の処理を実行する。

【0046】

観察装置５は、撮像画像を取得する（ステップＳ１）。ステップＳ１における撮像画像は、例えば上記の撮影画像Ｉｔ０が対応する。観察装置５は、撮影画像Ｉｔ０で複数の認識ポイント及び稜線を設定する。

【0047】

観察装置５は、認識ポイントの位置を記憶する（ステップＳ２）。観察装置５は、設定した認識ポイントの位置を、例えば上記の認識ポイントのデータ５２１に含めて、記憶部５２に記憶する。ステップＳ１及びステップＳ２の処理は、例えば観察装置５を最初に設置した際にも行われる。

【0048】

観察装置５は、撮像画像を取得する（ステップＳ３）。ステップＳ３における撮像画像は、例えば上記の撮影画像Ｉｔ１が対応する。観察装置５は、撮影画像Ｉｔ１で複数の認識ポイントの位置及び稜線の傾きなどを特定する。

【0049】

観察装置５は、撮影画像Ｉｔ０で特定した複数の認識ポイントのうち、ステップＳ２で記憶された位置より所定距離以上の変化があった認識ポイントの数が上記の所定条件を満たすかについて判定する（ステップＳ４）。

【0050】

観察装置５は、変化があった認識ポイントの数が所定条件を満たさない場合に（ステップＳ４のＮｏ）、検出装置５０のずれが生じていないと判定して、ステップＳ３の処理に戻る。

【0051】

観察装置５は、変化があった認識ポイントの数が所定条件を満たす場合に（ステップＳ４のＹｅｓ）、検出装置５０のずれが生じたと判定して、ステップＳ５の処理に進む。

【0052】

観察装置５は、検出装置５０の位置又は向きにずれが生じたと判定する（ステップＳ５）。また、観察装置５は、撮影画像Ｉｔ０及び撮影画像Ｉｔ１の認識ポイントの位置及び稜線の傾きなどの比較結果に基づいて、検出装置５０の位置又は向きの変化量を算出する。

【0053】

観察装置５は、算出した変化量に基づいてキャリブレーションを実行する（ステップＳ６）。そして、観察装置５は、ステップＳ２の処理に戻る。キャリブレーションを実行した後のステップＳ２の処理において、観察装置５は、撮影画像Ｉｔ１において抽出された認識ポイントの位置を用いて認識ポイントのデータ５２１を更新し、記憶部５２に記憶する。

【0054】

ここで、観察装置５は、定期的（一例として、一日に１回）に図９のフローチャートのステップＳ３以降の処理を実行してよい。

【0055】

以上のように、本実施形態に係る観察装置５及び及び観察装置５のキャリブレーション方法は、上記の構成及び工程によって、計測車両などを用いることなく、キャリブレーションが必要なずれが生じたことを検出できる。

【0056】

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。

【0057】

例えば、上記の実施形態において、観察装置５が備える制御部５３が検出装置５０の位置又は向きの変化量を算出し、算出した変化量に基づいてキャリブレーションを実行する。ここで、上記のように、観察装置５は通信部５１を備える。観察装置５は、通信部５１を介して通信システム１におけるサーバと通信してよい。観察装置５は、必要なデータをサーバに送信し、サーバが検出装置５０の変化量の算出及びキャリブレーションの少なくとも１つを実行してよい。ここで、通信システム１におけるサーバは、通信システム１の全体を制御するコンピュータである。

【0058】

例えば、上記の実施形態において、観察装置５は複数の認識ポイント及び稜線を設定する。ここで、観察装置５は稜線を設定せずに、複数の認識ポイントだけを定めてよい。

【0059】

例えば、上記の実施形態において、観察装置５は複数の認識ポイントのそれぞれを等しく扱っているが、認識ポイントの位置及び種類などに応じて重みづけが行われてよい。

【符号の説明】

【0060】

１ 通信システム
３ 横断歩道
４ 信号機
５ 観察装置
６ 車両
７ 道路
９ 歩行者
５０ 検出装置
５１ 通信部
５２ 記憶部
５３ 制御部
５６ ネジ
５７ 接続部
５９ 柱
５２１ 認識ポイントのデータ
５２２ 稜線のデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】