特許 5926645 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5926645

(24)【登録日】2016年4月28日

(45)【発行日】2016年5月25日

(54)【発明の名称】カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20160516BHJP

   G06T 1/00 20060101ALI20160516BHJP

   G09B 29/10 20060101ALI20160516BHJP

   G09B 29/00 20060101ALI20160516BHJP

【ＦＩ】

   G01C21/26 C

   G06T1/00 330A

   G09B29/10 A

   G09B29/00 A

【請求項の数】10

【全頁数】23

(21)【出願番号】特願2012-172930(P2012-172930)

(22)【出願日】2012年8月3日

(65)【公開番号】特開2014-32118(P2014-32118A)

(43)【公開日】2014年2月20日

【審査請求日】2015年2月12日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100121360

【弁理士】

【氏名又は名称】粟田 照久

(74)【代理人】

【識別番号】100149157

【弁理士】

【氏名又は名称】関根 創史

(72)【発明者】

【氏名】奥出 真理子

(72)【発明者】

【氏名】蛭田 智昭

(72)【発明者】

【氏名】天谷 真一

(72)【発明者】

【氏名】志磨 健

【審査官】 白石 剛史

(56)【参考文献】

【文献】 特開平７−１４１４８６（ＪＰ，Ａ）

【文献】 特開平７−６３５７２（ＪＰ，Ａ）

【文献】 特開２００７−３４９８９（ＪＰ，Ａ）

【文献】 特開２００２−２５９９９５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０３２１４９０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／２６

Ｇ０６Ｔ １／００

Ｇ０９Ｂ ２９／００

Ｇ０９Ｂ ２９／１０

(57)【特許請求の範囲】

【請求項1】

移動体に搭載されたカメラによって撮影された前記移動体が移動する道路を含む風景の風景画像をナビゲーション用に変換するための、前記カメラの搭載位置の高さおよび前記カメラの向きを表すカメラパラメータを演算するカメラパラメータ演算装置において、
前記移動体の現在位置に関する位置情報を取得する位置情報取得部と、
前記位置情報に基づいて前記現在位置に応じた道路データを取得し、前記移動体が移動する道路の前記現在位置での幅員に関する幅員情報を前記道路データから取得する幅員情報取得部と、
前記カメラから前記風景画像を取得する風景画像取得部と、
前記風景画像と前記幅員情報とに基づいて、前記カメラパラメータを校正計算するカメラパラメータ校正部とを備えることを特徴とするカメラパラメータ演算装置。

【請求項2】

請求項１に記載のカメラパラメータ演算装置において、
前記位置情報と、前記幅員情報取得部によって取得された前記道路データとに基づいて、前記風景の予想画像を生成するとともに前記予想画像に含まれる第１の特徴部分を抽出する予想画像生成部と、
前記カメラによって撮影された前記風景画像を取得する風景画像取得部と、
前記カメラパラメータに基づいて前記風景画像を座標変換することにより第１の風景変換画像を生成する第１の変換部と、
前記第１の風景変換画像から第２の特徴部分を、画像処理演算により抽出する特徴抽出部と、
前記予想画像生成部によって取得された前記第１の特徴部分と、前記特徴抽出部によって取得された前記第２の特徴部分とが類似しているか否かを判断する類似性判断部とをさらに備え、
前記類似性判断部によって前記第１の特徴部分と前記第２の特徴部分とが類似していないと判断されたとき、前記カメラパラメータ校正部によって前記カメラパラメータが校正計算されることを特徴とするカメラパラメータ演算装置。

【請求項3】

請求項２に記載のカメラパラメータ演算装置において、
前記位置情報に基づいて前記現在位置に応じた前記道路データを取得する道路データ取得部と、
前記現在位置周辺で前記道路が所定の道路条件を満たすか否かを前記道路データに基づいて判断する道路条件判断部とをさらに備え、
前記道路条件判断部によって前記道路が前記所定の道路条件を満たすと判断されたとき、前記カメラパラメータ校正部によって前記カメラパラメータが校正計算されることを特徴とするカメラパラメータ演算装置。

【請求項4】

請求項３に記載のカメラパラメータ演算装置において、
前記現在位置周辺での前記道路の幅員が所定幅よりも小さい場合、前記現在位置周辺での前記道路の車線数が所定数よりも小さい場合、前記現在位置周辺での前記道路の道路種別が細街路に区分される場合、前記現在位置周辺での前記道路に対応づけられたリンクのリンク種別が本線リンクでない場合、前記現在位置周辺での前記道路の勾配が所定の勾配値よりも大きい場合、前記現在位置周辺での前記道路の曲率が所定の曲率値よりも大きい場合、前記現在位置周辺での前記道路に対応づけられたリンクと他のリンクとの接続角度が所定角度よりも小さい場合のうちのいずれか１つの場合、前記道路条件判断部は前記道路が前記所定の道路条件を満たすと判断することを特徴とするカメラパラメータ演算装置。

【請求項5】

請求項１〜４のいずれか１項に記載のカメラパラメータ演算装置と、
前記カメラによって撮影された前記風景画像が前記風景画像取得部によって取得されるように、前記カメラが取り付けられて接続されるカメラ接続部と、
前記カメラパラメータ校正部によって校正計算された前記カメラパラメータに基づいて前記風景画像を座標変換することにより第２の風景変換画像を生成する第２の変換部とをさらに備えることを特徴とするナビゲーションシステム。

【請求項6】

請求項５に記載のナビゲーションシステムにおいて、
前記現在位置から前記目的地までの推奨経路を探索する経路探索部と、
前記第２の風景変換画像を用いて前記移動体を前記推奨経路で前記目的地まで誘導するための経路誘導情報を、前記推奨経路と前記第２の風景変換画像とに基づいて生成する経路誘導情報生成部と、
前記経路誘導情報生成部によって生成される前記経路誘導情報に基づいて前記移動体を前記推奨経路で前記目的地まで誘導する経路誘導部とをさらに備えることを特徴とするナビゲーションシステム。

【請求項7】

請求項６に記載のナビゲーションシステムにおいて、
前記第２の風景変換画像と、前記カメラの焦点距離と、前記カメラパラメータ校正部によって校正計算された前記カメラパラメータとに基づいて、前記現在位置から前記現在位置周辺での前記道路上の交差点または前記移動体の前方の他の移動体までの推定距離を算出するとともに、前記風景画像に含まれる前記移動体が移動するレーンの端部に引かれた線の種別に基づき前記レーンを画像処理で認識することによって、前記移動体の移動状況を認識する移動状況認識部をさらに備え、
前記経路誘導情報生成部は、前記移動状況認識部によって認識された前記推定距離および前記レーンと、前記第２の風景変換画像とに基づいて、前記経路誘導情報を生成することを特徴とするナビゲーションシステム。

【請求項8】

請求項６に記載のナビゲーションシステムにおいて、
前記位置情報取得部と、前記幅員情報取得部と、前記風景画像取得部と、前記カメラパラメータ校正部と、前記第２の変換部と、前記経路探索部と、前記経路誘導情報生成部とはサーバ装置に含まれ、
前記カメラ接続部と、前記経路誘導部とは端末装置に含まれ、
前記サーバ装置は、前記風景画像取得部によって取得される前記風景画像を前記端末装置から受信するとともに、前記経路誘導情報生成部によって生成される前記経路誘導情報を前記端末装置へ送信する第１の通信処理部をさらに含み、
前記端末装置は、前記カメラによって撮影された前記風景画像を前記サーバ装置へ送信するとともに、前記経路誘導部による経路誘導に用いられる前記経路誘導情報を前記サーバ装置から受信する第２の通信処理部をさらに含むことを特徴とするナビゲーションシステム。

【請求項9】

請求項６に記載のナビゲーションシステムにおいて、
前記位置情報取得部と、前記幅員情報取得部と、前記風景画像取得部と、前記カメラパラメータ校正部とはサーバ装置に含まれ、
前記カメラ接続部と、前記第２の変換部と、前記経路探索部と、前記経路誘導情報生成部と、前記経路誘導部とは端末装置に含まれ、
前記サーバ装置は、前記風景画像取得部によって取得される前記風景画像を前記端末装置から受信するとともに、前記カメラパラメータ校正部によって校正計算された前記カメラパラメータを前記端末装置へ送信する第１の通信処理部をさらに含み、
前記端末装置は、前記カメラによって撮影された前記風景画像を前記サーバ装置へ送信するとともに、前記第２の変換部による前記第２の風景画像の生成に用いられる前記カメラパラメータを前記サーバ装置から受信する第２の通信処理部をさらに含むことを特徴とするナビゲーションシステム。

【請求項10】

移動体に搭載されたカメラによって撮影された前記移動体が移動する道路を含む風景の風景画像をナビゲーション用に変換するための、前記カメラの搭載位置の高さおよび前記カメラの向きを表すカメラパラメータを演算するカメラパラメータ演算装置において、
前記移動体の現在位置に関する位置情報を取得し、
前記位置情報に基づいて前記現在位置に応じた道路データを取得し、
前記移動体が移動する道路の前記現在位置での幅員に関する幅員情報を前記道路データから取得し、
前記カメラから前記風景画像を取得し、
前記風景画像と前記幅員情報とに基づいて、前記カメラパラメータを校正計算することを特徴とするカメラパラメータ演算方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１がある。特許文献１には、車両が走行中であっても、高い頻度で車載カメラの光軸補正を可能にする車載カメラのキャリブレーション装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−１１１７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら特許文献１に記載されている車載カメラのキャリブレーション装置によると、路面標示が撮影されたときにカメラパラメータの校正が行われるので、予め路面標示に関する情報が地図データに含まれている必要がある。したがって、地図データの大きさが従来よりも大きくなってしまうという問題がある。

【0005】

そこで、本発明は、従来の地図データのままでカメラパラメータの校正が行われるナビゲーション用カメラパラメータ演算装置およびナビゲーション用カメラパラメータ演算方法を提供する。

【課題を解決するための手段】

【0006】

（１）請求項１に記載のカメラパラメータ演算装置は、移動体に搭載されたカメラによって撮影された移動体が移動する道路を含む風景の風景画像をナビゲーション用に変換するための、カメラの搭載位置の高さおよびカメラの向きを表すカメラパラメータを演算するカメラパラメータ演算装置において、移動体の現在位置に関する位置情報を取得する位置情報取得部と、位置情報に基づいて現在位置に応じた道路データを取得し、移動体が移動する道路の現在位置での幅員に関する幅員情報を道路データから取得する幅員情報取得部と、カメラから風景画像を取得する風景画像取得部と、風景画像と幅員情報とに基づいて、カメラパラメータを校正計算するカメラパラメータ校正部とを備えることを特徴とする。
（２）請求項１０に記載のカメラパラメータ演算方法は、移動体に搭載されたカメラによって撮影された移動体が移動する道路を含む風景の風景画像をナビゲーション用に変換するための、カメラの搭載位置の高さおよびカメラの向きを表すカメラパラメータを演算するカメラパラメータ演算装置において、移動体の現在位置に関する位置情報を取得し、位置情報に基づいて現在位置に応じた道路データを取得し、移動体が移動する道路の現在位置での幅員に関する幅員情報を道路データから取得し、カメラから風景画像を取得し、風景画像と幅員情報とに基づいて、カメラパラメータを校正計算することを特徴とする。

【発明の効果】

【0007】

本発明によれば、従来の地図データのままでナビゲーション用に画像を変換するためのカメラパラメータの校正計算が行われるカメラパラメータ演算装置、およびナビゲーション用カメラパラメータ演算方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】ナビゲーションシステムの全体構成を示した図である。

【図2】センタ装置で実行されるカメラパラメータ校正可否判断処理フローを示した図である。

【図3】センタ装置で実行されるカメラパラメータ校正タイミング判定処理フローを示した図である。

【図4】カメラパラメータ校正タイミング判定処理を説明するための補足説明図である。

【図5】センタ装置で実行されるカメラパラメータ校正処理フローを示した図である。

【図6】図５のカメラパラメータ校正処理のステップＳ５０８を説明するための補足説明図である。

【図7】図５のカメラパラメータ校正処理のステップＳ５０２を説明するための補足説明図である。

【図8】図５のカメラパラメータ校正処理のステップＳ５０２を説明するための補足説明図である。

【図9】図５のカメラパラメータ校正処理のステップＳ５０２を説明するための補足説明図である。

【図10】ナビゲーションシステムで実行される、画像情報を利用した目的地までの誘導案内処理フローを示した図である。

【図11】ナビゲーション装置単体で実行される、画像情報を利用した目的地までの誘導案内処理フローを示した図である。

【図12】ナビゲーションシステムのセンタ装置に含まれる経路誘導部によって、ステップＳ１１１８で実行される誘導案内の一例を説明する処理フローである。

【図13】ナビゲーションシステムのナビゲーション装置に含まれる表示部５０に出力される表示例を示した図である。

【図14】ナビゲーションシステムのナビゲーション装置に含まれる表示部５０に出力される表示例を示した図である。

【図15】ナビゲーションシステムのナビゲーション装置に含まれる表示部５０に出力される表示例を示した図である。

【図16】ナビゲーションシステムの全体構成を示した図である。

【発明を実施するための形態】

【0009】

−−−第１の実施形態−−−
以下、図面を参照して本発明の第１の実施形態について詳しく説明する。

【0010】

＜全体構成＞
図１は、本発明の第１の実施形態に係るナビゲーションシステムの全体構成を示した図である。本実施形態におけるナビゲーションシステムの端末装置としてナビゲーション装置を想定し、本実施形態について以下に説明する。

【0011】

図１において、本実施形態に係るセンタ装置１は、通信ネットワーク２に接続され、基地局３を介して、携帯電話などの無線通信により車両４に搭載されているナビゲーション装置５に接続されている。さらに、ナビゲーション装置５には、カメラ６が接続されている。カメラ６は、車両４に搭載され、車両４の現在位置周辺の風景画像を撮影するためのカメラである。

【0012】

センタ装置１は、センタＣＰＵ（Central Processing Unit）１００と、半導体メモリやハードディスク装置などからなる記憶装置１１０などを含むいわゆるコンピュータ（情報処理装置）によって構成される。そのセンタ装置１は、機能的には、図１に示すように、通信インターフェース部１１、情報取得部１２、カメラ校正可否判断部１３、カメラ校正タイミング検出部１４、情報提供部１５、画像処理部１６、前方風景予想画像生成部１７、カメラパラメータ校正部１８、地図データベース２０などの機能ブロックを含んで構成される。

【0013】

情報取得部１２、カメラ校正可否判断部１３、カメラ校正タイミング検出部１４、情報提供部１５、画像処理部１６、前方風景予想画像生成部１７、カメラパラメータ校正部１８は、センタＣＰＵ１００が不図示のプログラムメモリに格納された所定のプログラムを実行することによって実現される。地図データベース２０は記憶装置１１０に含まれる。

【0014】

通信インターフェース部１１は、通信ネットワーク２に対応する通信制御をおこなうとともに、通信ネットワーク２を介してナビゲーション装置５とデータの送受信を行う。

【0015】

情報取得部１２は、ナビゲーション装置５から送信された処理要求、カメラ６によって撮影された車両４前方の風景画像の画像情報、車両４の現在位置における位置情報（緯度経度などの座標、および時刻）、車両４の軌跡データや移動方向、走行速度などを含む様々な走行情報を、通信インターフェース部１１を介して取得する。

【0016】

カメラパラメータ校正可否判断部１３は、情報取得部１２が取得した車両４の位置情報や移動方向などの走行情報を、地図データベース２０から読み込んだ道路データにマップマッチングする。これにより、カメラパラメータ校正可否判断部１３は、道路情報を取得し、車両４が走行する道路を含む周囲の道路の道路情報に含まれるカメラパラメータの校正に有効な情報、例えば幅員、車線数、勾配、カーブなどの情報を識別して取得する。このとき、カメラパラメータ校正可否判断部１３は、車両４が走行する道路付近の交通情報、例えば天候、気温、路面状態、渋滞、道路工事などの情報を、情報取得部１２を介して外部情報センタから取得し、工事中の道路はカメラ校正に適さないなど、判断することもある。外部情報センタは、天候、気温、路面状態、渋滞、道路工事などに関する交通情報を配信する配信サーバを有し、通信ネットワーク２に接続されている。

【0017】

カメラパラメータ校正タイミング検出部１４は、風景予想画像生成部１７および画像処理部１６と連携して動作する。風景予想画像生成部１７は、カメラパラメータ校正可否判断部１３により取得された道路データと、後述するカメラパラメータ校正部１８によって計算されるカメラパラメータとに基づいて、車両４前方の風景予想画像を生成する。上述したように、カメラパラメータ校正可否判断部１３により取得される道路データは、情報取得部１２によって取得された車両４の現在位置における位置情報と移動方向とに基づく道路データである。

【0018】

カメラパラメータ校正タイミング検出部１４は、風景予想画像生成部１７から車両４前方の風景予想画像を取得する。カメラパラメータ校正タイミング検出部１４は、情報取得部１２によって取得された車両４の現在位置周辺の風景画像の画像情報を、情報取得部１２によって取得されたカメラパラメータに基づいて画像処理部１６に変換させることにより、風景変換画像を取得する。カメラパラメータ校正タイミング検出部１４は、上記風景予想画像と上記風景変換画像との表示画面上の特徴点または特徴線を各々生成し、それらの特徴点または特徴線の座標を互いに比較して類似性が有るか否かを判断する。その類似性判断結果に基づいて、カメラパラメータ校正タイミング検出部１４は、車両４の現在位置周辺の風景画像の画像情報を生成したナビゲーション装置５に接続されるカメラ６の姿勢、すなわち車両４に搭載されるカメラ６の搭載位置の高さおよび車両４に対するカメラ６の向きを表すカメラパラメータの校正が必要か否かを判断する。

【0019】

カメラパラメータ校正部１８は、カメラパラメータ校正タイミング検出部１４によってカメラパラメータの校正が必要と判断されたとき、情報取得部１２によって取得された車両４の現在位置周辺の風景画像の画像情報と、カメラパラメータ校正可否判断部１３によって取得された車両４が走行する道路の現在位置周辺での幅員および車線数に関する幅員情報とを用いて、カメラパラメータを校正する。上述したように、その幅員情報は、情報取得部１２によって取得された車両４の位置情報および移動方向に基づいて、カメラパラメータ校正可否判断部１３によって地図データベース２０から読み込まれた車両４の現在位置周辺の地図情報に含まれる道路データから、カメラパラメータ校正可否判断部１３によって取得される。

【0020】

情報提供部１５は、カメラパラメータ校正可否判断部１３によってカメラパラメータ校正不可と判断されたとときは、その判断結果を通信インターフェース部１１を介してナビゲーション装置５に送信する。情報提供部１５は、カメラパラメータ校正タイミング検出部１４によってカメラパラメータ校正が不要と判断されたときは、その判断結果を通信インターフェース部１１を介してナビゲーション装置５に送信する。情報提供部１５は、カメラパラメータ校正タイミング検出部１４によってカメラパラメータ校正が必要と判断されたときは、カメラパラメータ校正部１８によって計算されたカメラパラメータを通信インターフェース部１１を介してナビゲーション装置５に送信する。

【0021】

車両４に搭載されるナビゲーション装置５は、表示部５０、通信部５１、本体部５２、操作部５３、ＧＰＳ（Global Positioning System）受信部５４、カメラ接続部５５、記憶部５６などを含んで構成される。

【0022】

ナビゲーション装置５は、端末ＣＰＵである本体部５２、記憶部５６などを含んで構成されたコンピュータである。ナビゲーション装置５は、不図示のＤＶＤ（Digital Versatile Disk）などのドライブ装置やフラッシュメモリ、ＵＳＢ（Universal Serial Bus）メモリのリーダ／ライタなどを内蔵するコンピュータであってもよい。ここで記憶部５６は、半導体メモリやハードディスク装置などによって構成され、地図データベース５２０を含む。また、操作部５３は、種々のスイッチやボタン、タッチパネル、リモコン装置、音声マイクなどの入力装置を含むとともに、音声スピーカなどの出力装置を含む。表示部５０は、ＬＣＤ（Liquid Crystal Display）などによって構成される。通信部５１は、基地局３および通信ネットワーク２を介し、センタ装置１に対して無線通信によるデータ通信可能に接続される。ＧＰＳ受信部５４は、不図示のＧＰＳ衛星からの電波を受信して、車両４の現在位置を検出する。カメラ接続部５５は、カメラ６に接続され、カメラ６で撮影された車両４前方の風景画像の画像情報を取り込む。

【0023】

本体部５２は、通信制御部５１１、情報取得部５１２、カメラパラメータ更新部５１３、画像処理部５１４、位置情報取得部５１、画像処理取得部５１６、経路探索部５１７、経路誘導部５１８、入出力インターフェース部５１９、経路誘導情報生成部５２２などの機能ブロックを含んで構成される。これら本体部５２の各機能ブロックは、本体部５２が不図示のプログラムメモリに格納されている所定のプログラムを実行することによって実現される。

【0024】

通信制御部５１１は、携帯電話や無線ＬＡＮなどによる通信を行う通信部５１に対する通信制御を行うとともに、基地局３および通信ネットワーク２を介してセンタ装置１との間でデータの送受信を行う。入出力インターフェース部５１９は、操作部５３のスイッチやボタン、音声、タッチパネルなどからの入力情報を目的地やセンタ装置１への要求情報などの種々の情報に変換して本体部５２に入力するとともに、表示部５０へ、および／または操作部５３の音声出力装置へ、地図情報および経路誘導部５１８によって生成された誘導情報などの表示情報や音声情報を出力する。

【0025】

位置情報取得部５１５は、ＧＰＳ受信部５４によって検出された緯度経度や高度、時刻情報などのＧＰＳ情報や、車両４に搭載された不図示の姿勢センサから車両４の進行方向等の姿勢情報を取得し、記憶部５６に記憶する。このとき、不図示の車両内ネットワーク、例えばＣＡＮ（Controller Area Network）を介して、車両４のブレーキ情報や、ウィンカー、パーキング、ハンドル操作情報などの走行情報が、上述した位置情報とともに位置情報取得部５１５によって取得され、走行軌跡情報として記憶部５６に記憶されることとしてもよい。

【0026】

情報提供部５２１は、ナビゲーション装置５の電源投入時（ドライブ開始時）、入出力インターフェース部５１９によって経路が要求された時、位置情報取得部５１５から得たデータから車両４の移動を検出した時、あるいは指定された時間で、位置情報取得部５１５から得た車両４の現在位置の位置情報や画像情報取得部５１６から得た車両４前方の風景画像の画像情報などをセンタ装置１に送信し、カメラパラメータの更新を要求する。

【0027】

情報取得部５１２は、通信部５１および通信制御部５１１を介して、センタ装置１から送信されるカメラパラメータを含む様々な情報を取得する。情報取得部５１２は、取得したカメラパラメータをカメラパラメータ記憶部５１３に記憶する。

【0028】

画像情報取得部５１６は、カメラ６で撮影された車両４前方の風景画像の画像情報を取得する。画像情報取得部５１６によって取得された画像情報は、情報提供部５２１、通信制御部５１１を介して、通信部５１によりセンタ装置１に送信される。また、画像情報取得部５１６によって取得された風景画像の画像情報は画像処理部５１４に渡され、その風景画像は、カメラパラメータに基づいて座標変換され、車両４の周辺の地物検出に用いられる。

【0029】

画像処理部５１４は、画像情報取得部５１６から、カメラ６で撮影された車両４前方の風景画像の画像情報を取得し、カメラパラメータ記憶部５１３によって記憶されるカメラパラメータを用いてその風景画像を座標変換する。画像処理部５１４は、その座標変換によって、車両４の現在位置から車両４の乗員が眺めた際の風景に相当する風景変換画像を取得し、その風景変換画像に基づいて、道路や標識、建物、人物や前方車両等の周辺地物を認識し、その結果を経路誘導部５１８に提供する。

【0030】

経路探索部５１７は、入出力インターフェース部５１９を介して入力された経路要求に応じて地図データベース５２０から道路ネットワーク情報を読み込み、出発地、すなわち車両４の現在位置から目的地までの推奨経路を計算する。経路探索部５１７は、例えばダイクストラ法などの数学的な手法を用いて道路リンク単位の旅行時間または速度、および距離などに基づいた最小コスト経路を、推奨経路として探索する。経路探索部５１７は、推奨経路についての経路情報を経路誘導部５１８に提供する。

【0031】

経路誘導情報生成部５２２は、画像処理部５１４によって提供された周辺地物情報と、経路探索部５１７によって提供された経路情報とに基づいて、目的地までの誘導情報を生成する。経路誘導部５１８は、経路誘導情報生成部５２２によって生成された誘導情報に基づいて、入出力インターフェース部５１９および操作部５３を介して、車両４を推奨経路で目的地まで誘導する。

【0032】

なお、図１に示す例では、センタ装置１が、画像処理部１６においてナビゲーション装置５から送られた画像情報から道路や建物などの特徴点（または特徴線）を計算するようにしたが、これらの特徴点（または特徴線）をナビゲーション装置５の画像処理部５１４で計算し、センタ装置１に送信してもよい。その場合、ナビゲーション装置５からセンタ装置１に画像情報を送る必要がなくなり、通信量がより小さくなる。

【0033】

また、図１に示す例では、ナビゲーション装置５が、画像処理５１４で周辺地物を認識し、認識した結果を利用して誘導案内を行うようにしたが、図１６に示すナビゲーションシステムのように、周辺地物の認識をセンタ装置１の画像処理部１６で行うようにしてもよい。その場合は、センタ装置１からナビゲーション装置５に、周辺地物の位置や距離情報が送信される。こうすることで、ナビゲーション装置５の画像処理部５１４が不要になるので、ナビゲーション装置５の処理負荷が小さくなり、ナビゲーション装置５の本体部５２のＣＰＵ処理能力が高くなくても、画像処理を利用した目的地までの誘導案内が可能となる。また、周辺地物を正確に認識するには、道路の形状や幅員、レーン情報、建物の形状や高さ等の周辺地物の詳細かつ新しい情報を地図データベース５２０に記憶されることが望ましい。図１６に示すナビゲーションシステムでは、センタ装置１の画像処理部１６が周辺地物を正確に認識するための画像処理を行うため、センタ装置１の地図データベース２０が周辺地物の詳細かつ新しい情報を保持すればよい。したがって、端末装置５が大容量の地図データベース５２０を有さなくても、画像処理を利用した目的地までの誘導案内が可能となる。

【0034】

＜カメラパラメータ校正可否判断部１３の処理フロー＞
図２は、本実施形態のセンタ装置１において、センタ装置１のセンタＣＰＵ１００に含まれるカメラパラメータ校正可否判断部１３の処理フローの例を示している。カメラ校正可否判断部１３は、カメラパラメータ校正部１８によるカメラ６のカメラパラメータ校正が可能かどうかを判断する。センタＣＰＵ１００は、通信インターフェース部１１によって受信されたナビゲーション装置５からの要求情報を受け付け、カメラパラメータ校正可否判断処理を開始し、後述する各ステップの処理を実行する。本処理が開始されると、情報取得部１２は、通信インターフェース部１１によって受信されたナビゲーション装置５からの要求情報を取得する。カメラ校正可否判断部１３は、情報取得部１２によって取得された要求情報に含まれる車両４の緯度および経度で表される位置情報や移動方向などの情報を取得する（ステップＳ２０）。カメラ校正可否判断部１３は、車両４の位置情報と移動方向とから現在位置に位置する車両４の前方を含む車両周辺の道路データを地図データベース２０から取得する（ステップＳ２１）。カメラ校正可否判断部１３は、マップマッチング処理によって車両４が走行中の道路を特定する（ステップＳ２２）。カメラ校正可否判断部１３は、車両４が走行中の道路の情報および／または車両４の周辺道路の情報を含む道路データに基づき、以下のステップＳ２３、Ｓ２４およびＳ２５において、車両４が走行中の道路が現在位置周辺で所定の道路条件を満たすか否かを判断する。

【0035】

カメラ校正可否判断部１３は、車両４が走行中の道路あるいは周辺道路が生活道路であるか否かを確認する（ステップＳ２３）。道路データの中に詳細な道路情報や正確な道路情報が含まれないとき、あるいは道路データの中に所定の道路属性を有する道路に対応する道路データが含まれるとき、その道路データに対応する道路は生活道路であると判断される。所定の道路属性とは、例えば所定幅よりも小さな道路の幅員、所定数よりも小さなレーン数、細街路などの道路種別、または上下線が分離された本線リンク以外のリンク種別である。カメラ校正可否判断部１３は、車両４が走行中の道路あるいは周辺道路が生活道路であると判断した場合（ステップＳ２３がｙｅｓ）、車両４が走行している現在位置はカメラパラメータ校正が不可能なエリアに含まれていると判断して判断結果を出力し（ステップＳ２７）、本処理は終了する。

【0036】

ステップＳ２３において、車両４が走行中の道路あるいは周辺道路に対応する道路データの中に詳細な道路情報や正確な道路情報が含まれる場合は（ステップＳ２３がｎｏ）、車両４が走行中の道路あるいは周辺道路に起伏が存在するか否かを確認する（ステップＳ２４）。車両４が走行中の道路あるいは周辺道路が坂道や上下方向の起伏変化が存在する道路である場合（ステップＳ２４がｙｅｓ）、カメラ校正可否判断部１３は、車両４が走行している現在位置はカメラパラメータ校正が不可能なエリアに含まれていると判断して判断結果を出力し（ステップＳ２７）、本処理は終了する。例えば道路リンクデータに含まれる勾配情報や高度情報に基づき、道路の勾配が所定の勾配値よりも大きい場合に、道路の起伏変化が存在すると判断される。車両４が走行中の道路あるいは周辺道路に坂道や上下方向の起伏変化が存在しなければ（ステップＳ２４がｎｏ）、カメラ校正可否判断部１３は車両４が現在位置周辺で走行予定の道路区間（あるいは走行する可能性の高い道路区間）の直線性を確認する（ステップＳ２５）。道路区間が短く、かつ右左折等の方向転換箇所が多く存在するか、あるいは道路区間にカーブ区間が含まれている等の場合、その道路区間は直線性を有しないと判断される。例えば道路リンクデータに含まれる曲率情報に基づき、道路の曲率が所定の曲率値よりも大きい場合に、道路は直線性を有しないと判断される。例えば、車両４が現在位置周辺で走行予定の道路区間のうちの互いに接続された２つの道路区間が所定角度よりも小さい接続角度を形成している場合に、道路は直線性を有しないと判断される。

【0037】

車両４の現在位置周辺の道路区間が直線性を有しない場合（ステップＳ２５がｎｏ）、カメラ校正可否判断部１３は、車両４の現在位置はカメラパラメータ校正が不可能なエリアに含まれていると判断して判断結果を出力し（ステップＳ２７）、本処理は終了する。車両４の現在位置周辺の道路区間が直線性を有する場合（ステップＳ２５がｙｅｓ）、車両４が走行中の道路が現在位置周辺で所定の道路条件を満たすことが、カメラ校正可否判断部１３によって判断されたことになる。この場合、カメラ校正可否判断部１３は、車両４の現在位置においてカメラパラメータ校正が可能と判断してその判断結果を出力し（ステップＳ２６）、本処理は終了する。

【0038】

＜カメラパラメータ校正タイミング検出部１４の処理フロー＞
図３は、本実施形態のセンタ装置１において、センタ装置１のセンタＣＰＵ１００に含まれるカメラパラメータ校正タイミング検出部１４の処理フローの例を示している。カメラパラメータ校正タイミング検出部１４は、カメラパラメータの校正が必要か否かを判断する。

【0039】

センタ装置１のセンタＣＰＵ１００に含まれるカメラパラメータ校正可否判断部１３によって、カメラパラメータ校正が可能と判断されると、カメラパラメータ校正タイミング検出部１４は、風景予想画像生成部１７に車両４の現在位置における車両４の前方（進行方向）の風景予想画像を生成させて、生成された風景予想画像を取得する（ステップＳ３０）。風景予想画像は、カメラの高さを視点として生成される。生成された風景予想画像の一例を表示例３００に示す。このとき用いられるカメラの高さとして、車高が予め設定されることとしてもよいし、カメラ６がＧＰＳ機能を内蔵している場合は、ＧＰＳから得られたカメラ６の高度情報が設定されることとしてもよい。次に、カメラパラメータ校正タイミング検出部１４は、予想風景から道路や建物などの周囲地物の表示画面座標上の特徴点（特徴線）を道路データに基づく計算によって、画像処理部１６に抽出させる（ステップＳ３１）。本実施形態では、周囲地物の特徴点（特徴線）として道路エッジを用いることとして説明する。表示例３０１に道路エッジの一例を示す。線分Ａ１およびＡ２が、予想風景における前方道路の両端のエッジ線である。

【0040】

次に、カメラパラメータ校正タイミング検出部１４は、情報取得部１２によって取得されたカメラ６によって撮影された車両４前方の道路を含む風景画像の画像情報（表示例３０４に示す）と、現在のカメラパラメータとを取得し、画像処理部１６に引き渡す（ステップＳ３２）。カメラパラメータ校正タイミング検出部１４は、画像処理部１６に、現在のカメラパラメータを用いて風景画像の画像情報を座標変換させて、車両４の現在位置から眺められる実風景に相当する変換画像を生成させる（ステップＳ３３）。生成された実風景の一例を表示例３０２に示す。カメラパラメータ校正タイミング検出部１４は、実風景から周囲地物の表示画面座標上の特徴点（特徴線）を画像処理計算によって、画像処理部１６に抽出させる（ステップＳ３４）。実風景の道路エッジの一例を表示例３０３に示す。線分Ｂ１およびＢ２が前方道路の両端のエッジ線である。

【0041】

道路エッジＡ１およびＡ２と、道路エッジＢ１およびＢ２とは同じ道路に対応し、同一視点から見える風景は同じになるはずであるから、道路エッジＡ１およびＡ２は、それぞれ道路エッジＢ１およびＢ２に一致するはずである。カメラパラメータ校正タイミング検出部１４は、道路エッジＡ１およびＡ２と、道路エッジＢ１およびＢ２との類似性を、双方の道路エッジの画面上の座標値を比較して判断する（ステップＳ３５）。類似性が認められない場合は（ステップＳ３５がｎｏ）、カメラパラメータ校正タイミング検出部１４は、カメラパラメータの校正が必要と判断してその判断結果を出力し（ステップＳ３６）、本処理は終了する。類似性が認められた場合は（ステップＳ３５がｙｅｓ）、カメラパラメータ校正タイミング検出部１４は、カメラパラメータの校正が不要と判断してその判断結果を出力し（ステップＳ３６）、本処理は終了する。

【0042】

図４は、図３のステップＳ３５における道路エッジの類似性判定処理を補足説明するための補足図である。図中の道路エッジＡ１、Ａ２は予想風景から抽出された道路エッジであり、道路エッジＢ１，Ｂ２は実風景から抽出された道路エッジである。点４０および４１は各道路エッジから得られる消失点である。カメラパラメータ校正タイミング検出部１４は、画面上の水平方向（Ｘ方向）および垂直方向（Ｙ方向）における各消失点のＸ成分およびＹ成分であるＸ４０、Ｙ４０、Ｘ４１、Ｙ４１から消失点の表示座標上の差分を計算し、その差分が所定範囲を超えていた場合に類似性が無いと判断する。座標の差分の代わりに図中の各エッジ線の角度差θ１（道路エッジＡ１およびＢ１が互いになす角度）と角度差θ２（道路エッジＡ２およびＢ２が互いになす角度）とを用い、それぞれ所定角度以上の角度差がある場合に類似性が無いと判断してもよい。道路エッジＡ１およびＢ１と道路エッジＡ２およびＢ２とがそれぞれ互いに平行の場合、あるいは有効な表示座標の範囲内で角度差が得られない場合も同様に類似性が無いと判断する。

【0043】

＜カメラパラメータ校正部１８の処理フロー＞
図５は、本実施形態のセンタ装置１において、センタ装置１のセンタＣＰＵ１００に含まれるカメラパラメータ校正部１８のカメラパラメータ校正計算処理フローの例を示している。カメラパラメータ校正部１８は、カメラパラメータを校正計算する。図６は、図５の処理フローのステップＳ５０８を説明するための補足図であり、図７〜９は、ステップＳ５０２を補足説明するための補足図である。

【0044】

カメラパラメータ校正タイミング検出部１４によって、カメラパラメータ校正が必要と判断されると、カメラパラメータ校正部１８は、車両４に搭載されたカメラ６がジャイロセンサなどの姿勢センサを有しており、かつその姿勢センサによって得られた姿勢情報が通信インターフェース部１１を介して情報取得部１２によって得られているか否かを確認する（ステップＳ５００）。ここで、カメラの姿勢は３軸の回転角であるピッチ角θc、ロール角φc、ヨー角ψcで表わされるとする。カメラ６の姿勢情報が得られた場合（ステップＳ５００がｙｅｓ）、カメラパラメータ校正部１８はカメラの姿勢情報（θc，φc，ψc）を取得する（ステップＳ５１０）。次に、カメラパラメータ校正部１８は車両４の姿勢情報（θv，φv，ψv）を取得する（ステップＳ５１１）。ここで、車両４がジャイロ等の姿勢センサを有していて、かつその姿勢センサによって得られた車両４の姿勢情報がナビゲーション装置５で取得されていれば、情報取得部１２は通信インターフェース部１１を介して車両４の姿勢情報（θv，φv，ψv）を取得する。カメラパラメータ校正部１８は、その車両４の姿勢情報（θv，φv，ψv）を取得する。車両４の姿勢情報が得られなければ、カメラパラメータ校正部１８は、車両４の過去の走行軌跡を含む位置情報から車両４の向きを計算し車両４の姿勢（θv，φv，ψv）を設定する。

【0045】

次に、カメラパラメータ校正部１８は、上述したカメラ６の姿勢情報および車両４の姿勢情報から、カメラ６の向きに応じてカメラ６の撮影画像に生じる歪みを補正するための補正パラメータを計算する（ステップＳ５１２）。このときの処理を、図６を用いて補足説明する。図６は、カメラ姿勢と車両姿勢との違いを、紙面に垂直なz軸を中心とした回転角ヨー角を例に示している。カメラ６は車両４の室内に設置され、カメラ６の向きは車両４の進行方向（前方）と一致しているとは限らない。そこで、上述した各姿勢センサから得た角度情報を用いて、カメラ６による撮影画像を車両４から眺めた風景に変換する必要がある。各姿勢センサが真北を基準とした角度情報ψc、ψvを出力するとした場合、カメラ６による撮影画像の撮影角度のうちのヨー角をδψ＝ψc＋ψvだけ回転移動すると、車両姿勢のヨー角に一致する。この回転移動分δψをヨー角の補正パラメータとする。他の２軸に対応するピッチ角、ロール角についても同様に、撮影角度が回転移動によって車両姿勢に一致するときの回転角度に対応する補正パラメータδθ、δφも計算される。

【0046】

次に、カメラパラメータ校正部１８は、カメラ６で撮影された風景画像の画像情報を取得する（ステップＳ５０３）。このときの風景画像の一例を画像５２０に示す。カメラパラメータ校正部１８は、ステップＳ５１２で計算された補正パラメータを用いて画像５２０を座標変換し、車両４から眺めた画像５２１を生成する（ステップＳ５０４）。カメラパラメータ校正部１８は、画像５２１の特徴点（特徴線）を検出する。本実施形態では、カメラパラメータ校正部１８は、道路エッジ５２３および５２４を、画像５２１の特徴点（特徴線）として検出する（ステップＳ５０５）。カメラパラメータ校正部１８は、画像５２５に示すように、画面中心点Ｐを通る中心線と、ステップＳ５０５で検出された道路エッジとから画面上の道路幅（幅員）ｗを計算する。カメラパラメータ校正部１８は、画面上の道路に対応する実際の道路の道路幅（幅員）Ｗを、地図データベース２０に含まれる現在位置に応じて取得した道路データから取得する（ステップＳ５０６）。カメラパラメータ校正部１８は、画面上の道路幅ｗと実際の道路幅Ｗとの比に基づいて、カメラの搭載位置の高さｈを計算する（ステップＳ５０７）。ステップＳ５１２で計算されたカメラの向きを表す補正パラメータ（δθ，δφ，δψ）、およびステップＳ５０７で計算されたカメラの搭載位置の高さｈを、カメラ６によって撮影された風景画像の画像情報をナビゲーション用に変換するための新たなカメラパラメータとして、カメラパラメータを校正し（ステップＳ５０８）、本処理は終了する。

【0047】

カメラ姿勢情報が得られなかった場合（ステップＳ５００がｎｏ）、カメラパラメータ校正部１８は、ステップＳ３０で生成された車両前方の風景予想画像を利用して、カメラ６の補正パラメータ（δθ，δφ，δψ）を計算する。まず、予想風景を表す風景予想画像と実風景を表す風景変換画像とから得られた道路エッジの消失点４０、４１を取得する（ステップＳ５０１）。図４に示す消失点４０，４１を通る直線７０から補正パラメータ（δθ，δφ，δψ）を計算する（ステップＳ５０２）。ここで、複数の消失点を用いてカメラパラメータを計算する方法は特開２００８−１１１７４号公報にも開示されている。本実施形態では、消失点のうちの一つを予想風景に対応する風景予想画像から取得することで、実風景に対応する風景変換画像から一つの消失点しか得られなくても、補正パラメータが得られるようにする。

【0048】

ステップＳ５０２の処理について、図７〜９を用いて補足説明する。まず、図７を用いてロール角の補正パラメータδφを計算する方法を説明する。消失点４０、４１を通る直線７０と、画面７００の横軸方向（ｘ軸方向）に平行な直線７１を引く。二つの直接の成す角度αを計算し、その角度αをロール角の補正パラメータδφとする。

【0049】

図８は、ピッチ角の補正パラメータδθを計算するための補足説明図である。点Ｑは、画面中心点Ｐから直線７０へ引いた垂線の交点である。カメラ６の焦点距離ｆが既知の値であるとすると、ピッチ角の補正パラメータδθは、式（１）で求められる。

【数1】

【0050】

さらに図９は、ヨー角の補正パラメータδψの設定するための補足説明図である。消失点４１を点Ｕとして、線分ＱＵのｘ軸方向の成分を求め、式（２）によりヨー角の補正パラメータδψを計算する。

【数2】

【0051】

次に、カメラパラメータ校正部１８は、カメラ６で撮影された風景画像の画像情報を取得する（ステップＳ５０３）。カメラパラメータ校正部１８は、ステップＳ５０２で得た補正パラメータ（δθ，δφ，δψ）を用いてステップＳ５０３で取得した風景画像を座標変換し（ステップＳ５０４）、変換後の画面上の道路エッジを検出する（ステップＳ５０５）。カメラパラメータ校正部１８は、画面上の道路幅（幅員）ｗを計算する。カメラパラメータ校正部１８は、画面上の道路に対応する実際の道路の道路幅（幅員）Ｗを、地図データベース２０に含まれる現在位置に応じて取得した道路データから取得する（ステップＳ５０６）。カメラパラメータ校正部１８は、画面上の道路幅ｗと実際の道路幅Ｗとの比に基づいてカメラの搭載位置の高さを計算する（ステップＳ５０７）。カメラパラメータ校正部１８は、ステップＳ５０２およびＳ５０７で計算されたカメラパラメータを新たなカメラパラメータとして、カメラパラメータを校正し（ステップＳ５０８）、本処理は終了する。

【0052】

＜ナビゲーションシステム全体処理フロー＞
図１０は、本実施形態のセンタ装置１およびナビゲーション装置５で構成されるナビゲーションシステムの全体処理フローを示している。このナビゲーションシステムにおいては、カメラ６のカメラパラメータ校正が行われ、カメラ６で撮影された風景画像の画像情報を利用した目的地までの誘導案内が行われる。図１４、図１５はナビゲーション装置５の画面表示例１４００および１５００を示す図であって、本処理フローの補足説明図である。

【0053】

ナビゲーション装置５において、カメラ６がカメラ接続部５５に装着されることによってカメラ６がナビゲーション装置５に接続された後、ナビゲーション処理が開始される。位置情報取得部５１５は、ＧＰＳ受信部によって受信されたＧＰＳ信号を取得し、車両４の現在位置および進行方向に関する位置情報を更新する（ステップＳ１１１０）。画像情報取得部５１６は、カメラ接続部５５を介してカメラ６で撮影された風景画像の画像情報を取得する。情報提供部５２１は、更新された位置情報とカメラ６で撮影された風景画像の画像情報とを、通信制御部５１１および通信部５１を介してセンタ装置１に送信し、カメラパラメータを要求する（ステップＳ１１１１）。

【0054】

センタ装置１のＣＰＵ１００に含まれる情報取得部１２は、通信インターフェース部１１を介して、ナビゲーション装置５からのカメラパラメータ要求を受け付ける（ステップＳ１１０１）情報取得部１２によってカメラパラメータ要求が受け付けられると、カメラ校正可否判断部１３は、カメラパラメータ要求に含まれる位置情報に基づいて地図データベース２０から地図情報を読み込み、マップマッチングにより車両４の現在位置に対応づけられる地図上の位置を特定する（ステップＳ１１０２）。カメラ校正可否判断部１３は、ステップＳ１１０２で特定した地図上の位置が例えば道路上の位置であれば、その道路を含む周辺道路の道路情報を参照し、図２のカメラパラメータ校正可否判断処理フローに従ってカメラパラメータの校正が可能か否かを判断する（ステップＳ１１０３）。カメラパラメータ校正が不可能であれば（ステップＳ１１０３がｎｏ）、カメラ校正可否判断部１３はカメラパラメータ校正が不可であると判断し、情報提供部１５が、通信インターフェース部１１を介して、カメラパラメータ校正不可の旨をナビゲーション装置５に送信し（ステップＳ１１０７）、センタ装置１側の処理は終了する。

【0055】

カメラパラメータ校正が可能な場合（ステップＳ１１０３がｙｅｓ）、カメラパラメータ校正タイミング検出部１４は、図３のカメラパラメータ校正タイミング検出処理フローにしたがってカメラパラメータ校正が必要か否かを検出する（ステップＳ１１０４）。カメラパラメータ校正が必要なければ（ステップＳ１１０４がｎｏ）、カメラパラメータ校正タイミング検出部１４はカメラパラメータ校正が不要であると判断し、情報提供部１５が、通信インターフェース部１１を介して、カメラパラメータ校正不要の旨をナビゲーション装置５に送信し（ステップＳ１１０８）センタ装置１側の処理は終了する。カメラパラメータ校正が必要な場合（ステップＳ１１０４がｙｅｓ）、カメラパラメータ校正部１８は、図５のカメラパラメータ校正計算処理フローに従って、カメラパラメータの校正計算処理を実行する（ステップＳ１１０５）。情報提供部１５は、ステップＳ１１０５でカメラパラメータ校正部１８によって得られたカメラパラメータを、通信インターフェース部１１を介してナビゲーション装置５に送信し（ステップＳ１１０６）、センタ装置１側の処理は終了する。

【0056】

ナビゲーション装置５の情報取得部５１２は、通信部５１および通信制御部５１１を介してセンタ装置１からの情報を受信する（ステップＳ１１１２）、情報取得部５１２によるステップＳ１１１２での受信情報がカメラ校正不可の旨を含む場合（ステップＳ１１１３がｙｅｓ）、情報取得部５１２は、入出力インターフェース部５１９を介して、車両４の現在位置での走行環境ではカメラパラメータの校正が不可であることを表示部５０などに出力する（ステップＳ１１２０）。経路探索部５１７は、車両４の現在位置から目的地までの推奨経路を探索する。経路誘導情報生成部５２２は、経路探索部５１７によって探索された推奨経路で車両４を目的地まで誘導するための経路誘導情報を、経路探索部５１７から得た経路情報に基づいて生成する。経路誘導部５１８は、経路誘導情報生成部５２２によって生成された誘導情報を用いてカメラ６と連携しない誘導を行いながら（ステップＳ１１２１）、その誘導中も、カメラパラメータ校正が可能となるまで、情報提供部５２１は、通信制御部５１１および通信部５１を介してセンタ装置１にカメラパラメータを要求する。

【0057】

図１４はステップＳ１１２０での表示部５０における表示例１４００を示す。アイコン１４１はカメラとの連携動作状態を示す。表示メッセージ１４０は、ステップＳ１１１４での判定結果が得られるまで、即ち、カメラパラメータ校正が実施されるまで、校正中の旨を表示する。情報取得部５１２は、ステップＳ１１１２でカメラパラメータ校正不要の旨の情報を受信した場合（ステップＳ１１１４がｙｅｓ）、入出力インターフェース部５１９を介して、カメラパラメータ更新が必要無いことを表示部５０などに出力し（ステップＳ１１２１）、カメラパラメータ記憶部５１３に保持されているカメラパラメータを用いてステップＳ１１１６以降の処理を実行する。

【0058】

図１５は、ステップＳ１１２１での表示部５０における表示出力例１５００を示す。カメラ校正が終了するとアイコン１４１がアイコン１５１に変わり、表示メッセージ１４０も表示メッセージ１５０に切り替えられる。情報取得部５１２は、ステップＳ１１１２でカメラパラメータを含む情報を受信した場合は（ステップＳ１１１４がｎｏ）、カメラパラメータ記憶部５１３に保持されていたカメラパラメータを、ステップＳ１１１２で受信したカメラパラメータに更新する（ステップＳ１１１５）。画像情報取得部５１６は、カメラ６で撮影された風景画像の画像情報をカメラ接続部５５から取得する（ステップＳ１１１６）。画像処理部５１４は、更新されたカメラパラメータをカメラパラメータ記憶部５１３から読み出して、その更新されたカメラパラメータを用いて画像情報を座標変換することによって風景変換画像を生成する（ステップＳ１１１７）。

【0059】

画像処理部５１４は、ステップＳ１１１７において生成された風景変換画像と、カメラ６のレンズの焦点距離とに基づいて、車両４の現在位置周辺の地物、例えば車両４の前方の交差点やその交差点で信号待ちをしている前方車両までの推定距離を算出して認識するとともに、車両４が走行中の走行レーンなどを認識する（ステップＳ１１１８）。車両４が走行中の走行レーンは、レーン端部に引かれた線の種別、例えば実線や破線や二重線等の種別が画像処理で識別されることによって、認識される。経路探索部５１７は、車両４の現在位置から目的地までの推奨経路を探索する。経路誘導情報生成部５２２は、ステップＳ１１１７での画像処理部５１４による、車両４の現在位置から前方の交差点や前方車両までの推定距離および走行レーンに関する走行状況の認識結果と、経路探索部５１７によって探索された推奨経路の情報と、ステップＳ１１１７において生成された風景変換画像とを用いて、経路誘導情報を生成する（ステップＳ１１１９）。その経路誘導情報には、経路誘導部５１８が、車両４にとって必要な走行レーン移動がなされていないと判断したとき、車両４の乗員にレーン移動を案内したり、前方車両などの前方検知物への接近の危険を警告するなどの誘導案内を行うための情報を含む。

【0060】

経路誘導部５１８は、ステップＳ１１１９で生成された経路誘導情報に基づいて、上述したレーン移動の案内や上述した危険の警告を入出力インターフェース部５１９を介して表示部５０などに出力するとともに、車両４を推奨経路で目的地まで誘導する（ステップＳ１１２０）。車両４が推奨経路で目的地へ到着するまで、あるいはナビゲーション処理終了の旨が入力されるまで、ステップＳ１１１６〜Ｓ１１２１の処理が繰り返されるように、本処理はステップＳ１１１６へ戻る（ステップＳ１１２１）。誘導中にカメラ６がカメラ接続部５５から外されて、さらに再装着されると、ステップＳ１１１０から開始される本処理が実行され、装着された状態のカメラ６の姿勢情報や車両４の姿勢情報に基づいてカメラパラメータが校正される。

【0061】

センタ装置１のセンタＣＰＵ１００は、車両４に搭載されたカメラ６によって撮影された車両４が走行する道路を含む風景の風景画像をナビゲーション用に変換するための、カメラ６の搭載位置の高さｈおよびカメラ６の向き（δθ，δφ，δψ）を表すカメラパラメータを演算し、情報取得部１２と、カメラ校正可否判断部１３と、カメラパラメータ校正タイミング検出部１４と、カメラパラメータ校正部１８とを含む。情報取得部１２は、車両４の現在位置に関する位置情報を取得するとともに、カメラ６から端末装置５との通信を介して風景画像を取得する。カメラパラメータ校正部１８は、位置情報に基づいて現在位置に応じた道路データを取得し、車両４が走行する道路の現在位置での幅員を、道路データから取得する。カメラパラメータ校正部１８は、風景画像と幅員情報とに基づいて、カメラパラメータを校正計算する。これにより、従来の地図データに含まれる従来の道路データを用いてカメラパラメータの校正を行うことができる。

【0062】

着脱可能なカメラ６によって撮影された風景画像の画像情報を利用して車両４を目的地まで誘導するナビゲーションシステムにおいて、カメラ６の再装着や、誘導中の操作または振動によりカメラ６の姿勢がずれることで頻繁なカメラパラメータ校正が必要になる場合がある。センタ装置１のセンタＣＰＵ１００は、車両４の周囲環境に基づいてカメラパラメータの校正可否を判断し、カメラ６の姿勢のずれを検出したときにカメラパラメータを校正計算する。したがって、端末装置５の本体部５２のＣＰＵ処理能力がさほど高くなくとも、本体部５２は、車両４の走行中の周囲環境を認識しながら、車両４を目的地まで誘導案内することができる。

【0063】

センタ装置１でカメラパラメータ校正計算が行われ、端末装置５からセンタ装置１へ、カメラパラメータ校正に必要な位置情報や画像情報が通信を介して送信され、センタ装置１で計算されたカメラパラメータが端末装置５は送信されるようにした。したがって、カメラパラメータ校正計算に必要な機能が端末装置５に配備されなくても、カメラ６の姿勢のずれによる影響を補正しながら、カメラ６で撮影された風景画像の画像情報を利用した車両４の誘導案内が可能となる。すなわち、センタ装置１でカメラパラメータ校正計算が行われるので、端末装置５は、カメラパラメータ校正計算に必要な詳細かつ最新の地図を有していなくても、カメラ６で撮影された風景画像の画像情報を利用して車両４の誘導案内をすることが可能である。具体的にはスマートフォンのような地図を有しない端末装置を端末装置５として用いても、スマートフォンに含まれるカメラによって撮影された風景画像の画像情報を用いて車両４の誘導案内をすることができる。

【0064】

−−−変形例−−−
（１） 図１０の処理フローは、カメラパラメータの校正に関わる処理がセンタ装置１側で行われる形態に対応するが、ステップＳ１１１６〜Ｓ１１１９の処理がセンタ装置１側で実行されるように、ステップＳ１１１６で取得された風景画像の画像情報が、情報提供部５２１によって、通信制御部５１１および通信部５１を介してセンタ装置１に送信されることとしてもよい。この場合、情報取得部５１２が、通信部５１および通信インターフェース部５１１を介して、センタ装置１側で得られた車両４の走行状況の認識結果（車両４の周辺の地物との距離や走行レーンなど）および目的地までの経路誘導情報を取得する。そうすることで、端末装置５の構成がより簡易となり、カメラパラメータ校正や画像処理に関わる処理負荷が端末装置５の本体部５２にかからないため、車両４の目的地までの経路計算や誘導案内、その他の処理が遅延無く、適切なタイミングで実行され得ることになる。また、車両４の周辺の地物の認識に必要な道路幅を含む地物形状などの詳細な地図情報が地図データベース５２０に保持される必要が無くなり、地図データベース５２０のサイズを小さくすることができる。また、ＧＰＳ受信部５４によって得られた位置情報および時刻や走行速度を利用し、車両４が誘導ポイントの手前などの所定位置に到着したとき、所定位置への到着予想時刻などから予め設定された時間や交通情報が更新されたとき、車両４が所定速度以上で走行したときなどにおいて、端末装置５からセンタ装置１への画像情報の送信タイミングを制御すれば、端末装置５の本体部５２の通信負荷を抑えることができる。

【0065】

（２） 図１１は、ナビゲーション装置５が、センタ装置１と連携せず、図１０の処理を単独で実行する際の処理フローを示す。センタ装置１のステップＳ１１０２、Ｓ１１０３、Ｓ１１０４、Ｓ１１０５で行われるカメラパラメータ校正計算に関わる処理に相当する処理が、ナビゲーション装置５で行われる。位置情報取得部５１５は、位置情報を更新し（ステップＳ１１１０）、ステップＳ１１０２と同様のマップマッチングを実行し（ステップＳ１０１）、経路探索部５１７は、ステップＳ１１０３と同様のカメラパラメータ校正可否を判断する（ステップＳ１０２）。カメラパラメータ校正が可能であれば、経路探索部５１７は、ステップＳ１１０４と同様のカメラパラメータ校正が必要であるか否かを判断し（ステップＳ１０３）、カメラ校正が必要な場合、経路探索部５１７は、ステップＳ１１０５と同様のカメラパラメータ校正計算を行う（ステップＳ１０４）。その後、校正したカメラパラメータを用いて周辺の走行環境が認識され、目的地までの誘導案内が実行されるステップＳ１１１６〜１１２１の処理は上述した通りである。

【0066】

（３） 図１２は、経路誘導部５１８によってステップＳ１１２０で実行される画像情報を利用した誘導案内の一例を説明する処理フローを示す。図１３は図１２の処理フローを説明するための補足図である。ステップＳ１１２０では、経路探索部５１７で計算された経路情報に基づいて経路誘導情報生成部５２２によって生成された右左折地点通知などの経路誘導情報に基づいて、車両４が目的地まで案内される。経路誘導部５１８は、位置情報取得部５１５によってＧＰＳ受信部５４から得られた位置情報を取得して、車両４の現在位置が誘導ポイントであるか否かを確認する（ステップＳ１２０）。車両４の現在位置が誘導ポイントではない場合において（ステップＳ１２０がｎｏ）、経路誘導情報生成部５２２によって生成された経路誘導情報に案内情報が存在すれば、経路誘導部５１８は、その案内情報を取得し（ステップＳ１２５）、入出力インターフェース部５１９を介して、操作部５３および／または表示部５０にそれぞれ音声および／または画面表示で出力する（ステップＳ１２４）。

【0067】

車両４の現在位置が誘導ポイントである場合（ステップＳ１２０がｙｅｓ）、経路誘導部５１８は、ステップＳ１１１８で計算された車両４から周辺の地物までの推定距離情報、例えば車両４から誘導ポイントまでの推定距離を取得する（ステップＳ１２１）。誘導ポイントが右左折交差点である場合、経路誘導部５１８は、例えば図１３の横断歩道１２６までの推定距離を取得する。更に、ステップＳ１１１８で認識されたレーンの端部に引かれた線１２７のパターン種別（直線）と線１２８のパターン種別（破線）とから、画像処理により、車両４が走行中のレーンを識別する（ステップＳ１２２）。経路誘導部５１８は、地図データベース５２０から車両４が走行中のレーンに関するレーン情報を取得し、誘導ポイントでの右左折方向と、車両４の誘導ポイントまでの推定距離および走行レーンとから、その誘導ポイントでの案内情報を経路誘導案内情報生成部５２２に生成させて、その案内情報を取得する（ステップＳ１２３）。経路誘導部５１８は、入出力インターフェース部５１９を介して、その案内情報を、操作部５３および表示部５０にそれぞれ音声および／または画面表示により出力させる（ステップＳ１２４）。

【0068】

例えば、車両４が前方の誘導ポイントを右折する予定であって、かつ車両４が現在走行中のレーンが右折用ではなく直進用のレーンであった場合、経路誘導部５１８は、右折用のレーンへの移動を促す矢印１２９と案内文１３０とを経路誘導案内情報生成部５２２に生成させて、表示部５０に画面表示させる。ここで、案内情報を構成する矢印１２９および案内文１３０は、車両４の誘導ポイント１２６までの予想到達時間または推定距離が、安全や交通状況（走行速度）を考慮した適切なタイミングで通知されるようにする。

【0069】

（４） 図３のステップＳ３５で否定判定であっても、車両４の現在位置が誘導ポイント付近に位置しているときは、処理をステップＳ３７に進めてカメラパラメータ校正計算処理およびカメラパラメータ送信が行われないようにしてもよい。これにより、端末装置５における誘導案内の際の、本体部５２のＣＰＵ処理能力への影響を低減することができる。

【0070】

上述した各実施の形態および各変形例は、それぞれ組み合わせてもよい。また、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における機器構成に何ら限定されない。

【符号の説明】

【0071】

１ センタ装置
２ 通信ネットワーク
３ 基地局
４ 車両
５ 端末装置（ナビゲーション装置）
６ カメラ
１１ 通信インターフェース部
１２ 情報取得部
１３ カメラパラメータ校正可否判断部
１４ カメラパラメータ校正タイミング検出部
１５ 情報提供部
１６ 画像処理部
１７ 風景予想画像生成部
１８ カメラパラメータ校正部
２０ 地図データベース
５０ 表示部
５１ 通信部
５２ 本体部
５３ 操作部
５４ ＧＰＳ受信部
５５ カメラ接続部
５６ 記憶部
１００ センタＣＰＵ
１１０ 記憶装置
５１１ 通信制御部
５１２ 情報取得部
５１３ カメラパラメータ記憶部
５１４ 画像処理部
５１５ 位置情報取得部
５１６ 画像情報取得部
５１７ 経路探索部
５１８ 経路誘導部
５１９ 入出力インターフェース部
５２０ 地図データベース
５２１ 情報提供部
５２２ 経路誘導情報生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】