(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】運転支援装置および運転支援方法、プログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20221220BHJP
G06T 3/00 20060101ALI20221220BHJP
G08G 1/16 20060101ALI20221220BHJP
【ＦＩ】
H04N7/18 J
G06T3/00 745
G08G1/16 D
【請求項の数】
8
(21)【出願番号】P 2020532438
(86)(22)【出願日】2019-07-24
(86)【国際出願番号】 JP2019028984
(87)【国際公開番号】W WO2020022373
(87)【国際公開日】2020-01-30
【審査請求日】2020-11-10
(31)【優先権主張番号】P 2018140768
(32)【優先日】2018-07-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】稲垣 和樹
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開２０１５－２２６１４６（ＪＰ，Ａ）
【文献】特開２００１－０１０４２８（ＪＰ，Ａ）
【文献】特開２０１３－０５４７２０（ＪＰ，Ａ）
【文献】特開２００７－０９１１５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ３／００
Ｇ０８Ｇ １／００
(57)【特許請求の範囲】
【請求項1】
移動体の周囲の画像を撮影する撮影装置から撮影画像を取得する撮影画像取得部と、角度センサから取得した前記移動体の水平面に対する傾きが所定の閾値未満の場合に、前記移動体の最上部の位置に相当する基準線を前記撮影画像の基準水平位置に一致させるように前記撮影画像を補正した指示画像を生成し、当該生成した前記指示画像を、運転手が視認可能なモニタに表示する指示画像生成部と、
を備える運転支援装置。
【請求項2】
前記撮影装置は、前記移動体の後方の撮影範囲の画像を撮影するように、前記移動体の上部に取り付けられている請求項１に記載の運転支援装置。
【請求項3】
前記指示画像生成部は、前記指示画像内に前記基準線を表示するようにした、請求項１または請求項２に記載の運転支援装置。
【請求項4】
前記移動体の傾きを検知するセンサからの傾き情報であって、前記撮影装置の水平方向が水平面と平行である場合を基準とした、前記撮影装置の光軸回りのロール角、ピッチ角、ヨー角を示す傾き情報に基づいて、前記移動体の傾きを判定する傾き判定部を、備え、前記指示画像生成部は、前記移動体の傾きが所定の傾度以上の場合には、前記指示画像において前記基準線を表示しない、請求項３に記載の運転支援装置。
【請求項5】
前記指示画像生成部は、前記撮影画像における前記移動体の両側面側に沿って所定距離後方に延伸した進行予測線を前記指示画像内に表示するとともに、前記進行予測線上の前記所定距離後方の点を結ぶ線と、前記進行予測線上の点を一端とする垂線と、前記移動体の最上部の位置を示す前記基準線と、により構成される移動体仮想垂直面を前記指示画像内に表示する、請求項１乃至請求項４の何れか一項に記載の運転支援装置。
【請求項6】
前記指示画像生成部は、前記撮影画像における前記移動体の両側面側に沿って所定距離後方に延伸した進行予測線と、前記進行予測線上の前記所定距離後方の点を結ぶ線と、により構成される移動体後方移動面を前記指示画像内に表示する、請求項１乃至請求項４の何れか一項に記載の運転支援装置。
【請求項7】
移動体の周囲の画像を撮影する撮影装置から撮影画像を取得し、角度センサから取得した前記移動体の水平面に対する傾きが所定の閾値未満の場合に、前記移動体の最上部の位置に相当する基準線を前記撮影画像の基準水平位置に一致させるように前記撮影画像を補正した指示画像を生成し、当該生成した前記指示画像を、運転手が視認可能なモニタに表示する、
運転支援方法。
【請求項8】
コンピュータに、移動体の周囲の画像を撮影する撮影装置から撮影画像を取得させて、
角度センサから取得した前記移動体の水平面に対する傾きが所定の閾値未満の場合に、前記移動体の最上部の位置に相当する基準線を前記撮影画像の基準水平位置に一致させるように前記撮影画像を補正した指示画像を生成し、当該生成した前記指示画像を、運転手が視認可能なモニタに表示する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援装置および運転支援方法、プログラムに関する。
【背景技術】
【0002】
移動体に取り付けられたカメラの撮影画像を表示装置（例えば、モニタ）に表示する技術が知られている。例えば、運転支援装置は、車両に取り付けられたカメラの撮影画像を車内に設置されたモニタに出力する。運転支援装置が車外の画像（例えば、道路、付設物、障害物、歩行者などの画像）をモニタに出力することにより、運転者は、車両の進行方向だけでなく後方の画像を見ながら車両を運転することができ、運転時の危険（運転の障害となりうる事象）を検知することができる。
【0003】
特許文献１は、車両の運転支援装置を開示している。運転支援装置は、車両のステアリング角を検出して、車両の進行方向の画像における進行予測曲線を算出し、車両の高さに応じて地面に対して垂直な矩形の面を所定距離毎に作成して進行予測曲線に沿って表示する。運転者は、進行予測曲線に沿って表示される矩形面を参照することによって、障害物の位置と、障害物に対する車両の高さを認識することができる。
【0004】
特許文献２は、対象物が写った魚眼画像に対して歪補正や正規化処理を行う画像処理装置を開示している。魚眼画像は、例えば、車両の後部に取り付けられた魚眼カメラで撮影されるものであり、リアビューモニタに表示される。
【0005】
非特許文献１は、全方向性カメラで撮影された画像の較正方法を開示している。
【先行技術文献】
【特許文献】
【0006】
【文献】日本国特許第４３５０８３８号公報
【文献】日本国特許第６３３０９８７号公報
【非特許文献】
【0007】
【文献】Ｄａｖｉｄｅ Ｓｃａｒａｍｕｚｚａ、Ａｇｏｓｔｉｎｏ Ｍａｒｔｉｎｅｌｌｉ、Ｒｏｌａｎｄ Ｓｉｅｇｗａｒｔ、「Ａ Ｔｏｏｌｂｏｘ ｆｏｒ Ｅａｓｉｌｙ Ｃａｌｉｂｒａｔｉｎｇ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｃａｍｅｒａｓ」、ＩＲＯＳ ２００６
【発明の概要】
【発明が解決しようとする課題】
【0008】
運転者が、車両の走行時に障害物との位置関係を広く視認するためには、画角の広い魚眼レンズを有するカメラを用いることがある。しかし、魚眼レンズを具備するカメラで撮影された魚眼画像は撮影態様が歪んでおり、車両（移動体）と障害物との位置関係を把握することが困難である。魚眼レンズを具備するカメラを車両に搭載して、車外の画像を撮影する場合に運転者が車両と障害物との位置関係を正確に把握できるような画像を生成する技術の開発が望まれている。
【0009】
本発明は、上述の課題に鑑みてなされたものであり、移動体（車両）の外部の画像を正確に撮影して出力することにより、運転者による車両の運転を支援する運転支援装置および運転支援方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第一の態様によると、運転支援装置は、移動体の周囲の画像を撮影する撮影装置から撮影画像を取得する撮影画像取得部と、移動体の所定部位の位置を撮影画像内の基準線の位置に一致させた指示画像を撮影画像に基づいて生成する指示画像生成部と、を備える。
【0011】
本発明の第二の態様によると、運転支援方法は、移動体の周囲の画像を撮影する撮影装置から撮影画像を取得し、移動体の所定部位の位置を撮影画像内の基準線の位置に一致させた指示画像を撮影画像に基づいて生成する。
【0012】
本発明の第三の態様によると、プログラムは、コンピュータに、移動体の周囲の画像を撮影する撮影装置から撮影画像を取得させて、移動体の所定部位の位置を撮影画像内の基準線の位置に一致させた指示画像を撮影画像に基づいて生成させる。
【発明の効果】
【0013】
本発明によれば、運転者が移動体（車両）と障害物との位置関係を正確に把握できる画像を生成することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係る運転支援装置を搭載した移動体（車両）を示す概略図である。
【図2】本発明の一実施形態に係る運転支援装置とカメラとの接続関係を示す概略図である。
【図3】本発明の一実施形態に係る運転支援装置のハードウェア構成を示すブロック図である。
【図4】本発明の一実施形態に係る運転支援装置の機能部を示すブロック図である。
【図5】カメラにより撮影された魚眼画像に対応する指示画像の例を示す画像図である。
【図6】本発明の一実施形態に係る運転支援装置の処理手順を示すフローチャートである。
【図7】本発明の一実施形態に係る運転支援装置に接続されるカメラの座標系の定義を示す模式図である。
【図8】カメラの回転についてロール・ピッチ・ヨー表現を用いて表現される視点補償ベクトルの説明図である。
【図9】カメラの回転について２視点間の座標変換の説明図である。
【図10】カメラの回転について元の視点での座標系と平行化視点座標系の説明図である。
【図11】画像生成処理対象の魚眼画像（ＩＦ）の一例を示す画像図である
【図12】画像生成処理において定義される平行化視点座標系の一例を示す座標図である。
【図13】画像生成処理において、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる正規化パノラマ画像とを示す画像図である。
【図14】画像生成処理を示すフローチャートである。
【図15】本発明の一実施形態による運転支援装置の最小構成を示すブロック図である。
【発明を実施するための形態】
【0015】
本発明に係る運転支援装置および運転支援方法について、添付図面を参酌して、実施形態とともに詳細に説明する。図１は、本発明の一実施形態による運転支援装置１を搭載した移動体（車両）１００を示す概略図である。移動体１００は、例えば、トラックであり、後方最上部にカメラ２を搭載している。カメラ２は、魚眼レンズを具備しており、上方撮影範囲境界ａ１を示す軸と下方撮影範囲境界ａ２を示す軸を円錐面上に含む円錐範囲を画角に収める魚眼画像を撮影する。図１において、カメラ２の光軸を符号「Ｏ」で示す。図１において、移動体（トラック）１００の後方に存在する障害物を符号「Ｔ」で示す。カメラ２の設置位置の地面に対する高さは、移動体１００の荷台の後方最上部の高さＨに相当する。カメラ２は、移動体１００の荷台の後方最上部に設置しなくてもよい。カメラ２を移動体１００の荷台の後方最上部に設置しない場合、カメラ２の実際の設置位置の地面を基準とする高さを、移動体１００の荷台の後方最上部の高さＨに変換して、後述する指示画像を生成する。
【0016】
移動体１００では、運転席に運転支援装置１を備えている。運転支援装置１とカメラ２とは、無線又は有線で接続されている。カメラ２は、移動体１００の後方の魚眼画像を運転支援装置１へ送信する。運転支援装置１は、一例としてはカーナビゲーション装置である。カメラ２の魚眼画像を変換して指示画像を生成してモニタに出力する。なお、運転支援装置１が生成する指示画像については、後述する。運転者は、移動体１００が後方に移動しているときの指示画像により、移動体１００の最上部と、移動体１００の後方上部に設置された障害物Ｔとの高さ方向の位置関係を視認する。
【0017】
図２は、運転支援装置１とカメラ２との接続関係を示す概略図である。図３は、運転支援装置１のハードウェア構成を示すブロック図である。運転支援装置１とカメラ２とは通信接続されている。運転支援装置１は、ＣＰＵ（Ｃｅｎｔａｌ Ｐｒｏｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、記憶装置１０４、通信モジュール１０５、モニタ１０６、及び傾きセンサ（角度センサ）１０７などのハードウェア要素を備えた情報処理装置（コンピュータ）である。傾きセンサ１０７は、移動体１００の傾きを検知する。
【0018】
図４は、運転支援装置１の機能部を示すブロック図である。運転支援装置１は、電源が投入されると起動して、予め記憶された運転補助プログラムを実行することにより種々の機能部を実現する。具体的には、運転支援装置１は、制御部１１、撮影画像取得部１２、指示画像生成部１３、傾き判定部１４、及び出力部１５を備える。
【0019】
制御部１１は、運転支援装置１の機能部１２乃至１５を制御する。撮影画像取得部１２は、移動体１００の後方最上部に取り付けられたカメラ２から魚眼画像を取得する。指示画像生成部１３は、撮影画像に基づいて指示画像を生成する。指示画像は、移動体１００の後方最上部の位置を撮影画像の基準位置に一致させて生成される。なお、指示画像の生成方法については後述する。傾き判定部１４は、傾きセンサ１０７から取得した傾き情報に基づいて移動体１００の傾きを判定する。出力部１５は、指示画像を運転支援装置１のモニタ１０６に出力する。
【0020】
図５は、カメラ２で撮影された魚眼画像５ａに対応する指示画像５ｂ、５ｃを示す画像図である。図５の左側に魚眼画像５ａが示され、右上側に第一の指示画像５ｂが示され、右下側に第二の指示画像５ｃが示される。運転支援装置１は、魚眼画像５ａをカメラ２から取得し、歪補正を施して第一の指示画像５ｂに変換して、モニタ１０６に出力する。第一の指示画像５ｂは、水平位置Ｘ１を基準位置として生成される。第一の指示画像５ｂでは、移動体１００の高さＨに相当する地面からの距離Ｈ１に対応する基準線（すなわち、移動体１００の最上部に相当する位置の基準線）ｈ１の位置を基準水平位置Ｘ１に一致させている。基準水平位置Ｘ１は、第一の指示画像５ｂの最下部から上側にＸ離れた位置に設定される。第一の指示画像５ｂは、水平基準位置Ｈ１における、移動体１００の最上部に相当する基準線ｈ１を一辺とする矩形の移動体仮想垂直面ｐを少なくとも含む。具体的には、運転支援装置１の指示画像生成部１３は、歪補正後の撮影画像における移動体１００の両側面に沿う位置において移動体１００の所定距離後方まで延伸した２本の進行予測線ｈ２を含めて第一の指示画像５ｂを生成する。また、指示画像静止部１３は、歪補正後の撮影画像において、２本の進行予測線ｈ２に加えて、移動体１００の所定距離後方の位置の点を結ぶ線と、当該点を一端とする高さＨ１の２本の垂線と、基準線ｈ１（すなわち、移動体１００の最上部に相当する位置の基準線）とにより移動体仮想垂直面ｐを形成する。また、２本の進行予測線ｈ２と、移動体１００の所定距離後方の位置の点を結ぶ線とにより矩形の移動体後方移動面ｐ２を形成してもよい。そして、運転支援装置１は、移動体仮想垂直面ｐと移動体後方移動面ｐ２を含む第一の指示画像５ｂをモニタ１０６に出力する。これにより、運転者は、移動体１００の最上部と側面とのそれぞれについて所定距離後方の位置での障害物との接触の有無を判定することができる。本実施例では、基準水平位置Ｘ１は、第一の指示画像５ｂの縦方向の中央位置に設定される。なお、基準水平位置Ｘ１は、第一の指示画像５ｂの縦方向の中央位置に設定する必要はなく、縦方向の所定位置に設定してもよい。
【0021】
運転支援装置１は、移動体１００の傾きが所定の傾度以上である場合、第一の指示画像５ｂから移動体仮想垂直面ｐを除外した第二の指示画像５ｃを生成してもよい。
【0022】
移動体１００の荷台後方上部に、ソナーなどの音響センサを設けて障害物を検知してもよい。この場合、ソナーによる障害物の検知に応じて指示画像の表示態様を変更してもよい。例えば、第一の指示画像５ｂにおいて、移動体１００の最上部に相当する位置の基準線ｈ１を点滅することや、色を変更するなどして、基準線ｈ１を強調表示することもできる。また、ソナーを利用して、移動体１００が後退するときに音による警告通知も同時に行ってもよい。これにより、移動体１００の高さに起因する障害物との衝突の可能性を運転者に事前に知らせることができる。
【0023】
図６は、運転支援装置１の処理手順を示すフローチャートである。次に、運転支援装置１の処理手順（ステップＳ１０１乃至Ｓ１１０）について説明する。
運転支援装置１は、移動体１００の始動に連動して起動する。運転支援装置１は、移動体１００に備わる各種センサからの信号を入力する。一例として、運転支援装置１は、移動体（車両）１００のシフトレバーの位置に係る信号を入力する（Ｓ１０１）。運転支援装置１の制御部１１は、移動体１００のシフトレバーの位置信号がリア（Ｒ）を示すか否かを判定する（Ｓ１０２）。制御部１１は、シフトレバーの位置信号がリア（Ｒ）を示す場合、カメラ２に起動信号を出力する（Ｓ１０３）。カメラ２は、起動信号に応じて起動する。つまり、カメラ２は、起動後に撮影動作を開始して画像（魚眼画像）を撮影し、その撮影画像を運転支援装置１へ送信する。
運転支援装置１は、移動体１００の始動に連動して起動する。運転支援装置１は、移動体１００に備わる各種センサからの信号を入力する。一例として、運転支援装置１は、移動体（車両）１００のシフトレバーの位置に係る信号を入力する（Ｓ１０１）。運転支援装置１の制御部１１は、移動体１００のシフトレバーの位置信号がリア（Ｒ）を示すか否かを判定する（Ｓ１０２）。制御部１１は、シフトレバーの位置信号がリア（Ｒ）を示す場合、カメラ２に起動信号を出力する（Ｓ１０３）。カメラ２は、起動信号に応じて起動する。つまり、カメラ２は、起動後に撮影動作を開始して画像（魚眼画像）を撮影し、その撮影画像を運転支援装置１へ送信する。
【0024】
運転支援装置１の撮影画像取得部１２は、カメラ２から魚眼画像を取得する（Ｓ１０４）。運転支援装置１の傾き判定部１４は、傾きセンサ１０７から移動体（車両）１００の傾き情報を取得する（Ｓ１０５）。そして、指示画像生成部１３は、撮影画像取得部１２を介して、魚眼画像を取得する。指示画像生成部１３は、魚眼画像の歪みを補正して、歪み補正画像を生成する（Ｓ１０６）。なお、撮影画像に対する歪み補正画像の生成処理として、公知の技術を用いてもよい。本実施例における歪み補正画像の生成処理の詳細については、後述する。
【0025】
傾き判定部１４は、傾きセンサ１０７から取得した移動体１００の傾きが所定の閾値以上であるか否かを判定する（Ｓ１０７）。傾き判定部１４は、移動体１００の傾きが所定の傾度（例えば、５度）以上であるか否かの判定結果を指示画像生成部１３へ出力する。指示画像生成部１３は、移動体１００の傾きが所定の閾値未満の場合には、第一の指示画像５ｂを生成すると判定する。一方、指示画像生成部１３は、移動体１００の傾きが所定の閾値以上の場合には、第二の指示画像５ｃを生成すると判定する。
【0026】
指示画像生成部１３は、移動体１００の傾きが所定の閾値未満の場合、第一の指示画像５ｂを生成する（Ｓ１０８）。第一の指示画像５ｂは、歪み補正画像の基準水平位置Ｘ１に、移動体１００の最上部の位置に合わせた基準線ｈ１を設定し、その基準線ｈ１を一辺とする矩形の移動体仮想垂直面ｐを含む。また、指示画像生成部１３は、移動体仮想垂直面ｐの底辺を一辺とする移動体後方移動面ｐ２を表示してもよい。なお、運転支援装置１は、歪み補正画像における移動体１００の最上部に対応する基準水平位置Ｘ１を予め記憶してもよい。
【0027】
指示画像生成部１３は、移動体１００の傾きが所定の閾値以上の場合、歪み補正画像に移動隊後方移動面ｐ２のみを含む第二の指示画像５ｃを生成する（Ｓ１０９）。そして、出力部１５は、第一の指示画像５ｂ又は第二の指示画像５ｃをモニタ１６に出力する（Ｓ１１０）。
【0028】
上述の処理によれば、撮影画像の縦方向の中央位置に対応する基準水平位置Ｘ１に、移動体１００の最上部に対応する基準線ｈ１の位置を合わせて生成された第一の指示画像５ｂがモニタ１６に出力されるため、運転者は、障害物と移動体１００との後進時の位置関係を把握することができる。
【0029】
上述の処理によれば、魚眼画像の歪みを補正した歪み補正画像を用いて第一の指示画像５ｂを生成してモニタ１６に出力している。つまり、第一の指示画像５ｂは、障害物と移動体１００との位置関係を容易に検知できるように画角の広い魚眼レンズを有するカメラ２により撮影された魚眼画像に基づいて生成されている。このため、運転者は、障害物と移動体１００との位置関係を精度良く把握することができる。
【0030】
続いて、本実施形態による運転支援装置１における歪み補正画像（魚眼画像の歪みを補正した画像）の生成処理について、詳細に説明する。なお、下記の歪み補正画像の生成処理は一例であり、他の歪み補正画像の生成手法を用いてもよい。なお、下記の説明では、魚眼画像の「歪み補正」を魚眼画像の「正規化」（又は、「歪み除去」）と呼ぶ。魚眼画像の正規化では、視点は水平面に設定されており、この水平面の基準となる平面（以下、「対象平面（Ｔａｒｇｅｔ Ｐｌａｎｅ）」と呼ぶ）が定められる。対象平面として、正規化を行う対象（Ｔａｒｇｅｔ）である縦長の対象物が接地している平面（接地面）が選択される。例えば、正規化の対象が歩行者の場合、対象平面として道路面や床面などを挙げることができる。また、対象平面は、垂直の壁面又は傾斜のある路面として定義されてもよい。なお、対象平面は、移動体（車両）１００の走行時の現実の水平面と必ずしも一致しなくともよい。
【0031】
以下の説明では、対象平面が路面であり、正規化の対象（魚眼画像に映る被写体）が歩行者である場合について説明を行うが、本実施形態の適用対象は路面や歩行者などに限定されるものではない。
【0032】
カメラ２は、リアルタイムで画像を撮影して、その画像を連続的に運転支援装置１に出力する。カメラ２の具体例として、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ ＳｔａｎｄａｒｄｓＣｏｍｍｉｔｔｅｅ）形式の画像、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）形式の画像、各種デジタル形式の画像を出力するビデオカメラ（カムコーダなど）が挙げられる。
【0033】
図３において、傾きセンサ１０７は、例えば、角度センサである。カメラ２の光軸ベクトルと、被写体となっている対象物の接地面に平行なベクトルと、の相対ベクトルを計測するための情報が提示される。その情報として、カメラ２における光軸回りのロール角（Ｒｏｌｌ Ａｎｇｌｅ）、光軸のピッチ角（Ｐｉｔｃｈ Ａｎｇｌｅ）、光軸のヨー角（Ｙａｗ Ａｎｇｌｅ）が挙げられる（図７参照）。
【0034】
対象物の接地面（対象平面）を水平面（地面）と想定する場合、角度センサは、カメラ２の光軸が水平方向に平行であり、かつ、カメラ２の傾きがゼロ（すなわち、撮像素子の水平方向が水平面と平行の状態）であるときの値（例えば、後述する角度センサの情報）を初期値として、角度センサの情報と初期値との差分を出力する。
【0035】
対象物の接地面が水平面（地面）でない場合、角度センサは、予め測定された対象物の接地面の水平面に対する角度を考慮して、角度センサの情報と初期値との差分を出力する。また、角度センサとは別に、対象物の接地面の角度を測定する他のセンサ（他の角度センサ）を設置してもよい。このとき、角度センサは、自身のセンシングデータと、他のセンサのセンシングデータとの差分を出力する。
【0036】
運転支援装置１の指示画像生成部１３は、歪み補正画像を生成するにあたり、魚眼画像取得処理、視点補償ベクトル取得処理、画像生成処理、及び視点補償ベクトル生成処理を実行する。本実施形態において、魚眼画像取得処理では、カメラ２から運転支援装置１へ出力された画像、すなわち、魚眼画像の画像データを取得する。指示画像生成部１３は、魚眼画像の画像データを取得すると、画像データに対して必要な画像領域の切出し処理、解像度及びサイズの調整処理、ＮＴＳＣ形式の画像から奇数フィールド（又は偶数フィールド）の抽出処理、及び画質改善処理などの画像形式についての調整処理を実行してもよい。
【0037】
指示画像生成部１３は、視点補償ベクトル取得処理において、視点補償ベクトル生成処理により生成された視点補償ベクトルを取得する。指示画像生成部１３は、視点補償ベクトル生成処理において、カメラ２の光軸ベクトルと対象平面に平行なベクトルとの相対ベクトルを、視点補償ベクトルとして生成する。この相対ベクトルは、２つの座標系間の回転を表現するベクトルである。
【0038】
回転の表現方法としては、一般的に、四元数（Ｑｕａｔｅｒｎｉｏｎ）、オイラー角表現、ロール・ピッチ・ヨー（Ｒｏｌｌ－Ｐｉｔｃｈ－Ｙａｗ）角表現が挙げられ、本実施形態では、いずれの表現手法を採用してもよい。以下の説明では、ロール・ピッチ・ヨー角表現を採用している。
【0039】
図７を参照して、カメラ２の座標と回転軸について説明する。図７は、本発明の一実施形態に係る運転支援装置１に接続されるカメラ２の座標系の定義を示す模式図である。本実施形態において、相対ベクトルは、少なくともロール（Ｒｏｌｌ）角及びピッチ（Ｐｉｔｃｈ）角からなる２次元の数値を含んでいる。ロール角及びピッチ角は、カメラ２の光軸を含む水平面（ｘ－ｚ平面）と対象平面とを一致させるために必要な回転角度である。
【0040】
本実施形態では、ヨー（Ｙａｗ）角として、魚眼画像の水平視野角の範囲に含まれる任意の角度が指定される。ヨー角は、最終的に生成される画像の水平方向の中心視点を定めるものである。従って、元の魚眼画像の水平視野角を最大限に利用するためには、ヨー角として、現実のカメラ２の光軸におけるヨー角をそのまま用いることが好ましい。
【0041】
図８を参照して、視点補償ベクトルの表現形式について説明する。図８は、ロール・ピッチ・ヨー表現を用いて表現される視点補償ベクトルを説明するための図である。図８を参照すると、ロール角とピッチ角は下記のように定義される。なお、視点補償ベクトルを構成するロール角及びピッチ角を、特に「相対ロール角」及び「相対ピッチ角」と表現する。
【0042】
図８に示すように、カメラ２の座標について、ｘ－ｚ平面から対象平面とロール角の一致したｘ´－ｚ平面へのｚ軸回りの回転角度は、相対ロール角α０と定義される。また、ｘ´－ｚ平面から対象平面と平行な平面へのｘ´軸回りの回転角度は、相対ピッチ角β０と定義される。
【0043】
そして、任意のヨー角γ０が与えられると、視点補償ベクトルＶは、例えば、式（１）で表される。任意のヨー角γ０がカメラ２の光軸によって規定される場合には、式（１）において「γ０＝０」が成立する。
【0044】
【数1】
【0045】
視点補償ベクトルＶを用いることにより、２視点間の座標変換を行うことができる。図９は、本実施形態において行なわれる２視点間の座標変換を説明するための図である。図９を参照すると、一般に、物理空間上のある点に対する座標変換は、座標系１から座標系２に対する外部パラメータ行列Ｋを用いて式（２）で表される。
【0046】
【数2】
【0047】
ただし、「ｐチルダ（ｉ）」は、座標系ｉにおける位置座標の同次表現である。同次表現は式（３）によって表される。
【0048】
【数3】
【0049】
式（２）におけるＫは、一般に回転行列Ｒ、および並進ベクトルｔを用いて式（４）で表される。
【0050】
【数4】
【0051】
回転行列Ｒは、ロール・ピッチ・ヨー表現においては、ロール角α、ピッチ角β、及びヨー角γを用いて式（５）で表される。
【0052】
【数5】
【0053】
ここで、式（１）で規定された視点補償ベクトルＶによって変換された視点を「平行化中心視点（central horizontalized viewpoint）」と表記し、視点が存在する座標系を「平行化中心視点座標系」と表記することとする。
【0054】
また、対象平面に平行であり、且つ、平行化中心視点から任意のヨー角γだけ回転させて得られた視点の集合を「平行化視点（horizontalized viewpoints）」と表記し、それぞれの視点における座標系を「平行化視点座標系」と表記することとする。図１０は、本実施形態で用いられる元の視点での座標系と平行化視点座標系とを説明するための図である。
【0055】
平行化視点座標系は、任意のヨー角γ、ロール角及びピッチ角からなる視点補償ベクトルｂ（α０、β０）による座標変換から得られる。平行化視点座標への座標変換は、式（４）及び式（５）において（α、β）＝（α０、β０）とした外部パラメータ行列Ｋｈｒｚ（γ）を用いて、式（６）により表される。
【0056】
【数6】
【0057】
但し、元の視点（original viewpoint）での座標系の座標と、平行化視点座標系における座標は、式（７）及び式（８）で表すものとする。
【0058】
【数7】
【0059】
【数8】
【0060】
平行化中心視点は、元の視点との間で原点を共有するとすれば、Ｋｈｒｚ（γ）において並進ベクトルｔは、ｔ＝（０，０，０）Ｔとおくことができる。
【0061】
以上のように、視点補償ベクトルＶが与えられると、元の視点での座標系から、平行化視点座標系への座標変換Ｋｈｒｚ（γ）を定義することができる。本実施形態では、指示画像生成部１３は視点補償ベクトル生成処理において、平行化変換行列（horizontal transform matrix）Ｋｈｒｚ（γ）を生成する。
【0062】
指示画像生成部１３は、本実施形態では、正規化画像の水平方向の全画素数に応じて、視点を設定する。また、指示画像生成部１３は、視点毎に、歪み補正を行なった後に、歪み補正後の画像を垂直方向に切り出して、各視点からの視線が入射するスライス画像を抽出する。そして、指示画像生成部１３は、複数のスライス画像を予め定めた順序で水平方向に配置して、１つの正規化画像を生成する。
【0063】
具体的には、指示画像生成部１３は、魚眼画像取得処理において取得された魚眼画像に対し、視点補償ベクトルＶを用いて、平行化視点の集合を設定する。次いで、指示画像生成部１３は、水平方向の視野範囲を任意に分割し、各平行化視点の集合（平行化視点列）のそれぞれの平行化視点座標系において、透視投影近似による歪み補正を実行する。そして、指示画像生成部１３は、各視点の中心を通る垂直方向の画像要素を、平行化視点列の順序で水平方向に並べ、これらを連結することで、一枚の合成画像を生成する。以下、指示画像生成部１３による処理を詳細に説明する。
【0064】
＜透視投影近似による歪み補正＞
透視投影近似による歪み補正について具体的に説明する。透視投影近似による歪み補正（透視投影補正）は、一般に、カメラモデル、及びカメラモデルにおける校正済みの内部パラメータが既知であれば、以下の方法で求めることができる。なお、透視投影近似による歪み補正は、既存の技術で実現できるものであるが、参考として簡単に説明する。
透視投影近似による歪み補正について具体的に説明する。透視投影近似による歪み補正（透視投影補正）は、一般に、カメラモデル、及びカメラモデルにおける校正済みの内部パラメータが既知であれば、以下の方法で求めることができる。なお、透視投影近似による歪み補正は、既存の技術で実現できるものであるが、参考として簡単に説明する。
【0065】
一般のカメラ座標系における実空間上の点ｐ＝（ｘ，ｙ，ｚ）Ｔと、魚眼画像上の点との関係式は式（９）乃至式（１１）によってモデル化できる。但し、式（９）におけるρ´は式（１２）によって表される。
【0066】
【数9】
【0067】
【数10】
【0068】
【数11】
【0069】
【数12】
【0070】
式（９）及び式（１１）における（ｕ´，ｖ´）は、アフィン歪み（ａｆｆｉｎｅ ｓｔｒａｉｎ）のない理想的な魚眼画像の座標（中心を原点とする）を示している。式（１２）における（ｕ″，ｖ″）は、実際の魚眼画像の座標（左上を原点とする）を示し、（ｕ０″，ｖ０″）は、実際の魚眼画像の中心座標を示している。また、式（１１）における２×２の正方向行列は、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）行列である。
【0071】
そして、式（１０）の係数を４次までに近似して得られるパラメータは、魚眼レンズの歪み特性及び魚眼レンズの光軸と撮像素子との位置関係のずれなどから決まるカメラの内部パラメータである。なお、内部パラメータを式（１３）に示す。
【0072】
【数13】
【0073】
そして、式（１３）に示すパラメータは、非特許文献１に開示されているキャリブレーション手法によって予め求めることができる。
【0074】
ここで、座標系のｚ軸に垂直な画像平面（ｚ＝ｚｄ）を設定すると、画像平面（ｚ＝ｚｄ）上で定義される画像の座標（ｕｄ，ｖｄ）に対して、式（９）～式（１１）の関係式を用いることで、対応する魚眼画像の座標（ｕ″，ｖ″）を求めることができる。従って、画像の座標（ｕｄ，ｖｄ）に対応する魚眼画像の座標（ｕ″，ｖ″）の画素値を参照して、画像の座標（ｕｄ，ｖｄ）における画素値を魚眼画像の座標（ｕ″，ｖ″）の画素値に置き換えることで、透視投影近似による歪み補正後の画像（以下、「透視投影補正画像」と表記する）を生成することができる。
【0075】
なお、魚眼画像座標の画素値は、モノクロ画像であれば１チャンネルの輝度値で表され、カラー画像ではＲＧＢの３チャンネルの輝度値で表される。そして、ｚ＝ｚｄの値は投影面と焦点からの距離を表し、これが透視投影補正画像のスケールを決定するパラメータである。
【0076】
＜透視投影近似による歪み補正の効果＞
視点補償ベクトルによって平行化変換行列が与えられるため、任意の平行化視点における透視投影画像平面を定義できる。その結果、指示画像生成部１３は、平行化視点毎に、それぞれの視点における透視投影補正画像を上記の方法を用いて生成することになる。
視点補償ベクトルによって平行化変換行列が与えられるため、任意の平行化視点における透視投影画像平面を定義できる。その結果、指示画像生成部１３は、平行化視点毎に、それぞれの視点における透視投影補正画像を上記の方法を用いて生成することになる。
【0077】
透視投影補正画像では、直線性が復元される一方で、周辺部に向かうにしたがって射影歪みにより被写体のスケール歪みが大きくなることが知られている。従って、指示画像生成部１３は、視点毎に生成された透視投影補正画像の中心列のみを抽出し、これら中心列を水平方向に連結する。これにより、水平方向のスケール歪みが抑制され、且つ、垂直方向の直線性が保たれた、連続した一枚画像が生成される。これによって、元の魚眼画像に撮像された対象平面上に存在する縦長の立体物が全て一貫したスケールを持ち、且つ、形状歪みの少ない、一枚の正規化画像が合成される。
【0078】
＜画像生成部による具体的処理＞
指示画像生成部１３による処理の具体例について以下に説明する。元の魚眼画像（ＩＦ）から各平行化視点座標系で生成される透視投影補正画像（ＩＰ）において、その中心を通る画像列を「正規化スライス画像（ＩＳ）」と表記する。また、最終的な出力画像を「正規化パノラマ画像（ＩＨ）」、と表記する。本実施の形態では、正規化パノラマ画像を生成するまでの一連の機能が指示画像生成部１３により実現される。
指示画像生成部１３による処理の具体例について以下に説明する。元の魚眼画像（ＩＦ）から各平行化視点座標系で生成される透視投影補正画像（ＩＰ）において、その中心を通る画像列を「正規化スライス画像（ＩＳ）」と表記する。また、最終的な出力画像を「正規化パノラマ画像（ＩＨ）」、と表記する。本実施の形態では、正規化パノラマ画像を生成するまでの一連の機能が指示画像生成部１３により実現される。
【0079】
まず、指示画像生成部１３において、最終的に出力される画像のサイズ（幅、高さ）＝（Ｗ０、Ｈ０）が定義される。次に、指示画像生成部１３は、正規化パノラマ画像の合成に用いる平行化視点列を定義する。視点のロール角及びピッチ角は、視点補償ベクトルベクトルＶによって決定されているので、ここではヨー角φｉの組Φを定義すればよい。以下では、ヨー角がφｉである平行化視点を、平行化視点φｉとも表記することもある。Φは、画像の横ピクセル数と同数の系列とし、式（１４）で表される。
【0080】
【数14】
【0081】
Φは、元の魚眼画像の水平視野範囲内で任意に設定できる。Φの上限と下限とが、正規化パノラマ画像で描画される水平視野範囲（ＦＯＶ＿Ｈ）を決定する。例えば、水平視野範囲がＦＯＶ＿Ｈ＝１８５°を確保するとき、平行化視点列の範囲は、式（１５）に示す範囲となる。
【0082】
【数15】
【0083】
一般に、魚眼画像は実空間上の球体面モデルに投影された点群の一方向への写像としてモデル化される。このとき球体中心は光学中心と一致すると仮定できる。各平行化視点座標系の原点は光学中心と一致させているため、Φは、式（１６）に示すように、等分解能で定義できる。但し、式（１６）において、ｉ＝０、・・・、Ｗ０－１である。
【0084】
【数16】
【0085】
各平行化視点座標系（式（１７））上の点は、平行化変換行列Ｋｈｒｚ（γ）を用いて、元のカメラ座標系の点ｍチルダが「（ｘ，ｙ，ｚ，１）Ｔ」と表されることから、式（１８）で求められる。
【0086】
【数17】
【0087】
【数18】
【0088】
上述したように、平行化視点座標系（式（１７））のｚ軸（式（１９））に垂直な画像平面（式（２０））を設定すると、画像平面上で定義される画像座標（式（２１））において、元の魚眼画像上の画素（ｕ″，ｖ″）との対応関係が求められる。魚眼画像上の画素の点を画像座標（式（２１））上へ投影した画像が透視投影補正画像である。また、式（２０）の定数は、投影面と焦点からの距離を表し、これが透視投影補正画像のスケールを決定するパラメータである。
【0089】
【数19】
【0090】
【数20】
【0091】
【数21】
【0092】
透視投影補正画像（ＩＰ）の中心を通る垂直方向の画像列が、正規化スライス画像（ＩＳ）である。正規化スライス画像（ＩＳ）は、透視投影補正画像（ＩＰ）を透視投影画像平面に投影する際に、投影画像の横サイズを１ピクセルに設定する条件で生成される透視投影補正画像（ＩＰ）の特別なバリエーションである。なお、正規化スライス画像（ＩＳ）を生成するためにより大きな横サイズをもつ別の透視投影補正画像（ＩＰ）を生成した後に切り出しを行う必要はない。
【0093】
各平行化視点座標系（式（１７））において、正規化スライス画像（式（２２））を生成するときのスケールパラメータ（式（２３））は、通常、各平行化視点座標系において同じ値で定義され、最終的な正規化パノラマ画像における縦横のアスペクト比を考慮して設定する必要がある。スケールパラメータは、その値を直接定義するだけでなく、後述するようにその他のパラメータから間接的に定義することもできる。
【0094】
【数22】
【0095】
【数23】
【0096】
本実施形態では、各平行化視点座標系（式（１７））における正規化スライス画像（式（２２））を、左から平行化視点のヨー角φｉの系列Φの順に並べて得られた合成画像を、正規化パノラマ画像（ＩＨ）とする。正規化パノラマ画像（ＩＨ）の各要素は、式（２４）で定義される。但し、式（２４）において、かっこ内は画像座標を示している。また、ｉ＝０、１、・・・Ｗ０－１、ｊ＝０、１、・・・Ｈ０－１である。
【0097】
【数24】
【0098】
次に、図１１乃至図１３を参照して、魚眼画像の一例とそれに対する画像生成処理について説明する。図１１は、本実施形態において対象となる魚眼画像（ＩＦ）の一例を示す模式図である。図１１において、魚眼画像には、地面を対象平面として、下向きの視点で撮影された３名の人物（ＰｅｒｓｏｎＡ、ＰｅｒｓｏｎＢ、ＰｅｒｓｏｎＣ）が写っている。
【0099】
図１１に示す魚眼画像に対して運転支援装置１による処理が実行される。これにより、図１２に示すように、各平行化視点座標系（式（１７））において、透視投影画像平面が定義される。図１２は、本実施形態において定義される平行化視点座標系の一例を示す図である。また、透視投影画像平面における座標は、式（２１）によって表される。そして、透視投影画像平面上に、正規化スライス画像（ＩＳ）を含む任意の画像サイズの透視投影補正画像（ＩＰ：式（２５））が生成される。
【0100】
【数25】
【0101】
図１３は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる正規化パノラマ画像とを示している。
【0102】
具体的には、図１３の左側の画像は、平行化視点（式（２６））で生成される透視投影補正画像（式（２７））と正規化スライス画像（式（２８））で形成されている。図１３の中央の画像は、平行化視点（式（２９））で生成される透視投影補正画像（式（３０））と正規化スライス画像（式（３１））で形成されている。
【0103】
【数26】
【0104】
【数27】
【0105】
【数28】
【0106】
【数29】
【0107】
【数30】
【0108】
【数31】
【0109】
図１３の右側の画像は、定義された平行視点列（式（３２））における全ての正規化スライス画像によって生成された正規化パノラマ画像（ＩＨ）の一例である。図１３に示したように、正規化スライス画像（式（２８））及び（式（３１））を含むすべての正規化スライス画像を要素として、正規化パノラマ画像（ＩＨ）が合成される。
【0110】
【数32】
【0111】
＜スケールパラメータの間接的決定処理＞
指示画像生成部１３は、視点毎の透視投影近似による歪み補正において、平行化視点座標系における投影平面の原点に対する距離を、正規化パノラマ画像における、サイズ、水平方向における視野角の範囲、及びアスペクト比に基づいて決定する。
指示画像生成部１３は、視点毎の透視投影近似による歪み補正において、平行化視点座標系における投影平面の原点に対する距離を、正規化パノラマ画像における、サイズ、水平方向における視野角の範囲、及びアスペクト比に基づいて決定する。
【0112】
つまり、透視投影補正画像及び正規化スライス画像を生成する際の画像スケールは、上述したように各座標における投影面の距離｜ｚｄ｜によって決まる。しかし、実用上はこれを直接指定するよりも、正規化パノラマ画像の視野範囲及び画像サイズなどの拘束条件を満たすように間接的に決定した方が便利な場合がある。
【0113】
ここでは、画像のサイズ、水平方向における視野角の範囲、画像のアスペクト比を指定してスケールを求める方法を示す。ここで、正規化パノラマ画像のサイズ（幅、高さ）を、（Ｗ０，Ｈ０）とし、正規化パノラマ画像に投影する水平方向の視野角の大きさをＡＸ、垂直方向の視野角の大きさをＡｙとする。また、正規化パノラマ画像における縦／横の（角度／ピクセル）比を式（３３）で表す。ただし、式（３３）において、Ａｙの上限値を１８０度とする（式（３４））。
【0114】
【数33】
【0115】
【数34】
【0116】
また、スケール｜ｚｄ｜は、ステップ（ａ）及び（ｂ）によって決定される。
【0117】
ステップ（ａ）：（Ｗ０、Ｈ０、ＡＸ、μ）を拘束条件として、式（３５）及び式（３６）を用いて、（｜ｚｄ｜，Ａｙ）を決定する。
【0118】
【数35】
【0119】
【数36】
【0120】
ステップ（ｂ）：式（３７）が成立するときに、式（３８）乃至式（４０）を用いた再計算により、（ＡＸ、Ａｙ、｜ｚｄ｜）を式（４１）で置き換える。
【0121】
【数37】
【0122】
【数38】
【0123】
【数39】
【0124】
【数40】
【0125】
【数41】
【0126】
＜ルックアップテーブル（ＬＵＴ）処理による高速化＞
本実施形態では、指示画像生成部１３は視点補償ベクトル取得処理において、視点補償ベクトルとして、対象物を接地面に平行な方向から撮影して得られる画像上の座標と、魚眼画像上の座標と、の対応付けを記述したテーブルを取得する。
本実施形態では、指示画像生成部１３は視点補償ベクトル取得処理において、視点補償ベクトルとして、対象物を接地面に平行な方向から撮影して得られる画像上の座標と、魚眼画像上の座標と、の対応付けを記述したテーブルを取得する。
【0127】
具体的には、本実施形態では、予め定められた固定の視点補償ベクトルが用いられる場合は、指示画像生成部１３は視点補償ベクトル生成処理において、正規化パノラマ画像上の座標（ｕＨ，ｖＨ）から対応する元の魚眼画像上の座標（ｕ″，ｖ″）への対応付けを記述した参照テーブルを予め生成する。この場合、入力画像系列に対する実際の正規化パノラマ画像の生成処理は、ルックアップテーブル（ＬＵＴ：Ｌｏｏｋ－Ｕｐ Ｔａｂｌｅ）を参照しながら、正規化パノラマ画像を生成する、ＬＵＴ処理に置き換えられる。
【0128】
例えば、オフラインでルックアップテーブルを生成し、オンラインの画像入力系列に対して、順次正規化パノラマ画像を生成する処理をＬＵＴ処理で実行することにより、魚眼画像から正規化パノラマ画像の生成を高速に処理することができる。この態様では、動作クロックの低いプロセッサ上への実装を必要とする用途に好適な画像処理システムを構築できる。
【0129】
具体的なルックアップテーブルの生成方法としては、下記のような方法が考えられる。まず、元の魚眼画像のサイズ（Ｗｉｎ，Ｈｉｎ）の幅と高さを持つ、２チャンネルの行列（インデックスマップと呼ぶ）を用意する。そして、１つ目のチャンネルの行列であるＸインデックスマップ（Ｘｉｎｄ）の各列には、対応する（ｕ″）の座標値を与え、２つめのチャンネルの行列であるＹインデックスマップ（Ｙｉｎｄ）の各行には対応する（ｖ″）の座標値を与える。
【0130】
すなわち、インデックスマップを、式（４２）及び式（４３）で定義する。但し、式（４４）が条件となる。
【0131】
【数42】
【0132】
【数43】
【0133】
【数44】
【0134】
指示画像生成部１３は、（Ｘｉｎｄ）及び（Ｙｉｎｄ）それぞれを入力として、正規化パノラマ画像の生成を実行すると、指示画像生成部１３は視点補償ベクトル生成処理においてそれぞれの正規化パノラマ画像から、ＬＵＴマップ（ＸＬＵＴ）及び（ＹＬＵＴ）を生成する。ＬＵＴマップにおいては、（ＸＬＵＴ）及び（ＹＬＵＴ）の各座標（ｕＨ，ｖＨ）には、それぞれ対応する元の魚眼画像座標（ｕ″）及び（ｖ″）の値が格納されている。よって、（ｕＨ，ｖＨ）の各座標と魚眼画像上の座標（ｕ″，ｖ″）との一対一の対応関係が得られることになる。
【0135】
このようにして作成されたＬＵＴマップは、例えば、１対１の対応関係（式（４５））を一行ずつ列挙したテキストファイル形式によって、ルックアップテーブルファイルとして保存することができる。
【0136】
【数45】
【0137】
ＬＵＴ処理では、指示画像生成部１３は、まず、予め生成されたルックアップテーブルファイルを読み込む。そして、指示画像生成部１３は、ルックアップテーブルに記述された正規化パノラマ画像上の座標（ｕＨ，ｖＨ）と、元の魚眼画像における座標（ｕ″，ｖ″）とを対応付ける情報に従って、逐次、正規化パノラマ画像座標に対応する魚眼画像上の画素値を参照し、正規化パノラマ画像を生成する。
【0138】
【0139】
図１４に示すように、指示画像生成部１３は、魚眼画像取得処理において、カメラ２から魚眼画像を取得する（Ｓ１）。次に、指示画像生成部１３は視点補償ベクトル取得処理において、視点補償ベクトルを取得する（Ｓ２）。
【0140】
次に、指示画像生成部１３は、ステップＳ１で取得された魚眼画像と、ステップＳ２で取得された視点補償ベクトルとを用いて、正規化パノラマ画像（歪み補正画像）を生成する（Ｓ３）。
【0141】
具体的には、指示画像生成部１３は、カメラ２で撮影された魚眼画像に対し、視点補償ベクトルを用いて、平行化視点の集合を設定する。次いで、指示画像生成部１３は、水平方向の視野範囲を任意に分割し、各平行化視点それぞれの平行化視点座標系において、透視投影近似による歪み補正を実行する。そして、指示画像生成部１３は、各視点の中心を通る垂直方向の画像要素を、平行化視点列の順序で水平方向に並べ、並べられた画像要素を連結することで、一枚の正規化パノラマ画像（歪み補正画像）を生成する。その後、指示画像生成部１３は、正規化パノラマ画像（歪み補正画像）を用いて第一の指示画像５ｂまたは第二の指示画像５ｃを生成する。
【0142】
以上、ステップＳ１～Ｓ３の実行により、一枚の正規化パノラマ画像が生成される。本実施形態では、ステップＳ１～Ｓ３は、所定の間隔で繰り返し実行されるので、正規化パノラマ画像（歪み補正画像）を用いた第一指示画像５ｂまたは第二指示画像５ｃは連続して出力される。
【0143】
図１５は運転支援装置１の最小構成を示す図である。運転支援装置１は少なくとも撮影画像取得部１２と指示画像生成部１３とを備える。撮影画像取得部１２は、移動体１００に取り付けられたカメラ２から撮影画像を取得する。指示画像生成部１３は、移動体１００の所定部位の位置を撮影画像内の基準位置に一致させた指示画像を撮影画像に基づいて生成する。
【0144】
上述の運転支援装置１は、コンピュータシステムを有している。そして、上述した各処理過程を示すプログラムは、コンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上述の処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【0145】
上述のプログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【0146】
上述の実施形態では、カメラが移動体の後方に設置され、移動体が後方に移動する場合について説明した。しかし、これに限定されるものではない。例えば、カメラが移動体の前方や側方に設置され、移動体が前方や側方に移動する場合にも本発明を適用することができる。カメラが移動体の前方に設置されている場合には、移動体（車両）が高さ制限のあるトンネルを通過する際に運転者がトンネル入り口の高さと移動体の高さとの位置関係をより正確に把握することができる。
【0147】
最後に、本発明は上述の実施例に限定されるものではなく、添付した請求の範囲に定義される範囲内の種々の変形例や設計変更をも包含するものである。例えば、撮影装置は、必ずしも移動体（車両）に設置する必要はなく、移動体が通過するゲートや倉庫の出入り口に設置してもよく、撮影画像が移動体に設置された端末に送信されて、操作者が移動体と障害物との位置関係を把握するようにしてもよい。或いは、移動体の移動範囲に設置した撮影装置を用いて、移動体と障害物を含む画像を撮影して、操作者が撮影画像を視認しながら、移動体を遠隔操作することも可能である。
【0148】
本願は、２０１８年７月２６日に、日本国に出願された特願２０１８－１４０７６８号に基づき優先権を主張し、その内容をここに援用する。
【産業上の利用可能性】
【0149】
本実施形態は、移動体に取り付けた撮影装置により撮影した画像を補正して、移動体の操作者に視覚情報を提示して、移動体の後方に存在する障害物との位置関係を把握させるものである。移動体は、車両に限定されるものではなく、操作者により遠隔操作可能なドローンやオブジェクトであってもよい。この場合、操作者は、ドローンやオブジェクトに搭載した撮影装置から送信される画像を視認しながら、遠隔操作することができる。
【符号の説明】
【0150】
１ 運転支援装置
２ カメラ（撮影装置）
５ａ 魚眼画像
５ｂ 第一の指示画像
５ｃ 第二の指示画像
１１ 制御部
１２ 撮影画像取得部
１３ 指示画像生成部
１４ 傾き判定部
１５ 出力部
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 記憶装置
１０５ 通信モジュール
１０６ モニタ
１０７ 傾きセンサ（角度センサ）
２ カメラ（撮影装置）
５ａ 魚眼画像
５ｂ 第一の指示画像
５ｃ 第二の指示画像
１１ 制御部
１２ 撮影画像取得部
１３ 指示画像生成部
１４ 傾き判定部
１５ 出力部
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 記憶装置
１０５ 通信モジュール
１０６ モニタ
１０７ 傾きセンサ（角度センサ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】