特許 6962372 補正装置、補正プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6962372

(24)【登録日】2021年10月18日

(45)【発行日】2021年11月5日

(54)【発明の名称】補正装置、補正プログラム及び記録媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20211025BHJP

   H04N 7/18 20060101ALI20211025BHJP

   B60R 1/00 20060101ALI20211025BHJP

【ＦＩ】

   G06T1/00 330A

   H04N7/18 J

   B60R1/00 A

【請求項の数】12

【全頁数】22

(21)【出願番号】特願2019-537517(P2019-537517)

(86)(22)【出願日】2017年8月25日

(86)【国際出願番号】JP2017030459

(87)【国際公開番号】WO2019038901

(87)【国際公開日】20190228

【審査請求日】2020年7月30日

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】清水 誠也

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１５−１０６７８５（ＪＰ，Ａ）

【文献】 特開２０１３−８９９８４（ＪＰ，Ａ）

【文献】 特開２０１２−１１８４９（ＪＰ，Ａ）

【文献】 特開２０１０−２４６０８８（ＪＰ，Ａ）

【文献】 特開２００９−２３２３１０（ＪＰ，Ａ）

【文献】 特開２００８−１８７５６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得部と、
前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力部と、
前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正部と、
補正された前記投影情報を前記第２の移動体に格納する格納制御部と
を有することを特徴とする補正装置。

【請求項2】

前記補正部は、前記サイズ比に応じて補正した前記第２の移動体に搭載した複数の撮像装置の位置と、前記立体投影面の位置との関係に基づいて、前記投影情報を補正することを特徴とする請求項１に記載の補正装置。

【請求項3】

前記サイズ比は、前記第１の移動体の長さと前記第２の移動体の長さとの比であり、
前記補正部は、前記サイズ比に応じて前後長が等しくなるように前記第２の移動体の長さを補正することで、前記第２の移動体に搭載した複数の撮像装置の位置を補正することを特徴とする請求項２に記載の補正装置。

【請求項4】

前記第２の移動体を示す画像を、前記サイズ比に応じて補正することで、前記第２の移動体を示す補正画像を生成する生成部を更に有し、
前記格納制御部は、生成された前記第２の移動体を示す補正画像を、前記第２の移動体に格納することを特徴とする請求項１に記載の補正装置。

【請求項5】

前記生成部は、前記サイズ比に応じて、前記第２の移動体を示す画像を縦方向、横方向及び高さ方向に補正することで、前記第２の移動体を示す補正画像を生成することを特徴とする請求項４に記載の補正装置。

【請求項6】

前記投影情報は、前記複数の画像データの各画素の座標と、各画素の座標を前記立体投影面に投影し立体俯瞰画像を生成する場合の該立体投影面の座標と、を対応付けた情報であることを特徴とする請求項２に記載の補正装置。

【請求項7】

前記補正部は、前記サイズ比に応じて補正した前記第２の移動体に搭載した複数の撮像装置の位置と、前記立体投影面の位置との関係に基づいて、前記複数の画像データの各画素の座標に対する前記立体投影面の座標を新たに算出し、新たに算出した該立体投影面の座標を用いて、前記投影情報を補正することを特徴とする請求項６に記載の補正装置。

【請求項8】

前記立体投影面を、前記サイズ比に応じて幅方向に変形する変形部を更に有することを特徴とする請求項６に記載の補正装置。

【請求項9】

前記立体投影面のうち、前記第２の移動体の側面に対応する領域を、前記サイズ比に応じて変形する変形部を更に有することを特徴とする請求項６に記載の補正装置。

【請求項10】

前記入力部は、前記第２の移動体に搭載した複数の撮像装置の位置を入力し、
前記補正部は、前記入力部により入力された前記第２の移動体に搭載した複数の撮像装置の位置を、前記サイズ比に応じて補正し、補正した前記第２の移動体に搭載した複数の撮像装置の位置と、前記立体投影面の位置との関係に基づいて、前記投影情報を補正することを特徴とする請求項１に記載の補正装置。

【請求項11】

第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得工程と、
前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力工程と、
前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正工程と、
補正された前記投影情報を前記第２の移動体に格納する格納制御工程と
をコンピュータに実行させるための補正プログラム。

【請求項12】

第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得工程と、
前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力工程と、
前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正工程と、
補正された前記投影情報を前記第２の移動体に格納する格納制御工程と
をコンピュータに実行させるための補正プログラムを記録した、コンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、補正装置、補正プログラム及び記録媒体に関する。

【背景技術】

【0002】

従来より、車両の周囲を複数の撮像装置を用いて撮像し、撮像により得られた複数の画像データを、投影情報を用いて立体投影面に投影することで、車両の全周囲を上方から俯瞰した立体俯瞰画像を生成する立体俯瞰画像生成システムが知られている。

【0003】

かかる立体俯瞰画像生成システムにより生成される立体俯瞰画像は、一般に、撮像装置の設置位置等に依存し、車種ごとに異なっている。このため、各車両メーカでは、適切な立体俯瞰画像を実現するために、車両製造時に、車種ごとに立体投影面や投影情報等を調整する調整作業を行っている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−２３２３１０号公報

【特許文献2】特開２０１６−０７２７８６号公報

【特許文献3】特許第６０６８７１０号公報

【特許文献4】国際公開第２０１５／０２９９３４号

【特許文献5】特開２００８−１８７５６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方で、車両購入後に、新たに立体俯瞰画像生成システムを搭載したり、旧車両に搭載していた立体俯瞰画像生成システムを、新たに購入した他の車両に載せ替えたりする、といったニーズがある。

【0006】

しかしながら、購入した車両が、立体俯瞰画像生成システムの対象車種とは異なる車種であった場合、当該立体俯瞰画像生成システムをそのまま利用することはできず、購入した車両に合わせて調整を行うことが必要となる。

【0007】

このような場合において、購入者側で個別に調整作業を行うことは容易ではなく、作業負荷が高いといった問題がある。

【0008】

一つの側面では、所定の車種用に提供された立体俯瞰画像生成システムを、他の車種に搭載する際の調整作業における作業負荷を低減することを目的としている。

【課題を解決するための手段】

【0009】

一態様によれば、補正装置は、
第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得部と、
前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力部と、
前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正部と、
補正された前記投影情報を前記第２の移動体に格納する格納制御部とを有することを特徴とする。

【発明の効果】

【0010】

所定の車種用に提供された立体俯瞰画像生成システムを、他の車種に搭載する際の調整作業における作業負荷を低減することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、立体俯瞰画像生成システム及び情報処理装置の概要を説明するための図である。

【図2】図２は、立体俯瞰画像生成システムに含まれる各装置の配置例を示す図である。

【図3】図３は、操作装置及び表示装置の外観構成を示す図である。

【図4】図４は、投影情報の一例を示す図である。

【図5】図５は、表示画像データの一例を示す図である。

【図6】図６は、複数の調整処理の方法について比較した図である。

【図7】図７は、調整方法２による調整処理を実行した場合の、表示画像データの一例を示す図である。

【図8】図８は、情報処理装置のハードウェア構成の一例を示す図である。

【図9】図９は、情報処理装置の補正部の機能構成の詳細を示す第１の図である。

【図10】図１０は、基準車両情報の一例を示す図である。

【図11】図１１は、車両情報入力部が表示する操作画面の具体例を示す図である。

【図12】図１２は、基準車両における各撮像画素座標と立体投影面座標との関係を示した図である。

【図13】図１３は、基準車両とは異なる車種の車両における各撮像画素座標と立体投影面座標との関係を示した図である。

【図14】図１４は、補正後投影情報の具体例を示す図である。

【図15】図１５は、補正部による調整処理の流れを示すフローチャートである。

【図16】図１６は、調整方法３による調整処理を実行した後の、表示画像データの一例を示す図である。

【図17】図１７は、情報処理装置の補正部の機能構成の詳細を示す第２の図である。

【図18】図１８は、立体投影面情報補正部の処理の具体例を示す図である。

【発明を実施するための形態】

【0012】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0013】

［第１の実施形態］
＜立体俯瞰画像生成システム及び情報処理装置の説明＞
はじめに、車両に搭載される立体俯瞰画像生成システム、及び、該立体俯瞰画像生成システムに通信可能に接続される情報処理装置の概要について説明する。図１は、立体俯瞰画像生成システム及び情報処理装置の概要を説明するための図である。

【0014】

図１の例は、車両１００に、立体俯瞰画像生成システム１４０が搭載された様子を示している。図１において、立体俯瞰画像生成システム１４０は、第１の移動体用として、車両１００とは車種の異なる車両（基準車両と称す）用に提供された立体俯瞰画像生成システムである。つまり、図１の例は、第１の移動体である基準車両用に提供された立体俯瞰画像生成システム１４０を、第２の移動体である車両１００に搭載した様子を示している。

【0015】

図１に示すように、車両１００に搭載された立体俯瞰画像生成システム１４０は、撮像装置１１１、撮像装置１１２、撮像装置１１３、撮像装置１１４、画像処理装置１２０、操作装置１３０、表示装置１３１を有する。

【0016】

撮像装置１１１〜撮像装置１１４は、それぞれ、車両１００の前方、左側方、右側方、後方を撮像することで画像データを生成し、生成した画像データを画像処理装置１２０に送信する。

【0017】

画像処理装置１２０は、例えば、ＥＣＵ（Electronic Control Unit）により実現される。画像処理装置１２０には、画像データ取得プログラム、投影プログラム、合成プログラム、出力プログラムがインストールされている。画像処理装置１２０は、当該プログラムを実行することで、画像データ取得部１２１、投影部１２２、合成部１２３、出力部１２４として機能する。

【0018】

画像データ取得部１２１は、撮像装置１１１〜撮像装置１１４より送信された画像データを取得する。

【0019】

投影部１２２は、画像データ取得部１２１により取得された各画像データを、投影情報格納部１２５に格納された投影情報に基づいて、立体投影面に投影する。

【0020】

合成部１２３は、立体投影面に投影された各画像データを合成することで、立体俯瞰画像を生成する。

【0021】

出力部１２４は、合成部１２３により生成された立体俯瞰画像を、所定の視点位置から見た場合の画像として表示するために表示画像データを生成し、表示装置１３１に出力する。

【0022】

操作装置１３０は、車両１００の搭乗者が画像処理装置１２０に対して各種指示を入力するための操作デバイスである。操作装置１３０に入力された各種指示は、指示情報として、画像処理装置１２０に送信される。

【0023】

表示装置１３１は、画像処理装置１２０より出力された表示画像データを表示する表示デバイスである。

【0024】

一方、図１において、情報処理装置１５０は補正装置の一例であり、例えば、立体俯瞰画像生成システム１４０を車両１００に搭載した際に調整作業を行う、調整者によって所有される。調整者は、立体俯瞰画像生成システム１４０を車両１００に搭載した際に、情報処理装置１５０を画像処理装置１２０に接続し、情報処理装置１５０を操作することで調整作業を行う。

【0025】

情報処理装置１５０には、補正プログラムがインストールされており、情報処理装置１５０は、当該プログラムが実行されることで補正部１６０として機能する。

【0026】

補正部１６０は、情報処理装置１５０が画像処理装置１２０に接続されることで起動し、調整者による操作に基づき、立体俯瞰画像生成システム１４０を車両１００に合わせて調整する調整処理を実行する。

【0027】

以下、立体俯瞰画像生成システム１４０及び情報処理装置１５０それぞれの詳細について、順次説明する。なお、以下では、基準車両を"トラック"とし、立体俯瞰画像生成システム１４０が搭載された車両１００を、基準車両よりもサイズの大きいトラックとして説明する。

【0028】

＜立体俯瞰画像生成システムの詳細＞
はじめに、立体俯瞰画像生成システム１４０の詳細について説明する。

【0029】

（１）配置例
図２は、立体俯瞰画像生成システムに含まれる各装置の配置例を示す図である。このうち、図２の２００ａは、車両１００における各撮像装置の配置例を示す上面図である。

【0030】

図２の２００ａに示すように、撮像装置１１１は、車両１００の前部中央位置に配置され、車両１００の前方（点線２０１で示す範囲）を撮像する。撮像装置１１２は、車両１００の左側面中央位置に配置され、車両１００の左側方（点線２０２で示す範囲）を撮像する。撮像装置１１３は、車両１００の右側面中央位置に配置され、車両１００の右側方（点線２０３で示す範囲）を撮像する。撮像装置１１４は、車両１００の後部中央位置に配置され、車両１００の後方（点線２０４で示す範囲）を撮像する。

【0031】

一方、図２の２００ｂは、車両１００における、画像処理装置１２０、操作装置１３０、表示装置１３１の配置例を示す側面図である。図２の２００ｂに示すように、画像処理装置１２０は、車両１００内のセンタコンソールの裏側に配置される。また、操作装置１３０及び表示装置１３１は、車両１００内のセンタコンソール上に配置される。

【0032】

（２）操作装置及び表示装置の外観構成
次に、車両１００内のセンタコンソール上に配置された操作装置１３０及び表示装置１３１の外観構成について説明する。図３は、操作装置及び表示装置の外観構成を示す図である。本実施形態において、操作装置１３０と表示装置１３１とは一体的に組み合わされ、いわゆるタッチパネル３００として構成されているものとする。図３に示すように、タッチパネル３００は、センタコンソール３０１上の中央位置付近に組み込まれて取り付けられる。

【0033】

（３）投影情報の詳細
次に、投影情報格納部１２５に格納される投影情報の詳細について説明する。図４は、投影情報の一例を示す図である。図４に示すように、投影情報４００は、情報の項目として、"撮像装置"と、"立体投影面座標"とを含む。

【0034】

"撮像装置"は、更に、"区分"と"撮像画素座標"とを含む。"区分"には、撮像装置１１１〜撮像装置１１４をそれぞれ識別するための情報が格納される。投影情報４００において、区分＝１は撮像装置１１１を、区分＝２は撮像装置１１２を、区分＝３は撮像装置１１３を、区分＝４は撮像装置１１４をそれぞれ表している。

【0035】

"撮像画素座標"には、撮像装置１１１〜撮像装置１１４により撮像される各画像データの各画素の座標が格納される。本実施形態において、撮像装置１１１〜撮像装置１１４により撮像される画像データ４１１〜４１４は、いずれもｎ×ｍ画素の画素数を有しているものとする。

【0036】

このため、投影情報４００において、例えば、撮像装置１１１（区分１）の"撮像画素座標"には、画像データ４１１の（ｓ_１１，ｔ_１１）〜（ｓ_１ｎ，ｔ_１ｍ）までのｎ×ｍ個の座標が格納されることになる。同様に、撮像装置１１２（区分２）の"撮像画素座標"には、画像データ４１２の（ｓ_２１，ｔ_２１）〜（ｓ_２ｎ，ｔ_２ｍ）までのｎ×ｍ個の座標が格納されることになる。また、撮像装置１１３（区分３）の"撮像画素座標"には、画像データ４１３の（ｓ_３１，ｔ_３１）〜（ｓ_３ｎ，ｔ_３ｍ）までのｎ×ｍ個の座標が格納されることになる。更に、撮像装置１１４（区分４）の"撮像画素座標"には、画像データ４１４の（ｓ_４１，ｔ_４１）〜（ｓ_４ｎ，ｔ_４ｍ）までのｎ×ｍ個の座標が格納されることになる。

【0037】

"立体投影面座標"には、画像データ４１１〜４１４それぞれの撮像画素座標を立体投影面４２０に投影する場合の、投影先の座標が格納される。このため、"立体投影面座標"に格納される各座標は、"撮像画素座標"に格納される各座標と対応付けられている。

【0038】

例えば、投影情報４００の場合、画像データ４１１の撮像画素座標＝（ｓ_１１，ｔ_１１）は、立体投影面４２０の立体投影面座標＝（ｘ_１１，ｙ_１１，ｚ_１１）と対応付けられている。同様に、画像データ４１２の撮像画素座標＝（ｓ_２１，ｔ_２１）は、立体投影面４２０の立体投影面座標＝（ｘ_２１，ｙ_２１，ｚ_２１）と対応付けられている。同様に、画像データ４１３の撮像画素座標＝（ｓ_３１，ｔ_３１）は、立体投影面４２０の立体投影面座標＝（ｘ_３１，ｙ_３１，ｚ_３１）と対応付けられている。同様に、画像データ４１４の撮像画素座標＝（ｓ_４１，ｔ_４１）は、立体投影面４２０の立体投影面座標＝（ｘ_４１，ｙ_４１，ｚ_４１）と対応付けられている。

【0039】

撮像装置１１１〜撮像装置１１４により撮像される画像データ４１１〜４１４は、画像処理装置１２０の画像データ取得部１２１により取得され、投影情報４００に基づき、投影部１２２により立体投影面４２０に投影される。

【0040】

立体投影面４２０に投影された画像データ４１１〜４１４は、合成部１２３により合成され、車両画像が組み込まれることで立体俯瞰画像が生成される。なお、図４において、立体投影面４２０内に配された車両画像４３０は、基準車両の車両画像を示している。

【0041】

（４）表示画像データの具体例
次に、合成部１２３により生成された立体俯瞰画像を、所定の視点位置から見た場合の画像として表示するために、出力部１２４により生成される表示画像データの具体例について説明する。ここでは、立体俯瞰画像生成システム１４０が基準車両に搭載された場合に生成される表示画像データについて説明する。

【0042】

図５は、表示画像データの一例を示す図である。このうち、図５の５００ａは、立体投影面４２０の上面図であり、立体投影面４２０における視点位置を示している。視点位置５０１は、立体俯瞰画像を、基準車両の前方から見た場合の表示画像データを生成する際に用いられる視点位置を示している。また、視点位置５０２は、立体俯瞰画像を、基準車両の左後方から見た場合の表示画像データを生成する際に用いられる視点位置を示している。更に、視点位置５０３は、立体俯瞰画像を、基準車両の右後方から見た場合の表示画像データを生成する際に用いられる視点位置を示している。

【0043】

図５の５００ｂは、出力部１２４が、視点位置５０２に基づいて生成した表示画像データの一例を示している。図５の５００ｂに示すように、基準車両の場合、出力部１２４により生成される表示画像データ５１０には、基準車両の車両画像４３０の左側面から後面までの範囲が含まれることになる。

【0044】

＜車両１００に立体俯瞰画像生成システムを搭載した場合の調整処理の方法の説明＞
次に、車両１００に立体俯瞰画像生成システム１４０を搭載した場合に実行すべき調整処理の方法について説明する。上述したとおり、車両１００は、基準車両とは車種が異なるため、車両のサイズも異なる。このため、車両１００に立体俯瞰画像生成システム１４０を搭載した場合、撮像装置１１１〜撮像装置１１４の設置位置等も変わってくるため、車両１００に合わせて立体俯瞰画像生成システム１４０を調整することが必要となる。

【0045】

図６は、複数の調整処理の方法について比較した図である。このうち、"調整方法１"は、車両のサイズの変更に伴って、立体投影面４２０と、車両画像４３０とを変更し、更に、投影情報４００を補正したうえで、視点位置５０１〜５０３を立体投影面４２０の変更に応じて変更する調整処理の方法である。

【0046】

調整方法１の場合、車両メーカが車両製造時に行う調整処理の内容と同程度の調整処理の内容となるため、適切な立体俯瞰画像が生成でき、基準車両の場合と同様の表示画像データを表示することができる。しかしながら、調整方法１の場合、調整者による調整作業の作業負荷が高い。

【0047】

一方、"調整方法２"は、車両のサイズが変更されても、立体投影面４２０、視点位置５０１〜５０３は変更せず、車両画像４３０を変更するとともに、投影情報４００を補正する調整処理の方法である。調整方法２の場合、調整者による調整作業の作業負荷を低減させることができる。しかしながら、調整方法２の場合、例えば、基準車両と比較して車両１００のサイズが大きくなるようなケースでは、表示画像データにおいて、車両１００の車両画像の後面を表示することができなくなるといった問題が生じる。

【0048】

図７を用いて具体的に説明する。図７は、調整方法２による調整処理を実行した場合の、表示画像データの一例を示す図である。図７の７００ａに示すように、調整方法２の場合、立体投影面４２０及び視点位置５０１〜５０３を変更しない。一方、調整方法２の場合、基準車両の車両画像４３０を、車両１００の車両画像７００に変更するとともに、車両１００の撮像装置の位置と立体投影面の位置との関係から、投影情報４００を補正する。

【0049】

このため、調整方法２の場合、図７の７００ｂに示すように、視点位置５０２に基づいて生成される表示画像データ７１０において、車両１００の車両画像７００の後面を表示することができなくなるといった問題が生じる。

【0050】

図６の説明に戻る。これに対して、"調整方法３"は、立体投影面４２０、視点位置５０１〜５０３は変更せず、車両１００の車両画像を、車両１００と基準車両との前後長比に応じて補正するとともに、当該前後長比に応じて投影情報４００を補正する調整処理の方法である。調整方法３の場合、調整者による調整作業の作業負荷を低減させることができる。

【0051】

加えて、調整方法３の場合、補正された車両１００の車両画像が基準車両の車両画像４３０と長さが等しくなる。また、調整方法３の場合、前後長比に応じて補正された撮像装置の位置と立体投影面の位置との関係に基づいて、投影情報４００を補正する。このため、調整方法３の場合、基準車両と比較して車両１００のサイズが大きくなるようなケースであっても、表示画像データにおいて、車両１００の車両画像の後面を表示することができる。

【0052】

そこで、本実施形態における情報処理装置１５０の補正部１６０では、車両１００に搭載された立体俯瞰画像生成システム１４０に対して、調整方法３による調整処理を実行する。以下、調整方法３による調整処理を実行する情報処理装置１５０の詳細について説明する。

【0053】

＜情報処理装置の詳細＞
（１）ハードウェア構成
はじめに、情報処理装置１５０のハードウェア構成について説明する。図８は、情報処理装置のハードウェア構成の一例を示す図である。

【0054】

図８に示すように、情報処理装置１５０は、ＣＰＵ（Central Processing Unit）８０１、ＲＯＭ（Read Only Memory）８０２、ＲＡＭ（Random Access Memory）８０３を有する。ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３は、いわゆるコンピュータを形成する。また、情報処理装置１５０は、補助記憶装置８０４、入力装置８０５、表示装置８０６、接続装置８０７、ドライブ装置８０８を有する。なお、情報処理装置１５０の各ハードウェアは、バス８０９を介して相互に接続される。

【0055】

ＣＰＵ８０１は、補助記憶装置８０４にインストールされた各種プログラム（例えば、補正プログラム等）を実行する。

【0056】

ＲＯＭ８０２は、不揮発性メモリである。ＲＯＭ８０２は、補助記憶装置８０４にインストールされた各種プログラムをＣＰＵ８０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ＲＯＭ８０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を記憶する。

【0057】

ＲＡＭ８０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ８０３は、補助記憶装置８０４にインストールされた各種プログラムがＣＰＵ８０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

【0058】

補助記憶装置８０４は、インストールされた各種プログラムや、各種プログラムを実行する際に用いる各種情報を記憶する補助記憶デバイスである。

【0059】

入力装置８０５は、情報処理装置１５０を用いて調整作業を行う調整者等が情報処理装置１５０に対して各種指示を入力する際に用いる入力デバイスである。

【0060】

表示装置８０６は、情報処理装置１５０の内部情報を表示する表示デバイスである。接続装置８０７は、情報処理装置１５０が、画像処理装置１２０と接続し、通信を行うための通信デバイスである。

【0061】

ドライブ装置８０８はコンピュータ読み取り可能な記録媒体８１０をセットするためのデバイスである。ここでいう記録媒体８１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。あるいは、記録媒体８１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0062】

なお、補助記憶装置８０４にインストールされる各種プログラムは、例えば、配布された記録媒体８１０がドライブ装置８０８にセットされ、該記録媒体８１０に記録された各種プログラムがドライブ装置８０８により読み出されることでインストールされる。あるいは、補助記憶装置８０４にインストールされる各種プログラムは、接続装置８０７を介してネットワークからダウンロードされることでインストールされてもよい。

【0063】

（２）機能構成の詳細
次に、情報処理装置１５０の補正部１６０の機能構成の詳細について説明する。図９は、情報処理装置の補正部の機能構成の詳細を示す第１の図である。図９に示すように、補正部１６０は、車両情報入力部９０１、前後長比算出部９０２、投影情報取得部９０３、車両画像生成部９０４、投影情報補正部９０５、インストール部９０６を有する。

【0064】

車両情報入力部９０１は入力部の一例であり、立体俯瞰画像生成システム１４０が搭載された車両１００のサイズ情報（車両幅、車両長さ）及び撮像装置情報（位置及び方向）を含む車両情報の入力を受け付ける。車両情報入力部９０１は、所定の操作画面を表示装置８０６に表示することで、調整者による車両情報の入力を受け付ける。車両情報入力部９０１は、入力を受け付けた車両情報を、前後長比算出部９０２に通知する。

【0065】

前後長比算出部９０２は、車両情報入力部９０１より車両情報を受信すると、基準車両情報格納部９１１に格納された基準車両情報を読み出し、受信した車両情報と比較することで、車両１００と基準車両との前後長比（サイズ比）を算出する。また、前後長比算出部９０２は、算出した前後長比を、車両情報とともに、車両画像生成部９０４に通知する。

【0066】

投影情報取得部９０３は取得部の一例であり、画像処理装置１２０の投影情報格納部１２５より投影情報４００を取得し、投影情報補正部９０５に通知する。

【0067】

車両画像生成部９０４は生成部の一例であり、前後長比算出部９０２より車両情報を受信すると、車両情報に含まれる車両１００のサイズ情報（車両幅、車両長さ）に基づいて、車両１００の車両画像７００を生成する。また、車両画像生成部９０４は、生成した車両１００の車両画像７００を、受信した前後長比に基づいて補正することで（基準車両の車両画像４３０と長さが等しくなるように補正することで）、補正後車両画像（補正画像）を生成する。そして、車両画像生成部９０４は、生成した補正後車両画像を、インストール部９０６に通知する。

【0068】

また、車両画像生成部９０４は、受信した前後長比に基づいて車両情報を補正することで、補正後車両情報を算出する。具体的には、車両画像生成部９０４は、車両情報に含まれる撮像装置情報（位置及び方向）のうち、位置について、受信した前後長比に基づいて補正することで、補正後車両情報（位置が補正された補正後の撮像装置情報）を算出する。そして、車両画像生成部９０４は、算出した補正後車両情報を、投影情報補正部９０５に通知する。

【0069】

投影情報補正部９０５は補正部の一例である。投影情報補正部９０５は、投影情報取得部９０３より投影情報４００を受信する。また、投影情報補正部９０５は、車両画像生成部９０４より補正後車両情報を受信する。更に、投影情報補正部９０５は、立体投影面情報格納部９１２より、立体投影面を読み出す。

【0070】

また、投影情報補正部９０５は、補正後車両情報に含まれる補正後の撮像装置情報により特定される撮像装置の位置と、読み出した立体投影面４２０の位置との関係に基づいて、各撮像画素座標に対する立体投影面座標を新たに算出する。更に、投影情報補正部９０５は、受信した投影情報４００の立体投影面座標を、新たに算出した立体投影面座標により補正することで補正後投影情報を生成し、インストール部９０６に通知する。

【0071】

インストール部９０６は格納制御部の一例であり、通知された補正後投影情報と補正後車両画像とを画像処理装置１２０にインストールする。受信した画像処理装置１２０は、車両１００に合わせて調整された補正後投影情報及び補正後車両画像を用いて、立体俯瞰画像を生成し、表示画像データを表示することが可能となる。

【0072】

（３）各格納部に格納された情報の具体例
次に、情報処理装置１５０の各格納部（基準車両情報格納部９１１、立体投影面情報格納部９１２）に格納された情報（基準車両情報、立体投影面情報）の具体例について説明する。

【0073】

（３−１）基準車両情報の具体例
図１０は、基準車両情報の一例を示す図である。図１０に示すように、基準車両情報１０００には、情報の項目として、"車両長さ"、"車両幅"が含まれる。"車両長さ"には、基準車両の長さ（Ｌ_Ｍ）が格納される。"車両幅"には、基準車両の幅（Ｗ_Ｍ）が格納される。

【0074】

（３−２）立体投影面情報の具体例
立体投影面情報の具体例は、例えば、図４の立体投影面４２０を用いて説明済みであり、かつ、調整方法３による調整処理の場合、立体投影面４２０を変更しないため、ここでは説明を省略する。

【0075】

（４）車両情報入力部が表示する操作画面の具体例
次に、車両情報入力部９０１が表示装置８０６に表示する操作画面の具体例について説明する。図１１は、車両情報入力部が表示する操作画面の具体例を示す図である。

【0076】

図１１に示すように、操作画面１１００には、車両１００のサイズ情報を入力するサイズ情報入力欄１１１０が含まれる。サイズ情報入力欄１１１０には、更に、車両１００の車両幅、車両長さを入力する入力欄が含まれる。

【0077】

また、操作画面１１００には、車両１００に搭載される立体俯瞰画像生成システム１４０の撮像装置１１１〜撮像装置１１４の撮像装置情報（位置及び方向）を入力する撮像装置情報入力欄１１２０が含まれる。撮像装置情報入力欄１１２０には、撮像装置１１１〜撮像装置１１４の所定の基準位置からのｘ方向（車両１００の幅方向）の位置、ｙ方向（車両１００の長さ方向）の位置、ｚ方向（車両１００の高さ方向）の位置を入力する入力欄が含まれる。また、撮像装置情報入力欄１１２０には、撮像装置１１１〜撮像装置１１４のパン方向、チルト方向、ロール方向の角度を入力する入力欄が含まれる。

【0078】

（５）投影情報補正部の処理の具体例
次に、投影情報補正部９０５の処理の具体例について説明する。上述したとおり、投影情報において各撮像画素座標に対する立体投影面座標は、撮像装置の位置と立体投影面の位置との関係に基づいて算出される。

【0079】

そこで、以下では、まず、基準車両における撮像装置の位置と立体投影面の位置との関係を示し、基準車両における各撮像画素座標に対する立体投影面座標について説明する。続いて、車両１００における補正された撮像装置の位置と立体投影面の位置との関係を示し、車両１００における各撮像画素座標に対する立体投影面座標について説明する。

【0080】

（５−１）基準車両における各撮像画素座標に対する立体投影面座標について
図１２は、基準車両における各撮像画素座標と立体投影面座標との関係を示した図である。図１２の１２００ａは立体投影面４２０を上方から見た様子を示しており、図１２の１２００ｂは、立体投影面４２０を側面から見た様子を示している。特に、図１２の１２００ｂは、基準車両における撮像装置１１４の位置と立体投影面４２０の位置との関係を示している。

【0081】

図１２の１２００ｂに示すように、撮像装置１１４により撮像される画像データ４１４上に映し出される実空間の範囲は、撮像装置１１４の撮像装置情報（位置及び方向）に基づいて決まる。

【0082】

そして、図１２の１２００ｂに示すような撮像装置１１４と立体投影面４２０との位置関係のもとでは、投影部１２２は、例えば、撮像装置１１４により撮像される画像データ４１４上の撮像画素１２０１を、立体投影面４２０上の位置１２１１に投影する。また、投影部１２２は、例えば、撮像装置１１４により撮像される画像データ４１４上の撮像画素１２０２を、立体投影面４２０上の位置１２１２に投影する。更に、投影部１２２は、例えば、撮像装置１１４により撮像される画像データ４１４上の撮像画素１２０３を、立体投影面４２０上の位置１２１３に投影する。

【0083】

基準車両における各撮像画素座標に対する立体投影面座標は、上記のような関係にあり、投影情報格納部１２５に格納されている投影情報４００は、上記の関係を撮像装置ごと、撮像画素座標ごとにまとめることで生成される。

【0084】

（５−２）車両１００における各撮像画素座標に対する立体投影面座標について
図１３は、基準車両とは異なる車種の車両における各撮像画素座標と立体投影面座標との関係を示した図である。このうち、図１３の１３００ａは立体投影面４２０を上方から見た様子を示している。図１３の１３００ａに示すように、車両１００の補正後車両画像１３１０は、車両１００のサイズ情報に基づいて生成された車両画像１３００を、車両１００の車両長さと、基準車両の車両長さとに基づいて算出される前後長比に応じて、補正することで生成される。

【0085】

具体的には、車両１００の車両長さをＬ_Ｔ、基準車両の車両長さをＬ_Ｍとすると、前後長比＝Ｌ_Ｍ／Ｌ_Ｔとなる。したがって、車両画像生成部９０４は、車両１００のサイズ情報に基づいて生成された車両画像１３００を縦方向にＬ_Ｍ／Ｌ_Ｔ倍、横方向にＬ_Ｍ／Ｌ_Ｔ倍、高さ方向にＬ_Ｍ／Ｌ_Ｔ倍することで補正後車両画像１３１０を生成する。例えば、Ｌ_Ｔ＝８［ｍ］、Ｌ_Ｍ＝５［ｍ］とすると、補正後車両画像１３１０は、車両１００のサイズ情報に基づいて生成された車両画像１３００を縦方向に５／８倍、横方向に５／８倍、高さ方向に５／８倍することで生成される。

【0086】

図１３の１３００ｂは、立体投影面４２０を側面から見た様子を示しており、車両１００における撮像装置１１４の位置と立体投影面４２０の位置との関係を示している。なお、図１３の１３００ｂにおいて、点線は、車両１００の車両画像１３００と立体投影面４２０との位置関係を示している。また、実線は、車両１００の補正後車両画像１３１０と立体投影面４２０との位置関係を示している。

【0087】

実線で示すように、車両１００の補正後車両画像１３１０と立体投影面４２０との位置関係の場合、投影部１２２は、例えば、画像データ４１４上の撮像画素１２０１を、立体投影面４２０上の位置１３１１に投影する。また、投影部１２２は、例えば、画像データ４１４上の撮像画素１２０２を、立体投影面４２０上の位置１３１２に投影する。更に、投影部１２２は、例えば、画像データ４１４上の撮像画素１２０３を、立体投影面４２０上の位置１３１３に投影する。

【0088】

つまり、投影情報補正部９０５は、投影情報４００において、例えば、撮像画素１２０１の投影先となる立体投影面座標を、位置１２１１（図１２）の座標から位置１３１１（図１３）の座標へと補正する。同様に、投影情報補正部９０５は、投影情報４００において、例えば、撮像画素１２０２の投影先となる立体投影面座標を、位置１２１２（図１２）の座標から位置１３１２（図１３）の座標へと補正する。同様に、投影情報補正部９０５は、投影情報４００において、例えば、撮像画素１２０３の投影先となる立体投影面座標を、位置１２１３（図１２）の座標から位置１３１３（図１３）の座標へと補正する。

【0089】

図１４は、補正後投影情報の具体例を示す図である。図１４に示すように、補正後投影情報１４００は、投影情報補正部９０５が、投影情報４００の"撮像画素座標"に対する"立体投影面座標"を上記のように補正することで生成される。

【0090】

（６）補正部による調整処理の流れ
次に、情報処理装置１５０の補正部１６０による調整処理（調整方法３による調整処理）の流れについて説明する。図１５は、補正部による調整処理の流れを示すフローチャートである。情報処理装置１５０が画像処理装置１２０に接続され、補正部１６０が起動することで、図１５に示す調整処理が開始される。

【0091】

ステップＳ１５０１において、車両情報入力部９０１は、表示装置８０６に操作画面１１００を表示し、情報処理装置１５０を用いて調整作業を行う調整者等により入力された、車両１００の車両情報を受け付ける。

【0092】

ステップＳ１５０２において、前後長比算出部９０２は、基準車両情報格納部９１１に格納された基準車両情報１０００を読み出す。

【0093】

ステップＳ１５０３において、前後長比算出部９０２は、車両情報に含まれる車両１００のサイズ情報（車両長さＬ_Ｔ）と、基準車両情報１０００（車両長さＬ_Ｍ）とに基づいて、前後長比を算出する。

【0094】

ステップＳ１５０４において、車両画像生成部９０４は、車両１００のサイズ情報に基づいて生成される車両画像１３００を、前後長比に基づいて補正し、補正後車両画像１３１０を生成する。また、車両画像生成部９０４は、前後長比に基づいて車両情報に含まれる撮像装置情報を補正し、補正後車両情報を算出する。

【0095】

ステップＳ１５０５において、投影情報取得部９０３は、画像処理装置１２０より投影情報４００を取得する。

【0096】

ステップＳ１５０６において、投影情報補正部９０５は、補正後車両情報に含まれる撮像装置情報により特定される補正後の撮像装置の位置と、立体投影面４２０の位置との関係に基づいて、投影情報４００の立体投影面座標を補正する。これにより、投影情報補正部９０５は、補正後投影情報１４００を生成する。

【0097】

ステップＳ１５０７において、インストール部９０６は、投影情報補正部９０５により生成された補正後投影情報１４００と、車両画像生成部９０４により生成された補正後車両画像１３１０とを、画像処理装置１２０にインストールするか否かを判定する。

【0098】

ステップＳ１５０７において、インストールしないと判定した場合には（ステップＳ１５０７においてＮｏの場合には）、調整処理を終了する。一方、ステップＳ１５０７において、インストールすると判定した場合には（ステップＳ１５０７においてＹｅｓの場合には）、ステップＳ１５０８に進む。

【0099】

ステップＳ１５０８において、インストール部９０６は、補正後投影情報１４００及び補正後車両画像１３１０を、画像処理装置１２０に送信し、インストールする。

【0100】

＜調整処理を実行した後の表示画像データの具体例＞
次に、車両１００に搭載された立体俯瞰画像生成システム１４０に対して、調整方法３による調整処理（図１５）を実行した後（補正後投影情報１４００及び補正後車両画像１３１０がインストールされた後）の、表示画像データについて説明する。

【0101】

図１６は、調整方法３による調整処理を実行した後の、表示画像データの一例を示す図である。図７の７００ｂに示したように、調整方法２の場合、車両画像７００の後面を表示することができなかったところ、調整方法３によれば、表示画像データ１６００に示すように、補正後車両画像１３１０の後面を表示することができる。

【0102】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態における情報処理装置１５０では、
・基準車両に搭載される複数の撮像装置１１１〜１１４により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報４００を、立体俯瞰画像生成システム１４０より取得する。
・立体俯瞰画像生成システム１４０が搭載された、基準車両とは異なる車両１００のサイズ情報を含む車両情報の入力を受け付ける。
・基準車両情報と車両１００のサイズ情報とに基づいて生成した、基準車両と車両１００との前後長比に応じて、投影情報４００の立体投影面座標を補正し、補正後投影情報１４００を生成する。
・補正後投影情報１４００を車両１００に搭載された立体俯瞰画像生成システム１４０の画像処理装置１２０にインストールする。

【0103】

このように、情報処理装置１５０によれば、車両１００に、基準車両用の立体俯瞰画像生成システム１４０を搭載した場合でも、車両１００の車両情報を入力するだけで、適切な立体俯瞰画像を生成し、基準車両と同等の表示画像データを表示することが可能となる。

【0104】

つまり、第１の実施形態における情報処理装置１５０によれば、所定の車種用に提供された立体俯瞰画像生成システム１４０を、他の車種に搭載する際の調整作業における作業負荷を低減することができる。

【0105】

［第２の実施形態］
上記第１の実施形態では、立体投影面４２０を変更せずに、投影情報４００及び車両画像１３００を補正し、補正後投影情報１４００及び補正後車両画像１３１０を生成する場合について説明した。しかしながら、前後長比に基づいて生成される補正後車両画像１３１０は、基準車両の車両画像４３０と長さは等しいが、幅は狭い（図１３の１３００ａ参照）。

【0106】

このため、補正後車両画像１３１０を組み込んで立体俯瞰画像を生成した場合、補正後車両画像１３１０の左側面近傍及び右側面近傍の領域には、立体投影面座標が存在しない。

【0107】

これに対して、第２の実施形態では、立体投影面４２０を幅方向に変形し、当該領域において立体俯瞰画像が表示できるようにする。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

【0108】

（１）機能構成の詳細
はじめに、情報処理装置１５０の補正部の機能構成の詳細について説明する。図１７は、情報処理装置の補正部の機能構成の詳細を示す第２の図である。図９との相違点は、図１７に示す補正部１７００の場合、立体投影面情報補正部１７０１を有している点である。

【0109】

立体投影面情報補正部１７０１は変形部の一例である。立体投影面情報補正部１７０１は、前後長比算出部９０２より前後長比を受信すると、立体投影面情報格納部９１２より立体投影面４２０を読み出す。また、立体投影面情報補正部１７０１は、読み出した立体投影面４２０を、前後長比に基づいて幅方向に変形し、補正後立体投影面を生成する。

【0110】

また、立体投影面情報補正部１７０１は、生成した補正後立体投影面を投影情報補正部９０５に通知する。これにより、投影情報補正部９０５では、補正後立体投影面と、補正後車両情報に基づいて投影情報を補正し、補正後投影情報１４００を生成する。

【0111】

（２）補正後立体投影面の具体例
次に、立体投影面情報補正部１７０１により生成される、補正後立体投影面の具体例について説明する。図１８は、立体投影面情報補正部の処理の具体例を示す図である。このうち、図１８の１８００ａは、立体投影面情報補正部１７０１により変形される前の立体投影面４２０に、補正後車両画像１３１０を組み込んだ様子を示している。一方、図１８の１８００ｂは、立体投影面情報補正部１７０１により変形された後の補正後立体投影面１８００に、補正後車両画像１３１０を組み込んだ様子を示している。

【0112】

図１８の１８００ａとの対比から明らかなように、図１８の１８００ｂの場合、補正後車両画像１３１０の左側面及び右側面において、補正後立体投影面１８００との間に隙間がない。このため、補正後立体投影面１８００の場合、補正後車両画像１３１０の左側面及び右側面近傍にも、立体俯瞰画像を表示することができる。

【0113】

この結果、第２の実施形態によれば、より違和感のない表示画像データを表示することができる。

【0114】

［その他の実施形態］
上記第１及び第２の実施形態では、立体俯瞰画像生成システム１４０とは別体の情報処理装置１５０に補正プログラムをインストールし、情報処理装置１５０を補正部１６０として機能させるものとして説明した。しかしながら、補正プログラムは、例えば、画像処理装置１２０にインストールし、画像処理装置１２０を補正部１６０として機能させるように構成してもよい。

【0115】

また、上記第１及び第２の実施形態では、情報処理装置１５０を画像処理装置１２０に通信可能に接続することで、補正後投影情報１４００及び補正後車両画像１３１０を、画像処理装置１２０にインストールするものとして説明した。しかしながら、補正後投影情報１４００及び補正後車両画像１３１０のインストール方法はこれに限定されない。

【0116】

例えば、生成した補正後投影情報１４００及び補正後車両画像１３１０を記録媒体に格納し、画像処理装置１２０が、当該記録媒体に格納された補正後投影情報１４００及び補正後車両画像１３１０を読み出すことで、インストールするように構成してもよい。

【0117】

あるいは、情報処理装置１５０において生成された補正後投影情報１４００及び補正後車両画像１３１０を、他の通信端末に送信し、当該他の通信端末が画像処理装置１２０にアクセスして、インストールするように構成してもよい。

【0118】

また、上記第１及び第２の実施形態では、操作画面１１００を介して調整者が入力することで撮像装置情報を取得する場合について説明した。しかしながら、撮像装置情報の取得方法はこれに限定されない。例えば、車両１００の周囲に基準となる複数のマーカを配置し、撮像装置１１１〜１１４がそれぞれの撮像範囲に含まれるマーカを撮像することで画像データを取得し、取得した画像データを解析することで、撮像装置情報を取得するように構成してもよい。

【0119】

また、上記第２の実施形態では、前後長比に応じて立体投影面４２０を幅方向に変形することで、補正後車両画像１３１０の左側面及び右側面近傍にも、立体俯瞰画像が表示できるように構成した。しかしながら、立体投影面４２０の変形方法はこれに限定されず、例えば、立体投影面４２０のうち、補正後車両画像１３１０の左側面及び右側面に対応する領域のみを、前後長比に応じて変形するように構成してもよい。

【0120】

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0121】

１００ ：車両
１１１〜１１４ ：撮像装置
１２０ ：画像処理装置
１３０ ：操作装置
１３１ ：表示装置
１４０ ：立体俯瞰画像生成システム
１５０ ：情報処理装置
１６０ ：補正部
４００ ：投影情報
４１１〜４１４ ：画像データ
４２０ ：立体投影面
４３０ ：車両画像
５０１〜５０３ ：視点位置
５１０ ：表示画像データ
７００ ：車両画像
７１０ ：表示画像データ
９０１ ：車両情報入力部
９０２ ：前後長比算出部
９０３ ：投影情報取得部
９０４ ：車両画像生成部
９０５ ：投影情報補正部
９０６ ：インストール部
１０００ ：基準車両情報
１１００ ：操作画面
１３００ ：車両画像
１３１０ ：補正後車両画像
１４００ ：補正後投影情報
１６００ ：表示画像データ
１７００ ：補正部
１７０１ ：立体投影面情報補正部
１８００ ：補正後立体投影面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】