特許 6563694 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6563694

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190808BHJP

   H04N 7/18 20060101ALI20190808BHJP

   G06T 1/00 20060101ALI20190808BHJP

   B60R 1/00 20060101ALI20190808BHJP

【ＦＩ】

   H04N5/232 300

   H04N5/232 290

   H04N5/232 380

   H04N7/18 J

   G06T1/00 330B

   B60R1/00 A

【請求項の数】14

【全頁数】24

(21)【出願番号】特願2015-110127(P2015-110127)

(22)【出願日】2015年5月29日

(65)【公開番号】特開2016-225805(P2016-225805A)

(43)【公開日】2016年12月28日

【審査請求日】2018年5月8日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(72)【発明者】

【氏名】澤田 康嘉

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２００１−０６９４５４（ＪＰ，Ａ）

【文献】 特開２００２−０１６７９１（ＪＰ，Ａ）

【文献】 特開２００６−０５４５０４（ＪＰ，Ａ）

【文献】 特開２０１３−０２１４６８（ＪＰ，Ａ）

【文献】 特開２０１３−１９１９６９（ＪＰ，Ａ）

【文献】 特開２０１５−０７０３５０（ＪＰ，Ａ）

【文献】 特開２０１５−０７６０６２（ＪＰ，Ａ）

【文献】 欧州特許出願公開第２５３０６５１（ＥＰ，Ａ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００ −１／０４

Ｂ６０Ｒ １／０８ −１／１２

Ｇ０６Ｔ １／００ −１／４０

Ｇ０６Ｔ ３／００ −５／５０

Ｇ０６Ｔ ９／００ −９／４０

Ｇ０６Ｔ ７／００ −７／９０

(57)【特許請求の範囲】

【請求項1】

車両で用いられる画像処理装置であって、
仮想視点からみた合成画像の生成に用いられる、前記車両に設けられた複数のカメラで得られた複数の撮影画像を取得する取得手段と、
前記複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを併せて他の通信装置に送信する送信手段と、
を備え、
前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む
ことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記複数の撮影画像を含む映像データの一部に、前記カメラ情報を付加する付加手段、
をさらに備え、
前記送信手段は、前記カメラ情報を含む前記映像データを送信することを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置において、
前記付加手段は、前記複数の撮影画像に電子透かし技術を用いて前記カメラ情報を付加することを特徴とする画像処理装置。

【請求項4】

請求項２に記載の画像処理装置において、
前記付加手段は、前記複数の撮影画像における前記合成画像の生成に用いない領域に、前記カメラ情報を付加することを特徴とする画像処理装置。

【請求項5】

請求項２ないし４のいずれかに記載の画像処理装置において、
前記複数のカメラで得られた複数の撮影画像を一つの結合画像に結合する結合手段、
をさらに備え、
前記映像データは、前記結合画像を含み、
前記付加手段は、前記結合画像に含まれる前記複数の撮影画像のそれぞれに、当該撮影画像を取得した前記カメラの前記カメラ情報を付加することを特徴とする画像処理装置。

【請求項6】

請求項２に記載の画像処理装置において、
前記付加手段は、前記映像データの前記複数の撮影画像以外の部分に、前記カメラ情報を付加することを特徴とする画像処理装置。

【請求項7】

請求項２に記載の画像処理装置において、
前記付加手段は、前記映像データのフレームの相互間に、前記カメラ情報を付加することを特徴とする画像処理装置。

【請求項8】

請求項７に記載の画像処理装置において、
前記映像データは、前記複数のカメラそれぞれの撮影画像を順次に前記フレームとして直列的に含み、
前記フレームそれぞれの前記撮影画像は、２次元圧縮された圧縮画像であることを特徴とする画像処理装置。

【請求項9】

サーバ装置と車両で用いられる画像処理装置とを含む画像処理システムであって、
前記画像処理装置は、
仮想視点からみた合成画像の生成に用いられる、前記車両に設けられた複数のカメラで得られた複数の撮影画像を取得する取得手段と、
前記複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを併せて前記サーバ装置に送信する送信手段と、
を備え、
前記サーバ装置は、
前記複数の撮影画像と前記カメラ情報とを併せて記憶する記憶手段、
を備え、
前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む
ことを特徴とする画像処理システム。

【請求項10】

画像合成装置であって、
車両に設けられた複数のカメラで得られた複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを含む映像データを受信する受信手段と、
前記受信手段が受信した前記映像データに含まれる前記複数の撮影画像と前記カメラ情報とを用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
を備え、
前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む
ことを特徴とする画像合成装置。

【請求項11】

画像処理方法であって、
（ａ）仮想視点からみた合成画像の生成に用いられる、車両に設けられた複数のカメラで得られた複数の撮影画像を取得する工程と、
（ｂ）前記複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを併せて他の通信装置に送信する工程と、
を備え、
前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む
ことを特徴とする画像処理方法。

【請求項12】

画像処理方法であって、
（ａ）車両に設けられた複数のカメラで得られた複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを含む映像データを受信する工程と、
（ｂ）前記工程（ａ）で受信した前記映像データに含まれる前記複数の撮影画像と前記カメラ情報とを用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
を備え、
前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む
ことを特徴とする画像処理方法。

【請求項13】

コンピュータにより実行可能なプログラムであって、
前記プログラムは、
（ａ）仮想視点からみた合成画像の生成に用いられる、車両に設けられた複数のカメラで得られた複数の撮影画像を取得する工程と、
（ｂ）前記複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを併せて他の通信装置に送信する工程と、
を前記コンピュータに実行させ、
前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む
ことを特徴とするプログラム。

【請求項14】

コンピュータにより実行可能なプログラムであって、
前記プログラムは、
（ａ）車両に設けられた複数のカメラで得られた複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを含む映像データを受信する工程と、
（ｂ）前記工程（ａ）で受信した前記映像データに含まれる前記複数の撮影画像と前記カメラ情報とを用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
を前記コンピュータに実行させ、
前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載されたカメラで得られた画像を処理する技術に関する。

【背景技術】

【0002】

従来より、自動車などの車両に搭載された複数のカメラで複数の撮影画像を取得し、これら複数の撮影画像を合成して仮想視点からみた車両の周辺を示す合成画像を生成する車載装置が知られている。このような合成画像を車両内で表示することで、車両のドライバは車両の周辺全体の様子を確認することができる。

【0003】

また、車両で取得された複数の撮影画像を、車両に搭載された車載装置とは別の外部装置に送信し、この外部装置において合成画像を生成する技術も提案されている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１９１９６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような車載装置とは別の外部装置において合成画像を生成する技術を応用し、車両から離れた位置にある外部装置（スマートフォンなど）が合成画像を生成して表示することが考えられる。これによれば、外部装置のユーザは、車両から離れた位置において車両の周辺全体の様子を確認することが可能となる。

【0006】

ところで、合成画像を正しく生成するためには、合成画像の素材となる複数の撮影画像を取得した複数のカメラそれぞれの特質を示すカメラ情報が必要となる。このようなカメラ情報には、カメラ自体に関する特性パラメータ、及び、カメラの設置に関する設置パラメータ等が含まれる。正しいカメラ情報を用いずに合成画像を生成すると、生成される合成画像において、撮影画像同士の境界で被写体の像が分断されるなどの不具合が生じる。

【0007】

このようなカメラ情報を、合成画像を生成する外部装置が予め記憶しておくことも考えられる。しかしながら、この場合は、合成画像の素材となる複数の撮影画像が取得された車両が変更されると、該複数の撮影画像を取得した複数のカメラと予め記憶したカメラ情報とが対応せず、合成画像を正しく生成することができなくなる。

【0008】

本発明は、上記課題に鑑みてなされたものであり、複数の撮影画像を用いて合成画像を生成する場合に合成画像を正しく生成できる技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、請求項１の発明は、車両で用いられる画像処理装置であって、仮想視点からみた合成画像の生成に用いられる、前記車両に設けられた複数のカメラで得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを併せて他の通信装置に送信する送信手段と、を備え、前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む。

【0010】

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記複数の撮影画像を含む映像データの一部に、前記カメラ情報を付加する付加手段、をさらに備え、前記送信手段は、前記カメラ情報を含む前記映像データを送信する。

【0011】

また、請求項３の発明は、請求項２に記載の画像処理装置において、前記付加手段は、前記複数の撮影画像に電子透かし技術を用いて前記カメラ情報を付加する。

【0012】

また、請求項４の発明は、請求項２に記載の画像処理装置において、前記付加手段は、前記複数の撮影画像における前記合成画像の生成に用いない領域に、前記カメラ情報を付加する。

【0013】

また、請求項５の発明は、請求項２ないし４のいずれかに記載の画像処理装置において、前記複数のカメラで得られた複数の撮影画像を一つの結合画像に結合する結合手段、をさらに備え、前記映像データは、前記結合画像を含み、前記付加手段は、前記結合画像に含まれる前記複数の撮影画像のそれぞれに、当該撮影画像を取得した前記カメラの前記カメラ情報を付加する。

【0014】

また、請求項６の発明は、請求項２に記載の画像処理装置において、前記付加手段は、前記映像データの前記複数の撮影画像以外の部分に、前記カメラ情報を付加する。

【0015】

また、請求項７の発明は、請求項２に記載の画像処理装置において、前記付加手段は、前記映像データのフレームの相互間に、前記カメラ情報を付加する。

【0016】

また、請求項８の発明は、請求項７に記載の画像処理装置において、前記映像データは、前記複数のカメラそれぞれの撮影画像を順次に前記フレームとして直列的に含み、前記フレームそれぞれの前記撮影画像は、２次元圧縮された圧縮画像である。

【0017】

また、請求項９の発明は、サーバ装置と車両で用いられる画像処理装置とを含む画像処理システムであって、前記画像処理装置は、仮想視点からみた合成画像の生成に用いられる、前記車両に設けられた複数のカメラで得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを併せて前記サーバ装置に送信する送信手段と、を備え、前記サーバ装置は、前記複数の撮影画像と前記カメラ情報とを併せて記憶する記憶手段、を備え、前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む。

【0018】

また、請求項１０の発明は、画像合成装置であって、車両に設けられた複数のカメラで得られた複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを含む映像データを受信する受信手段と、前記受信手段が受信した前記映像データに含まれる前記複数の撮影画像と前記カメラ情報とを用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、を備え、前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む。

【0019】

また、請求項１１の発明は、画像処理方法であって、（ａ）仮想視点からみた合成画像の生成に用いられる、車両に設けられた複数のカメラで得られた複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを併せて他の通信装置に送信する工程と、を備え、前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む。

【0020】

また、請求項１２の発明は、画像処理方法であって、（ａ）車両に設けられた複数のカメラで得られた複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを含む映像データを受信する工程と、（ｂ）前記工程（ａ）で受信した前記映像データに含まれる前記複数の撮影画像と前記カメラ情報とを用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、を備え、前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む。
ている。

【0021】

また、請求項１３の発明は、コンピュータにより実行可能なプログラムであって、前記プログラムは、（ａ）仮想視点からみた合成画像の生成に用いられる、車両に設けられた複数のカメラで得られた複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを併せて他の通信装置に送信する工程と、を前記コンピュータに実行させ、前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む。

【0022】

また、請求項１４の発明は、コンピュータにより実行可能なプログラムであって、前記プログラムは、（ａ）車両に設けられた複数のカメラで得られた複数の撮影画像と、前記複数のカメラそれぞれの特質を示すカメラ情報とを含む映像データを受信する工程と、（ｂ）前記工程（ａ）で受信した前記映像データに含まれる前記複数の撮影画像と前記カメラ情報とを用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、を前記コンピュータに実行させ、前記カメラ情報は、ディストーション特性を含む前記カメラ自体に関する特性パラメータと、パン角、チルト角、ロール角及び光軸の向きを含むカメラの設置に関する設置パラメータとを含む。

【発明の効果】

【0023】

請求項１から９、１１及び１３の発明によれば、複数の撮影画像とカメラ情報とを併せて送信することで、複数の撮影画像を用いて合成画像を生成する場合に合成画像を正しく生成することができる。

【0024】

また、特に請求項２の発明によれば、映像データの一部にカメラ情報が付加されるため、複数の撮影画像とカメラ情報とを一体的に扱うことができ、カメラ情報の管理が容易となる。

【0025】

また、特に請求項３の発明によれば、電子透かし技術を用いることで、撮影画像の内容に影響を与えることなく、映像データの一部にカメラ情報を付加することができる。

【0026】

また、特に請求項４の発明によれば、合成画像の生成に用いない領域にカメラ情報を付加するため、合成画像の生成に影響を与えることなく映像データの一部にカメラ情報を付加することができる。

【0027】

また、特に請求項５の発明によれば、結合画像に含まれる複数の撮影画像のそれぞれにカメラ情報が付加されるため、撮影画像と当該撮影画像を取得したカメラのカメラ情報との対応関係を明確にすることができる。

【0028】

また、特に請求項６の発明によれば、複数の撮影画像以外の部分にカメラ情報を付加するため、撮影画像の内容に影響を与えることなく映像データの一部にカメラ情報を付加することができる。

【0029】

また、特に請求項７の発明によれば、フレームの相互間にカメラ情報を付加するため、撮影画像の内容に影響を与えることなく映像データの一部にカメラ情報を付加することができる。

【0030】

また、特に請求項８の発明によれば、映像データは複数のカメラそれぞれの撮影画像を順次にフレームとして直列的に含み、フレームそれぞれの撮影画像は２次元圧縮された圧縮画像であるため、映像データのデータ量を低減できる。

【0031】

また、特に請求項９の発明によれば、複数の撮影画像とカメラ情報とを併せて記録することで、複数の撮影画像を用いて合成画像を生成する場合に合成画像を正しく生成することができる。

【0032】

また、請求項１０、１２及び１４の発明によれば、映像データに含まれる複数の撮影画像を用いて合成画像を生成する際に同一の映像データに含まれるカメラ情報を用いるため、正しいカメラ情報を容易に取得でき、合成画像を正しく生成することができる。

【図面の簡単な説明】

【0033】

【図1】図１は、画像処理システムの概要を示す図である。

【図2】図２は、車載装置の構成を示す図である。

【図3】図３は、カメラが撮影する方向を示す図である。

【図4】図４は、サーバ装置の構成を示す図である。

【図5】図５は、可搬性装置の構成を示す図である。

【図6】図６は、車載装置が映像データを送信する処理の流れを示す図である。

【図7】図７は、結合画像を生成する手法を説明する図である。

【図8】図８は、カメラ情報が付加された結合画像を示す図である。

【図9】図９は、可搬性装置が合成画像を生成する処理の流れを示す図である。

【図10】図１０は、合成画像を生成する手法を説明する図である。

【図11】図１１は、撮影画像の一例を示す図である。

【図12】図１２は、可搬性装置が合成画像を表示した様子を示す図である。

【図13】図１３は、第２の実施の形態の撮影画像を示す図である。

【図14】図１４は、第３の実施の形態の映像データのフレームを示す図である。

【図15】図１５は、第４の実施の形態の映像データを示す図である。

【発明を実施するための形態】

【0034】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0035】

＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１は、第１の実施の形態の画像処理システム１００の概要を示す図である。画像処理システム１００は、自動車などの車両９に搭載される車載装置１と、所定のデータセンタなどに設けられるサーバ装置２と、任意の位置で用いられる可搬性装置３とを備えている。可搬性装置３は、通常、車両９から離れた位置において用いられるが、車両９の内部において用いることも可能である。

【0036】

車載装置１、サーバ装置２、及び、可搬性装置３はそれぞれ、無線または有線でインターネットなどのネットワーク８に接続し、ネットワーク８を介して他の装置と通信を行う通信機能を有している。これにより、車載装置１、サーバ装置２、及び、可搬性装置３は、相互にデータを送受信することが可能となっている。

【0037】

車載装置１は、車両９に搭載された複数のカメラ５で得られた撮影画像を処理する画像処理装置である。車載装置１は、複数のカメラ５で得られた複数の撮影画像を取得し、取得した複数の撮影画像を含む映像データをネットワーク８を介してサーバ装置２に送信する。

【0038】

サーバ装置２は、映像データを蓄積する蓄積装置である。サーバ装置２は、車載装置１からネットワーク８を介して映像データを受信し、受信した映像データを記憶する。これにより、サーバ装置２には、車載装置１で取得された映像データが蓄積される。

【0039】

可搬性装置３は、複数の撮影画像を合成して、仮想視点からみた車両９の周辺を示す合成画像を生成する画像合成装置である。可搬性装置３は、サーバ装置２から映像データを取得し、取得した映像データに含まれる複数の撮影画像を用いて合成画像を生成し、生成した合成画像を表示する。

【0040】

なお、図中では、一つの車両９のみを示しているが、画像処理システム１００に関連して複数の車両９が存在してよい。複数の車両９にはそれぞれ、車載装置１が設けられる。また、図中では、一つの可搬性装置３のみを示しているが、画像処理システム１００に関連して複数の可搬性装置３が存在してよい。各可搬性装置３は、画像処理システム１００に係る複数の車両９のうちの一部と対応付けられる。一つの可搬性装置３が、複数の車両９と対応付けられる場合もある。

【0041】

車載装置１は、例えば、車両９に係る異常を検出する機能を有している。車載装置１は、異常を検出した場合は、一定期間、複数の撮影画像を時間的に連続して取得する。そして、車載装置１は、取得した複数の撮影画像を含む映像データをサーバ装置２に送信する。

【0042】

サーバ装置２は、車載装置１から映像データを受信すると、受信した映像データを内部に記憶する。これとともに、サーバ装置２は、車両９に異常が発生した旨を示す異常通知を、当該車両９に対応付けられた可搬性装置３に送信する。

【0043】

異常通知を受信した可搬性装置３は、サーバ装置２から映像データを取得する。可搬性装置３は、取得した映像データに含まれる複数の撮影画像を合成して、合成画像を生成して表示する。これにより、可搬性装置３のユーザは、車両９から離れた位置において、異常の発生時における車両９の周辺の様子を確認できるようになっている。以下、このような画像処理システム１００について詳細に説明する。

【0044】

＜１−２．車載装置の構成＞
まず、車載装置１の構成について説明する。図２は、主に車載装置１の構成を示す図である。車載装置１は、前述した車両９に設けられる複数のカメラ５と接続されている。

【0045】

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺を撮影して撮影画像を取得する。各カメラ５は、車両９の周辺を示す撮影画像を電子的に取得し、取得した撮影画像を車載装置１に入力する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。

【0046】

図３は、４つのカメラ５がそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の前後方向に沿って前方に向けられる。リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の前後方向に沿って後方に向けられる。左サイドカメラ５Ｌは、左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左右方向に沿って左方に向けられる。また、右サイドカメラ５Ｒは、右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の左右方向に沿って右方に向けられる。

【0047】

これらのカメラ５のレンズには魚眼レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５を利用することで、車両９の全周囲を撮影することが可能となっている。

【0048】

図２に戻り、車載装置１は、これら４つのカメラ５で得られた撮影画像を処理する処理部として、画像取得部１２、画像処理部１３及びデータ通信部１４を備えている。

【0049】

画像取得部１２は、４つのカメラ５で得られた４つの撮影画像を取得する。画像取得部１２は、４つのカメラ５のそれぞれから撮影画像を取得する。画像取得部１２は、取得した撮影画像を画像処理部１３に入力する。

【0050】

画像処理部１３は、４つのカメラ５で得られた４つの撮影画像の全ての内容を含む結合画像を生成する。画像処理部１３は、画像取得部１２が取得した４つの撮影画像を一つに結合して結合画像を生成する。画像処理部１３は、一つのフレームに一つの結合画像を含む映像データを生成する。

【0051】

データ通信部１４は、ネットワーク８を介して他の通信装置と通信する。データ通信部１４は、例えば、３ＧやＬＴＥなどの規格に準拠した無線通信機能を有している。これにより、データ通信部１４は、サーバ装置２及び可搬性装置３とデータの送受信が可能である。データ通信部１４は、画像処理部１３が生成した映像データをサーバ装置２に送信する。

【0052】

また、車載装置１は、操作部１５、異常検出部１６、記憶部１７、及び、制御部１１を備えている。

【0053】

操作部１５は、ユーザの操作を受け付ける部材であり、例えば、タッチパネル及び操作ボタンなどである。ユーザが操作部１５を操作した場合は、その操作内容を示す信号が制御部１１に入力される。

【0054】

異常検出部１６は、車両９に係る異常を検出する。異常検出部１６は、例えば、加速度センサを備えており、車両９の車体に所定以上の加速度が生じた場合に車両９に異常が生じたと判断する。これにより、例えば、車両９の盗難や車両９への侵入等を試みようとする人物が車両９に振動を与えた場合などに、異常検出部１６は異常を検出する。なお、異常検出部１６は、カメラ５で得られた撮影画像を利用するなど他の手法によって車両９に係る異常を検出するものであってもよい。

【0055】

記憶部１７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部１７は、カメラ情報５１及びプログラム１７ａを記憶している。プログラム１７ａは、記録媒体からの読み出し、あるいは、ネットワーク８を介したダウンロードなどにより取得される。

【0056】

カメラ情報５１は、車両９に設けられるカメラ５の特質を示している。カメラ情報５１は、ディストーション特性（歪曲収差特性）などのカメラ５自体に関する特性パラメータ、並びに、パン角、チルト角、ロール角及び光軸の向きなどのカメラ５の設置に関する設置パラメータ等を含む。カメラ情報５１は、４つのカメラ５のそれぞれに関して個別に導出されて記憶されている。このようなカメラ情報５１は、カメラ５の設置時においてキャリブレーション処理を行うことで導出される。

【0057】

また、制御部１１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備え、車載装置１の全体を統括的に制御するマイクロコンピュータである。制御部１１が記憶部１７に記憶されたプログラム１７ａを実行する（プログラム１７ａに従った演算処理を行う）ことにより、制御部１１の各種機能が実現される。図２に示す画像制御部１１ａ及び情報付加部１１ｂは、プログラム１７ａの実行により実現される機能である。

【0058】

画像制御部１１ａは、画像取得部１２、画像処理部１３及びデータ通信部１４の処理を制御する。画像制御部１１ａの制御により、画像処理部１３は結合画像を生成し、データ通信部１４は映像データをサーバ装置２に送信する。

【0059】

情報付加部１１ｂは、画像処理部１３が生成した映像データの一部に、記憶部１７が記憶するカメラ情報５１を付加する。情報付加部１１ｂは、映像データに含まれる撮影画像の内容に影響を与えることがないように、映像データの一部にカメラ情報を付加する（詳細は後述。）。

【0060】

＜１−３．サーバ装置の構成＞
次に、サーバ装置２の構成について説明する。図４は、サーバ装置２の構成を示す図である。サーバ装置２は、制御部２１と、データ通信部２２と、記憶部２３とを備えている。

【0061】

データ通信部２２は、ネットワーク８を介して他の通信装置と通信する。データ通信部２２は、通信ケーブル等を介してネットワーク８に接続される。これにより、データ通信部２２は、車載装置１及び可搬性装置３とデータの送受信が可能である。

【0062】

記憶部２３は、例えば、ハードディスクなどの不揮発性の記憶装置であり、各種の情報を記憶する。記憶部２３は、プログラム２３ａを記憶している。プログラム２３ａは、ネットワーク８を介したダウンロードなどにより取得される。

【0063】

また、制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。制御部２１が記憶部２３に記憶されたプログラム２３ａを実行する（プログラム２３ａに従った演算処理を行う）ことにより、制御部２１の各種機能が実現される。図４に示すデータ管理部２１ａ及び異常通知部２１ｂは、プログラム２３ａの実行により実現される機能である。

【0064】

データ管理部２１ａは、映像データを管理する処理を行う。データ管理部２１ａは、車載装置１からデータ通信部２２が受信した映像データを記憶部２３に記憶させる。これにより、記憶部２３には、複数の映像データ７０が蓄積される。また、データ管理部２１ａは、可搬性装置３が送信する要求信号に応答し、データ通信部２２を利用して記憶部２３に記憶された映像データ７０の一部を可搬性装置３に送信する。

【0065】

また、異常通知部２１ｂは、車両９に異常が発生した旨を示す異常通知を可搬性装置３に送信する。異常通知部２１ｂは、車載装置１からデータ通信部２２が映像データを受信した場合に、データ通信部２２を利用して異常通知を可搬性装置３に送信する。

【0066】

＜１−４．可搬性装置の構成＞
次に、可搬性装置３の構成について説明する。図５は、可搬性装置３の構成を示す図である。可搬性装置３は、制御部３１と、マイク３２と、スピーカ３３と、音声通信部３４と、操作部３５と、ディスプレイ３６と、データ通信部３７と、記憶部３８とを備えている。

【0067】

マイク３２は、周辺の音を電気信号に変換する。マイク３２は、例えば、通話中のユーザが発した音声を電気信号に変換する。スピーカ３３は、電気信号に基づいて各種の音を出力する。スピーカ３３は、例えば、通話相手が発した音声を出力する。音声通信部３４は、通話にかかる音声の電気信号を、基地局との間で送受信する。これらマイク３２、スピーカ３３及び音声通信部３４により、可搬性装置３の通話機能が実現される。

【0068】

操作部３５は、ユーザの操作を受け付ける操作部材であり、例えば、タッチパネル及び操作ボタンなどである。ユーザが操作部３５を操作した場合は、その操作内容を示す信号が制御部３１に入力される。

【0069】

ディスプレイ３６は、例えば、液晶パネルを備えており各種の画像を表示する。操作部３５のタッチパネルは、ディスプレイ３６の画面に重ねて配置される。

【0070】

データ通信部３７は、ネットワーク８を介して他の通信装置と通信する。データ通信部３７は、例えば、３ＧやＬＴＥなどの規格に準拠した無線通信機能を有している。これにより、データ通信部３７は、車載装置１及びサーバ装置２とデータの送受信が可能である。

【0071】

記憶部３８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部３８は、プログラム３８ａを記憶している。プログラム３８ａは、例えば、アプリケーションとして提供され、ネットワーク８を介したダウンロードなどにより取得される。

【0072】

また、制御部３１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備え、可搬性装置３の全体を統括的に制御するマイクロコンピュータである。制御部３１が記憶部３８に記憶されたプログラム３８ａを実行する（プログラム３８ａに従った演算処理を行う）ことにより、制御部３１の各種機能が実現される。図５に示すデータ取得部３１ａ及び合成画像生成部３１ｂは、プログラム３８ａの実行により実現される機能である。

【0073】

データ取得部３１ａは、サーバ装置２から映像データを取得する。データ取得部３１ａは、データ通信部３７を利用して、映像データを要求する要求信号をサーバ装置２に送信し、該要求信号に応答してサーバ装置２から送信される映像データを取得する。

【0074】

合成画像生成部３１ｂは、仮想視点からみた車両９の周辺を示す合成画像を生成する。合成画像生成部３１ｂは、データ取得部３１ａが取得した映像データに含まれる４つの撮影画像を用いて合成画像を生成する。

【0075】

＜１−５．映像データの送信＞
次に、画像処理システム１００の処理について説明する。画像処理システム１００の処理は、車載装置１が映像データを送信する処理と、可搬性装置３が映像データを用いて合成画像を生成する処理とに大別される。

【0076】

まず、車載装置１が映像データを送信する処理について説明する。図６は、この処理の流れを示す図である。図６の左側は車載装置１の処理の流れを示し、図６の右側はサーバ装置２の処理の流れを示している。図６に示す処理は、車載装置１の異常検出部１６が車両９に係る異常を検出した場合に実行される。

【0077】

まず、車載装置１の画像取得部１２が、４つのカメラ５で得られる４つの撮影画像を取得する（ステップＳ１１）。図７に示すように、車両９の４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれにおいて車両９の周辺が撮影されると、車両９の前方、後方、左方及び右方をそれぞれ示す４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒが取得される。これら４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒには、車両９の全周囲の様子を示す情報が含まれている。画像取得部１２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒから、このような４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒを取得する。

【0078】

次に、画像処理部１３が、画像取得部１２が取得した４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒを一つに結合して結合画像７１を生成する（ステップＳ１２）。図７に示すように、結合画像７１は、４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒを、横２×縦２に配列して含んでいる。したがって、一つの結合画像７１には、車両９の全周囲の様子を示す情報が含まれている。そして、画像処理部１３は、生成した結合画像７１を用いて映像データを生成する。映像データは、一つの結合画像７１を一つのフレームとして含む。

【0079】

次に、情報付加部１１ｂが、画像処理部１３が生成した映像データに、記憶部１７に記憶されたカメラ情報５１を付加する（ステップＳ１３）。情報付加部１１ｂは、映像データに含まれる結合画像７１にカメラ情報を付加する。

【0080】

図８は、カメラ情報５１が付加された結合画像７１を示す図である。情報付加部１１ｂは、結合画像７１に含まれる４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒのそれぞれに、当該撮影画像を取得したカメラ５のカメラ情報５１を付加する。

【0081】

情報付加部１１ｂは、フロントカメラ５Ｆが取得した撮影画像７Ｆに、フロントカメラ５Ｆのカメラ情報５１Ｆを付加する。また、情報付加部１１ｂは、リアカメラ５Ｂが取得した撮影画像７Ｂに、リアカメラ５Ｂのカメラ情報５１Ｂを付加する。さらに、情報付加部１１ｂは、左サイドカメラ５Ｌが取得した撮影画像７Ｌに左サイドカメラ５Ｌのカメラ情報５１Ｌを付加し、右サイドカメラ５Ｒが取得した撮影画像７Ｒに右サイドカメラ５Ｒのカメラ情報５１Ｒを付加する。これにより、撮影画像と、当該撮影画像を取得したカメラ５の特質を示すカメラ情報５１とが対応付けられる。

【0082】

情報付加部１１ｂは、デジタルコンテンツに他の情報を隠して埋め込む技術である電子透かし技術を用いて、撮影画像にカメラ情報５１を付加する。これにより、情報付加部１１ｂは、撮影画像の内容にほぼ影響を与えること無く、撮影画像にカメラ情報５１を付加することができる。電子透かし技術としては、周知の技術を用いることができ、例えば、スペクトル拡散法、パッチワーク法及び量子化法など、加工に対して高い耐性を有するロバスト電子透かし技術（rubust watermark）を用いることが望ましい。ロバスト電子透かし技術を用いることで、映像データにＭＰＥＧなどの非可逆圧縮を行ったとしても、撮影画像に埋め込んだカメラ情報５１の抽出が可能となる。

【0083】

このようなステップＳ１１〜Ｓ１３の処理は、異常検出部１６が異常を検出した時点から一定期間（例えば、５分間）が経過するまで（図６のステップＳ１４にてＮｏ）、所定の周期（例えば、１／３０秒周期）で繰り返される。これにより、異常の発生時における一定期間の車両９の全周囲の様子を示す映像データが生成される。この映像データは、所定の周期で生成された複数の結合画像７１をそれぞれフレームとして含んでいる。映像データに含まれる複数の結合画像７１のそれぞれには、カメラ情報５１が付加されている。生成された映像データは、ＭＰＥＧなどの所定の圧縮方式で圧縮されることが望ましい。

【0084】

異常検出部１６が異常を検出した時点から一定期間が経過すると（ステップＳ１４にてＹｅｓ）、生成された映像データを、データ通信部１４がサーバ装置２へ送信する（ステップＳ１５）。これにより、データ通信部１４は、４つのカメラ５で得られた４つの撮影画像と、４つのカメラ５のカメラ情報５１とを併せてサーバ装置２に送信することになる。

【0085】

サーバ装置２のデータ通信部２２は、車載装置１から送信された映像データを受信する（ステップＳ２１）。

【0086】

データ通信部２２が映像データを受信すると、データ管理部２１ａが、受信した映像データを記憶部２３に記憶させる（ステップＳ２２）。これにより、記憶部２３は、４つのカメラ５で得られた４つの撮影画像と、４つのカメラ５のカメラ情報５１とを併せて記憶することになる。データ管理部２１ａは、受信した映像データを、当該映像データを送信した車載装置１の車両９の識別情報、及び、異常の発生時刻を示す時刻情報などと関連付けて記憶部２３に記憶させる。

【0087】

次に、異常通知部２１ｂが、データ通信部２２を利用して、車両９に異常が発生した旨を示す異常通知を可搬性装置３に送信する（ステップＳ２３）。異常通知部２１ｂは、受信した映像データを送信した車載装置１の車両９に対応付けられた可搬性装置３を特定し、該可搬性装置３に対して異常通知を送信する。この異常通知は、可搬性装置３において受信され、可搬性装置３のディスプレイ３６に表示される。

【0088】

＜１−６．合成画像の生成＞
次に、可搬性装置３が映像データを用いて合成画像を生成する処理について説明する。図９は、この処理の流れを示す図である。図９の左側はサーバ装置２の処理の流れを示し、図９の右側は可搬性装置３の処理の流れを示している。図９に示す処理は、可搬性装置３のユーザが、ディスプレイ３６に表示された異常通知の確認後に、可搬性装置３の操作部３５に対して所定の操作を行った場合に実行される。

【0089】

まず、可搬性装置３のデータ取得部３１ａが、データ通信部３７を利用して、映像データを要求する要求信号をサーバ装置２に送信する（ステップＳ３１）。要求信号には、車両９の識別情報及び時刻情報など、要求する映像データを特定する情報が含まれる。

【0090】

サーバ装置２のデータ通信部２２は、可搬性装置３から送信された要求信号を受信する（ステップＳ４１）。

【0091】

データ通信部２２が要求信号を受信すると、この要求信号に応答してデータ管理部２１ａが映像データを可搬性装置３に送信する（ステップＳ４２）。データ管理部２１ａは、要求信号に含まれる情報に基づいて、記憶部２３に記憶された映像データのうちから要求信号が要求する映像データを選択する。データ管理部２１ａは、選択した映像データを、データ通信部２２を利用して可搬性装置３に送信する。

【0092】

可搬性装置３のデータ通信部３７は、サーバ装置２から送信された映像データを受信する（ステップＳ３２）。

【0093】

データ通信部３７が映像データを受信すると、合成画像生成部３１ｂは、受信した映像データを用いて仮想視点からみた車両９の周辺を示す合成画像を生成する（ステップＳ３３）。合成画像生成部３１ｂは、映像データにフレームとして含まれる結合画像７１から合成画像を生成する。合成画像生成部３１ｂは、一つの結合画像７１に含まれる４つの撮影画像と、４つのカメラ５のカメラ情報５１とを用いて一つの合成画像を生成する。

【0094】

図１０は、合成画像生成部３１ｂが、結合画像７１から合成画像を生成する手法を説明する図である。合成画像生成部３１ｂは、合成画像の生成に仮想の立体的な曲面である投影面ＴＳを用いることで、現実に近い臨場感のある合成画像を生成する。

【0095】

前述のように、結合画像７１には、車両９の前方、後方、左方及び右方をそれぞれ示す４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒが含まれている。合成画像生成部３１ｂは、これら４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒのデータ（画素の値）を、仮想的な三次元空間における投影面ＴＳに投影する。

【0096】

投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置として定められている。また、投影面ＴＳにおける車両９の位置の外側は、車両９の周辺の領域に相当する。合成画像生成部３１ｂは、投影面ＴＳにおける車両９の位置の外側に、４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒのデータを投影する。

【0097】

合成画像生成部３１ｂは、投影面ＴＳにおいて車両９の前方に相当する部分に、フロントカメラ５Ｆの撮影画像７Ｆのデータを投影する。また、合成画像生成部３１ｂは、投影面ＴＳにおいて車両９の後方に相当する部分に、リアカメラ５Ｂの撮影画像７Ｂのデータを投影する。さらに、合成画像生成部３１ｂは、投影面ＴＳにおいて車両９の左方に相当する部分に左サイドカメラ５Ｌの撮影画像７Ｌのデータを投影し、投影面ＴＳにおいて車両９の右方に相当する部分に右サイドカメラ５Ｒの撮影画像７Ｒのデータを投影する。

【0098】

このように投影面ＴＳに撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒのデータを投影すると、次に、合成画像生成部３１ｂは、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、仮想的な三次元空間における車両９の位置である投影面ＴＳの中心領域に配置される。

【0099】

次に、合成画像生成部３１ｂは、三次元空間に対して仮想視点ＶＰを設定する。この仮想視点ＶＰは、位置と視線の向きとで規定される。合成画像生成部３１ｂは、任意の位置、かつ、任意の視線の向きの仮想視点ＶＰを３次元空間に設定できる。通常、位置を車両９の直上とし視線を下方に向けた仮想視点ＶＰが設定されるが、ユーザの操作等に応じて任意の位置及び視線の向きの仮想視点ＶＰが設定されてよい。

【0100】

次に、合成画像生成部３１ｂは、設定した仮想視点ＶＰに応じた投影面ＴＳの一部の領域を用いて合成画像ＣＰを生成する。すなわち、合成画像生成部３１ｂは、投影面ＴＳのうち仮想視点ＶＰからみて所定の視野角に含まれる領域のデータを画像として切り出す。切り出した画像は、車両９の周辺に存在する被写体の像を含んでいる。

【0101】

これとともに、合成画像生成部３１ｂは、設定した仮想視点ＶＰに応じて車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。車両像９０は、仮想視点ＶＰからみた車両９の車体の形状を示す。これにより、合成画像生成部３１ｂは、仮想視点ＶＰからみた車両９の周辺と車両９の車体とを示す合成画像ＣＰを生成する。

【0102】

例えば、図１０に示すように、位置を車両９の直上とし視線を下方に向けた仮想視点ＶＰａを設定した場合には、車両９の周辺と車両９の車体とを俯瞰する合成画像（俯瞰画像）ＣＰａを生成できる。また、位置を車両９の左後方とし視線を車両９の中心に向けた仮想視点ＶＰｂを設定した場合には、車両９の左後方からみた車両９の周辺と車両９の車体とを示す合成画像ＣＰｂを生成できる。

【0103】

このような合成画像ＣＰの生成において投影面ＴＳに撮影画像のデータを投影する場合に、合成画像生成部３１ｂは、当撮影画像を取得したカメラ５のカメラ情報５１を用いる。

【0104】

図１１は、合成画像ＣＰの生成に用いられる撮影画像７の一例を示す図である。カメラ５のレンズは魚眼レンズであるため、図に示すように、撮影画像７に含まれる被写体の像は歪んでいる。このような被写体の像の歪みは、撮影画像７を取得したカメラ５のディストーションに主に起因する。このため、合成画像生成部３１ｂは、撮影画像７に含まれる被写体の像の歪みを、撮影画像７を取得したカメラ５のカメラ情報５１に含まれる特性パラメータ（ディストーション特性）を用いて補正する。合成画像生成部３１ｂは、投影面ＴＳへの投影前に被写体の像の歪みを補正する。

【0105】

また、撮影画像７において、投影面ＴＳに投影すべきデータを含む領域は、当該撮影画像７を取得したカメラ５の設置上の誤差に応じて変化する。このため、合成画像生成部３１ｂは、撮影画像７を取得したカメラ５のカメラ情報５１に含まれる設置パラメータ（パン角、チルト角及びロール角等）を用いて、撮影画像７における投影面ＴＳに投影する領域を修正する。

【0106】

仮に図１１に示す撮影画像７を取得したカメラ５に関して設置上の誤差がないとした場合は、投影面ＴＳに投影すべきデータを含む領域はデフォルトの領域Ｒ１となる。通常はカメラ５には設置上の誤差が存在することから、合成画像生成部３１ｂは、当該カメラ５のカメラ情報５１に含まれる設置パラメータに基づいて、投影面ＴＳに投影する領域を領域Ｒ１から領域Ｒ２に修正する。そして、合成画像生成部３１ｂは、この領域Ｒ２に含まれるデータを投影面ＴＳに投影する。

【0107】

このように、合成画像生成部３１ｂは、合成画像ＣＰを生成する際に、撮影画像７を取得したカメラ５のカメラ情報５１を用いることで、合成画像ＣＰを正しく生成することができる。

【0108】

前述のように結合画像７１に含まれる４つの撮影画像のそれぞれには、当該撮影画像を取得したカメラ５のカメラ情報５１が付加されている（図８参照。）。このため、撮影画像と、撮影画像を取得したカメラ５のカメラ情報５１との対応関係が明確であるため、合成画像生成部３１ｂは用いるべきカメラ情報５１を容易に取得できる。合成画像生成部３１ｂは、撮影画像に埋め込まれたカメラ情報５１に用いられた電子透かし技術を用いて抽出することで、カメラ情報５１を取得できる。

【0109】

合成画像生成部３１ｂは、このようにして合成画像ＣＰを生成すると、生成した合成画像ＣＰをディスプレイ３６に出力する。これにより、図１２に示すように、可搬性装置３のディスプレイ３６において合成画像ＣＰが表示される（ステップＳ３４）。

【0110】

このようなステップＳ３３，Ｓ３４の処理は、映像データに含まれる全てのフレーム（結合画像７１）に関して行われる（ステップＳ３５）。その結果、時間的に連続して生成された複数の合成画像ＣＰからなる動画がディスプレイ３６において表示される。これにより、可搬性装置３のユーザは、車両９から離れた位置において、異常の発生時における仮想視点からみた車両９の周辺の様子を確認できることになる。

【0111】

以上のように、本実施の形態の車載装置１においては、画像取得部１２が、仮想視点からみた合成画像ＣＰの生成に用いられる、車両９に設けられた複数のカメラ５で得られた複数の撮影画像を取得する。そして、データ通信部１４は、複数の撮影画像と、複数のカメラ５それぞれの特質を示すカメラ情報５１とを併せてサーバ装置２に送信する。このように、複数の撮影画像とカメラ情報５１とを併せて送信することで、可搬性装置３は複数の撮影画像とカメラ情報５１とを併せて取得でき、合成画像ＣＰを正しく生成することができる。このため、複数の撮影画像が取得された車両９が変更された場合であっても、可搬性装置３は合成画像ＣＰを正しく生成することができる。

【0112】

また、情報付加部１１ｂは、複数の撮影画像を含む映像データの一部にカメラ情報５１を付加する。そして、データ通信部１４は、複数の撮影画像とカメラ情報５１とを含む映像データを送信する。映像データの一部にカメラ情報５１が付加されるため、複数の撮影画像とカメラ情報５１とを一体的に扱うことができ、カメラ情報５１の管理が容易となる。

【0113】

また、情報付加部１１ｂは、映像データに含まれる複数の撮影画像に電子透かし技術を用いてカメラ情報５１を付加する。このため、撮影画像の内容に影響を与えることなく、映像データの一部にカメラ情報５１を付加することができる。

【0114】

また、画像処理部１３は、複数のカメラ５で得られた複数の撮影画像を一つの結合画像７１に結合する。情報付加部１１ｂは、結合画像７１に含まれる複数の撮影画像のそれぞれに、当該撮影画像を取得したカメラ５のカメラ情報５１を付加する。このため、撮影画像と当該撮影画像を取得したカメラ５のカメラ情報５１との対応関係を明確にすることができる。

【0115】

また、サーバ装置２においては、記憶部２３が、映像データを記憶することで、複数のカメラ５で得られた複数の撮影画像と、複数のカメラ５のカメラ情報５１とを併せて記憶する。このため、複数の撮影画像を用いて合成画像ＣＰを生成する場合に合成画像ＣＰを正しく生成することができる。

【0116】

また、可搬性装置３においては、データ通信部３７が、車両９に設けられた複数のカメラ５で得られた複数の撮影画像と、複数のカメラ５それぞれの特質を示すカメラ情報５１とを含む映像データを受信する。そして、合成画像生成部３１ｂは、データ通信部３７が受信した映像データに含まれる複数の撮影画像とカメラ情報５１とを用いて、仮想視点からみた車両９の周辺を示す合成画像を生成する。合成画像生成部３１ｂは、映像データに含まれる複数の撮影画像を用いて合成画像を生成する際に、同一の映像データに含まれるカメラ情報５１を用いるため、正しいカメラ情報を容易に取得できる。その結果、合成画像を正しく生成することができる。

【0117】

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像処理システム１００の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

【0118】

第１の実施の形態では、映像データに含まれる撮影画像においてカメラ情報５１を付加する領域は特定されなかった。これに対して、第２の実施の形態では、情報付加部１１ｂは、映像データに含まれる撮影画像における特定の領域にカメラ情報５１を付加するようになっている。

【0119】

図１３は、本実施の形態の映像データに含まれる撮影画像７の一例を示す図である。図に示すように、撮影画像７には、車両９の周辺の地表に存在する被写体の像とともに、空（地表より上部に広がる空間）の像、あるいは、車両９の車体の像などが含まれている。

【0120】

合成画像生成部３１ｂは、合成画像ＣＰを生成する際には、撮影画像７のうち、車両９の周辺の地表に存在する被写体の像が含まれる中央領域Ｒを用いる。これに対して、合成画像生成部３１ｂは、撮影画像７のうち、中央領域Ｒより外側となる、空の像、あるいは、車両９の車体の像などが含まれる領域は、合成画像ＣＰの生成に用いない。

【0121】

このため、本実施の形態の情報付加部１１ｂは、図１３に示すように、撮影画像７における合成画像ＣＰの生成に用いない領域（中央領域Ｒより外側の領域）に対して、カメラ情報５１を付加する。これにより、合成画像ＣＰの生成に影響を与えることなく、映像データの一部にカメラ情報５１を付加することができる。なお、本実施の形態では、カメラ情報５１を付加する際に合成画像ＣＰの生成に用いる中央領域Ｒの改変を行わないため、電子透かし技術を用いずに撮影画像７にカメラ情報５１を付加してもよい。

【0122】

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像処理システム１００の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

【0123】

第１の実施の形態では、映像データに含まれる複数の撮影画像それぞれに対してカメラ情報５１を付加していた。これに対して、第３の実施の形態では、情報付加部１１ｂは、映像データに含まれる複数の撮影画像以外の部分に、カメラ情報５１を付加するようになっている。

【0124】

図１４は、本実施の形態の映像データの一つのフレーム７２を示す図である。本実施の形態の映像データは、例えば、フルハイビジョン（Ｆｕｌｌ ＨＤ）規格に準拠しており、各フレーム７２のサイズは横１９２０画素×縦１０８０画素となっている。

【0125】

一方、撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒはそれぞれ、例えば、ＶＧＡの画像データであり、そのサイズは横６４０画素×縦４８０画素となっている。したがって、これら４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒを結合した結合画像７１のサイズは、横１２８０画素×縦９６０画素となる。その結果、映像データのフレーム７２においては、結合画像７１の外側に画像データが存在しない領域がある。

【0126】

このため、本実施の形態の情報付加部１１ｂは、図１４に示すように、映像データのフレーム７２における結合画像７１の外側の領域に対して、カメラ情報５１を付加する。これにより、撮影画像の内容に影響を与えることなく、映像データの一部にカメラ情報５１を付加することができる。なお、本実施の形態では、撮影画像にカメラ情報を付加しないため、カメラ情報に撮影画像の識別情報を含めるなどにより撮影画像とカメラ情報との対応関係を明確にすることが望ましい。

【0127】

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像処理システム１００の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

【0128】

第１の実施の形態では、映像データの一つのフレームは４つの撮影画像を結合した一つの結合画像７１を含んでいた。これに対して、第４の実施の形態では、通信速度が比較的低速であっても映像データを送信できるように、映像データの一つのフレームは一つの撮影画像のみを含んでいる。

【0129】

図１５は、第４の実施の形態の映像データを示す図である。図に示すように、第４の実施の形態の映像データは、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒそれぞれの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒを、順次にフレームとして直列的に含んでいる。具体的には、映像データは、フロントカメラ５Ｆの撮影画像７Ｆ、リアカメラ５Ｂの撮影画像７Ｂ、左サイドカメラ５Ｌの撮影画像７Ｌ、及び、右サイドカメラ５Ｒの撮影画像７Ｒを、それぞれフレームとして順次に含んでいる。

【0130】

映像データは、例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式となっており、映像データのフレームそれぞれの撮影画像はＪＰＥＧ方式で２次元圧縮された圧縮画像となっている。本実施の形態の映像データでは隣接するフレームの相互間での被写体が異なるため、映像データに対して時間軸方向を含めた圧縮（３次元圧縮）を行うことは難しい。しかし、このように映像データのフレームそれぞれの撮影画像を２次元圧縮した圧縮画像とすることで、映像データのデータ量を有効に低減できる。

【0131】

また、本実施の形態の情報付加部１１ｂは、図１５に示すように、映像データのフレームの相互間にカメラ情報５１を付加する。情報付加部１１ｂは、フロントカメラ５Ｆの撮影画像７Ｆの後に、フロントカメラ５Ｆのカメラ情報５１Ｆを付加する。また、情報付加部１１ｂは、リアカメラ５Ｂの撮影画像７Ｂの後にリアカメラ５Ｂのカメラ情報５１Ｂを付加する。さらに、情報付加部１１ｂは、左サイドカメラ５Ｌの撮影画像７Ｌの後に左サイドカメラ５Ｌのカメラ情報５１Ｌを付加し、右サイドカメラ５Ｒの撮影画像７Ｒの後に右サイドカメラ５Ｒのカメラ情報５１Ｒを付加する。このように、情報付加部１１ｂが、映像データのフレームの相互間にカメラ情報５１を付加するため、撮影画像の内容に影響を与えることなく映像データの一部にカメラ情報５１を付加することができる。

【0132】

本実施の形態の可搬性装置３は、受信した映像データの連続する４つのフレームに含まれる４つの撮影画像７Ｆ，７Ｂ，７Ｌ，７Ｒを用いて一つの合成画像ＣＰを生成すればよい。

【0133】

なお、上記では、映像データのフレームそれぞれの撮影画像はＪＰＥＧ方式で２次元圧縮されると説明したが、ＧＩＦ方式、ＰＮＧ方式などの他の方式で２次元圧縮してもよい。また、上記では、情報付加部１１ｂは、映像データのフレームの相互間にカメラ情報５１を付加していたが、フレームの撮影画像に対してカメラ情報５１を付加してもよい。この場合においても、上記第１ないし第３の実施の形態において説明した技術と同様の技術を採用することで、合成画像ＣＰの生成に影響を与えることなくカメラ情報５１を付加することができる。

【0134】

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0135】

上記実施の形態では、映像データは、車載装置１からサーバ装置２を経由して可搬性装置３に送信されていたが、車載装置１から可搬性装置３に直接的に送信されてもよい。また、この場合は、ストリーミング技術などを利用して映像データを送信することで、車載装置１が取得した撮影画像（結合画像）が、ほぼリアルタイムに可搬性装置３に送信されるようにしてもよい。可搬性装置３が受信した撮影画像を用いて合成画像を表示するようにすれば、可搬性装置３のユーザは車両９から離れた位置において車両９の周辺の様子をほぼリアルタイムに確認できる。また、Bluetooth（登録商標）やWiFi（登録商標）などの規格に準拠した比較的近距離での無線通信技術を利用して、車載装置１から可搬性装置３に映像データを送信してもよい。

【0136】

また、上記実施の形態では、合成画像を生成する画像合成装置は可搬性装置３であるとして説明を行ったが、一般的なパーソナルコンピュータなど可搬性の装置でなくてもよい。

【0137】

また、上記実施の形態では、車載装置１は、映像データを車両９の外部の装置に送信していたが、ナビゲーション装置など、車両９の内部に設けられた他の装置に送信するものであってもよい。

【0138】

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

【0139】

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

【符号の説明】

【0140】

１ 車載装置
２ サーバ装置
３ 可搬性装置
５ カメラ
７ 撮影画像
１１ａ 情報付加部
３１ｂ 合成画像生成部
３６ ディスプレイ
５１ カメラ情報
７１ 結合画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】