特許 6077214 画像処理装置、画像処理方法、プログラム、及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6077214

(24)【登録日】2017年1月20日

(45)【発行日】2017年2月8日

(54)【発明の名称】画像処理装置、画像処理方法、プログラム、及び画像処理システム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20170130BHJP

   B60R 1/00 20060101ALI20170130BHJP

   B60R 11/02 20060101ALI20170130BHJP

   G08G 1/16 20060101ALI20170130BHJP

   H04N 7/18 20060101ALI20170130BHJP

【ＦＩ】

   H04N5/225 C

   B60R1/00 A

   B60R11/02 C

   G08G1/16 C

   H04N7/18 J

【請求項の数】4

【全頁数】25

(21)【出願番号】特願2012-22656(P2012-22656)

(22)【出願日】2012年2月6日

(65)【公開番号】特開2013-162328(P2013-162328A)

(43)【公開日】2013年8月19日

【審査請求日】2015年1月26日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】富士通テン株式会社

(72)【発明者】

【氏名】岡田 勝利

(72)【発明者】

【氏名】上田 伸晃

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００５−１８４１４２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０７０６４０（ＷＯ，Ａ１）

【文献】 特開２００５−１２２１００（ＪＰ，Ａ）

【文献】 特開２０１３−０５５４１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

輸送機器で用いられる画像処理装置であって、
前記輸送機器に搭載された複数のカメラにより前記輸送機器の周辺の被写体を撮影した複数の撮影画像を取得する取得手段と、
前記画像処理装置と通信可能な携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を受信する受信手段と、
前記複数の撮影画像から、前記携帯情報に基づいて、前記携帯機器の向いている方向に存在する前記被写体の像に、前記輸送機器の内部を示す半透明の内装画像と、該内装画像の透過率の変更に使用される操作用画像とを重畳して周辺画像を生成する画像生成手段と、
前記周辺画像を前記携帯機器へ送信して表示させる送信手段と、
を備え、
前記受信手段は、前記周辺画像が前記携帯機器に表示された後に、前記携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を維持し、
前記画像生成手段は、ユーザが前記操作用画像を操作して前記内装画像の透過率を変更した場合は、該変更された透過率の内装画像を用いて前記周辺画像を生成することを特徴とする画像処理装置。

【請求項2】

輸送機器で用いられる画像処理装置で画像を処理する画像処理方法であって、
（ａ）前記輸送機器に搭載された複数のカメラにより前記輸送機器の周辺の被写体を撮影した複数の撮影画像を取得する工程と、
（ｂ）前記画像処理装置と通信可能な携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を受信する工程と、
（ｃ）前記複数の撮影画像から、前記携帯情報に基づいて、前記携帯機器の向いている方向に存在する前記被写体の像に、前記輸送機器の内部を示す半透明の内装画像と、該内装画像の透過率の変更に使用される操作用画像とを重畳して周辺画像を生成する工程と、
（ｄ）前記周辺画像を前記携帯機器へ送信して表示させる工程と、
を備え、
前記工程（ｂ）は、前記周辺画像が前記携帯機器に表示された後に、前記携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を維持し、
前記工程（ｃ）は、ユーザが前記操作用画像を操作して前記内装画像の透過率を変更した場合は、該変更された透過率の内装画像を用いて前記周辺画像を生成することを特徴とする画像処理方法。

【請求項3】

輸送機器で用いられる画像処理装置と通信可能な携帯機器に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
（ａ）前記携帯機器の向き及び前記輸送機器内での位置を示す情報を前記画像処理装置に送信する工程と、
（ｂ）前記画像処理装置から送信された、前記輸送機器に搭載された複数のカメラにより前記輸送機器の周辺の被写体を撮影した複数の撮影画像から前記携帯機器の向いている方向に存在する前記被写体の像に、前記輸送機器の内部を示す半透明の内装画像と、該内装画像の透過率の変更に使用される操作用画像とを重畳した周辺画像を受信する工程と、
（ｃ）前記周辺画像を表示する工程と、
を実行させ、
前記工程（ａ）は、前記周辺画像が前記携帯機器に表示された後に、前記携帯機器の向き及び前記輸送機器内での位置を示す情報を維持し、
前記工程（ｂ）は、ユーザが前記操作用画像を操作して前記内装画像の透過率を変更した場合は、該変更された透過率の内装画像を用いて前記周辺画像を生成することを特徴とするプログラム。

【請求項4】

輸送機器で用いられる画像処理システムであって、
前記輸送機器で用いられる画像処理装置と、
前記画像処理装置と通信可能な携帯機器と、
を備え、
前記画像処理装置は、
前記輸送機器に搭載された複数のカメラにより前記輸送機器の周辺の被写体を撮影した複数の撮影画像を取得する取得手段と、
前記携帯機器から、前記携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を受信する第１受信手段と、
前記複数の撮影画像から、前記携帯情報に基づいて、前記携帯機器の向いている方向に存在する前記被写体の像に、前記輸送機器の内部を示す半透明の内装画像と、該内装画像の透過率の変更に使用される操作用画像とを重畳して周辺画像を生成する画像生成手段と、
前記周辺画像を前記携帯機器へ送信する第１送信手段と、
を備え、
前記第１受信手段は、前記周辺画像が前記携帯機器に表示された後に、前記携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を維持し、
前記画像生成手段は、ユーザが前記操作用画像を操作して前記内装画像の透過率を変更した場合は、該変更された透過率の内装画像を用いて前記周辺画像を生成し、
前記携帯機器は、
前記携帯情報を前記画像処理装置に送信する第２送信手段と、
前記画像処理装置から、前記周辺画像を受信する第２受信手段と、
前記周辺画像を表示する表示手段と、
を備えることを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、輸送機器に搭載されたカメラで得られた画像を処理する技術に関する。

【背景技術】

【0002】

従来より、輸送機器の一つである車両に搭載されたカメラで撮影した画像を用い、車両の周辺領域をディスプレイに表示する画像処理装置が知られている。このような画像処理装置を利用することで、ユーザ（代表的にはドライバ）は、自ら乗車する車両の周辺に存在する障害物等の位置を把握することができる。

【0003】

例えば、車両周辺の異なる方向を撮影する複数のカメラを用い、かかるカメラで撮られた複数の撮影画像を連結することで、上方から車両を見下ろした画像を表示する画像処理装置も提案されている。ユーザはこのような周辺画像を参照し、運転席からは見難い車両後方等に存在する物体を容易に把握することができる。

【0004】

また、車両周辺の画像に半透明の車室内画像を重畳して表示し、車両のボディー部を透過して車両周辺の画像を表示する画像処理装置も提案されている（例えば、特許文献１参照）。ユーザは、このような周辺画像を視認することで、運転席からは見難い車両直近等に存在する物体と車両との位置関係を明確に把握することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００１−２３８０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上記のような車両の上方や車室内の画像は、車両内のユーザから見難い箇所を表示するものの、画像の視点が予め固定されており、必ずしもユーザが見たいと所望する箇所を表示するものではなかった。車両周辺にはあらゆる角度、位置に他車両や障害物等が存在し、ユーザが確認したいと欲する箇所は様々である。このような事情から、車両上方や後方のみならず、ユーザが見たいと所望する箇所を表示できる技術が求められていた。

【0007】

本発明は、上記課題に鑑み、ユーザが見たいと所望する箇所を表示する技術の提供を目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、請求項１の発明は、輸送機器で用いられる画像処理装置であって、前記輸送機器に搭載された複数のカメラにより前記輸送機器の周辺の被写体を撮影した複数の撮影画像を取得する取得手段と、前記画像処理装置と通信可能な携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を受信する受信手段と、前記複数の撮影画像から、前記携帯情報に基づいて、前記携帯機器の向いている方向に存在する前記被写体の像に、前記輸送機器の内部を示す半透明の内装画像と、該内装画像の透過率の変更に使用される操作用画像とを重畳して周辺画像を生成する画像生成手段と、前記周辺画像を前記携帯機器へ送信して表示させる送信手段と、を備え、前記受信手段は、前記周辺画像が前記携帯機器に表示された後に、前記携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を維持し、前記画像生成手段は、ユーザが前記操作用画像を操作して前記内装画像の透過率を変更した場合は、該変更された透過率の内装画像を用いて前記周辺画像を生成する。

【0013】

また、請求項２の発明は、輸送機器で用いられる画像処理装置で画像を処理する画像処理方法であって、（ａ）前記輸送機器に搭載された複数のカメラにより前記輸送機器の周辺の被写体を撮影した複数の撮影画像を取得する工程と、（ｂ）前記画像処理装置と通信可能な携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を受信する工程と、（ｃ）前記複数の撮影画像から、前記携帯情報に基づいて、前記携帯機器の向いている方向に存在する前記被写体の像に、前記輸送機器の内部を示す半透明の内装画像と、該内装画像の透過率の変更に使用される操作用画像とを重畳して周辺画像を生成する工程と、（ｄ）前記周辺画像を前記携帯機器へ送信して表示させる工程と、を備え、前記工程（ｂ）は、前記周辺画像が前記携帯機器に表示された後に、前記携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を維持し、前記工程（ｃ）は、ユーザが前記操作用画像を操作して前記内装画像の透過率を変更した場合は、該変更された透過率の内装画像を用いて前記周辺画像を生成する。

【0014】

また、請求項３の発明は、輸送機器で用いられる画像処理装置と通信可能な携帯機器に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、（ａ）前記携帯機器の向き及び前記輸送機器内での位置を示す情報を前記画像処理装置に送信する工程と、（ｂ）前記画像処理装置から送信された、前記輸送機器に搭載された複数のカメラにより前記輸送機器の周辺の被写体を撮影した複数の撮影画像から前記携帯機器の向いている方向に存在する前記被写体の像に、前記輸送機器の内部を示す半透明の内装画像と、該内装画像の透過率の変更に使用される操作用画像とを重畳した周辺画像を受信する工程と、（ｃ）前記周辺画像を表示する工程と、を実行させ、前記工程（ａ）は、前記周辺画像が前記携帯機器に表示された後に、前記携帯機器の向き及び前記輸送機器内での位置を示す情報を維持し、前記工程（ｂ）は、ユーザが前記操作用画像を操作して前記内装画像の透過率を変更した場合は、該変更された透過率の内装画像を用いて前記周辺画像を生成する。

【0015】

また、請求項４の発明は、輸送機器で用いられる画像処理システムであって、前記輸送機器で用いられる画像処理装置と、前記画像処理装置と通信可能な携帯機器と、を備え、前記画像処理装置は、前記輸送機器に搭載された複数のカメラにより前記輸送機器の周辺の被写体を撮影した複数の撮影画像を取得する取得手段と、前記携帯機器から、前記携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を受信する第１受信手段と、前記複数の撮影画像から、前記携帯情報に基づいて、前記携帯機器の向いている方向に存在する前記被写体の像に、前記輸送機器の内部を示す半透明の内装画像と、該内装画像の透過率の変更に使用される操作用画像とを重畳して周辺画像を生成する画像生成手段と、前記周辺画像を前記携帯機器へ送信する第１送信手段と、を備え、前記第１受信手段は、前記周辺画像が前記携帯機器に表示された後に、前記携帯機器の向き及び前記輸送機器内での位置を示す携帯情報を維持し、前記画像生成手段は、ユーザが前記操作用画像を操作して前記内装画像の透過率を変更した場合は、該変更された透過率の内装画像を用いて前記周辺画像を生成し、前記携帯機器は、前記携帯情報を前記画像処理装置に送信する第２送信手段と、前記画像処理装置から、前記周辺画像を受信する第２受信手段と、前記周辺画像を表示する表示手段と、を備える。

【発明の効果】

【0016】

請求項１ないし４の発明によれば、携帯機器が向いている方向に存在する被写体を示す周辺画像を携帯機器に送信するため、携帯機器ではこの周辺画像を表示することができる。このため、携帯機器のユーザは、携帯機器を向けた方向について、輸送機器で遮られた輸送機器の周辺の状況を確認することができる。また、携帯機器のユーザは、半透明の内装画像を参照しつつ内装画像の透過率を様々に変更でき、他の車両や障害物と車両のボディーとの位置関係を最も把握しやすい透過率でディスプレイに表示された周辺画像を参照することができる。また、携帯機器のユーザは、周辺画像の表示の開始時のみ所望の向き及び位置に携帯機器を据えればよく、かかる表示の開始後には任意の位置で所望の周辺画像を参照することができ、所望の向き及び位置に携帯機器を据え続ける必要がない。ユーザは、自由な姿勢で所望の周辺画像を参照することができる。

【図面の簡単な説明】

【0021】

【図1】図１は、第１の実施の形態の画像処理システム１０の概要を示す図である。

【図2】図２は、第１の実施の形態の画像処理装置の構成を示すブロック図である。

【図3】図３は、車載カメラが配置される位置を示す図である。

【図4】図４は、第１の実施の形態の携帯機器の構成を示すブロック図である。

【図5】図５は、周辺画像を生成する手法を説明する図である。

【図6】図６は、第１の実施の形態の画像処理システムの処理の流れを示すフローチャートである。

【図7】図７は、第１の実施の形態の画像処理システムの処理の流れを示すフローチャートである。

【図8】図８は、第１の実施の形態の周辺画像の表示の例を示す図である。

【図9】図９は、第１の実施の形態の周辺画像の表示の例を示す図である。

【図10】図１０は、第２の実施の形態の画像処理システムの処理の流れを示すフローチャートである。

【図11】図１１は、第２の実施の形態の周辺画像の表示の例を示す図である。

【図12】図１２は、第２の実施の形態の周辺画像の表示の例を示す図である。

【図13】図１３は、第３の実施の形態の画像処理装置の構成を示すブロック図である。

【図14】図１４は、周辺画像への内装画像の重畳及び操作用画像の合成を示す図である。

【図15】図１５は、第３の実施の形態の画像処理システムの処理の流れを示すフローチャートである。

【図16】図１６は、第３の実施の形態の画像処理システムの処理の流れを示すフローチャートである。

【図17】図１７は、第３の実施の形態の周辺画像の表示の例を示す図である。

【図18】図１８は、第３の実施の形態の周辺画像の表示の例を示す図である。

【図19】図１９は、画像処理システムの処理の流れの変形例を示すフローチャートである。

【発明を実施するための形態】

【0022】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0023】

＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１は、第１の実施の形態の画像処理システム１０の概要を示す図である。画像処理システム１０は、自動車等の輸送機器である車両１に搭載される画像処理装置２と、画像処理装置２とは別個に構成される携帯機器３とを備えている。

【0024】

画像処理装置２及び携帯機器３は、Bluetooth（登録商標）等の通信方式に準拠した無線通信機能を有し、相互にデータの送受信が可能である。なお、両者を通信ケーブルで接続し、かかるケーブルを介してデータを送受信してもよい。

【0025】

画像処理装置２は、車両１で用いられる装置であり、車両１の周辺を撮影する複数の車載カメラ４Ｆ，４Ｂ，４Ｒ，４Ｌを備えている。画像処理装置２は、かかる車載カメラで撮られた画像による車両１の周辺画像を車室内のディスプレイに表示し、かつ携帯機器３へ送信する機能を有している。

【0026】

また、携帯機器３は、例えば携帯電話やスマートフォン等であり、車両１に乗車したユーザが所持する携帯型の機器である。携帯機器３は、通話機能及び画像表示機能であるディスプレイ３２を備えている。

【0027】

画像処理システム１０では、このように画像処理装置２が車両１の周辺の画像を生成し、生成した周辺画像を携帯機器３へ送信する。またこの際、携帯機器３は車両１内における携帯機器３の向きを画像処理装置２へ送信し、画像処理装置２はかかる携帯機器３の向きに応じた仮想視点から見た車両１の周辺画像を生成する。このため、携帯機器３を有するユーザは、車両１内において携帯機器３の向きを変えることで、所望の周辺画像をディスプレイ３２にて参照することができる。以下、このような画像処理システム１０の構成及び処理について詳細に説明する。

【0028】

＜１−２．画像処理装置の構成＞
まず、画像処理装置２の構成について説明する。図２は、画像処理装置２の構成を示す図である。画像処理装置２は、前述した複数の車載カメラ４及びディスプレイ５と接続され、現在地取得部６、通信部７、及び本体部８を備えた電子制御装置である。

【0029】

画像処理装置２と接続された車載カメラ４は、フロントカメラ４Ｆ、バックカメラ４Ｂ、左サイドカメラ４Ｌ、及び右サイドカメラ４Ｒを含んで構成される。各カメラは、レンズと撮像素子とを備え、車両１の異なる位置に配置される。また各カメラは、車両１の周辺を所定の周期（例えば、１／３０秒）で電子的に撮影し、撮影画像を画像処理装置２へ出力する。

【0030】

図３は、車載カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒが車両１に配置される位置を示す図である。フロントカメラ４Ｆは、車両１の前端の左右中央の近傍に設けられ、その光軸４Ｆａは車両１の前方（直進方向）に向けられている。バックカメラ４Ｂは、車両１の後端の左右中央の近傍に設けられ、その光軸４Ｂａは車両１の後方（直進方向の逆方向）に向けられている。左サイドカメラ４Ｌは車両１の左側のサイドミラー１１Ｌに設けられ、その光軸４Ｌａは車両１の左側方（直進方向の直交方向）に向けられている。また、右サイドカメラ４Ｒは車両１の右側のサイドミラー１１Ｒに設けられ、その光軸４Ｒａは車両１の右側方（直進方向の直交方向）に向けられている。

【0031】

これらの車載カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒのレンズには魚眼レンズなどが採用され、各車載カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒは１８０度以上の画角θを有している。このため、４つの車載カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒを利用することで、車両１の全周囲を撮影することが可能となっている。

【0032】

図２に戻り、画像処理装置２の構成について説明する。画像処理装置２に接続されたディスプレイ５は、液晶パネル等の表示画面を備えた表示装置であり、画像処理装置２から出力される画像を表示する。ディスプレイ５は、車両１内のユーザが視認できるよう、インストルメントパネル内やダッシュボード上等に配置される。

【0033】

また、ディスプレイ５は、操作部５ａ及びスピーカ５ｂを備える。操作部５ａは、ディスプレイ５の表示画面に重ねて設けられたタッチパネル、及び表示画面の周囲に設けられた操作ボタンを含んで構成される。タッチパネル及び操作ボタンがユーザにより操作されると、操作部５ａは操作された内容を示す信号を後述の制御部８６に出力する。スピーカ５ｂは、画像処理装置２から入力される電気信号に基づき、動作音や警告音など各種音声を出力する。

【0034】

現在地取得部６は、ＧＰＳ（Global Positioning System）等の現在地測位システムから車両１の現在地や方角に関する情報を取得し、取得した情報を制御部８６に出力する。

【0035】

通信部７は、外部の通信装置と無線通信を行う。具体的には、通信部７は、画像処理装置２で生成した周辺画像を携帯機器３に送信し、携帯機器３の向きや位置に関する情報を携帯機器３から受信する。

【0036】

本体部８は、画像取得部８１、画像メモリ８２、画像生成部８３、画像送信部８４、記憶部８５、制御部８６、及び情報受信部８７を備える。

【0037】

画像取得部８１は、車載カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒで撮影された画像信号を所定の周期（例えば、１／３０秒）で取得し、アナログ／デジタル変換して画像データを生成する。これにより、画像取得部８１は、車両１の前方、後方、左側方及び右側方を示す４つの撮影画像を取得する。

【0038】

画像メモリ８２は、画像取得部８１からデジタル変換された画像データを一時的に蓄える、いわゆるバッファである。

【0039】

画像生成部８３は、後述する制御部８６からの指令に基づき、画像メモリ８２から入力されるデジタル変換された画像データを、視点変換処理により、所定の視点の変換画像データに変形する。かかる視点は、車両１を上方から俯瞰した視点や、車両１を後方から見た視点、携帯機器３を保持するユーザの視点等、様々な視点が含まれる。視点変換処理については、後に詳述する。また、画像生成部８３では、画像処理として、カメラ画像データによる周囲映像の視点変換処理を行うとともに、その他の画像処理（輝度調整、色味補正、エッジ補正等）を併せて行ってもよい。

【0040】

また、画像生成部８３は拡縮部８３ａを備える。拡縮部８３ａは、変換画像データがディスプレイ５に表示された際の画像の縮尺を拡大又は縮小させる。

【0041】

画像送信部８４は、画像生成部８３で生成された画像データが入力され、画像データのデジタル／アナログ変換を経て、ディスプレイ５へ映像信号を出力する。

【0042】

記憶部８５は、各種の情報を記憶するフラッシュメモリ等の不揮発性メモリである。記憶部８５は、プログラム８５ａを記憶している。

【0043】

制御部８６は、画像処理に関する全ての情報処理と制御出力を管理する中央演算処理装置（ＣＰＵ）であり、ＲＡＭ及びＲＯＭ等を備える。また制御部８６は、記憶部８５に記憶されたプログラム８５ａに従い演算処理を実行し、各種の制御機能が実現される。

【0044】

情報受信部８７は、通信部７が取得したデータを受信して、制御部８６へ送信する。

【0045】

＜１−３．携帯機器の構成＞
次に、携帯機器３の構成について説明する。図４は、携帯機器３の構成を示すブロック図である。携帯機器３は、制御部３１、ディスプレイ３２、マイク３３、スピーカ３４、音声通信部３５、操作部３６、加速度センサ３７、ジャイロセンサ３８、地磁気センサ３９、通信部３１０、及び記憶部３１１を備えている。

【0046】

制御部３１は、携帯機器３の全体を統括的に制御するマイクロコンピュータである。制御部３１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えており、後述する記憶部３１１に記憶されたプログラム３１１ａに従ってＣＰＵが演算処理を行うことで、各種の制御機能が実現される。

【0047】

ディスプレイ３２は、液晶パネル等の表示画面を備えた表示装置である。ディスプレイ５は、画像処理装置２から送信される画像を表示する。また、ディスプレイ３２は、表面上にタッチパネル機能を備える。

【0048】

マイク３３は、周辺の音を電気信号に変換する。マイク３３は、例えば通話中のユーザが発した音声を電気信号に変換する。

【0049】

スピーカ３４は、電気信号に基づいて音声を出力する。スピーカ３４は、例えば通話相手が発した音声を出力する。

【0050】

音声通信部３５は、通話にかかる音声の電気信号を、基地局との間で送受信する。これらマイク３３、スピーカ３４、及び音声通信部３５により、携帯機器３の通話機能が実現される。

【0051】

操作部３６は、ユーザが直接的に操作可能な部材であり、複数の操作ボタンを含んでいる。ユーザが操作部３６を操作した場合は、その操作内容を示す信号が制御部３１に入力される。

【0052】

加速度センサ３７は、携帯機器３に加わる重力加速度を検出し、検出信号を制御部３１へ送信する。制御部３１は、加速度センサ３７から出力される検出信号に基づいて、携帯機器３の向きが変わった場合、重力方向に対する水平面上の角度（車両内のユーザにとっての上下の角度）を判別できる。また、制御部３１は、加速度センサ３７から出力される検出信号に基づいて、携帯機器３の位置が移動した場合、移動した距離（車両内のユーザにとっての上下左右の距離）を判別できる。

【0053】

ジャイロセンサ３８は、携帯機器３に加わる角速度を検出し、検出信号を制御部３１へ送信する。制御部３１は、ジャイロセンサ３８から出力される検出信号に基づいて、携帯機器３の向きが変わった場合、重力方向に対する垂直面上の角度（車両内のユーザにとっての左右の角度）を判別できる。

【0054】

地磁気センサ３９は、地磁気に基づき、例えば東西南北等の方角を検出し、検出信号を制御部３１へ送信する。制御部３１は、地磁気センサ３９から出力される検出信号に基づいて、携帯機器３の所定の一面がどの方角を向いているか判別することが可能となる。

【0055】

通信部３１０は、無線通信によって外部の通信装置と通信する。通信部３１０は、画像処理装置２との間でデータの送受信を行うことが可能であり、複数の撮影画像を画像処理装置２から受信する。

【0056】

記憶部３１１は、例えば、フラッシュメモリ等の不揮発性メモリであり、プログラム３１１ａや、周辺画像に合成される操作用アイコン画像、その他各種情報を記憶する。

【0057】

＜１−４．周辺画像の生成手法＞
図５は、画像生成部８３が周辺画像を生成する手法及び視点変換処理を説明するための図である。

【0058】

フロントカメラ４Ｆ、バックカメラ４Ｂ、左サイドカメラ４Ｌ、及び右サイドカメラ４Ｒが車両１の周辺を撮影すると、車両１の前方、後方、左側方、及び右側方を示す４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲが取得され、画像取得部８１に入力される。これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲには、車両１の全周囲のデータが含まれている。

【0059】

画像生成部８３は、画像取得部８１に入力された４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを用い、以下のように周辺画像ＣＰを生成する。

【0060】

まず、４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータ（各画素の値）が、仮想的な三次元空間における立体曲面である投影面ＴＳに投影される。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両１が存在する位置として定められている。一方、投影面ＴＳのその他の部分は、撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータと対応付けられており、対応するデータが投影される。撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのデータと投影面ＴＳの位置との対応関係を示す情報は、予め記憶部８５に記憶されている。

【0061】

投影面ＴＳにおいて車両１の前方に相当する領域は、フロントカメラ４Ｆで得られた撮影画像（以下、「フロント画像」という。）ＰＦのデータが投影される。また、投影面ＴＳにおいて車両１の後方に相当する領域は、バックカメラ４Ｂで得られた撮影画像（以下、「バック画像」という。）ＰＢのデータが投影される。また、投影面ＴＳにおいて車両１の左側方に相当する領域は左サイドカメラ４Ｌで得られた撮影画像（以下、「左サイド画像」という。）ＰＬのデータが投影され、投影面ＴＳにおいて車両１の右側方に相当する領域は右サイドカメラ４Ｒで得られた撮影画像（以下、「右サイド画像」という。）ＰＲのデータが投影される。

【0062】

このように投影面ＴＳの各部分のデータが決定されると、三次元空間に対して仮想視点ＶＰが設定される。仮想視点ＶＰは、三次元空間における任意の視点位置に任意の視野方向に視点を変換して設定することができる。そして、投影面ＴＳのうち、設定された仮想視点ＶＰからみて所定の視野角に含まれる領域が画像として切り出される。このようにして切り出して得られた画像が、仮想視点ＶＰからみた車両１の周囲の領域を示す周辺画像ＣＰとなる。

【0063】

さらに、このようにして生成された周辺画像ＣＰに車両１が含まれる場合には、車両１が存在する位置に車両像９０が重畳される。周辺画像ＣＰに重畳される車両像９０としては、車両１の種別に応じたものが記憶部８５から読み出されて使用される。これにより、周辺画像ＣＰに車両像９０が含まれることになる。ユーザは、このような周辺画像ＣＰを視認することで、車両１の周辺の被写体の位置を把握することができる。また、周辺画像ＣＰに車両像９０を重畳した場合には、ユーザは、車両１の周辺の被写体の位置を車両１に対する相対位置で把握することができる。

【0064】

このような周辺画像の生成及び視点変換の処理により、例えば図に示すように、視点位置を車両１の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両１及び車両１の周辺の領域を俯瞰する周辺画像ＣＰａが生成される。また、視点位置を車両１の左後方、視野方向を車両１の前方とした仮想視点ＶＰｂを設定した場合には、車両１の左後方からその周辺全体を見渡すように、車両１及び車両１の周辺の領域を示す周辺画像ＣＰｂが生成される。また、始点位置を車両１内の助手席、視野方向を車両１の左側方とした仮想視点ＶＰｃを設定した場合には、車両１内の助手席からその周辺を見渡すように、車両１の左側方の領域を示す周辺画像ＣＰｃが生成される。このような仮想視点ＶＰは、車両内に対応する位置に設定することも可能である。

【0065】

＜１−５．処理の流れ＞
次に、画像処理システム１０の処理の流れについて説明する。図６は、画像処理システム１０の処理の流れを示す図である。図中、左側のフローチャートは、画像処理装置２の処理の流れを示し、同右側は携帯機器３の処理の流れを示す。これらの処理は、画像処理装置２と携帯機器３との間で通信が確立した場合に実行される。

【0066】

まず、携帯機器３の制御部３１が、携帯機器３のユーザにより操作部３６が操作され、携帯機器３のディスプレイ３２に車両周辺の画像の表示を開始させるべき操作がなされたか否か、すなわち操作部３６による開始ボタンが押されたか否かが判断される（ステップＳ１１）。この際、携帯機器３のユーザは、車両１の車室内に予め定められた基準位置に、予め定められた向きに向くように携帯機器３を固定し、開始ボタンを押すようにする。基準位置は、例えば、車両１の前部座席の中央部で、高さがヘッドレストの中央部となる位置である。ユーザはこの基準位置に携帯機器３のディスプレイ３２の面が車両後方に対向するように携帯機器３を保持する。これにより、画像処理装置２の制御部８６は、開始ボタンが押された時点において、携帯機器３が基準位置にあり、かつ、携帯機器３のディスプレイ３２の面が対向する向きが水平方向に沿って車両後方へ向かう向きであることを認識する。したがって、制御部８６は、開始ボタンが押された後において、ユーザが携帯機器３の上下左右の向きを変化させた場合でも、加速度センサ３７及びジャイロセンサ３８の検出信号の内容を示す携帯情報を受信することで、携帯機器３の車両１に対する相対的な位置及び向きを認識することができる。

【0067】

開始ボタンが押されていないと判断する場合は（ステップＳ１１でＮｏ）、所定の周期でステップＳ１１が実行されユーザにより開始ボタンが押されたか否かが再度判断される。

【0068】

一方、開始ボタンが押されたと判断する場合は（ステップＳ１１でＹｅｓ）、制御部３１は開始ボタンが押された旨を示す信号を画像処理装置２へ送信し、画像処理装置２の情報受信部８７は、開始ボタンが押された旨を示す信号を受信する（ステップＳ１２）。制御部３１は、ジャイロセンサ３８及び加速度センサ３７から携帯機器３の位置や向きを示す携帯情報を取得する（ステップＳ１３）。

【0069】

制御部３１は、携帯情報を取得すると、かかる携帯情報から携帯機器３の車両１に対する相対的な位置及び向きを算出し、画像処理装置２へ送信する（ステップ１４）。

【0070】

画像処理装置２の情報受信部８７は、開始ボタンが押された旨を示す信号を受信すると（ステップＳ１２でＹｅｓ）、携帯機器３から送信される携帯機器３の携帯情報を通信部７を介して受信する（ステップＳ１５）。

【0071】

ステップＳ１５が実行されると、画像取得部８１は、４つの車載カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒでそれぞれ得られた４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳ１６）。

【0072】

画像生成部８３は、画像取得部８１が取得した撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲに基づき周辺画像ＣＰを生成する。周辺画像ＣＰの生成は、画像生成部８３が前述の手法により４つの撮影画像に基づき、車両１内から車両１外を見た仮想視点ＶＰにおいて、車両１の周辺領域を示す周辺画像ＣＰを生成する（ステップＳ１７）。この際、仮想視点ＶＰは、前述の通り任意の視点に設定できる。本実施の形態では、例えば、仮想視点ＶＰの位置は、車両１の車室内の前部座席中央かつヘッドレストの高さの位置に固定される。また、仮想視点ＶＰの向きは、携帯機器３から送信される携帯情報に基づいて、携帯機器３のディスプレイ３２とは逆側の面が対向する向きに設定される。この際、仮想視点ＶＰの方向は、携帯機器３の主面に対して直交する方向となる。

【0073】

次に、画像生成部８３は、記憶部から操作用アイコン画像を読み出し、周辺画像ＣＰに操作用アイコン画像を合成する（ステップＳ１８）。なお、操作用アイコン画像は、ディスプレイ５及び携帯機器３のディスプレイ３２のタッチパネル用センサに対応付けられ、アイコンがユーザにより操作された場合には、制御部８６により対応する情報が読み取られる。周辺画像ＣＰに操作用アイコン画像が合成されることで、周辺画像を携帯機器３のディスプレイ３２に表示した場合、ユーザは操作用アイコンを操作して、周辺画像ＣＰを参照しながら表示画像の拡大や縮小、表示範囲の変更、表示の終了等の操作情報を制御部３１へ送信することができる。

【0074】

画像生成部８３が操作用アイコン画像を周辺画像に合成すると、画像送信部８４は、通信部７を介してかかる周辺画像を無線通信によって携帯機器３に送信する（ステップＳ１９）。携帯機器３の通信部３１０は、画像処理装置２から送信されたこの周辺画像を受信する（ステップＳ２０）。制御部３１は、受信した周辺画像をディスプレイ３２に表示する（ステップＳ２１）。これにより、ディスプレイ３２には、車両１の車室内から見て、携帯機器３のディスプレイ３２とは逆側の面（以下、「背面」という。）が対向する向きに存在する物体を示す周辺画像が表示される。ユーザは、このような周辺画像を参照することで、車両１のボディなどによって視野が遮られることなく、車両１の周辺の携帯機器３の背面が向けられた向きに存在する物体（被写体）の様子を確認することができる。

【0075】

ディスプレイ３２に表示された周辺画像を参照したユーザが操作用アイコンを操作し、画像の調整を行う際には、制御部３１は、画像調整の処理を実行する（ステップＳ２２）。なお、ユーザが操作用アイコンを操作せず、画像の調整を行わない場合にはステップＳ２２は実行されず、処理はステップＳ２４に進む。

【0076】

画像調整の処理は、図７を用いて説明する。図７は、図６におけるステップＳ２２及びステップＳ２３の詳細を示すフローチャートである。図中、左側のフローチャートは、画像処理装置２のステップＳ２３の処理の詳細を示し、同右側は携帯機器３のステップＳ２２の処理の詳細を示す。画像調整の処理は、画像の縮尺及び表示範囲の変更について行われる。

【0077】

まず、携帯機器３の制御部３１は画像の縮尺が変更されたか否かを判断する。この際、携帯機器３の制御部３１は、携帯機器３の位置がユーザへ接近したか、又はユーザから遠ざかったか、すなわち離間したかを判断する（ステップＳ４１）。制御部３１は、携帯機器３からの携帯情報に基づき、携帯機器３の位置のユーザへの接近又は離間を判断できる。ユーザは携帯機器３のディスプレイ３２をユーザの側へ向けているので、制御部３１は、携帯情報に基づき、携帯機器３がディスプレイ３２の備わる方向へ移動したことを検出すると、携帯機器３はユーザへ接近したと判断できるからである。一方、制御部３１は、携帯機器３がディスプレイ３２の備わる方向と反対側の方向へ移動したことを検出すると、携帯機器３はユーザから離間したと判断する。

【0078】

制御部３１は、携帯機器３のユーザへの接近又は離間、及びその距離のデータを画像処理装置２へ送信する（ステップＳ４２）。

【0079】

接近又は離間及びその距離のデータが画像処理装置２へ送信されると、情報受信部８７がかかるデータを受信し、制御部８６へ送信する。制御部８６は、画像生成部８３の拡縮部８３ａを制御し、受信したデータに基づき、画像の縮尺を変更した周辺画像を生成する（ステップＳ４３）。受信したデータが例えば携帯機器３のユーザへの接近である場合、拡縮部８３ａは、既に生成した周辺画像に比較し縮尺が拡大した周辺画像を生成する。また、受信したデータが例えば携帯機器３のユーザへの離間である場合、拡縮部８３ａは、既に生成した周辺画像に比較し縮尺が縮小した周辺画像を生成する。縮尺の拡大及び縮小の幅は、携帯機器３の移動距離に基づく。すなわち、拡縮部８３ａ、携帯機器３のユーザへの接近距離が長いほど拡大の幅を大きくし、同様に離間距離が長いほど縮小の幅を大きくする。

【0080】

画像送信部８４は、拡縮部８３ａが縮尺を拡大又は縮小した周辺画像を携帯機器３へ送信する（ステップＳ４４）。

【0081】

携帯機器３は、ステップＳ４４で送信された周辺画像を受信すると（ステップＳ４５）、制御部３１はディスプレイ３２に周辺画像を表示する。

【0082】

これにより、ユーザは携帯機器３を自らに近づければ縮尺が拡大された画像を参照することができ、また携帯機器３を自らに遠ざければ縮尺が縮小された画像を参照することができる。ユーザは自ら保持した携帯機器３の位置を変更することにより、直感的に画像の縮尺を拡大及び縮小させることができる。

【0083】

なお、ユーザが画像の縮尺を拡大及び縮小させる旨の操作用アイコンを操作した場合に、かかるアイコンの操作に基づいて縮尺の拡大及び縮小を行ってもよい。この場合、例えば画像を拡大させる旨の操作用アイコンが１回操作されると、既に生成した周辺画像の縮尺を１．１倍し、同様に縮小させる旨の操作用アイコンが１回操作されると、既に生成した周辺画像の縮尺を０．９倍すればよい。これにより、ユーザは携帯機器３の位置を一定に保持したままであっても、画像を拡大及び縮小させることができる。

【0084】

次に、携帯機器３の制御部３１は画像の表示範囲が調整されたか否かを判断する（ステップＳ４６）。表示範囲の変更を示す信号が入力されたと判断すると（ステップＳ４６でＹｅｓ）、制御部３１は、変更されるべき表示範囲のデータを画像処理装置２へ送信する（ステップＳ４７）。変更されるべき表示範囲のデータは、例えば操作用アイコンが操作された回数や連続して操作された時間である。

【0085】

変更されるべき表示範囲のデータが画像処理装置２へ送信されると、情報受信部８７がかかるデータを受信し、制御部８６へ送信する。制御部８６は、画像生成部８３を制御し、受信した表示範囲のデータに基づき、表示範囲を変更した周辺画像を生成する（ステップＳ４８）。画像生成部８３は表示範囲を調整した周辺画像を画像送信部８４へ送信し、画像送信部８４は周辺画像を携帯機器３へ送信する（ステップＳ４９）。

【0086】

携帯機器３は、ステップＳ４９で送信された周辺画像を受信すると（ステップＳ５０）、制御部３１がディスプレイ３２に周辺画像を表示する。ステップＳ５０が実行された場合及びステップＳ４６でＮｏと判断された場合、は、図７における一連の処理を終了し、図６の処理に戻る。

【0087】

図６のステップＳ２４において、携帯機器３の制御部３１は、ユーザにより周辺画像の表示をＯＦＦ、すなわち終了する旨の操作が行われたか否か判断する。制御部３１は、表示を終了する旨の操作が行われたと判断すると（ステップＳ２４でＹｅｓ）、表示終了を示す信号を画像処理装置２へ送信し、ディスプレイ３２への周辺画像の表示を終了する。一方、制御部３１は、表示を終了する旨の操作が行われていないと判断すると（ステップＳ２４でＮｏ）、ステップＳ１３に戻り、同ステップに続く一連の処理を再度実行する。すなわち、携帯機器３の携帯情報が再度取得及び送信され（ステップＳ１３及び１４）、送信された携帯情報に基づいて画像生成部８３が周辺画像を生成する（ステップＳ１８）。これにより、表示を終了する旨の操作が行われるまで各ステップが繰り返し実行されることで、ユーザにより携帯機器３の車両１に対する相対的な向きが変更されても、画像生成部８３が携帯機器３からの携帯情報に基づいて周辺画像を生成する。その結果、携帯機器３のディスプレイ３２には、その時点の携帯機器の向きに応じて、携帯機器３の背面が向けられた向きに存在する物体を示す周辺画像が示されることになる。したがって、ユーザは所望の向きに携帯機器３を傾けることで、ユーザが見たいと所望する箇所を示す周辺画像を継続的に参照することができる。

【0088】

画像処理装置２の制御部８６は、表示終了を示す信号を受信したと判断すると（ステップＳ２４でＹｅｓ）、画像生成等の一連の処理を終了する。一方、制御部８６は、表示終了を示す信号を受信したと判断すると（ステップＳ２５でＮｏ）、ステップＳ１５に戻り、同ステップに続く一連の処理を再度実行する。また、ステップＳ２４及びＳ２５でＹｅｓと判断された場合には、図６における処理は終了する。

【0089】

次に、携帯機器３のディスプレイ３２に表示された周辺画像の例を説明する。図８及び図９は、携帯機器３のディスプレイ３２に表示された周辺画像の一例を示す図である。

【0090】

図８は、駐車場に進入した車両１を上方から俯瞰して示した図である。車両１の左側方には他の車両ＶＥが駐車しており、また車両１の右前方には障害物ＯＢが存在する。仮想視点ＶＰｄの視点の位置は、車両１内の前部座席中央の位置に固定されている。この際、携帯機器３のユーザが、周辺画像を表示する制御を開始し、携帯機器３の背面を車両１の左側へ向けると、仮想視点ＶＰｄの向きが車両１の左側に変更される。これにより、同図上方に示すように、車両１の左側に存在する物体を示す周辺画像がディスプレイ３２に表示される。これにより、ユーザは携帯機器３の向きを変えることで、ドアやピラー等の車両のボディーにより本来見ることができない範囲も参照することができ、他の車両ＶＥや駐車場内の白線の位置を明確に判別することができる。このため、ユーザは、所望する駐車領域へ車両１を容易に誘導することができる。

【0091】

図９は、ユーザが図８で示した車両左側の携帯機器３の向きを車両１の前方へ変更した際に、ディスプレイ３２に表示される周辺画像を示した図である。この場合は、仮想視点ＶＰｅの向きが車両１の前方に変更される。これにより、同図上方に示すように、車両１の前方に存在する物体を示す画像がディスプレイ３２に表示される。ユーザは、車両１のボディーにより本来見ることができない範囲も参照することができ、障害物ＯＢの位置を正確に判別することができる。このため、ユーザは、車両１の前方に障害物ＯＢが存在する場合であっても、車両１と障害物ＯＢとの接触を容易に回避することができる。

【0092】

以上のように、画像処理システム１０は、車両１で用いられる画像処理装置２と、画像処理装置２とは別個に構成される携帯機器３とを備えている。画像処理装置２は、複数の車載カメラ４でそれぞれ得られた複数の撮影画像を取得する。画像処理装置２は、携帯機器３から受信した携帯機器の向きを示す携帯情報に基づいて、複数の撮影画像から携帯機器３の向いている方向に存在する被写体を示す周辺画像ＣＰを生成する。そして、画像処理装置は、生成した周辺画像ＣＰを携帯機器３へ送信する。このように、携帯機器３が向いている方向に存在する被写体を示す周辺画像を携帯機器３に送信するため、携帯機器３ではこの周辺画像を表示することができる。このため、携帯機器３のユーザは、輸送機器内において携帯機器３を向けた方向について、車両１で遮られた周辺の状況を確認することができる。

【0093】

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、仮想視点ＶＰの位置は車両１の前部座席中央に固定されていた。これに対して、第２の実施の形態においては、仮想視点ＶＰの位置が携帯機器３の位置に基づいて設定される。これにより、ユーザは携帯機器３を車両１内の任意の向き及び位置において保持することで、より所望の周辺画像を参照することができるようになっている。

【0094】

第２の実施の形態の画像処理システム１０は第１の実施の形態と同様の構成及び処理を含むため、以下、第１の実施の形態との相違点を中心に説明する。

【0095】

まず、第２の実施形態における画像処理システム１０の処理の流れについて説明する。図１０は、第２の実施の形態の画像処理システム１０の処理の流れを示すフローチャートである。第１の実施の形態との相違点は、ステップＳ１１ａからステップＳ１７ａまでの処理である。

【0096】

まず、携帯機器３の制御部３１が、携帯機器３のユーザにより操作部３６が操作され、携帯機器３のディスプレイ３２に車両周辺の画像の表示を開始させるべき操作がなされたか否か、すなわち操作部３６による開始ボタンが押されたか否かが判断される（ステップＳ１１ａ）。この際、第１の実施の形態と同様に、携帯機器３のユーザは、車両１の車室内に予め定められた基準位置に、予め定められた向きに向くように携帯機器３を固定し、開始ボタンを押すようにする。これにより、制御部８６は、開始ボタンが押された後において、ユーザが携帯機器３の向きを変化させた場合や、携帯機器３を車両１内の様々な位置へ移動させた場合ででも、加速度センサ３７及びジャイロセンサ３８からの検出信号の内容を示す携帯情報を受信することで、携帯機器３の車両１に対する相対的な向き及び位置を認識することができる。

【0097】

開始ボタンが押されていないと判断する場合は（ステップＳ１１ａでＮｏ）、所定の周期でステップＳ１１が実行されユーザにより開始ボタンが押されたか否かが再度判断される。

【0098】

一方、開始ボタンが押されたと判断する場合は（ステップＳ１１ａでＹｅｓ）、制御部３１は開始ボタンが押された旨を示す信号を画像処理装置２へ送信する。また、制御部３１は、ジャイロセンサ３８及び加速度センサ３７から携帯機器３の携帯情報を取得する（ステップＳ１３ａ）。

【0099】

制御部３１は、携帯情報を取得すると、かかる携帯情報から携帯機器３の車両１に対する相対的な向き及び位置を算出し、画像処理装置２へ送信する（ステップＳ１４ａ）。すなわち、制御部３１は、携帯機器３のディスプレイ３２の面の向きが定められた向きからどれほど上下左右へ変化したかを算出し、携帯機器３の位置が基準位置からどれほど移動したかを算出する。

【0100】

画像処理装置２の情報受信部８７は、開始ボタンが押された旨を示す信号を受信すると（ステップＳ１２ａでＹｅｓ）、携帯機器３から送信される携帯機器３の携帯情報を通信部７を介して受信する（ステップＳ１５ａ）。

【0101】

ステップＳ１５ａが実行されると、画像取得部８１は、４つの車載カメラ４Ｆ，４Ｂ，４Ｌ，４Ｒでそれぞれ得られた４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲを取得する（ステップＳ１６ａ）。

【0102】

画像生成部８３は、画像取得部８１が取得した撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲに基づき周辺画像ＣＰを生成する。すなわち、画像生成部８３が、前述の手法により、４つの撮影画像に基づいて、車両１内から車両１外を見た仮想視点ＶＰにおいて、車両１の周辺領域を示す周辺画像ＣＰを生成する（ステップＳ１７ａ）。この際、仮想視点ＶＰは、ステップ１４ａにおいて、携帯機器３から送信された携帯情報に基づき、携帯機器３の車両１に対する相対的な向き及び位置に基づいて設定される。例えば、仮想視点ＶＰの位置は、携帯機器３が存在する位置とされ、また、仮想視点ＶＰの向きは、携帯機器３の背面が対向する向きに設定される。

【0103】

ステップＳ１７ａが実行されるとステップＳ１８以下が実行されるが、かかる処理は第１の実施の形態と同様のため説明は省略する。

【0104】

なお、ステップＳ２４においてユーザにより周辺画像の表示が終了されないと判断した場合、表示を終了する旨の操作が行われるまで各ステップが繰り返し実行されることで、ユーザにより携帯機器３の車両１に対する相対的な向き及び位置が変更されても、画像生成部８３が携帯機器３からの携帯情報に基づいて周辺画像を生成する。したがって、第２の実施の形態においては、ユーザは所望の向きに携帯機器３を傾け、かつ所望の位置に携帯機器３を移動させることで、かかる携帯機器３の位置から携帯機器３の背面が向けられた向きに存在する物体を示す周辺画像を継続的に参照することができる。

【0105】

次に、第２の実施の形態における携帯機器３のディスプレイ３２に表示された周辺画像の例を説明する。図１１及び図１２は、携帯機器３のディスプレイ３２に表示された周辺画像の一例を示す図である。

【0106】

図１１において、携帯機器３の向きは車両１の左側に向けられ、携帯機器３の位置は助手席の位置である。したがって、この場合は、仮想視点ＶＰｆの視点の向きは車両１の左側であり、また、仮想視点ＶＰｆの視点の位置は助手席の位置となる。この仮想視点ＶＰｆの向き及び位置に基づき周辺画像を生成すると、同図上方に示すように、助手席の位置から見て車両１の左側に存在する物体を示す周辺画像がディスプレイ３２に表示される。これにより、ユーザは、助手席の位置から車両左側の向きにおけるドアやピラー等の車両のボディーにより本来見ることができない範囲を参照することができる。これにより、助手席の位置における他の車両ＶＥや駐車場内の白線の位置を明確に判別することができる。このため、ユーザは、所望する駐車領域へ車両１を容易に誘導することができる。

【0107】

図１２は、ユーザが図１１で示した携帯機器３の位置及び向きを変更した際に、ディスプレイ３２に表示される周辺画像を示した図である。この場合は、携帯機器３の向きが車両１の前方へ変更され、携帯機器３の位置が運転席の位置に変更されている。したがって、仮想視点ＶＰｇの視点の向きは車両１の前方であり、また、仮想視点ＶＰｇの視点の位置は運転席の位置となる。この仮想視点ＶＰｇの向き及び位置に基づき周辺画像を生成すると、同図上方に示すように、運転席の位置から見て車両１の前側に存在する物体を示す周辺画像がディスプレイ３２に表示される。ユーザは、車両１のボディーにより本来見ることができない範囲も参照することができ、障害物ＯＢの位置を運転席の位置から正確に判別することができる。このため、ユーザが特にドライバーである場合には、ドライバーの視点から車両１の前方に障害物ＯＢの存在を認識できるため、車両１を操作して障害物ＯＢとの接触を容易に回避することができる。

【0108】

以上のように、画像処理システム１０は、携帯機器３の位置における携帯機器３の向いている方向に存在する被写体を示す周辺画像を生成して、携帯機器３に送信するため、携帯機器３ではかかる周辺画像を表示することができる。このため、携帯機器３のユーザは、車両１内の所望の位置において携帯機器３を向けた方向について、車両１等の輸送機器で遮られた周辺の状況を確認することができる。

【0109】

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態では、周辺画像に車両１のボディーは表示されていなかった。したがって、ユーザは車両１の周囲を示す周辺画像を参照し、他の車両や障害物の存在は認識できても、車両１のボディーとの位置関係は把握できなかった。特に、車両１のボディーが大型になるほど、所望する駐車領域への誘導や障害物との接触回避が困難となる。このため、第３の実施の形態の画像処理装置２は、生成した周辺画像に車両１のボディーを示す半透明画像を重畳させている。第２の実施の形態の画像処理システム１０は第１の実施の形態と同様の構成及び処理を含むため、以下、第１の実施の形態との相違点を中心に説明する。

【0110】

まず、第３の実施形態における画像処理装置２の構成について説明する。図１３は、第３の実施の形態の画像処理装置２の構成を示すブロック図である。第１の実施の形態との相違点は、画像生成部８３が重畳部８３ｂを備え、記憶部８５が内装画像８５ｂを備えている点である。その他の構成は、第１の実施の形態と同様に構成され、また同様に機能する。

【0111】

重畳部８３ｂは、後述する記憶部８５に記憶された半透明の車室内画像データを周辺画像に重畳させるよう画像処理を行う。画像送信部８４により車室内画像データが重畳された周辺画像が携帯機器３へ送信されることで、ユーザはディスプレイ３２に表示された周辺画像を参照し、他の車両や障害物と車両１のボディーとの位置関係を把握することができる。

【0112】

内装画像８５ｂは、車両１に備わる各座席及び各座席間から車両１内部を示した画像である。また、内装画像８５ｂは複数段階の透過率毎に車両１内部を示した画像が記憶される。例えば、内装画像８５ｂの透過率が０％の場合には、ディスプレイ３２に表示された内装画像８５ｂを通して車両１の周辺を参照することができない。また、内装画像８５ｂの透過率が５０％の場合には、車両１のボディーも参照できるが、内装画像８５ｂを通して周辺画像を参照することもできる。透過率が高くなると内装画像８５ｂを通して周辺画像をより鮮明に参照でき、透過率が低くなると内装画像８５ｂがより鮮明に参照できる。なお、内装画像８５ｂの透過度は、車両周辺の画像を透過するのに好ましい領域として設定したドアやインストルメントパネル等の車体領域についてのみ透過度を異ならせる。すなわち、フロントウインドウやドアウインドウによる窓領域は、透過度１００％の透明部分とし、自車両を道路面に投影した投影領域は、所定の透過度の半透明部分としている。

【0113】

次に、周辺画像に内装画像を重畳する手法及び操作用アイコン画像を合成する手法について説明する。図１４は、周辺画像ＣＰに内装画像８５ｂを重畳する手法、及び周辺画像に操作用アイコン画像ＴＰを合成する手法を説明するための図である。

【0114】

画像生成部８３が周辺画像ＣＰを生成すると、重畳部８３ｂは、かかる周辺画像に記憶部８５に記憶された半透明の内装画像８５ｂを重畳させる。重畳部８３ｂにより半透明の内装画像８５ｂが重畳されると、画像生成部８３はかかる画像に操作用アイコン画像ＴＰを合成する。このように生成された周辺画像は、画像送信部８４によりディスプレイ５、及び通信部７を介して携帯機器３へ送信される。

【0115】

次に、第３の実施形態における画像処理システム１０の処理について説明する。図１５は、第３の実施の形態の画像処理システム１０の処理の流れを示すフローチャートである。第１の実施の形態との相違点は、画像処理装置の処理にステップＳ１７ｂが加わった点である。その他のステップは、第１の実施の形態と同様に処理される。

【0116】

ステップＳ１７において画像生成部８３が周辺画像ＣＰを生成すると、重畳部８３ｂは、ステップＳ１５で受信した携帯機器３の携帯情報に基づき、記憶部８５から携帯機器３のディスプレイ３２の反対面が向く方向の内装画像８５ｂを読み出す。この際、重畳部８３ｂは、ユーザにより透過率の指示がない場合には、透過率５０％の内装画像８５ｂを読み出す。重畳部８３ｂは内装画像８５ｂを読み出すと、周辺画像ＣＰに内装画像８５ｂを重畳する（ステップＳ１７ｂ）。重畳部８３ｂにより内装画像８５ｂが重畳された周辺画像が生成されると、画像生成部８３が周辺画像に操作用アイコン画像ＴＰを合成するステップＳ１８が実行され、第１の実施の形態と同様の処理が実行される。

【0117】

次に、第３の実施形態における画像調整の処理について説明する。図１６は、第３の実施形態における画像調整の処理を示すフローチャートである。図１６は、図１５におけるステップＳ２２及びステップＳ２３の詳細を示すフローチャートである。図１６は、第１の実施の形態における図７で説明した画像調整の処理と同様の処理を含むので、以下では図７の処理との相違点について説明する。

【0118】

まず、画像調整の処理において、携帯機器３の制御部３１は画像の透過率が変更されたか否かを判断する（ステップＳ５１）。すなわち、制御部３１は、ディスプレイ３２のタッチパネルセンサのセンサ出力に基づき、操作用アイコン画像ＴＰのうち透過率が変更を示す信号が入力されたか否か判断する。この際、ユーザは、例えば透過率を高めたい場合には、ディスプレイ３２の右上隅等の所定の位置に合成された操作用アイコンを操作すればよい。透過率が変更を示す信号が入力されたと判断すると（ステップＳ５１でＹｅｓ）、制御部３１は、変更されるべき透過率のデータを画像処理装置２へ送信する（ステップＳ５２）。変更されるべき透過率のデータは、例えば操作用アイコンが操作された距離や連続して操作された時間である。

【0119】

変更されるべき透過率のデータが画像処理装置２へ送信されると、情報受信部８７がかかるデータを受信し、制御部８６へ送信する。制御部８６は、画像生成部８３の重畳部８３ｂを制御し、受信した透過率のデータに基づき、記憶部８５から内装画像８５ｂを読み出す。重畳部８３ｂは読み出した内装画像８５ｂを周辺画像に重畳する（ステップＳ５３）。透過率の変更のデータが例えば操作用アイコンが操作された距離である場合、重畳部８３ｂは、ディスプレイ３２上の操作距離５ｍｍにつき１０％だけ透過率を変更した内装画像８５ｂを読み出す。画像生成部８３は調整された周辺画像を生成し、画像送信部８４へ送信する。

【0120】

画像送信部８４は、画像生成部８３が調整された周辺画像を携帯機器３へ送信する（ステップ５４）。

【0121】

携帯機器３は、ステップＳ５４で送信された周辺画像を受信すると（ステップ５５）、制御部３１はディスプレイ３２に周辺画像を表示する。ステップＳ５５が実行された場合及びステップＳ５１でＮｏと判断された場合は、図１５の処理に戻りステップＳ２４が実行される。

【0122】

これにより、ユーザは内装画像の透過率を様々に変更でき、他の車両や障害物と車両１のボディーとの位置関係を最も把握しやすい透過率でディスプレイ３２に表示された周辺画像を参照することができる。

【0123】

次に、第３の実施の形態における携帯機器３のディスプレイ３２に表示された周辺画像の例について説明する。図１７及び図１８は、第３の実施の形態における携帯機器３のディスプレイ３２に表示された周辺画像の一例を示す図である。

【0124】

図１７及び図１８は、駐車場に進入した車両１を上方から示した図であるが、第１の実施の形態と異なる点は、周辺画像に内装画像が重畳されている点である。

【0125】

図１７及び図１８に示すように、ユーザはディスプレイ３２に表示された周辺画像を参照することで、他の車両と車両１のボディーとの位置関係を明確に把握することができる。これにより、車両１が大型であっても、ユーザは所望する駐車領域への誘導や障害物との接触回避を容易に行うことができる。

【0126】

以上のように、第３の実施の形態の画像処理システム１０においては、周辺画像に内装画像を重畳させる。このため、携帯機器３のユーザは、周辺画像のうち車両１等の輸送機器の存在する範囲を半透明画像により把握することができる。すなわち、ユーザは他の車両や障害物と車両１のボディーとの位置関係を明確に把握することができる。

【0127】

＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0128】

画像処理システム１０の処理の流れの説明のうち、ステップＳ２４でＮｏと判断された場合、ステップＳ１３に戻っていたのをステップＳ２０に戻るようにし、かつステップＳ２５でＮｏと判断された場合、ステップＳ１４に戻っていたのをステップＳ１６に戻るようにしてもよい（図１９参照）。このような処理を行うことで、ステップＳ１３において携帯機器３の向き及び位置を示す携帯情報を取得した後は、ステップＳ１３が実行されず、再度携帯情報を取得することがない。すなわち、周辺画像の表示が開始された後に携帯機器３の向き及び位置が変わった場合でも、周辺画像の表示は開始時の向き及び位置で維持される。これにより、ユーザは周辺画像の表示の開始時のみ所望の向き及び位置に携帯機器を据えればよく、かかる表示の開始後には任意の位置で所望の周辺画像を参照することができ、所望の向き及び位置に携帯機器を据え続ける必要がない。ユーザは、自由な姿勢で所望の周辺画像を参照することができる。

【0129】

上記実施の形態では、携帯機器３は車両１内に置かれるものとして説明を行ったが、携帯機器３は車両１外に置かれてもよい。この場合、携帯機器３のユーザは車両１を透過して周辺を参照できるので、車両１の運転者に対し、車両１が移動する際の誘導を車外から容易に行うことができる。なお、この場合、内装画像８５ｂに加えて車両１の外装を示す画像を用いてもよい。

【0130】

上記実施の形態では、車両で用いられる車両用装置として画像処理装置２を例に説明を行ったが、車両の他、鉄道、船舶、航空機等で用いられてもよく、輸送機器に用いられればよい。

【0131】

上記実施の形態では、車両で用いられる車両用装置として画像処理装置２を例に説明を行ったが、車両用装置が携帯電話やスマートフォンなどの可搬性の通信装置として構成されてもよい。

【0132】

上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に合成処理を生成する機能を含む各種の機能が実現されると説明したが、これら機能のうちの一部は、電気的なハードウェア回路により実現されてもよい。

【符号の説明】

【0133】

１ 車両
１０ 画像処理システム
２ 画像処理装置
３ 携帯機器
４ 車載カメラ
５ ディスプレイ
８１ 画像取得部
８２ 画像メモリ
８３ 画像生成部
８４ 画像送信部
８５ 記憶部
８６ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】