IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 本田技研工業株式会社の特許一覧 ▶ アイシン精機株式会社の特許一覧

<>
  • 特開-画像処理装置 図1
  • 特開-画像処理装置 図2
  • 特開-画像処理装置 図3
  • 特開-画像処理装置 図4
  • 特開-画像処理装置 図5
  • 特開-画像処理装置 図6
  • 特開-画像処理装置 図7
  • 特開-画像処理装置 図8
  • 特開-画像処理装置 図9
  • 特開-画像処理装置 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024106677
(43)【公開日】2024-08-08
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240801BHJP
   G09G 5/00 20060101ALI20240801BHJP
   G09G 5/377 20060101ALI20240801BHJP
   G09G 5/37 20060101ALI20240801BHJP
   G09G 5/38 20060101ALI20240801BHJP
   G09G 5/34 20060101ALI20240801BHJP
   B60R 1/27 20220101ALI20240801BHJP
【FI】
H04N7/18 J
G09G5/00 550C
G09G5/377 100
G09G5/37 310
G09G5/38 100
G09G5/34 A
G09G5/37 600
G09G5/00 530H
B60R1/27
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023011067
(22)【出願日】2023-01-27
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110002505
【氏名又は名称】弁理士法人航栄事務所
(72)【発明者】
【氏名】藤原 達朗
(72)【発明者】
【氏名】森田 純平
(72)【発明者】
【氏名】▲高▼久 裕貴
(72)【発明者】
【氏名】山本 欣司
(72)【発明者】
【氏名】渡邊 一矢
【テーマコード(参考)】
5C054
5C182
【Fターム(参考)】
5C054FD03
5C054FD07
5C054FE17
5C054HA30
5C182AA02
5C182AA03
5C182AB25
5C182BA01
5C182BA03
5C182BA06
5C182BA14
5C182BA65
5C182BA66
5C182CB11
5C182CB32
5C182CB42
5C182CB55
5C182CC13
5C182CC21
(57)【要約】
【課題】車両の周囲の状況を正確に把握することを可能とする。
【解決手段】車両1に設けられた撮像装置11から取得した撮像画像に基づいて、車外視点V1から車両1を見たときの車両1の周囲の画像である周囲画像21を生成し、車外視点V1から車両1をみたときの車両1を示す車両画像22を周囲画像21に合成した合成画像20を生成して、合成画像20を表示装置12に表示させる制御部10は、決められたパターンで車両1に対して車外視点V1を回転移動させて合成画像20を表示させる車外自動回転制御と、操作部13の操作に応じた位置に車外視点V1を移動させて合成画像20を表示させる車外手動回転制御と、を行い、車外自動回転制御と車外手動回転制御とで、車両画像22の透過率を変更する。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両に設けられた撮像装置から取得した撮像画像に基づいて、仮想視点から前記車両を見たときの前記車両の周囲の画像である周囲画像を生成し、前記仮想視点から前記車両をみたときの前記車両を示す車両画像を前記周囲画像に合成した合成画像を生成して、前記合成画像を表示装置に表示させるプロセッサを備え、
前記プロセッサは、
決められたパターンで前記車両に対して前記仮想視点を回転移動させて前記合成画像を前記表示装置に表示させる第1制御と、前記車両の操作部の操作に応じた位置に前記仮想視点を移動させて前記合成画像を前記表示装置に表示させる第2制御と、を行い、
前記第1制御を行う場合と、前記第2制御を行う場合とで、前記車両画像の透過率を変更する画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記プロセッサは、前記第1制御を行う場合には、前記第2制御を行う場合よりも、前記車両画像の透過率を高くする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記仮想視点は、前記車両の外の第1仮想視点と、前記車両の中の第2仮想視点とを含み、
前記プロセッサは、
前記仮想視点を前記第1仮想視点とする前記第1制御における前記車両画像の透過率を、前記仮想視点を前記第1仮想視点とする前記第2制御における前記車両画像の透過率よりも高くする画像処理装置。
【請求項4】
請求項3に記載の画像処理装置であって、
前記プロセッサは、
前記仮想視点を前記第2仮想視点とする前記第1制御における前記車両画像の透過率と、前記仮想視点を前記第2仮想視点とする前記第2制御における前記車両画像の透過率を、前記仮想視点を前記第1仮想視点とする前記第2制御における前記車両画像の透過率よりも高くする画像処理装置。
【請求項5】
請求項1から4のいずれか1項に記載の画像処理装置であって、
前記仮想視点は、前記車両に設定される基準点と前記仮想視点とを結ぶ直線の延びる方向と前記車両の高さ方向とが非一致となる位置に設定される画像処理装置。
【請求項6】
請求項1から4のいずれか1項に記載の画像処理装置であって、
前記プロセッサは、前記車両を固定する操作の検出を契機として、前記第1制御を開始する画像処理装置。
【請求項7】
請求項1から4のいずれか1項に記載の画像処理装置であって、
前記プロセッサは、前記第2制御の終了時に、当該第2制御で最後に設定した前記仮想視点の位置の情報を保持し、前記第2制御から前記第1制御に切り替える場合には、当該第2制御の終了時に保持した前記情報に基づく位置から、前記仮想視点の移動を開始させる画像処理装置。
【請求項8】
請求項7に記載の画像処理装置であって、
前記プロセッサは、前記車両を起動する操作の検出を契機として、保持していた前記情報を削除する画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関する。
【背景技術】
【0002】
近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて、出願人は、予防安全技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。例えば、車両の周囲の状況を把握することを支援する予防安全技術として、特許文献1-5に記載されたものが知られている。
【0003】
特許文献1には、車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画像を生成する技術において、車両の表示透過率を変えることが記載されている。
【0004】
特許文献2には、車両の周辺を撮影する複数のカメラから取得される複数の画像に基づいて仮想視点から車両方向をみる第1合成画像を生成し、車両の周囲を周回するように仮想視点の位置が段階的に変更されて生成される複数の第1合成画像を表示装置に連続して出力することが記載されている。
【0005】
特許文献3には、車両の異なる位置に配置された複数のカメラで得られた複数の撮影画像を用いて、連続的に変更される仮想視点からみた車両の周辺を示す仮想視点画像を生成して表示することが記載されている。
【0006】
特許文献4には、車両に搭載されたカメラの撮影画像から、車両および車両の周辺領域を仮想視点からみた周辺画像を生成し、その周辺画像に車両を示す車両像を重畳した合成画像を生成する技術において、車両像を車体の枠を線状のフレームで表すこと、車体の枠の一部を非表示にすることが記載されている。
【0007】
特許文献5には、車両の周囲に存在する障害物の検出位置に関する情報を取得する情報取得部と、車両の周囲を撮像した撮像画像に基づいて、仮想視点から前記車両の周囲をみた仮想視点画像を生成する生成部と、前記仮想視点画像における前記検出位置に前記障害物の存在を通知する通知画像を合成するとともに、前記仮想視点画像に車両画像を合成する合成部と、を備える画像処理装置が記載されている。この画像処理装置では、通知画像や車両画像の少なくとも一部を透過させている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特許第3300334号公報
【特許文献2】特許第5627253号公報
【特許文献3】特開2014-197817号公報
【特許文献4】特開2014-68308号公報
【特許文献5】特開2018-110328号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
仮想視点から見た画像に車両画像を合成する場合には、特許文献4、5等のように、車両画像の透過率を高くすることが有効と考えらえる。しかし、目的によっては、車両画像が明確に見えていることが良い場合もある。
【0010】
本開示は、仮想視点から見た画像に車両画像を合成して表示する場合に、車両画像の表示形態を適切に制御して、車両の周囲の状況を正確に把握できるようにする技術を提供することを目的としている。そして、延いては持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0011】
本開示の一態様の画像処理装置は、車両に設けられた撮像装置から取得した撮像画像に基づいて、仮想視点から前記車両を見たときの前記車両の周囲の画像である周囲画像を生成し、前記仮想視点から前記車両をみたときの前記車両を示す車両画像を前記周囲画像に合成した合成画像を生成して、前記合成画像を表示装置に表示させるプロセッサを備え、前記プロセッサは、決められたパターンで前記車両に対して前記仮想視点を回転移動させて前記合成画像を前記表示装置に表示させる第1制御と、前記車両の操作部の操作に応じた位置に前記仮想視点を移動させて前記合成画像を前記表示装置に表示させる第2制御と、を行い、前記第1制御を行う場合と、前記第2制御を行う場合とで、前記車両画像の透過率を変更するものである。
【発明の効果】
【0012】
本発明によれば、車両の周囲の状況を正確に把握することが可能になる。
【図面の簡単な説明】
【0013】
図1図1は、本開示の一実施形態の画像処理装置を搭載する車両1を示す図である。
図2図2は、車外視点V1を説明するための模式図である。
図3図3は、図2に示す位置に車外視点V1が設定されている場合に生成される合成画像の表示例を示す図である。
図4図4は、車外視点V1が図2とは異なる位置に設定されている状態を示す模式図である。
図5図5は、図4に示す位置に車外視点V1が設定されている場合に生成される合成画像の表示例を示す図である。
図6図6は、車内視点V2を説明するための模式図である。
図7図7は、図6に示す位置に車内視点V2が設定されている場合に生成される合成画像の表示例を示す図である。
図8図8は、車内視点V2が図6とは異なる位置に設定されている状態を示す模式図である。
図9図9は、図8に示す車内視点V2が設定されている場合に生成される合成画像の表示例を示す図である。
図10図10は、制御部10の動作を説明するための模式図である。
【発明を実施するための形態】
【0014】
図1は、本開示の一実施形態の画像処理装置を搭載する車両1を示す図である。図1に示す車両1は、駆動源と、駆動源の動力によって駆動される駆動輪及び転舵可能な転舵輪を含む車輪(いずれも不図示)と、を有する自動車である。
【0015】
例えば、車両1は、左右一対の前輪及び後輪を有する四輪の自動車である。車両1の駆動源は、電動機であってもよいし、ガソリンエンジンやディーゼルエンジン等の内燃機関であってもよいし、電動機と内燃機関との組み合わせであってもよい。また、車両1の駆動源は、左右一対の前輪を駆動してもよいし、左右一対の後輪を駆動してもよいし、左右一対の前輪及び後輪の四輪を駆動してもよい。前輪及び後輪は、いずれか一方が転舵可能な転舵輪であってもよいし、双方が転舵可能な転舵輪であってもよい。
【0016】
車両1は、制御部10と、撮像装置11と、表示装置12と、操作部13と、記憶部14と、を備える。
【0017】
撮像装置11は、1つ以上のデジタルカメラにより構成され、制御部10によって制御される。撮像装置11は、例えば、車両1の前方を撮像する前方カメラと、車両1の後方を撮像する後方カメラと、車両1の左側方を撮像する左側方カメラと、車両1の右側方を撮像する右側方カメラと、を含み、これらによって車両1の周囲を撮像することにより得られた画像の画像データを制御部10へ出力する。
【0018】
表示装置12は、例えば、有機EL(electro-luminescence)ディスプレイ又は液晶ディスプレイ等のディスプレイによって構成され、制御部10によって制御される。
【0019】
操作部13は、車両1の乗員であるユーザからの入力を受け付けるキーやボタン、表示装置12に搭載されたタッチパネル等の入力手段であり、ユーザからの各種操作を受け付ける。操作部13は、車両1を起動するための部材(イグニッションスイッチや起動ボタン)と、車両1を固定するための部材(シフトレバーやパーキングブレーキ)等を含む。
【0020】
記憶部14は、RAM(Random Access Memory)等のワークメモリの他、例えばフラッシュメモリ等の非一時的な記憶媒体を含んで構成される。記憶部14には、制御部10が各種処理を行うためのプログラムが記憶される。
【0021】
制御部10は、ソフトウエア(プログラム)を実行して各種機能を果たすプロセッサにより構成される。プロセッサとしては、汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又は、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等を用いることができる。制御部10は、1つのプロセッサで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。制御部10と記憶部14により、画像処理装置が構成される。
【0022】
(表示制御)
制御部10は、撮像装置11から取得した画像を座標変換し、車両1を仮想視点から見たときの車両1の周囲の画像である周囲画像を生成する。制御部10は、この周囲画像に、車両1を上記仮想視点からみたときの車両1の画像である車両画像を合成して合成画像を生成し、この合成画像を表示装置12に表示させる制御を行う。
【0023】
制御部10は、仮想視点として、車両1の外の車外視点V1と、車両1の中の車内視点V2と、を設定する。車外視点V1と車内視点V2は、それぞれ、複数の位置を取り得る。
【0024】
(車外視点)
図2は、車外視点V1を説明するための模式図である。図2には、車両1を上方から見たときの車両1に相当する画像Aと、車両1を前方から見た時の車両1に相当する画像Bと、が示されている。画像Aと画像Bには、車両1の3次元座標における任意の位置に設定された基準点Pが示されている。図2の例では、基準点Pは、車両1の前後方向の略中央且つ高さ方向の略中央に設定されている。
【0025】
画像Aの周囲には、基準点Pを中心とする円Rが示されている。車外視点V1は、この円R上に設定される。図2の例では、車両1の右後方に車外視点V1が位置している。図2には、車両1の幅方向(左右方向)に延び且つ基準点Pを通る仮想線Hが示されている。車外視点V1は、この仮想線Hよりも上方に設定され、且つ、車外視点V1と基準点Pを結ぶ直線と仮想線Hとのなす角度が0度以上90度未満となる位置に設定される。このように、車外視点V1は、車両1に設定される基準点Pと車外視点V1とを結ぶ直線の延びる方向と車両1の高さ方向とが非一致となる位置に設定される。
【0026】
円R上には、図2の例では車両1の右側方の位置に、任意の基準視点BPが設定されている。基準視点BPと基準点Pを結ぶ直線と、車外視点V1と基準点Pとを結ぶ直線のなす角度を方位角αと記載する。また、車外視点V1と基準点Pを結ぶ直線と仮想線Hとのなす角度を仰角βと記載する。方位角αと仰角βは、それぞれ、変更可能であり、車外視点V1の位置は、0度から360度の範囲の方位角αと、0度から90度の範囲の仰角βとの組み合わせによって決まる。
【0027】
なお、方位角αの取り得る範囲は、0度から360度の範囲より狭い範囲であってもよい。同様に、仰角βの取り得る範囲は、0度から90度の範囲より狭い範囲であってもよい。
【0028】
図3は、図2に示す位置に車外視点V1が設定されている場合に生成される合成画像の表示例を示す図である。表示装置12の画面12Aには合成画像20が含まれる。合成画像20には、車両1を右後方から見たときの車両1を示す車両画像22と、その車両1の周囲の周囲画像21と、が含まれている。
【0029】
図4は、車外視点V1が図2とは異なる位置に設定されている状態を示す模式図である。図4に示す車外視点V1は、仰角βは図2と同じであるが、方位角αが図2よりも大きくなっており、車両1の左後方に設定されている。
【0030】
図5は、図4に示す位置に車外視点V1が設定されている場合に生成される合成画像の表示例を示す図である。図5に示す合成画像20は、図3に示す合成画像20を、車両画像22を中心にして反時計回りに回転させたものとなっている。このように、車外視点V1の方位角αを変更することで、合成画像20を車両1の周囲に沿う方向に回転表示させることができる。
【0031】
(車内視点)
図6は、車内視点V2を説明するための模式図である。図6には、前述したのと同じ画像A、画像B、及び基準点Pが示されている。
【0032】
画像Aには、基準点Pを中心とする円RRが示されている。円RRは、円Rよりも半径が小さく、画像Aの内側に設定されている。車内視点V2は、この円RR上に設定される。図6の例では、基準点Pの右後方に車内視点V2が位置している。
【0033】
図6には、前述した仮想線Hが示されている。車内視点V2は、この仮想線Hよりも上方に設定され、且つ、車内視点V2と基準点Pを結ぶ直線と仮想線Hとのなす角度が0度以上90度未満となる位置に設定される。このように、車内視点V2は、車両1に設定される基準点Pと車内視点V2とを結ぶ直線の延びる方向と車両1の高さ方向とが非一致となる位置に設定される。
【0034】
円RRには、図6の例では基準点Pの右側方の位置に、任意の基準視点BPが設定されている。基準視点BPと基準点Pを結ぶ直線と、車内視点V2と基準点Pとを結ぶ直線のなす角度は、前述した方位角αと同じである。また、車内視点V2と基準点Pを結ぶ直線と仮想線Hとのなす角度を仰角β1と記載する。仰角β1は、仰角βの取り得る範囲の角度のうちの任意の値であり、固定値である。
【0035】
図7は、図6に示す位置に車内視点V2が設定されている場合に生成される合成画像の表示例を示す図である。図7に示す合成画像30には、車両1の内部から左前方を見たときの車両1の周囲の周囲画像31と、その車両1の一部を示す車両画像32と、が含まれている。
【0036】
図8は、車内視点V2が図6とは異なる位置に設定されている状態を示す模式図である。図8に示す車内視点V2は、仰角β1は図6と同じであるが、方位角αが図6よりも大きくなっており、基準点Pの左後方に設定されている。
【0037】
図9は、図8に示す車内視点V2が設定されている場合に生成される合成画像の表示例を示す図である。図9に示す合成画像30は、図7に示す合成画像30を、車両画像32を中心にして反時計回りに回転させたものとなっている。このように、車内視点V2の方位角αを変更することで、合成画像30を車両1の周囲に沿う方向に回転表示させることができる。
【0038】
(自動回転制御)
制御部10は、決められたパターンで車外視点V1を回転移動させて、各位置に車外視点V1がある状態で生成した合成画像20を表示装置12に順次表示させる車外自動回転制御と、決められたパターンで車内視点V2を回転移動させて、各位置に車内視点V2がある状態で生成した合成画像30を表示装置12に順次表示させる車内自動回転制御と、を行う。
【0039】
上記のパターンとは、例えば、仰角β又は仰角β1を一定に維持した状態で、方位角αを、単位角度ずつ増加させていくことを定めた制御内容である。このように、車外自動回転制御と車内自動回転制御は、それぞれ、ユーザの意思とは無関係に、決められたパターンで仮想視点を移動させていき、合成画像を自動で回転表示させるものである。車外自動回転制御と車内自動回転制御を総称して自動回転制御と記載する。
【0040】
(手動回転制御)
制御部10は、操作部13の操作に応じた位置に車外視点V1を移動させて、その移動位置に車外視点V1がある状態で生成した合成画像20を表示装置12に表示させる車外手動回転制御と、操作部13の操作に応じた位置に車内視点V2を移動させて、その移動位置に車内視点V2がある状態で生成した合成画像30を表示装置12に表示させる車内手動回転制御と、を行う。車外手動回転制御と車内手動回転制御を総称して手動回転制御と記載する。
【0041】
車両1では、例えば、ユーザが、表示装置12に搭載されたタッチパネルに指を接触した状態で、指を左右に移動させることで、方位角αの増減を制御部10に指示可能である。また、例えば、ユーザが、タッチパネルに接触した指を上下に移動させることで、仰角βの増減を制御部10に指示可能である。
【0042】
制御部10は、車外手動回転制御では、上記のようにしてユーザから指示された方位角α及び仰角βを取得し、取得した方位角α及び仰角βで決まる位置に車外視点V1を設定して合成画像20を生成し、その合成画像20を表示装置12に表示させる。これにより、ユーザの操作にしたがって、車外視点V1が移動するため、ユーザの望む視点からの合成画像20を表示装置12に表示することができる。
【0043】
制御部10は、車内手動回転制御では、上記のようにしてユーザから指示された方位角αを取得し、取得した方位角αと仰角β1(既定値)で決まる位置に車内視点V2を設定して合成画像30を生成し、その合成画像30を表示装置12に表示させる。これにより、ユーザの操作にしたがって、車内視点V2が移動するため、ユーザの望む視点からの合成画像30を表示装置12に表示することができる。
【0044】
(車両画像の透過率の設定)
制御部10は、車外手動回転制御を行う場合には、合成画像20における車両画像22の透過率を第1透過率に設定する。制御部10は、車外自動回転制御を行う場合には、合成画像20における車両画像22の透過率を、第1透過率よりも高い第2透過率に設定する。
【0045】
第1透過率は、一例として0%であり、第2透過率は、一例として50%~90%であるが、これに限定されるものではない。第2透過率は、車外視点V1から車両1を見たときに、車両1によって隠れている場所が、車両画像22を通して十分に視認できる程度の値に設定されればよい。第1透過率は、車外視点V1から車両1を見たときに、車両1とその周辺の物体との位置関係が明確に理解できる程度の値に設定されればよい。
【0046】
制御部10は、車内自動回転制御と車内手動回転制御のそれぞれを行う場合には、合成画像30における車両画像32の透過率を、第1透過率よりも高い第3透過率に設定する。第3透過率は、好ましくは、第2透過率と同じ値である。第3透過率は、一例として50%~90%であるが、これに限定されるものではない。第3透過率は、車内視点V2から車両1の外を見たときに、車両1によって隠れている場所が、車両画像22を通して十分に視認できる程度の値に設定されればよい。
【0047】
制御部10は、合成画像20と合成画像30をそれぞれ表示装置12に表示させる際、表示装置12に、仮想視点を車外視点V1から車内視点V2に切り替えるための操作ボタン25(図3図5参照)と、仮想視点を車内視点V2から車外視点V1に切り替えるための操作ボタン26(図7図9参照)と、を表示させる。
【0048】
制御部10は、ユーザによって操作ボタン25が操作されると、仮想視点を車外視点V1から車内視点V2に切り替える。制御部10は、ユーザによって操作ボタン26が操作されると、仮想視点を車内視点V2から車外視点V1に切り替える。
【0049】
更に、制御部10は、自動回転制御を行っている状態では、自動回転制御から手動回転制御に切り替えるための操作ボタン23(図3図7参照)を表示装置12に表示させる。制御部10は、ユーザによって操作ボタン23が操作されると、自動回転制御を終了して、手動回転制御を開始する。
【0050】
制御部10は、手動回転制御を行っている状態では、手動回転制御から自動回転制御に切り替えるための操作ボタン24(図5図9参照)を表示装置12に表示させる。制御部10は、ユーザによって操作ボタン24が操作されると、手動回転制御を終了して、自動回転制御を開始する。
【0051】
(制御部の動作)
図10は、制御部10の動作を説明するための模式図である。制御部10は、車両1を固定する操作(例えば、シフトをパーキングに入れる操作、パーキングブレーキをかける操作等)を検出した場合に、その検出を契機として、車外自動回転制御を開始する。制御部10は、車両1の起動後の最初の車外自動回転制御であれば、方位角αと仰角βを既定値に設定し、仰角βを一定に保持しながら、方位角αを既定値から変化させていき、合成画像20を回転表示させる。
【0052】
制御部10は、車外自動回転制御を行っている状態で、操作ボタン23の操作を検出すると、車外自動回転制御を終了し、その時点で設定している方位角αと仰角βの設定情報を記憶部14に記憶して保持し、車外手動回転制御を開始する。ここで開始する車外手動回転制御において、制御部10は、直前に保持した方位角αと仰角βを引き継ぎ、その方位角αと仰角βで決まる位置に車内視点V2を設定して合成画像30を表示させる。その後、ユーザの操作が行われた場合には、その操作に応じて、方位角αと仰角βを、引き継いだ値を起点にして変化させて、合成画像30の表示を更新する。
【0053】
制御部10は、車外手動回転制御を行っている状態で、操作ボタン24の操作を検出すると、車外手動回転制御を終了し、その時点で設定している方位角αと仰角βの設定情報を記憶部14に記憶して保持し、車外自動回転制御を開始する。ここで開始する車外自動回転制御において、制御部10は、直前に保持した方位角αと仰角βを引き継ぎ、その方位角αと仰角βで決まる位置に車外視点V1を設定し、その状態から、方位角αを変化させて、合成画像20を回転表示させる。
【0054】
制御部10は、車外手動回転制御を行っている状態で、操作ボタン25の操作を検出すると、車外手動回転制御を終了し、その時点で設定している方位角αと仰角βの設定情報を記憶部14に記憶して保持し、車内手動回転制御を開始する。ここで開始する車内手動回転制御において、制御部10は、直前に保持した方位角αを引き継ぎ、その方位角αと仰角β1で決まる位置に車内視点V2を設定して合成画像30を表示させる。その後、ユーザの操作が行われた場合には、その操作に応じて、方位角αを、引き継いだ値を起点にして変化させて、合成画像30の表示を更新する。
【0055】
制御部10は、車内手動回転制御を行っている状態で、操作ボタン24の操作を検出すると、車内手動回転制御を終了し、その時点で設定している方位角αの設定情報を記憶部14に記憶して保持し、車内自動回転制御を開始する。ここで開始する車内自動回転制御において、制御部10は、直前に保持した方位角αを引き継ぎ、その方位角αと仰角β1で決まる位置に車内視点V2を設定し、その状態から、方位角αを変化させて、合成画像30を回転表示させる。
【0056】
制御部10は、車内自動回転制御を行っている状態で、操作ボタン23の操作を検出すると、車内自動回転制御を終了し、その時点で設定している方位角αの設定情報を記憶部14に記憶して保持し、車内手動回転制御を開始する。ここで開始する車内手動回転制御において、制御部10は、直前に保持した方位角αを引き継ぎ、その方位角αと仰角β1で決まる位置に車内視点V2を設定して合成画像30を表示させる。その後、ユーザの操作が行われた場合には、その操作に応じて、方位角αを、引き継いだ値を起点にして変化させて、合成画像30の表示を更新する。
【0057】
制御部10は、車内手動回転制御を行っている状態で、操作ボタン26の操作を検出すると、車内手動回転制御を終了し、その時点で設定している方位角αの設定情報を記憶部14に記憶して保持し、車外手動回転制御を開始する。ここで開始する車外手動回転制御において、制御部10は、直前に保持した方位角αを引き継ぎ、更に、直近の車外手動回転制御の終了時に保持した仰角βを引き継ぐ。そして、制御部10は、その方位角αとその仰角βで決まる位置に車外視点V1を設定して、合成画像20を表示させる。その後、ユーザの操作が行われた場合には、その操作に応じて、方位角αと仰角βを、引き継いだ値を起点にして変化させて、合成画像20の表示を更新する。
【0058】
制御部10は、車外自動回転制御、車外手動回転制御、車内自動回転制御、及び車内手動回転制御のいずれかが行われている状態で、合成画像を表示する画面とは別の画面へ切り替える操作を検出すると、表示装置12にその別の画面を表示させる。
【0059】
制御部10は、車外自動回転制御又は車外手動回転制御を行っている状態で上記操作を検出した場合には、その車外自動回転制御又は車外手動回転制御の終了時に設定していた方位角αと仰角βの情報を記憶部14に記憶して保持する。
【0060】
制御部10は、車内自動回転制御又は車内手動回転制御を行っている状態で上記操作を検出した場合には、その車内自動回転制御又は車内手動回転制御の終了時に設定していた方位角αの情報を記憶部14に記憶して保持する。
【0061】
制御部10は、上記別の画面から、合成画像の表示を行う画面への切り替え操作を検出すると、車外自動回転制御を開始する。この車外自動回転制御では、上記別の画面に遷移する際に保持しておいた方位角αと仰角βを設定情報として引き継ぎ、その方位角αと仰角βで決まる位置に車外視点V1を設定し、その状態から、方位角αを変化させて、合成画像20を回転表示させる。
【0062】
制御部10は、車両1を起動する操作の検出を契機として、上記のように記憶部14に保持していた設定情報を全て削除する。
【0063】
(本形態の効果)
以上のように、車両1によれば、車外自動回転制御を行う場合と車外手動回転制御を行う場合とで、車両画像22の透過率が変更されるため、車両1のユーザの目的に合わせて適切な表示が可能となり、ユーザに車両1の周囲の状況を的確に認識させることができる。車外自動回転制御が行われている場合には、車両画像22の透過率が高くなるため、車両画像22を透かして、車両1の周囲を広範囲にわたって確認することができる。これにより、車両1の周囲において注意深く確認したい場所を迅速に見つけることができる。一方、車外手動回転制御が行われている場合には、車両画像22の透過率が低くなる。ユーザ操作に応じて仮想視点が決められる場合は、ユーザが車両1の周囲における特定の場所を注意深く確認したい状況である。このような状況では、車両画像22の透過率が低くなることで、その特定の場所と車両1との位置関係を正確に把握することができる。
【0064】
以上、本開示の一実施形態について、添付図面を参照しながら説明したが、本開示は、かかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、前述した実施形態における各構成要素を任意に組み合わせてもよい。
【0065】
(変形例)
例えば、制御部10は、車内自動回転制御を行う場合と車内手動回転制御を行う場合とで、合成画像30における車両画像32の透過率を変更してもよい。例えば、車内自動回転制御を行う場合の車両画像32の透過率を、車内手動回転制御を行う場合の車両画像32の透過率よりも高くすることで、合成画像30が自動で回転している間に、車両1の周囲の状況を、車両画像32を透かして容易に把握できるようになる。また、合成画像30を手動で回転させる場合には、車両画像32が見えやすくなるため、車両1と周囲の物体との位置関係を把握しやすくなる。このようにする場合でも、車両画像32の透過率は、車外手動回転制御を行う場合の車両画像22の透過率よりは高くしておくことが好ましい。
【0066】
前述した実施形態では、車両として、四輪の自動車を例示したが、これに限られない。本開示の技術が適用可能な車両は、二輪の自動車(いわゆる自動二輪車)であってもよいし、セグウェイ(登録商標)等であってもよい。
【0067】
本明細書には少なくとも以下の事項が記載されている。なお、括弧内には、上記した実施形態において対応する構成要素等を示しているが、これに限定されるものではない。
【0068】
(1) 車両(車両1)に設けられた撮像装置(撮像装置11)から取得した撮像画像に基づいて、仮想視点から前記車両を見たときの前記車両の周囲の画像である周囲画像(周囲画像21、31)を生成し、前記仮想視点から前記車両をみたときの前記車両を示す車両画像(車両画像22、32)を前記周囲画像に合成した合成画像(合成画像20、30)を生成して、前記合成画像を表示装置(表示装置12)に表示させるプロセッサ(制御部10)を備え、
前記プロセッサは、
決められたパターンで前記車両に対して前記仮想視点を回転移動させて前記合成画像を前記表示装置に表示させる第1制御(自動回転制御)と、前記車両の操作部(操作部13)の操作に応じた位置に前記仮想視点を移動させて前記合成画像を前記表示装置に表示させる第2制御(手動回転制御)と、を行い、
前記第1制御を行う場合と、前記第2制御を行う場合とで、前記車両画像の透過率を変更する画像処理装置。
【0069】
(1)によれば、第1制御を行う場合と第2制御を行う場合とで車両画像の透過率が変更されるため、車両のユーザの目的に合わせて適切な表示が可能となり、ユーザに車両の周囲の状況を的確に認識させることができる。
【0070】
(2) (1)に記載の画像処理装置であって、
前記プロセッサは、前記第1制御を行う場合には、前記第2制御を行う場合よりも、前記車両画像の透過率を高くする画像処理装置。
【0071】
(2)によれば、ユーザの操作によらずに、仮想視点が決められたパターンで移動する場合には、車両画像の透過率が高くなるため、車両画像を透かして、車両の周囲を広範囲にわたって確認することができる。これにより、車両の周囲において注意深く確認したい場所を迅速に見つけることができる。一方、操作部の操作、つまりユーザの意図によって仮想視点の位置が決められる場合には、車両画像の透過率が低くなる。ユーザ操作に応じて仮想視点が決められる場合は、ユーザが車両の周囲における特定の場所を注意深く確認したい状況である。このような状況では、車両画像の透過率が低くなることで、その特定の場所と車両との位置関係を正確に把握することができる。
【0072】
(3) (2)に記載の画像処理装置であって、
前記仮想視点は、前記車両の外の第1仮想視点(車外視点V1)と、前記車両の中の第2仮想視点(車内視点V2)とを含み、
前記プロセッサは、
前記仮想視点を前記第1仮想視点とする前記第1制御(車外自動回転制御)における前記車両画像の透過率を、前記仮想視点を前記第1仮想視点とする前記第2制御(車外手動回転制御)における前記車両画像の透過率よりも高くする画像処理装置。
【0073】
(3)によれば、車外から車両を見た場合に相当する合成画像を表示する際には、第1制御時に車両画像の透過率が高くなることで、車両画像を透かして、車両の周囲の状況を容易に確認できる。また、第2制御時には車両画像の透過率が低くなることで、ユーザの見たい場所と車両との位置関係を正確に把握することができる。
【0074】
(4) (3)に記載の画像処理装置であって、
前記プロセッサは、
前記仮想視点を前記第2仮想視点とする前記第1制御(車内自動回転制御)における前記車両画像の透過率と、前記仮想視点を前記第2仮想視点とする前記第2制御(車内手動回転制御)における前記車両画像の透過率を、前記仮想視点を前記第1仮想視点とする前記第2制御(車外手動回転制御)における前記車両画像の透過率よりも高くする画像処理装置。
【0075】
(4)によれば、車内から車外を見た場合に相当する合成画像を表示する際には、第1制御と第2制御のいずれが行われる場合でも、車両画像の透過率が高くなることで、車両画像を透かして、車両の周囲の状況を容易に確認できる。
【0076】
(5) (1)から(4)のいずれかに記載の画像処理装置であって、
前記仮想視点は、前記車両に設定される基準点(基準点P)と前記仮想視点とを結ぶ直線の延びる方向と前記車両の高さ方向とが非一致となる位置に設定される画像処理装置。
【0077】
(6) (1)から(4)のいずれかに記載の画像処理装置であって、
前記プロセッサは、前記車両を固定する操作の検出を契機として、前記第1制御を開始する画像処理装置。
【0078】
(6)によれば、車両を固定する操作を行うと合成画像が自動的に表示され始めるため、ユーザが車両を降りる前に、車両の周囲の状況を的確に把握でき、安全管理に役立てることができる。
【0079】
(7) (1)から(4)のいずれかに記載の画像処理装置であって、
前記プロセッサは、前記第2制御の終了時に、当該第2制御で最後に設定した前記仮想視点の位置の情報を保持し、前記第2制御から前記第1制御に切り替える場合には、当該第2制御の終了時に保持した前記情報に基づく位置から、前記仮想視点の移動を開始させる画像処理装置。
【0080】
(7)によれば、第2制御から第1制御に切り替わる際には、ユーザ操作によって移動された仮想視点を起点として、仮想視点の移動が開始される。つまり、ユーザが最後に確認した合成画像から、合成画像の表示更新が開始されるため、合成画像が急激に変化するのを防いで、車両の周囲の確認を違和感なく行うことが可能となる。
【0081】
(8) (7)に記載の画像処理装置であって、
前記プロセッサは、前記車両を起動する操作の検出を契機として、保持していた前記情報を削除する画像処理装置。
【0082】
(8)によれば、情報の保持が行われた後は、車両の電源がオフになるまでは、その情報の保持は継続される。このため、例えば、第2制御が開始されてから、別の操作等が行われて第2制御が終了し、その後、第2制御を再開したり、第1制御を開始したりするような場合であっても、合成画像を、第2制御の終了時の状態から表示させることができ、利便性を高めることができる。
【符号の説明】
【0083】
1 車両
10 制御部
11 撮像装置
12 表示装置
13 操作部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10