特許 7442933 車両用画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】車両用画像処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240227BHJP

   B60R 1/22 20220101ALN20240227BHJP

【ＦＩ】

H04N7/18 J

B60R1/22

【請求項の数】 5

(21)【出願番号】P 2020050335

(22)【出願日】2020-03-20

(65)【公開番号】P2021150871

(43)【公開日】2021-09-27

【審査請求日】2022-12-22

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(72)【発明者】

【氏名】浜口 友也

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２００６－２４２８５９（ＪＰ，Ａ）

【文献】特開２０１８－０３８００９（ＪＰ，Ａ）

【文献】特開２００９－０９３７０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

車両の周囲を撮像して映像データを出力する撮像手段と、
画像取り込みを指示する所定の操作がなされたときに、前記映像データから画像を抽出する画像抽出手段と、
前記画像抽出手段によって抽出された画像を、車室内の利用者の視界に合わせて加工する画像加工手段と、
前記画像加工手段によって加工された画像を、利用者の視線に合わせた位置に配置された画面に表示する画像表示手段と、
前記画像表示手段によって表示された画像に対して画像認識を行い、この画像に含まれる部分画像を抽出する画像認識手段と、
前記画像認識手段によって抽出された前記部分画像に関する情報を取得する情報取得手段と、
を備え、前記画像表示手段は、前記情報取得手段によって情報が取得された前記部分画像を識別可能な態様で表示するとともに、利用者によって情報の表示が指示された前記部分画像について、前記情報取得手段によって取得した情報を、前記部分画像に対応付けて前記画面に表示することを特徴とする車両用画像処理装置。

【請求項2】

前記撮像手段による撮像によって得られた前記映像データを所定時間にわたって保存する映像データ保存手段をさらに備え、
前記画像抽出手段は、前記映像データ保存手段によって保存された前記映像データから画像を抽出することを特徴とする請求項１に記載の車両用画像処理装置。

【請求項3】

前記画像抽出手段は、前記映像データから画像を抽出するタイミングを、車両の走行速度に基づいて可変することを特徴とする請求項２に記載の車両用画像処理装置。

【請求項4】

前記画像抽出手段は、前記映像データから画像を抽出するタイミングを、利用者の指示に基づいて可変することを特徴とする請求項２または３に記載の車両用画像処理装置。

【請求項5】

利用者の視線を検出する視線検出手段をさらに備え、
前記画像加工手段は、前記視線検出手段によって検出された視線に基づいて、利用者の視界に対応する画像を生成することを特徴とする請求項１～４のいずれか一項に記載の車両用画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車室内から見える周囲の景色を撮像して表示する車両用画像処理装置に関する。

【背景技術】

【0002】

従来から、取得された視点位置の情報と液晶ディスプレイの設定状態の情報とに基づいて、運転者の視点位置から液晶ディスプレイの設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイに表示されるように、撮影装置により撮影された映像を座標変換する車両周囲映像提供装置が知られている（例えば、特許文献１参照。）。この車両周囲映像提供装置を用いることにより、運転者の視線方向に見えるであろう景色に相当する映像を液晶ディスプレイに表示することが可能となる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－９６６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述した特許文献１に開示された車両周囲映像提供装置では、撮影装置で撮影した映像を液晶ディスプレイに表示しているだけであるため、走行中の車両を想定した場合には、映像の内容が時々刻々変化してしまい、内容の把握が容易ではないという問題があった。特に、車両に近い物体ほど表示範囲内に留まる時間が短くなり、運転者等がその物体を確認しようとしても、すぐに見えなくなってしまい、表示範囲内の物体を確認することはできない。

【0005】

本発明は、このような点に鑑みて創作されたものであり、その目的は、利用者から見える範囲に含まれる物体を確認することができる車両用画像処理装置を提供することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の車両用画像処理装置は、車両の周囲を撮像して映像データを出力する撮像手段と、画像取り込みを指示する所定の操作がなされたときに、映像データから画像を抽出する画像抽出手段と、画像抽出手段によって抽出された画像を、車室内の利用者の視界に合わせて加工する画像加工手段と、画像加工手段によって加工された画像を、利用者の視線に合わせた位置に配置された画面に表示する画像表示手段とを備えている。利用者が確認したい物体が視界に入った際に所定の操作を行うことにより、この物体が含まれる画像を利用者の視線に合わせた位置に表示することができるため、利用者から見える範囲に含まれる物体の確認が容易となる。

【0007】

また、上述した撮像手段による撮像によって得られた映像データを所定時間にわたって保存する映像データ保存手段をさらに備え、画像抽出手段は、映像データ保存手段によって保存された映像データから画像を抽出することが望ましい。映像データを保存して画像の抽出を行うことにより、確認したい物体の撮像が間に合わない事態を回避することができる。

【0008】

また、上述した画像抽出手段は、映像データから画像を抽出するタイミングを、車両の走行速度に基づいて可変することが望ましい。これにより、利用者の操作遅れにより、確認したい物体が撮像範囲から外れてしまうことを防止することができる。

【0009】

また、上述した画像抽出手段は、映像データから画像を抽出するタイミングを、利用者の指示に基づいて可変することが望ましい。これにより、視界に入った物体を時間を遡って確認することが可能となる。

【0010】

また、利用者の視線を検出する視線検出手段をさらに備え、画像加工手段は、視線検出手段によって検出された視線に基づいて、利用者の視界に対応する画像を生成することが望ましい。利用者が顔を向けている方向に合わせて画像を抽出、加工して表示することにより、利用者の視界に含まれ、実際に見えている範囲の画像を再現することが可能となる。

【0011】

また、上述した画像表示手段によって表示された画像に対して画像認識を行い、この画像に含まれる部分画像を抽出する画像認識手段と、画像認識手段によって抽出された部分画像に関する情報を取得する情報取得手段とをさらに備え、画像表示手段は、情報取得手段によって取得した情報を、部分画像に対応付けて画面に表示する。これにより、利用者の視界に含まれる物体の情報を煩雑な操作を行うことなく取得することが可能となる。

【0012】

また、上述した画像表示手段は、情報取得手段によって情報が取得された部分画像を識別可能な態様で表示するとともに、利用者によって情報の表示が指示された部分画像について、情報取得手段によって取得した情報を表示する。これにより、画面内に情報が氾濫して視認性が悪化することを防止しつつ、利用者が見たい情報については速やかに表示させることができる。

【図面の簡単な説明】

【0013】

【図1】一実施形態の車両用画像処理装置の構成を示す図である。

【図2】利用者が車両の窓を通して見える景色と同じ画像をこの窓に表示する動作手順を示す流れ図である。

【図3】車両の窓に表示した画像に対して画像認識を行う変形例の動作手順を示す流れ図である。

【発明を実施するための形態】

【0014】

以下、本発明を適用した一実施形態の車両用画像処理装置について、図面を参照しながら説明する。

【0015】

図１は、一実施形態の車両用画像処理装置の構成を示す図である。図１に示す本実施形態の車両用画像処理装置１は、例えば、車両の後部座席の搭乗者が窓を通して見える景色と同じ画像をこの窓に表示し、必要に応じてこの画像（動画像）を停止させたり、この画像に含まれる各表示要素としての物体（建物など）についての情報提供を行うものである。このために、車両用画像処理装置１は、カメラ１０、１２、映像データ格納部２０、車速検出部３０、自車位置・方位検出部３２、表示装置４０、地図ＤＢ（データベース）５０、ＰＯＩ ＤＢ５２、汎用ＤＢ５４、制御部６０を備えている。

【0016】

カメラ１０は、車両の周囲を撮像して映像データ（動画像）を出力する。例えば、車両の右側面に取り付けられており、車両の右側に広がる広範囲の景色を撮像する。カメラ１２は、車室内に設置されており、利用者の顔を撮像する。

【0017】

映像データ格納部２０は、カメラ１０から出力される映像データを所定時間記録する。映像データ格納部２０には所定時間分の最新の映像データが記録され、それ以前の映像データは消去（上書き）される。

【0018】

車速検出部３０は、車両の速度（車速）を検出する。

【0019】

自車位置・方位検出部３２は、車両の位置と方位を検出する。検出方法は、ＧＰＳ受信機を用いる場合や、自律航法センサを用いる場合、これらを組み合わせて用いる場合などが考えられる。

【0020】

表示装置４０は、後部座席の窓（後部ドアの窓）に画像（動画像や静止画像）を表示する。例えば、スマートウインドウと称される透明度が変更可能な窓ガラスに画像を投影したり、透明有機ＥＬディスプレイや透明無機ＥＬディスプレイなどを用いることにより実現される。

【0021】

地図ＤＢ５０は、道路とその周辺の地形、施設の位置などの地図データを格納する。

【0022】

ＰＯＩ ＤＢ５２は、ＰＯＩ（Point of Interest、関心地点）としての施設や自然物（山など）の詳細情報を格納する。このＰＯＩ ＤＢ５２は、地図ＤＢ５０に含めるようにしてもよい。

【0023】

汎用ＤＢ５４は、利用者の視界に含まれる各種物体の詳細情報を格納する。例えば、ＰＯＩ ＤＢ５２に格納された施設や自然物以外（重複してもよい）の各物体に関する情報が含まれる。各物体には、ＰＯＩ ＤＢ５２に情報が格納されたＰＯＩ以外の有形物が広く含まれる。この汎用ＤＢ５４は、ＰＯＩ ＤＢ５２に含めるようにしてもよい。

【0024】

制御部６０は、車両用画像処理装置１の全体を制御し、表示装置４０にカメラ１０で撮像した画像を表示したり、この画像に含まれるＰＯＩや各種物体に関する情報を表示する動作を行う。このために、制御部６０は、画像抽出部６１、視線検出部６２、画像加工部６３、表示処理部６４、画像認識部６５、情報検索部６６、操作検出部６７を含んで構成されている。この制御部６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて所定の動作プログラムを実行することにより、これらの各種機能を実現することができる。

【0025】

画像抽出部６１は、利用者によって所定の操作（後述する）がなされたときに、映像データ格納部２０に格納された映像データから画像を抽出する。

【0026】

視線検出部６２は、カメラ１２によって撮像された利用者の顔画像に基づいて、利用者の目の位置と見ている方向（視点の位置と視線の向き）を検出する。

【0027】

画像加工部６３は、画像抽出部６１によって抽出された画像を、利用者の視界に合わせて加工する。具体的には、画像加工部６３は、画像抽出部６１によって抽出された画像に対して視点変換を行って、利用者が表示装置４０の画面を透過して見える景色に対応する画像を生成する。

【0028】

表示処理部６４は、画像加工部６３によって生成される画像を、利用者の視線に合わせた位置に配置された画面（表示装置４０の画面）に表示する。

【0029】

画像認識部６５は、画像加工部６３によって生成された表示装置４０の画面に表示された画像に対して画像認識を行い、この画像に含まれる部分画像を抽出する。

【0030】

情報検索部６６は、地図ＤＢ５０、ＰＯＩ ＤＢ５２、汎用ＤＢ５４を用いて、画像認識部６５による画像認識によって抽出された部分画像に対応する物体の詳細情報を検索して取得する。なお、この検索は、インターネットを介して接続された外部の検索サーバに依頼して行うようにしてもよい。

【0031】

操作検出部６７は、利用者によって行われる操作を検出する。例えば、カメラ１２の撮像範囲に表示装置４０の画面を含ませ、利用者による画面上の操作ボタンの押下動作を検出する場合や、表示装置４０の画面上に透明のタッチパネルを配置して画面上の操作ボタンの押下動作を検出する場合などが考えられる。

【0032】

上述したカメラ１０が撮像手段に、画像抽出部６１が画像抽出手段に、画像加工部６３が画像加工手段に、表示処理部６４、表示装置４０が画像表示手段に、映像データ格納部２０が映像データ保存手段に、カメラ１２、視線検出部６２が視線検出手段に、画像認識部６５が画像認識手段に、情報検索部６６が情報取得手段にそれぞれ対応する。

【0033】

本実施形態の車両用画像処理装置１はこのような構成を有しており、次にその動作を説明する。

【0034】

図２は、利用者が車両の窓を通して見える景色と同じ画像をこの窓に表示する動作手順を示す流れ図である。この動作手順と並行して、カメラ１０による撮像によって得られた映像データを映像データ格納部２０に格納する動作が行われている。

【0035】

画像抽出部６１は、利用者によって画像の取り込み、表示を指示する所定の操作、例えば窓ガラスを利用した画面の一部に表示された「Ｃａｐｔｕｒｅ」ボタンが利用者の指で押下されたか否か（利用者の指が触れたか否か）を判定する（ステップ１００）。押下されない場合には否定判断が行われ、この判定が繰り返される。

【0036】

また、「Ｃａｐｔｕｒｅ」ボタンが押下された場合にはステップ１００の判定において肯定判断が行われる。次に、画像抽出部６１は、映像データ格納部２０に格納された映像データの中から、「Ｃａｐｔｕｒｅ」ボタンが押下されたタイミングに対応する画像を抽出する（ステップ１０２）。車窓から外の景色を見ていた利用者が、気になる景色を認識してから「Ｃａｐｔｕｒｅ」ボタンを押すまでの間にはタイムラグが生じる。画像抽出部６１は、このタイムラグとその時点での車速を考慮して、映像データの中から抽出する１枚の画像を決定する。

【0037】

次に、画像加工部６３は、抽出された画像に対して視点変換等を行い、利用者の視界に合わせて加工する（ステップ１０４）。表示処理部６４は、加工された画像を表示装置４０の画面（窓ガラス）に表示する（ステップ１０６）。このようにして表示された画像を見ることにより、車両走行とともに一瞬で通り過ぎた地点で見えていた景色を再現することができ、利用者は、その時点で視界に入ってきた各種の物体等を確認することが可能となる。

【0038】

このように、本実施形態の車両用画像処理装置１では、利用者が確認したい物体が視界に入った際に所定の操作（「Ｃａｐｔｕｒｅ」ボタンの押下）を行うことにより、この物体が含まれる画像を利用者の視線に合わせた位置に表示することができるため、利用者から見える範囲に含まれる物体の確認が容易となる。特に、撮像された映像データを保存しておいて画像の抽出を行うことにより、確認したい物体の撮像が間に合わない事態を回避することができる。また、映像データから画像を抽出するタイミングを、車両の走行速度に基づいて可変することにより、利用者の操作遅れにより、確認したい物体が撮像範囲から外れてしまうことを防止することができる。

【0039】

また、視線検出部６２によって視点位置や視線の向きを検出し、利用者が顔を向けている方向に合わせて画像を抽出、加工して表示することにより、利用者の視界に含まれ、実際に見えている範囲の画像を確実に再現することが可能となる。

【0040】

図３は、車両の窓に表示した画像に対して画像認識を行う変形例の動作手順を示す流れ図である。図３に示す動作手順は、図２に示した動作手順に対して、ステップ１０６の次にステップ１１０、１１２、１１４、１１６、１１８を追加した点が異なっている。以下では、これらの追加した各ステップについて説明する。

【0041】

加工後の画面が表示（ステップ１０６）された後（表示動作と並行あるいは前であってもよい）、画像認識部６５は、表示された画像に対して画像認識を行い、この画像に含まれるＰＯＩやその他の各種物体に対応する部分画像を抽出する（ステップ１１０）。

【0042】

また、情報検索部６６は、地図ＤＢ５０、ＰＯＩ ＤＢ５２、汎用ＤＢ５４を用いて、画像認識によって抽出した部分画像に対応する物体の詳細情報を取得する（ステップ１１２）。

【0043】

次に、情報検索部６６は、詳細情報が得られた部分画像を強調表示する指示を表示処理部６４に送り、これらの部分画像を強調表示する（ステップ１１４）。例えば、該当する部分画像をハイライト表示や特殊な色彩を付すなどして他と識別可能な態様で表示する。

【0044】

次に、情報検索部６６は、これらの強調表示された部分画像のいずれかが利用者によって指示されたか否かを判定する（ステップ１１６）。利用者による指示操作がなされない場合には否定判断が行われ、この判定が繰り返される。

【0045】

また、強調表示されたいずれかの部分画像が利用者によって指示されるとステップ１１６の判定において肯定判断が行われる。情報検索部６６は、この指し示された部分画像に対応する詳細情報を表示する（ステップ１１８）。例えば、この部分画像の隣接位置に詳細説明を含むウインドウが表示される。

【0046】

このように、画像認識によって抽出した部分画像について詳細情報を表示することにより、利用者の視界に含まれる物体の情報を煩雑な操作を行うことなく取得することが可能となる。また、詳細情報が取得された部分画像が識別可能な態様で表示され、利用者によって情報の表示が指示された場合に詳細情報を表示しており、画面内に詳細情報が氾濫して視認性が悪化することを防止しつつ、利用者が見たい情報については速やかに表示させることが可能になる。

【0047】

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、映像データから画像を抽出するタイミングを、車速等に応じて決定したが、利用者の指示に基づいて可変するようにしてもよい。気になる景色を認識してから「Ｃａｐｔｕｒｅ」ボタンを押すまでの時間は、利用者によって個人差があるため、この個人差による画像抽出タイミングのずれを調整できれば、さらに実用性を高めることが可能となる。例えば、図２に示すステップ１０６において加工後の画像を表示しているが、この表示とともに、映像データから画像を抽出するタイミングを秒単位で前後にずらすボタンを表示し、利用者によってこのボタンが押されたときにその操作回数に合わせて画像の抽出タイミングを前後にずらしてステップ１０４、１０６の動作を繰り返す。このようにすることで、視界に入った物体を時間を遡って確実に確認することが可能となる。

【0048】

また、上述した実施形態では、最初に「Ｃａｐｔｕｒｅ」ボタンを押下することで、対応する画像を表示しているが、この押下操作の替わりに音声で指示を行うようにしてもよい。例えば、利用者が「キャプチャ」と発声したことを音声認識処理によって判定し、画像の抽出を行う場合が考えられる。

【0049】

また、上述した実施形態では、カメラ１２によって撮像した利用者の顔画像から利用者の視点位置と視野の方向を検出して画像加工部６３による視点変換等の画像加工を行ったが、利用者が所定の位置に着座し、窓ガラスを通して外の景色を見ていることを想定し、固定の視点位置および視線方向を用いて画像加工を行うようにしてもよい。

【産業上の利用可能性】

【0050】

上述したように、本発明によれば、利用者が確認したい物体が視界に入った際に所定の操作を行うことにより、この物体が含まれる画像を利用者の視線に合わせた位置に表示することができるため、利用者から見える範囲に含まれる物体の確認が容易となる。

【符号の説明】

【0051】

１ 車両用画像処理装置
１０、１２ カメラ
２０ 映像データ格納部
３０ 車速検出部
３２ 自車位置・方位検出部
４０ 表示装置
５０ 地図ＤＢ
５２ ＰＯＩ ＤＢ
５４ 汎用ＤＢ
６０ 制御部
６１ 画像抽出部
６２ 視線検出部
６３ 画像加工部
６４ 表示処理部
６５ 画像認識部
６６ 情報検索部
６７ 操作検出部

【図1】

【図2】

【図3】