特許 7521268 車両用映像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】車両用映像処理装置

(51)【国際特許分類】

   G09G 5/377 20060101AFI20240717BHJP

   G06T 1/00 20060101ALI20240717BHJP

   G09G 5/00 20060101ALI20240717BHJP

   G09G 5/10 20060101ALI20240717BHJP

   H04N 7/18 20060101ALI20240717BHJP

【ＦＩ】

G09G5/377 100

G06T1/00 330

G09G5/00 550C

G09G5/10 B

G09G5/10 D

H04N7/18 J

H04N7/18 U

【請求項の数】 8

(21)【出願番号】P 2020099503

(22)【出願日】2020-06-08

(65)【公開番号】P2021193427

(43)【公開日】2021-12-23

【審査請求日】2023-05-09

(73)【特許権者】

【識別番号】000002082

【氏名又は名称】スズキ株式会社

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100170379

【弁理士】

【氏名又は名称】徳本 浩一

(74)【代理人】

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】山形 曜

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２００６－２４８４５０（ＪＰ，Ａ）

【文献】特開２００８－０２７１３８（ＪＰ，Ａ）

【文献】特開２０１９－０４７２９６（ＪＰ，Ａ）

【文献】特開２０２０－０４７１５３（ＪＰ，Ａ）

【文献】特開２０１４－１９８５３１（ＪＰ，Ａ）

【文献】特開２０１７－０９２７６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

自車両の周囲映像を取得する取得部と、
前記取得部により取得された前記周囲映像のオプティックフローとは逆の方向に流れる線状部を有する視覚刺激映像を作成し、前記視覚刺激映像を前記周囲映像に重畳してなる表示用映像を生成する映像処理部と
を備え、
前記視覚刺激映像が、間欠的に再生される映像である、
車両用映像処理装置。

【請求項2】

前記オプティックフローの方向が収束方向であり、前記線状部の流れる方向が拡散方向である、請求項１に記載の車両用映像処理装置。

【請求項3】

前記線状部が、輪郭がぼかされ、かつ透過性を有する、請求項１又は２に記載の車両用映像処理装置。

【請求項4】

前記線状部の拡散源が、前記周囲映像の消失点である、請求項２又は３に記載の車両用映像処理装置。

【請求項5】

前記線状部の拡散源が、前記自車両の後続車両が写っている前記周囲映像内の領域にある、請求項２～４のいずれか一項に記載の車両用映像処理装置。

【請求項6】

前記後続車両が、前記自車両に最も近い車両である、請求項５に記載の車両用映像処理装置。

【請求項7】

前記線状部が流れる速度は、前記自車両と前記後続車両との相対速度に応じて定められる、請求項５又は６に記載の車両用映像処理装置。

【請求項8】

前記線状部の輝度は、前記自車両の周囲の明るさに応じて定められる、請求項１～７のいずれか一項に記載の車両用映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は車両用映像処理装置に関する。

【背景技術】

【0002】

特許文献１に、表示部と操作部との少なくとも一方をインストルメントパネルの車幅方向中央部に備えたセンターコンソールと、自車両の後方を撮影する撮像手段と、前記インストルメントパネルの車幅方向における、前記センターコンソール、又は、該センターコンソールとステアリングホイールとの間に設けられ、前記撮像手段により撮影した車両後方画像を表示する電子ミラーモニタとを備えた車両用表示装置が記載されている。この車両用表示装置は、運転者が前記センターコンソールを視認すると推認される推認情報を取得する推認情報取得手段と、前記推認情報に基づいて前記車両後方画像の視認性を劣化表示させるか否かを判定する判定手段と、前記判定手段の判定結果に基づいて前記車両後方画像の視認性を低下させる劣化表示手段とを備える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１７２５２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自動車における電子ミラーの表示装置は、フェンダーミラーやドアミラーなどの光学ミラーとは異なり、車室内に設けられる。車両前方と車室内の電子ミラーの表示装置との両方を確認する際の視距離は、車両前方と車室外の光学ミラーとの視距離に比べて大きいことから、電子ミラーを搭載した車両の運転者にとっては眼への負担が大きい。

【0005】

本発明は、電子ミラーを搭載した車両の運転者の眼への負担を軽減することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る車両用映像処理装置は、自車両の周囲映像を取得する取得部と、前記取得部により取得された前記周囲映像のオプティックフローとは逆の方向に流れる線状部を有する視覚刺激映像を作成し、前記視覚刺激映像を前記周囲映像に重畳してなる表示用映像を生成する映像処理部とを備える。前記視覚刺激映像は間欠的に再生される映像である。

【発明の効果】

【0007】

本発明によれば、電子ミラーを搭載した車両の運転者の眼への負担を軽減することができる。

【図面の簡単な説明】

【0008】

【図1】オプティックフローの説明図である。

【図2】電子ミラーシステムの説明図である。

【図3】車両の平面図である。

【図4】映像処理の流れを示すフローチャートである。

【図5】表示用映像の一例を示す説明図である。

【図6】表示用映像の別の例を示す説明図である。

【図7】表示用映像のさらに別の例を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本発明を図示の実施の形態に基づいて説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。

【0010】

車室外に設けられる従来の光学ミラーにおいては、目の焦点を合わせるべき距離（視距離）は、ミラー反射面で折り返した実体までの距離と等しい。そのため、車両前方の道路から光学ミラーへ視線を動かしても眼の焦点調整の負担は少ない。

【0011】

これに対し、電子ミラー装置においては、運転者から比較的近距離にある車室内の表示装置（液晶パネルなど）に目の焦点を合わせる必要がある。このため、運転者が比較的遠距離にある車両前方の道路から、近距離の表示装置へと視線を動かした際に、視距離の変動に合わせて水晶体の屈折や両眼の輻輳などを合わせるための調節の幅が大きくなり、結果として運転者の眼への生理的負担も大きくなる。

【0012】

図１に、前進走行中の自車両Ｃ１に取り付けられている電子サイドミラーの映像ＩＭ１を示す。この電子サイドミラーは、車両後方、かつ車両前方に向かって右側を確認するためのものである。映像ＩＭ１には、自車両Ｃ１が走行している車線Ａ１及び自車両Ｃ１の車体の一部と、車線Ａ１に隣接する車線Ａ２及び車線Ａ２を走行している別の車両Ｃ２と、車線Ａ１と車線Ａ２との境界線ＢＬとが写っている。なお、便宜上、自車両Ｃ１及び車両Ｃ２を直方体形状として図示している。

【0013】

ところで、生物の視覚において、自身の動きによって生じる網膜上の動きをオプティックフローと呼ぶ。自身が前進すると、視線方向を中心として視野全体に拡散するオプティックフローが生じる。また、自身が後退すると、視野全体から視線方向に向かって収束するオプティックフローが生じる。

【0014】

物を見ているときに両眼の軸によって形成される角度を輻輳角と呼ぶ。輻輳角は、遠距離の物を見るときに小さくなり、近距離の物を見るときには大きくなる。また、遠距離から近距離の物を見るときの眼球運動を輻輳運動と呼び、近距離から遠距離の物を見るときの眼球運動を開散運動と呼ぶ。輻輳運動は拡散方向のオプティックフローに誘発され、開散運動は収束方向のオプティックフローに誘発されることが知られている。

【0015】

映像ＩＭ１は、前進走行している自車両Ｃ１の後方を捉えていることから、複数のオプティックフローＯＦは、映像ＩＭ１の消失点Ｐ１に向かって収束する方向を有する。このような収束方向のオプティックフローＯＦにより、開散運動が誘発される。この開散運動は、車両前方から、車室内の電子ミラー表示装置への眼の焦点調整（すなわち輻輳運動）を阻害すると考えられる。

【0016】

以下に述べる実施形態は、電子ミラーにおける運転者の眼への生理的負担を低減するためのものである。

【0017】

図２に電子ミラーシステム１を示す。この電子ミラーシステムは、撮像部２ａ及び２ｂとＭＣＵ（マイクロコントローラユニット）３と、表示部４ａ及び４ｂとを備えている。ＭＣＵ３を車両用映像処理装置とも呼ぶ。

【0018】

図３は自車両Ｃ１の平面図である。自車両Ｃ１のルーフについては図示を省略している。矢印Ｆ及びＢは車両前方及び車両後方をそれぞれ示し、矢印Ｌ及びＲは車幅方向の左側及び右側をそれぞれ示す。撮像部２ａは、自車両Ｃ１の左ドアの外側に取り付けられており、車両後方、かつ車両前方に対して左側の映像を撮像する。撮像部２ｂは、自車両Ｃ１の右ドアの外側に取り付けられており、車両後方、かつ車両前方に対して右側の映像を撮像する。すなわち、撮像部２ａ及び２ｂはいずれも、光軸が自車両Ｃ１の後側方に向けられている。

【0019】

表示部４ａは、車室内かつ助手席付近に配置されており、撮像部２ａが捉えた映像を表示する。表示部４ｂは、車室内、かつステアリングホイールＳＷのある運転席付近に配置されており、撮像部２ｂが捉えた映像を表示する。

【0020】

ＭＣＵ３は、ハードウェア構成として、ＣＰＵ（中央処理装置）３１とメモリ３２を備えている。ＣＰＵ３１は、機能構成として、取得部３１ａと映像処理部３１ｂとを備えている。図４を参照しながら取得部３１ａ及び映像処理部３１ｂの処理を説明する。

【0021】

まずステップＳ１において、撮像部２ａ及び２ｂはそれぞれ、車両後側方の映像（周囲映像）を取得する。

【0022】

ステップＳ２において、取得部３１ａは、撮像部２ａ及び２ｂが捉えた各周囲映像を撮像部２ａ及び２ｂから取得する。

【0023】

同じくステップＳ２において、映像処理部３１ｂは、取得部３１ａが取得した各周囲映像につき視覚刺激映像（視覚的手がかり）を生成する。この視覚刺激映像は、周囲映像内の或る点（消失点など）から放射状に拡散する線状部の映像である。この視覚刺激映像の線状部が流れる方向は、拡散方向(少なくとも2方向)であって、消失点に向かって収束する方向を有するオプティックフロー（各映像の風景の流れ）とは逆の方向である。

【0024】

本ステップではさらに、映像処理部３１ｂは、撮像部２ａの周囲映像について計算された視覚刺激映像を撮像部２ａの周囲映像に重畳することにより、表示部４ａに表示するための表示用映像を作成する。加えて、映像処理部３１ｂは、撮像部２ｂの周囲映像について計算された視覚刺激映像を撮像部２ｂの周囲映像に重畳することにより、表示部４ｂに表示するための表示用映像を作成する。各表示用映像は、映像処理部３１ｂから表示部４ａ及び４ｂに送られる。

【0025】

ステップＳ３において、表示部４ａ及び４ｂに、表示用映像の反転による鏡像が作成及び表示される。

【0026】

図５に、右側の表示部４ｂに表示される表示用映像ＩＭ１ａを示す。この表示用映像ＩＭ１ａは、図１に示した映像ＩＭ１に、半透明の線状部ＶＳ１ａを有する視覚刺激映像を重畳してなる映像である。線状部ＶＳ１ａは、消失点Ｐ１を拡散源として放射状に拡散するように流れる。すなわち、線状部ＶＳ１ａの流れる方向（拡散方向）は、図１のオプティックフローＯＦの流れる方向（収束方向）とは逆である。

【0027】

図６に、右側の表示部４ｂに表示される表示用映像ＩＭ２を示す。この表示用映像ＩＭ２は、図１に示した映像ＩＭ１に、半透明の線状部ＶＳ２を有する視覚刺激映像を重畳してなる映像である。線状部ＶＳ２は、車両Ｃ２が写っている領域の中心Ｐ２を拡散源として放射状に拡散するように流れる。すなわち、線状部ＶＳ２の流れる方向（拡散方向）は、図１のオプティックフローＯＦの流れる方向（収束方向）とは逆である。映像処理部３１ｂは、周囲映像の解析により後方車両Ｃ２の移動速度を計算し、線状部ＶＳ２の拡散速度が、映像内の車両C2の移動速度よりも速くなるよう表示用映像を作成する。

【0028】

図７に、別の例として、右側の表示部４ｂに表示される表示用映像ＩＭ３を示す。この表示用映像には、自車両Ｃ１及び車両Ｃ２に加え、さらに別の車両Ｃ３が写っている。さらに、車両Ｃ３が写っている領域の中心から放射状に流れる半透明の線状部ＶＳ３が写っている。線状部ＶＳ３の流れる方向（拡散方向）も同様に、図１のオプティックフローＯＦの流れる方向（収束方向）とは逆である。線状部ＶＳ３の拡散源は車両Ｃ３が写っている領域の中心Ｐ３である。

【0029】

上記実施形態は、人間の眼の焦点調節機能が、見ている風景の流れる様子に影響を受けることを利用したものである。すなわち、電子ミラーに映る風景の流れ（収束方向のオプティックフロー）に開散運動が誘発され、車両前方から表示装置への焦点調整時の輻輳運動が阻害されることを避けるために、拡散方向に流れる線状部を有する視覚刺激映像が周囲映像に重畳される。この視覚刺激映像により、車両前方から表示装置への焦点調整時の輻輳運動が補助されて、運転者の眼への生理的負担が低減される。さらに、電子ミラーの映像を注視する時間が低減され、運転者の運転への集中度が高まることも期待される。

【0030】

一般に、拡散方向に流れるオプティックフローの中心点に視線が誘導されることが知られている。そのため、拡散方向に流れる線状部の中心点（オプティックフローの拡散源）を、映像に写っている車両の位置に合わせることにより、当該車両に運転者の注意を誘導する効果も期待できる。

【0031】

なお、線状部は、運転者による映像内の探索を阻害しないよう、半透明など、透過性のあるものとすることができる。また、線状部のエッジ（輪郭）をぼかすことができる。重畳処理にあたっては輝度の加算を行うことができる。
また、線状部が、動きが規則的な点線等の場合には、運転者の注意がそちらに向かう傾向がある。そのため、断続的に、そして間欠的（ランダム又は不規則）に線状部を発生させると良い。

【0032】

［他の実施形態］
映像に映っている車両の中心に、線状部の拡散源を合わせることができる。映像に映っている車両の認識は、映像処理部３１ｂにより行うことができる。これにより、拡散する線状部の拡散源すなわち車両の中心に視線が誘導されるため、運転者にとって車両が発見しやすくなる。映像に複数の車両が写っている場合には、自車両が走行する車線に隣接する車線を走行する、自車両に一番近い車両を認識して、当該車両が写っている領域に、拡散源を置くことができる。複数の車両の各々に拡散源を置くことも可能である。

【0033】

自車両と後方車両との相対車速によって視覚刺激が流れる速さを変えることができる。
映像処理部３１ｂは、自車両のＣＡＮ５（図２）から取得される自車両の速度と、周囲映像の解析により得られる後方車両の速度とに基づいて、相対速度を演算する。これにより、後方車両の車速が高いことを運転者に視覚的に知らせることができる。

【0034】

自車両の周囲環境の照度によって視覚刺激の輝度を変えることもできる。夜間等の周囲が暗い場合は輝度を落とす必要がある。風景、車両に対して見える程度の明るさで良い。これにより、視覚刺激が運転者による探索を阻害しないようにすることができる。なお、周囲環境の照度は、例えば、オートライトが装着されている車であれば受光センサから取得することができる。映像処理部による映像解析を通じて照度を取得してもよい。

【0035】

上記の実施形態は、サイドミラーに限らず、バックミラーにも適用できる。

【0036】

これまでに説明した実施形態に関し、以下の付記を開示する。
［付記１］
自車両の周囲映像を取得する取得部と、
前記取得部により取得された前記周囲映像のオプティックフローとは逆の方向に流れる線状部を有する視覚刺激映像を作成し、前記視覚刺激映像を前記周囲映像に重畳してなる表示用映像を生成する映像処理部と
を備える車両用映像処理装置。
［付記２］
前記オプティックフローの方向が収束方向であり、前記線状部の流れる方向が拡散方向である、付記１に記載の車両用映像処理装置。
［付記３］
前記線状部が、輪郭がぼかされ、かつ透過性を有する、付記１又は２に記載の車両用映像処理装置。
［付記４］
前記視覚刺激映像が、間欠的に再生される映像である、付記１～３のいずれか一つに記載の車両用映像処理装置。
［付記５］
前記線状部の拡散源が、前記周囲映像の消失点である、付記２～４のいずれか一つに記載の車両用映像処理装置。
［付記６］
前記線状部の拡散源が、前記自車両の後続車両が写っている前記周囲映像内の領域にある、付記２～５のいずれか一つに記載の車両用映像処理装置。
［付記７］
前記後続車両が、前記自車両に最も近い車両である、付記６に記載の車両用映像処理装置。
［付記８］
前記線状部が流れる速度は、前記自車両と前記後続車両との相対速度に応じて定められる、付記６又は７に記載の車両用映像処理装置。
［付記９］
前記線状部の輝度は、前記自車両の周囲の明るさに応じて定められる、付記１～８のいずれか一つに記載の車両用映像処理装置。

【0037】

以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

【符号の説明】

【0038】

１ 電子ミラーシステム
２ａ、２ｂ 撮像部
３１ａ 取得部
３１ｂ 映像処理部
４ａ、４ｂ 表示部

ＩＭ１～ＩＭ３ 映像
Ｃ１～Ｃ３ 車両
ＯＦ オプティックフロー
ＶＳ２、ＶＳ３ 線状部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】