特許 7160301 モニター表示システム及びその表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-17

(45)【発行日】2022-10-25

(54)【発明の名称】モニター表示システム及びその表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221018BHJP

   B60R 1/20 20220101ALI20221018BHJP

【ＦＩ】

H04N7/18 J

B60R1/20 100

【請求項の数】 6

(21)【出願番号】P 2018005474

(22)【出願日】2018-01-17

(65)【公開番号】P2019125920

(43)【公開日】2019-07-25

【審査請求日】2020-11-30

(73)【特許権者】

【識別番号】502356528

【氏名又は名称】株式会社ジャパンディスプレイ

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】山口 和範

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２００８－２１３６４９（ＪＰ，Ａ）

【文献】特開２０１６－２１５７２６（ＪＰ，Ａ）

【文献】特開２００５－３０３７９３（ＪＰ，Ａ）

【文献】特開平１１－００４３９８（ＪＰ，Ａ）

【文献】特開２０１２－０８９９１８（ＪＰ，Ａ）

【文献】特開平０８－２１６８０１（ＪＰ，Ａ）

【文献】特開２０１３－１７９５４９（ＪＰ，Ａ）

【文献】特開２００５－１８４２２５（ＪＰ，Ａ）

【文献】特開２０１０－１１８９３５（ＪＰ，Ａ）

【文献】特開２００８－２３６７１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

車体内部のピラー部によって死角となる範囲を撮影するカメラと、
前記カメラからの画像を取り込み、表示位置の形状に合わせて画像を切り出し、その解像度を調整して出力する画像処理装置と、
前記車体内部のピラー部に取り付けられ、前記画像処理装置で得られる画像を表示するディスプレイとを具備し、
前記画像処理装置は、前記ディスプレイに表示させる画像の周辺だけを低解像度に変換するフィルタ手段を備え、走行時に前記フィルタ手段で周辺だけが低解像度に変換された画像を前記ディスプレイに表示させるモニター表示システム。

【請求項2】

車体内部のピラー部によって死角となる範囲を撮影するカメラと、
前記カメラからの画像を取り込み、表示位置の形状に合わせて画像を切り出し、その解像度を調整して出力する画像処理装置と、
前記車体内部のピラー部に取り付けられ、前記画像処理装置で得られる画像を表示するディスプレイとを具備し、
前記画像処理装置は、被搭載車の車速情報に基づいて前記画像の解像度を選択するフィルタ手段を備え、走行時に前記フィルタ手段で前記被搭載車の車速情報に基づいて選択される解像度の画像を前記ディスプレイに表示させるモニター表示システム。

【請求項3】

車体内部のピラー部によって死角となる範囲を撮影するカメラと、
前記カメラからの画像を取り込み、表示位置の形状に合わせて画像を切り出し、その解像度を調整して出力する画像処理装置と、
前記車体内部のピラー部に取り付けられ、前記画像処理装置で得られる画像を表示するディスプレイとを具備し、
前記画像処理装置は、被搭載車のウインカーの出力に基づいて前記画像の解像度を選択するフィルタ手段を備え、走行時に前記フィルタ手段で被搭載車のウインカーの出力に基づいて選択される解像度の画像を前記ディスプレイに表示させるモニター表示システム。

【請求項4】

前記画像処理装置は、車外の照度測定結果に基づいて前記ディスプレイに表示させる表示画像の明るさを制御する画像強調手段を備える請求項１乃至３のいずれか１項に記載のモニター表示システム。

【請求項5】

車体内部のピラー部によって死角となる範囲を撮影するカメラと、
前記カメラからの画像を取り込み、表示位置の形状に合わせて画像を切り出して出力する画像処理装置と、
前記車体内部のピラー部に取り付けられ、前記画像処理装置で得られる画像を表示するディスプレイとを具備し、
前記カメラは、走行時に前記カメラのフォーカスを意図的にずらすことで撮影画像の解像度を落とすフォーカス調整手段を備えるモニター表示システム。

【請求項6】

車体内部のピラー部によって死角となる範囲をカメラで撮影し、
前記車体内部のピラー部にディスプレイを取り付け、
前記カメラで撮影された画像を表示位置の形状に合わせて画像を切り出し、その解像度を調整して前記ディスプレイに表示し、
走行時に前記ディスプレイに表示させる画像の周辺だけ解像度を落とすモニター表示システムの表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、例えば自動車のドライバーに車外の様子をモニター表示するモニター表示システム及びその表示方法に関する。

【背景技術】

【0002】

自動車の運転において、特にＡピラーの窓枠（以下、ピラー部と称する）が視界を遮ることによって発生する死角は安全上非常に問題がある。ところが、近年では、自動車の開発にあっては、クラッシュに対する安全性を向上させるために、ピラー部を太くする傾向があり、死角が大きくなってきている。

【0003】

この問題を解消すべく、カメラとディスプレイを組み合わせた画像表示システム（CMS：Camera Monitoring System）を採用したモニター表示装置が検討されている。すなわち、このモニター表示装置は、ＣＭＳのディスプレイをピラー部に装着し、ドライバーがフロントウインドウやサイドウインドウ等のガラス部から見える像を窓枠による死角範囲を含めてＣＭＳのカメラで撮影し、死角範囲の像を切り出してピラー部に装着したディスプレイに表示するものである。しかしながら、このようなモニター表示装置では、ディスプレイに表示される死角範囲の像をウィンドウから見える実像に完全に連続させることは極めて困難であり、この像の連続性に大きな隔たりがある場合には、ドライバーに見間違えや違和感などを与えてしまい、かえって安全性が阻害される事態になることが予想される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－０４６７６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

以上のように、自動車のピラー部による死角範囲の像をＣＭＳで補うモニター表示装置は、モニター用のディスプレイに表示される死角範囲の像をウィンドウから見える実像に完全に連続させることは極めて困難であり、この像の連続性に大きな隔たりがある場合には、ドライバーが視認時に見間違える、あるいは違和感を覚えて瞬時に状況を把握できなくなる等の弊害が生じて、かえって安全性が阻害される事態になることが予想される。

【0006】

そこで、本発明は、実像と死角範囲の表示画像との非連続性による視認時の見間違えや違和感を低減することのできるモニター表示システムとその表示方法を提供することを課題とする。

【課題を解決するための手段】

【0007】

本実施形態に係るモニター表示システムは、車体内部のピラー部によって死角となる範囲をカメラで撮影し、前記車体内部のピラー部にディスプレイを取り付け、前記カメラで撮影された画像を表示位置の形状に合わせて画像を切り出し、その解像度を調整して前記ディスプレイに表示し、走行時に前記ディスプレイに表示する画像の周辺だけ解像度を落とす。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係るモニター表示システムの構成を示すブロック図である。

【図2】図２は、第１の実施形態を自動車に適用した場合のカメラ及びディスプレイの配置例を示す概念図である。

【図3】図３は、第１の実施形態の画像処理の流れを示すフローチャートである。

【図4】図４は、Ａピラーにディスプレイを装着して高速走行時にモニター表示した場合の例を示す図である。

【図5】図５は、Ａピラーにディスプレイを装着して低速走行時にモニター表示した場合の例を示す図である。

【図6】図６は、ディスプレイの位置によるピント、輻輳角を説明するための概念図である。

【図7】図７は、ウインドウ越しの実像と表示像との整合性を説明するための概念図である。

【図8】図８は、すりガラスの背後に物体が存在する様子を示す図である。

【図9】図９は、第１の実施形態の画像処理でフィルタリンクした周辺をぼかした表示画像を示す図である。

【図10】図１０は、第２の実施形態に係るモニター表示システムの構成を示すブロック図である。

【図11】図１１は、第２の実施形態の画像処理の流れを示すフローチャートである。

【図12】図１２は、第３の実施形態に係るモニター表示システムの構成を示すブロック図である。

【図13】図１３は、第３の実施形態の画像処理の流れを示すフローチャートである。

【図14】図１４は、第４の実施形態に係るモニター表示システムの構成を示すブロック図である。

【図15】図１５は、第４の実施形態の画像処理の流れを示すフローチャートである。

【図16】図１６は、肉眼で見える像とＣＭＳで表示される像を示す図である。

【図17】図１７は、夜間、低速時に死角範囲より広い像を表示する例を示す図である。

【図18】図１８は、第５の実施形態に係るモニター表示システムとして、カメラのレンズ制御により焦点をずらして解像度を制御する構成を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。なお、開示はあくまで一例に過ぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同一又は類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を適宜省略することがある。

【0010】

（第１の実施形態）
第１の実施形態に係るモニター表示システムについて、車載用を想定して詳細に説明する。
図１は、本実施形態に係るモニター表示システムの基本的な構成を示すブロック図、図２は、第１の実施形態を自動車に適用した場合のカメラ及びディスプレイの配置例を示す概念図である。図１に示すシステムは、カメラ１１、画像処理装置１２、ディスプレイ１３を備える。カメラ１１は、図２に示すように、自動車２１の左右のサイドミラー２１１，２１２の背面（１１ａ，１１ｂ）あるいはフロントミラー２１３の下部（１１ｃ）に配置され、その撮像範囲は、ドライバーの視野、ウィンドウからの実像範囲、ピラー部による死角範囲を考慮して設定される。画像処理装置１２は、車内の任意の箇所に設置され、カメラ１１からの映像を取り込んで所定の範囲を切り出し、フィルタ処理部１２１で条件に応じたフィルタリング（ここではローパスフィルタ（ＬＰＦ）による解像度選択処理）を行って出力する。ディスプレイ１３は、図２に示すように、左右のＡピラー２１４，２１５の内側（１３ａ，１３ｂ）に装着される。

【0011】

上記構成において、本実施形態の画像処理について、図３に示すフローチャートを参照して説明する。
まず、カメラ１１で撮影された画像を入力すると（ステップＳ１１）、その画像からドライバーの視野、ウィンドウからの実像範囲、ピラー部による死角範囲を考慮して設定された領域を切り出し（ステップＳ１２）、フィルタ処理部１２１で画像の先鋭度を条件に合わせて低下される解像度変換を施し（ステップＳ１３）、明るさを調整してモニター出力する（ステップＳ１４）。

【0012】

すなわち、本実施形態では、ピラー部に装着したディスプレイ１３に投影される画像の先鋭度（ヘイズ度、散乱度、ぼかし度）を意図的に低下させ、あたかもすりガラス越しに見えているような画像を表示させる。これにより「ピラーの後ろに何か物体がある」ことを想起させることで死角による安全性阻害を防止する。

【0013】

以下、具体例を示して説明する。
図４、図５は、それぞれ高速走行時、低速走行時において、運転席側のＡピラーに装着したディスプレイ１３に撮影画像を表示した様子を示しており、図４（ａ）、図５（ａ）はそれぞれＣＭＳ未装着の場合を示し、図４（ｂ）、図５（ｂ）はそれぞれＣＭＳを装着した場合を示している。図４から、高速走行時に、Ａピラーによって死角範囲となる、ピラー背後の隣接レーンの画像を表示することができ、死角範囲に何も存在していないことを認識することが可能となる。また、図５から、低速走行時に、Ａピラーによって死角範囲となる、ピラー背後の車道の画像を表示することができ、死角範囲に人が存在していることを認識することが可能となる。

【0014】

ここで、実際にカメラ１１で撮影した画像をディスプレイ１３に表示してみると、図６（ａ）に示すように、右目の死角と左目の死角が異なり、両目の死角は両者の重なる範囲となる。また、図６（ｂ）に示すように、ディスプレイ１３による表示位置は窓越しの実像より手前にあるため、窓越しの像を視認している状態では、ディスプレイ１３の表示画像にはピント（焦点）が合わず、ぼやけて見えることになる。また、図７（ａ）に示すように、ドライバーの目の位置が変わると、図７（ｂ）、（ｃ）に示すように、窓越しの像とディスプレイ１３に表示される像との連続性が変わってしまう。輻輳角、ピントは根源的な問題であり、表示画像の実像との整合性は技術的には可能だが、複雑なシステムが必要になる。

【0015】

そこで、本実施形態では、あえて表示画像の解像度を落とし、「背後に何かある」という情報のみを表示する。例えば、図８（ａ）に示すガラスブロックや図８（ｂ）に示すすりガラスの透過像のような画像を生成して表示すれば、はっきりとは分からないが、背後に物体があるということは認識できる。このように、解像度を落とした画像を表示し、状況に応じてアラームを鳴らす等の処理を行って危険回避を誘導する。

【0016】

上記構成によるモニター表示システムによれば、多少、実像と表示画像にずれが生じても、ドライバーにピラー部の死角範囲の物体の有無を認識させることができるので、ドライバーの視点位置を正確に測定する必要がなくなり、システムのコストを抑えつつ視認時の見間違えや違和感を低減することができる。

【0017】

なお、上記の例では、表示画像の解像度を落とす構成としたが、電気的に解像度を落とすなどの画像処理で先鋭度をコントロールする方式であるため、必要に応じて元の画像を表示するなど、拡張性が高い。例えば、図９に示すように、表示画像の周辺のみをぼかして、窓越しの実像との非連続性を緩和するようにしてもよい。この表示方法によれば、多少の違和感は生じるが、物体の有無をより正確に把握することが可能となる。

【0018】

（第２の実施形態）
第２の実施形態では、常に画像の解像度を落とすのではなく、車速に応じてその解像度を変化させる。
図１０は、第２の実施形態に係るモニター表示システムの構成を示すブロック図、図１１はその処理の流れを示すフローチャートである。本実施形態では、図１０に示すように、画像処理装置１２に可変ＬＰＦ機能を有するフィルタ処理部１２２を搭載し、被搭載車の車速センサー２１６から車速データを取り込み、画像処理装置１２のフィルタ処理部１２２において、車速に応じて解像度を変化させる。具体的には、図１１に示すように、車速データをモニターし（ステップＳ２１）、車速が閾値Ｖｔｈ以上か判断する（ステップＳ２３）。ここで、閾値以上のときは低解像度に設定し（ステップＳ２４）、閾値に満たない場合には高解像度に設定する（ステップＳ２５）。

【0019】

すなわち、本実施形態では、高速走行中は解像度を落とすことで余分な情報を運転者に伝達しないようにし、逆に低速走行時は周囲の状況を運転者に伝えるために解像度を落とさずに表示する。解像度の制御は、ローパスフィルタ（ＬＰＦ）のカットオフ周波数を車速に合せて変化させることで実現することができる。例えば、高速走行時はカットオフ周波数ｆｃを低くして表示する画像の解像度をより落とすことで、ドライバーに与えるちらつきを抑えることができる。また、低速走行時はカットオフ周波数ｆｃを高めに設定することで、物体があることを察知しやすくすることができる。

【0020】

（第３の実施形態）
第３の実施形態では、常に画像の解像度を落とすのではなく、右折、左折に応じてその解像度を変化させる。
図１２は、第３の実施形態に係るモニター表示システムの構成を示すブロック図、図１３はその処理の流れを示すフローチャートである。本実施形態では、図１２に示すように、画像処理装置１２に可変ＬＰＦ機能を有するフィルタ処理部１２２を搭載し、図１３に示すように、被搭載車のウインカー（Ｌ／Ｒ）２１７の点灯出力をモニターし（ステップＳ３１）、そのウインカー２１７の出力の有無を判断し（ステップＳ３２）、ウインカー出力がないときは表示画像を低解像度に変換し（ステップＳ３３）、ウインカー出力があるときは表示画像を高解像度に設定する（ステップＳ３４）。すなわち、ウインカーを出すときは右左折を使用とする場合なので、当然視界にピラー部が入る。そこでウインカー２１７を出した場合には、表示画像の解像度を落とさず、周囲の状況が判るようにする。また、この場合、曲がろうとする方向のピラー部だけを表示、あるいは解像度を落とさないようにしてもよい。

【0021】

このように、本実施形態では、通常は死角の表示画像の解像度を下げておき、ウインカーに連動して曲がる方向の視野に入るピラー部のディスプレイ１３の表示画像の解像度を落とさいようにする（先鋭度を回復させる）ことで、周囲の状況の把握が容易になり、より安全性を確保することができる。

【0022】

（第４の実施形態）
第４の実施形態では、車外とディスプレイの明るさの違いを考慮して、ディスプレイの明るさを制御する。すなわち、車外では昼間は明るく、夜は暗いため、ディスプレイの明るさは車外の明るさと同程度に設定しておかないと非常に見にくくなるので、これを改善する。

【0023】

図１４は、第４の実施形態に係るモニター表示システムの構成を示すブロック図、図１５はその処理の流れを示すフローチャートである。本実施形態では、図１４に示すように、画像処理装置１２に可変ＬＰＦ機能を有するフィルタ処理部１２２と共に、画像の輝度レベルを強調して明るさを増大する画像強調処理部１２３を搭載し、被搭載車のウインカー（Ｌ／Ｒ）２１７からのウインカー出力データ、照度センサ２１８から車外の照度データを取り込む。画像処理装置１２では、図１５に示すように、ウインカー（Ｌ／Ｒ）２１７の出力の有無、照度センサー２１８からの車外の照度データをモニターし（ステップＳ４１）、ウインカー出力があるか判断し（ステップＳ４２）、ウインカー出力がなければ出力画像を低解像度に変換する（ステップＳ４３）。ウインカー出力があった場合には、車外の照度が閾値Ｌｔｈ以上か判断し（ステップＳ４４）、閾値Ｌｔｈ以上であれば、表示画像を高解像度（無変換）、画像強調なし（明るさは変更しない）の状態に設定する（ステップＳ４５）。また、ステップＳ４４で車外の照度が閾値Ｌｔｈ未満であれば、表示画像を高解像度（無変換）、画像強調あり（明るさ増）の状態に設定する（ステップＳ４６）。

【0024】

すなわち、夜間走行時は肉眼でも車外の状況が把握しにくい。これに対して、ＣＭＳでは画像強調などの画像処理を行うことにより、明るさを増強して周囲状況を把握しやすくすることができるという特徴を備えている。図１６（ａ）に夜間に肉眼で見た様子を示し、図１６（ｂ）に、画像強調処理を行った場合の表示例を示す。こうした特性を活かし、夜間は積極的にカメラで取得した画像を利用するという方法が考えられえる。但し、夜間にピラー部に画像が表示されると、コントラストが高いため、ドライバーの注意を画像に逸らす恐れがある。そこで、例えば、照度センサー２１８で夜間走行であることを認識し、通常走行時は余計な情報を表示させないようにしておく。一方、ウインカー２１７の出力を認識することで右左折であることを検知し、この際にはローパスフィルタを切って画像強調した画像を表示する。こうすることにより、ドライバーが障害物などの社外の状況を把握しやすくすることができる。

【0025】

逆に積極的にディスプレイを使用する場合も考えられる。例えば、夜間や低速になって死角を気にするような場合である。こういった時には、積極的にカメラ映像を利用することも考えられる。図１７に示すように、あえて肉眼で見える範囲よりも広い画角の画像を表示すれば、車外の情報をより多く取得することができ、安全確保に有益となる。

【0026】

（第５の実施形態）
上記の実施形態では、いずれも画像処理装置１２において、画像処理によって低解像度に変換する場合について述べたが、カメラ１１にレンズ制御機能を備えている場合には、光学的にフォーカス（焦点）を調整することで撮影画像そのものの解像度を低下させる方法もある。

【0027】

図１８は、第５の実施形態に係るモニター表示システムの構成を示すブロック図である。本実施形態では、カメラ１１がレンズ制御部１１１と焦点調整部１１２とを備える。焦点調整部１１２は、車速センサー２１４、ウインカー２１７、照度センサー２１８の各出力を入力し、それぞれの出力データから車速、曲がる方向、車外の照度を判断し、その判断結果に基づいてレンズ制御部１１１を通じてカメラの撮影画像のフォーカスをずらすことで、適宜表示画像の低解像度化を実現する。

【0028】

なお、上記実施形態では、ディスプレイをＡピラーに取り付ける場合について説明したが、本発明はＢピラー、Ｃピラー等のドライバーにとって死角になる箇所に取り付けて、その範囲の画像を表示する場合でも適用可能である。また、自動車に限らず、他の移動体であっても同様に実施可能である。
その他、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0029】

１１，１１ａ，１１ｂ，１１ｃ…カメラ、１１１…レンズ制御部、１１２…焦点調整部、
１２…画像処理装置、１２１，１２２…フィルタ処理部、
１３，１３ａ，１３ｂ…ディスプレイ、
２１…自動車、２１１，２１２…サイドミラー、２１３…フロントミラー、２１４，２１５…Ａピラー、２１６…車速センサー、２１７…ウインカー（Ｌ／Ｒ）、２１８…照度センサー。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】