特許 7408408 表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-22

(45)【発行日】2024-01-05

(54)【発明の名称】表示システム

(51)【国際特許分類】

   H04N 9/73 20230101AFI20231225BHJP

   B60R 1/20 20220101ALI20231225BHJP

   B60R 1/26 20220101ALI20231225BHJP

   H04N 7/18 20060101ALI20231225BHJP

   H04N 23/10 20230101ALI20231225BHJP

   H04N 23/60 20230101ALI20231225BHJP

   H04N 23/63 20230101ALI20231225BHJP

【ＦＩ】

H04N9/73 B

B60R1/20 100

B60R1/26 100

B60R1/26 200

H04N7/18 J

H04N23/10

H04N23/60 500

H04N23/63

【請求項の数】 5

(21)【出願番号】P 2020008285

(22)【出願日】2020-01-22

(65)【公開番号】P2021118372

(43)【公開日】2021-08-10

【審査請求日】2022-12-22

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(72)【発明者】

【氏名】三廼 浩太

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１１－２５４３１１（ＪＰ，Ａ）

【文献】特開２００９－１６５０３６（ＪＰ，Ａ）

【文献】特開２０１４－０４２１３８（ＪＰ，Ａ）

【文献】特開２０１７－１８４１５２（ＪＰ，Ａ）

【文献】特開２０１１－０９７３９８（ＪＰ，Ａ）

【文献】国際公開第２０１９／０８７５４７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ９／０１ － ９／１１

Ｈ０４Ｎ ９／４４ － ９／７８

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／１０

Ｈ０４Ｎ ２３／１２ －２３／１７

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／８３ －２３／８８

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｈ０４Ｎ ２５／１０ －２５／１７

Ｈ０４Ｎ ２５／６１１

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １／０８ － １／３１

(57)【特許請求の範囲】

【請求項1】

映像を撮影するカメラと、前記カメラの出力映像の映像処理を行う映像処理部と、前記映像処置部が映像処理を行った映像を表示するディスプレイとを備えた表示システムであって、
前記カメラは、
映像を撮像し出力する撮像部と、
撮像部が出力した映像のホワイトバランス調整を行って当該カメラの前記出力映像として出力するホワイトバランス調整部と、
前記撮像部が出力した映像の色味を識別可能な情報を色味情報として出力する色味情報出力手段とを有し、
前記映像処理部は、
前記カメラの出力映像の色を調整する所定の色調整処理を行う色調整処理部と、
前記カメラから出力される色味情報に基づいて、前記色調整処理部が色調整処理を行った映像から、前記カメラの撮像部が出力した映像の色味に近似する色味の映像として前記ディスプレイに表示される映像を生成して、前記ディスプレイに出力する色味補正手段とを有することを特徴とする表示システム。

【請求項2】

請求項１記載の表示システムであって、
前記色味補正手段は、前記色調整処理部が色調整処理を行った映像に、前記カメラの撮像部が出力した映像の色味に近似する色味の映像への変換と、映像の白色部分を前記ディスプレイに白色に表示させるための表示用ホワイトバランス調整とを施した映像を生成して前記ディスプレイに出力することを特徴とする表示システム。

【請求項3】

請求項１または２記載の表示システムであって、
前記カメラの色味情報出力手段は、ホワイトバランス調整部が行ったホワイトバランス調整の内容を表す情報を前記色味情報として出力することを特徴とする表示システム。

【請求項4】

請求項１または２記載の表示システムであって、
前記カメラは、前記撮像部が出力した映像の色味を算定する色味算定手段を有し、
前記カメラの色味情報出力手段は、前記色味算定手段が算定した色味を表す情報を前記色味情報として出力することを特徴とする表示システム。

【請求項5】

請求項１、２、３または４記載の表示システムであって、
当該表示システムは自動車に搭載され、
前記カメラは前記自動車の後方の映像を撮影し、
前記ディスプレイは前記自動車の運転席の着席者から視認可能な位置に配置されていることを特徴とする表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮影した映像を表示する表示システムに関するものである。

【背景技術】

【0002】

カメラで撮影した映像を表示する表示システムとしては、自動車車内のフロントウインドシールドの上方の位置に配置したディスプレイに、カメラで撮影した自動車後方の映像を表示する電子ミラーシステムが知られている（たとえば、特許文献１）。

【0003】

また、このような表示システムに用いることのできるカメラに関する技術としては、被写体の白色の部分を表す画素の画素値が、正しく白色を表す画素値となるように、撮像素子から出力される映像の各色のゲインを調整した上で出力するホワイトバランス調整の技術が知られている（たとえば、特許文献２）。

【0004】

また、撮影時の色環境（環境光色等）下における被写体の色味を反映した映像、すなわち、目視によって認識される色味と同じ色味の被写体の映像が得られるように、撮像素子から出力される映像の各色のゲインを調整した上で出力する色味調整の技術も知られている（たとえば、特許文献３）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６- ２２９３４号公報

【文献】特開２００２-１８５９７７号公報

【文献】国際公開第２００５／０４１５８号

【発明の概要】

【発明が解決しようとする課題】

【0006】

たとえば、上述した電子ミラーシステムにおいて、カメラにおいてホワイトバランス調整を行った映像をディスプレイに表示すると、その時点の色環境によって、ディスプレイに表示される映像中の被写体の色味と、ドライバーが目視によって認識する被写体の色味とが異なってしまうことがある。

【0007】

一方、上述した電子ミラーシステムにおいて、カメラにおいて色味調整を行う場合には、カメラから出力された映像において被写体の白色の部分は有彩色となるため、ユーザから設定された有彩色を調整する色調整をカメラから出力された映像に対して施してディスプレイに表示する場合などには、ディスプレイに表示される被写体の白色等の無彩色の部分が、無彩色とは認識できない色となってしまうことがある。

【0008】

そして、このように、ディスプレイに表示される映像中の被写体の色味の印象と、ドライバーが直接の目視やサイドミラーを介した目視によって認識する被写体の色味の印象とが異なってしまうことは、ドライバーの自動車周辺の状況の直感的な把握にとってマイナス要因となる。

【0009】

そこで、本発明は、カメラで撮影した映像に対して有彩色の調整を施して表示した場合にも、表示される映像中の被写体の色味の印象を、目視によって認識する被写体の色味の印象に整合できる表示システムを提供することを課題とする。

【課題を解決するための手段】

【0010】

前記課題達成のために、本発明は、映像を撮影するカメラと、前記カメラの出力映像の映像処理を行う映像処理部と、前記映像処置部が映像処理を行った映像を表示するディスプレイとを備えた表示システムを提供する。ここで、前記カメラは、映像を撮像し出力する撮像部と、撮像部が出力した映像のホワイトバランス調整を行って当該カメラの前記出力映像として出力するホワイトバランス調整部と、前記撮像部が出力した映像の色味を識別可能な情報を色味情報として出力する色味情報出力手段とを備えている。また、前記映像処理部は、前記カメラの出力映像の色を調整する所定の色調整処理を行う色調整処理部と、前記カメラから出力される色味情報に基づいて、前記色調整処理部が色調整処理を行った映像から、前記カメラの撮像部が出力した映像の色味に近似する色味の映像として前記ディスプレイに表示される映像を生成して、前記ディスプレイに出力する色味補正手段とを備えている。

【0011】

ここで、このような表示システムは、前記色味補正手段において、前記色調整処理部が色調整処理を行った映像に、前記カメラの撮像部が出力した映像の色味に近似する色味の映像への変換と、映像の白色部分を前記ディスプレイに白色に表示させるための表示用ホワイトバランス調整とを施した映像を生成して前記ディスプレイに出力するように構成してもよい。

【0012】

以上のような表示システムは、前記カメラの色味情報出力手段において、ホワイトバランス調整部が行ったホワイトバランス調整の内容を表す情報を前記色味情報として出力するように構成してもよい。

【0013】

または、以上の表示システムにおいて、前記カメラに、前記撮像部が出力した映像の色味を算定する色味算定手段を設け、前記カメラの色味情報出力手段において、前記色味算定手段が算定した色味を表す情報を前記色味情報として出力するようにしてもよい。

【0014】

また、以上の表示システムは自動車に搭載されたものであってよく、この場合、前記カメラは前記自動車の後方の映像を撮影し、前記ディスプレイは前記自動車の運転席の着席者から視認可能な位置に配置されているものであってもよい。

【0015】

以上のような表示システムによれば、カメラにおいてホワイトバランス調整された映像に対して、映像処理部で色調整処理を行った後に、色調整処理を行った映像を、前記カメラの撮像部が出力した映像の色味に近似する色味の映像として前記ディスプレイに表示される映像に変換してディスプレイに表示するので、色調整処理で有彩色の調整を施した場合にも、被写体の白色の部分が不自然に色づいてしまうことを抑止しつつ、表示される映像中の被写体の色味の印象を、目視によって認識する被写体の色味の印象に整合できる。

【発明の効果】

【0016】

以上のように、本発明によれば、カメラで撮影した映像に対して有彩色の調整を施して表示した場合にも、表示される映像中の被写体の色味の印象を、目視によって認識する被写体の色味の印象に整合できる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係る電子ミラーシステムの構成を示すブロック図である。

【図2】本発明の実施形態に係る電子ミラーシステムの配置を示す図である。

【図3】本発明の実施形態に係る電子ミラーシステムの動作を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について、電子ミラーシステムへの適用を例にとり説明する。
図１に、本実施形態に係る電子ミラーシステムの構成を示す。
電子ミラーシステムは自動車に搭載されているシステムであり、図示するように、カメラ１とモニタ装置２を備えている。
ここで、カメラ１は、たとえば、図２ａに示すように、自動車の後部に配置され自動車の後方のようすを撮影する。
また、モニタ装置２は、たとえば、図２ｂに示すように、自動車車内のフロントウインドシールドの上方の位置、すなわち、伝統的にルームミラーが配置されてきた位置に配置され、カメラ１で撮影した映像を表示する。

【0019】

図１に戻り、カメラ１は、CCDイメージセンサなどの映像を撮像し出力する撮像部１１、撮像部１１が出力した映像の各色のゲインを調整して出力するホワイトバランス調整部１２、ホワイトバランス調整部１２から出力される映像の色温度を推定する色温度推定部１３、色温度推定部１３が推定した色温度に基づいて、ホワイトバランス調整部１２から出力される映像中の、被写体の白色の部分を表す画素の画素値が、正しく白色を表す画素値となるように、ホワイトバランス調整部１２における各色のゲインを制御して、ホワイトバランスを調整するホワイトバランス制御部１４を有している。ここで、ホワイトバランス調整部１２における各色のゲインの制御は、より具体的には、たとえば、、色温度推定部１３において、ホワイトバランス調整部１２から出力される映像中の色の平均レベルを算定し、ホワイトバランス制御部１４が色温度推定部１３において算定した平均レベルが所定値（たとえば０）となるように各色のゲインを制御すること等により行うことができる。なお、ホワイトバランス調整部１２における各色のゲインの制御によるホワイトバランス調整は、撮像部１１が撮像した映像中の被写体の白色の部分に対応する領域を推定し、当該領域の画素値が白色を表す値となるように各色のゲインを制御することなどによっても行うことができる。

【0020】

そして、ホワイトバランス調整部１２から出力される映像はカメラ出力映像Ｖとしてモニタ装置２に送られる。また、ホワイトバランス制御部１４によるホワイトバランス調整部１２における各色のゲインの制御内容は、ゲイン制御情報Iとしてモニタ装置２に送られる。

【0021】

次に、モニタ装置２は、映像処理部２１、ディスプレイ２２、制御部２３、入力装置２４を備えている。
ディスプレイ２２は、LCD等の表示装置であり、表示面を自動車後方に向けて配置されている。また、入力装置２４は、スイッチやディスプレイ２２の表示面に重ねて設けられたタッチパネルなどの入力装置２４であり、ユーザ操作を受け付ける。

【0022】

映像処理部２１は、色調整部２１１、表示ホワイトバランス補正部２１２、表示ホワイトバランス制御部２１３を備えている。
色調整部２１１は、制御部２３が入力装置２４に対するユーザ操作等に応じて色調整部２１１に設定した内容の色調整処理を、カメラ１から入力するカメラ出力映像Ｖに施して表示ホワイトバランス補正部２１２に出力する。

【0023】

表示ホワイトバランス補正部２１２は、色調整部２１１から入力する色調整処理後のカメラ出力映像Ｖの各色のゲインを、表示ホワイトバランス制御部２１３から設定されたゲインに調整し、ディスプレイ２２に表示する。

【0024】

表示ホワイトバランス制御部２１３は、カメラ１から入力するゲイン制御情報Iと、ディスプレイ２２の表示特性とに応じて、表示ホワイトバランス補正部２１２において施す、色調整処理後のカメラ出力映像Ｖの各色のゲインを設定する。

【0025】

すなわち、表示ホワイトバランス制御部２１３は、ゲイン制御情報Iが表すカメラ１において撮像部１１が撮像した映像に対して施されたホワイトバランス調整の内容から求まる撮像部１１が撮像した映像の色味に、ディスプレイ２２に表示される映像の色味が再現されるように、表示ホワイトバランス補正部２１２において施す、色調整処理後のカメラ出力映像Ｖの各色のゲインを設定する。

【0026】

より具体的には、表示ホワイトバランス制御部２１３は、各色iについて、ゲイン制御情報Iが表すカメラ１のホワイトバランス調整部１２の当該色iのゲインを全てキャンセルするゲイン、もしくは、所定程度キャンセルするゲイン、すなわち、ホワイトバランス調整部１２の当該色iのゲインの逆数に１以下０超の所定の係数を乗じたゲインを、当該色iの色味調整用のゲインＧciとして算出する。

【0027】

これにより、ゲイン制御情報Iが、カメラ１のホワイトバランス調整部１２で黄色味を減ずる各色のゲインでホワイトバランス調整を行っていることを表している場合には、黄色味を減じた分に応じた程度、黄色味を増加する各色iの色味調整用のゲインＧciが算定される。

【0028】

また、表示ホワイトバランス制御部２１３は、各色ｉについて、ディスプレイ２２の表示特性より予め定まる、ディスプレイ２２のホワイトバランス調整用の当該色ｉのゲインをＧwiとして、Ｇci×Ｇwiを、表示ホワイトバランス補正部２１２において施す、色調整処理後のカメラ出力映像Ｖの当該色ｉのゲインとして設定する。

【0029】

なお、ディスプレイ２２のホワイトバランス調整用の各色のゲインとは、映像Ａの各色に当該色iのゲインＧwiを施した映像Ｂをディスプレイ２２に出力したときに、映像Ａにおいて白色を表す画素値を持っていた映像Ｂの画素が、ディスプレイ２２において白色に表示されるゲインである。

【0030】

図３に、以上のような電子ミラーシステムの動作を示す。
いま、図３ａのように、目視において夕方の被写体の白色の部分が黄色味がかって認識される風景をカメラ１で撮影した場合、カメラ１の撮像部１１からは被写体の白色の部分が黄色味がかった映像が出力される。そして、図３ｂ１に示すように、カメラ１のホワイトバランス調整部１２によって、撮像部１１から出力された映像を、被写体の白色の部分が白色となるようにホワイトバランス調整した映像が生成されモニタ装置２に出力される。

【0031】

そして、モニタ装置２の映像処理部２１の色調整部２１１に色を濃くする色調整処理が設定されている場合、色調整部２１１において図３ｂ１の映像の有彩色を濃くした図３ｂ２に示す映像が生成され、表示ホワイトバランス補正部２１２に出力される。ここで被写体の白色の部分は、カメラ１から入力する図３ｂ１の映像においても無彩色である白色となっているので、色調整処理後の図３ｂ２に示す映像でも白色のままとなる。

【0032】

そして、表示ホワイトバランス補正部２１２において、カメラ１で行われたホワイトバランスの調整をキャンセルした映像がディスプレイ２２に表示されることとなる映像、すなわち、カメラ１で行われた黄色味がかった白色を白色とするホワイトバランス調整とは逆に白色の部分を黄色味がからせた映像がディスプレイ２２に表示されることとなる映像が生成され、図３ｂ３に示すようにディスプレイ２２に表示される。

【0033】

したがって、ディスプレイ２２に表示される映像は、目視の場合と同様に、被写体の白色の部分が黄色味がかって表れる映像となる。
また、色調整部２１１で有彩色を濃くする色調整処理を行っても、表示された映像の、被写体の白色の部分が、白色と認識されないほどに色づいてしまうことはない。また、色調整部２１１で色相を変換する色調整処理を行った場合にも、表示された映像の、被写体の白色の部分の色相が目視で認識される色相からずれてしまうこともない。

【0034】

ここで、比較例として、モニタ装置２の映像処理部２１の表示ホワイトバランス補正部２１２において、ディスプレイ２２のホワイトバランス調整用の各色のゲインＧwiのみを施した場合について示す。

【0035】

この場合、図３ｃに示すように、ディスプレイ２２に表示される映像は、被写体の白色の部分が白色で表れる映像となり、表示された映像と、図３ａに示すように目視によって被写体の白色の部分が黄色味がかって認識される映像との間に、色味の印象の相違が生じることとなる。

【0036】

次に、比較例として、カメラ１において、目視によって認識される色味と同じ色味の被写体の映像が得られるように撮像部１１から出力される映像を調整する色味調整を行うと共に、モニタ装置２の映像処理部２１の表示ホワイトバランス補正部２１２において、ディスプレイ２２のホワイトバランス調整用の各色のゲインＧwiのみを施す場合について示す。

【0037】

この場合、カメラ１からは図３ｄ１に示すように、目視によって認識される場合と同様に被写体の白色の部分が黄色味がかった映像が出力される。
そして、モニタ装置２の映像処理部２１の色調整部２１１に色を濃くする色調整処理が設定されている場合、色調整部２１１において図３ｄ１の映像の有彩色を濃くした図３ｄ２に示す映像が生成され、表示ホワイトバランス補正部２１２に出力される。ここで被写体の白色の部分は、カメラ１から入力する図３ｄ１の映像においても黄色味がかった白色となっているので、色調整処理後の図３ｄ２に示す映像では、さらに黄色味が強化されて黄色と認識される色となる場合がある。

【0038】

そして、この場合、図３ｄ３に示すように、ディスプレイ２２に表示される映像は、被写体の白色の部分が黄色と認識される色で表れる映像となり、表示された映像と、図３ａに示すように目視によって被写体の白色の部分が黄色味がかった白色として認識される映像との間に、色味の印象の相違が生じることとなる。

【0039】

また、この場合には、色調整処理部で色相の変換を含む色調整処理を行うと、被写体の白色の部分に目視により認識される色相と異なる色相の色への変化が生じ、さらに、表示された映像と目視によって認識される映像との間に乖離が生じることがある。

【0040】

以上、本発明の実施形態について説明した。
なお、以上の実施形態は、カメラ１において、撮像部１１が撮像した映像の色温度を推定してモニタ装置２に通知し、モニタ装置２の表示ホワイトバランス制御部２１３において、各色iについて、通知された色温度に映像を調整するゲインを、当該色iのゲインＧciとして算出するようにしてもよい。

【0041】

また、以上の実施形態はフロントウインドシールドの上方の位置にモニタ装置２を配置した電子ミラーシステムへの適用を例にとり示したが、本実施形態は、左右に配置した二つのモニタ装置２に、カメラ１で撮影した自動車の左右側部後方の映像をそれぞれ表示する電子ミラーシステムや、その他のカメラで撮影した映像/映像を表示する任意の表示システムに同様に適用することができる。

【符号の説明】

【0042】

１…カメラ、２…モニタ装置、１１…撮像部、１２…ホワイトバランス調整部、１３…色温度推定部、１４…ホワイトバランス制御部、２１…映像処理部、２２…ディスプレイ、２３…制御部、２４…入力装置、２１１…色調整部、２１２…表示ホワイトバランス補正部、２１３…表示ホワイトバランス制御部。

【図1】

【図2】

【図3】