特許 6938224 透明表示装置及びその駆動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6938224

(24)【登録日】2021年9月3日

(45)【発行日】2021年9月22日

(54)【発明の名称】透明表示装置及びその駆動方法

(51)【国際特許分類】

   G09G 5/377 20060101AFI20210909BHJP

   G02F 1/13 20060101ALI20210909BHJP

   H01L 51/50 20060101ALI20210909BHJP

   G09G 5/00 20060101ALI20210909BHJP

   G09G 5/36 20060101ALI20210909BHJP

   H04N 5/232 20060101ALI20210909BHJP

   G06T 3/00 20060101ALI20210909BHJP

【ＦＩ】

   G09G5/36 520M

   G02F1/13 505

   H05B33/14 A

   G09G5/00 530M

   G09G5/00 550C

   G09G5/36 520P

   G09G5/00 530H

   G09G5/36 520D

   H04N5/232 290

   G06T3/00 770

【請求項の数】20

【全頁数】15

(21)【出願番号】特願2017-106808(P2017-106808)

(22)【出願日】2017年5月30日

(65)【公開番号】特開2017-219837(P2017-219837A)

(43)【公開日】2017年12月14日

【審査請求日】2020年4月17日

(31)【優先権主張番号】10-2016-0070531

(32)【優先日】2016年6月7日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】512187343

【氏名又は名称】三星ディスプレイ株式會社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】笹尾 幸良

(72)【発明者】

【氏名】園田 正俊

(72)【発明者】

【氏名】山本 卓永

【審査官】 塚本 丈二

(56)【参考文献】

【文献】 国際公開第２０１６／０１３６３４（ＷＯ，Ａ１）

【文献】 特開２０１６−０６３３９１（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０３３９１３（ＷＯ，Ａ１）

【文献】 特開２０１０−１２４０６１（ＪＰ，Ａ）

【文献】 特開２００９−２８８６１３（ＪＰ，Ａ）

【文献】 特開２００４−０４０３９５（ＪＰ，Ａ）

【文献】 特開２００３−０７８９０７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０１７５２１８（ＵＳ，Ａ１）

【文献】 韓国公開特許第１０−２００９−０１１２５９１（ＫＲ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００−５／４２

Ｇ０９Ｇ ３／００−３／３８

Ｇ０２Ｆ １／１３

Ｈ０１Ｌ ５１／５０

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

表示イメージを表示するとともに背景が写るように光を透過する表示領域と、前記表示領域に隣接する非表示領域とに区分される透明表示パネルを駆動する方法であって、
前記表示領域が使用者の角膜に投影されて形成された対象イメージを含む角膜反射イメージを抽出する段階と、
前記角膜の湾曲形状によって歪曲された前記対象イメージを補正して平面対象イメージを生成する段階と、
前記平面対象イメージから前記表示イメージを除去して背景イメージを生成する段階と、
前記透明表示パネルに前記背景イメージを表示する段階と、を含む透明表示装置の駆動方法。

【請求項2】

前記平面対象イメージを生成する段階は、
前記角膜反射イメージを平面イメージに補正するディワーピング段階と、
前記平面イメージから前記平面対象イメージを抽出する段階と、を含む請求項１に記載の透明表示装置の駆動方法。

【請求項3】

前記角膜反射イメージは、
前記非表示領域が前記角膜に投影されて形成されたエッジイメージをさらに含み、
前記ディワーピング段階は、
前記エッジイメージを平面エッジイメージに補正する段階を含み、
前記平面対象イメージを抽出する段階は、
前記平面エッジイメージを検出する段階と、
前記平面エッジイメージが囲むイメージを前記平面対象イメージとして特定する段階と、を含む請求項２に記載の透明表示装置の駆動方法。

【請求項4】

前記平面対象イメージを生成する段階にて、前記平面対象イメージが長方形になるように前期補正または前記抽出が行われる請求項３に記載の透明表示装置の駆動方法。

【請求項5】

前記平面エッジイメージを検出する段階は、
前記平面エッジイメージの特徴点を時間の経過に連れて逐次、抽出する請求項３に記載の透明表示装置の駆動方法。

【請求項6】

前記透明表示パネルは、表示パターンを表示し、
前記平面対象イメージを抽出する段階は、
前記表示パターンが前記角膜に投影された表示パターンイメージを検出する段階と、
前記表示パターンイメージに基づいて、前記表示領域の位置を検出して前記平面対象イメージを特定する段階と、を含む請求項２に記載の透明表示装置の駆動方法。

【請求項7】

前記背景イメージを生成する段階は、
前記平面対象イメージの解像度及び形状を補正して変換イメージを生成する段階と、
前記変換イメージから前記表示イメージを除去する段階と、
前記変換イメージの鮮明度を補正する段階と、を含む請求項１に記載の透明表示装置の駆動方法。

【請求項8】

前記鮮明度を補正する段階は、
前記表示イメージが除去された前記変換イメージを、前記透明表示パネルの透過率で割ることで補正する請求項７に記載の透明表示装置の駆動方法。

【請求項9】

前記背景イメージを生成する段階は、
前記変換イメージから前記角膜の反射率によって損失された鮮明度を補正する段階をさらに含む請求項７に記載の透明表示装置の駆動方法。

【請求項10】

前記背景イメージを生成する段階は、
前記使用者の瞳孔の色相を抽出して、前記瞳孔の光吸収率による彩度変化を補正する段階をさらに含む請求項７に記載の透明表示装置の駆動方法。

【請求項11】

前記角膜反射イメージを抽出する段階は、
カメラで使用者の目を撮像する段階と、
前記撮像された目から前記角膜反射イメージを生成する段階と、を含む請求項１に記載の透明表示装置の駆動方法。

【請求項12】

表示イメージを表示するとともに背景が写るように光を透過する表示領域と、前記表示領域に隣接する非表示領域とに区分される透明表示パネルと、
前記表示領域が使用者の角膜に投影された対象イメージを含む角膜反射イメージを抽出する角膜反射イメージ抽出部と、
前記角膜の湾曲形状によって歪曲された前記対象イメージを補正して平面対象イメージを生成するイメージ検出部と、
前記平面対象イメージから前記表示イメージを除去して背景イメージを生成する背景イメージ生成部と、を含む透明表示装置。

【請求項13】

前記イメージ検出部は、
前記角膜反射イメージを平面イメージに補正するディワーピング部と、
前記平面イメージから前記平面対象イメージを抽出する平面対象イメージ抽出部と、を含む請求項１２に記載の透明表示装置。

【請求項14】

前記角膜反射イメージは、前記非表示領域が前記角膜に投影されて形成されたエッジイメージをさらに含み、
前記ディワーピング部は、前記エッジイメージを平面エッジイメージに補正し、
前記平面対象イメージ抽出部は、
前記平面イメージから前記平面エッジイメージを検出し、前記平面エッジイメージが囲むイメージを、前記平面対象イメージとして特定する請求項１３に記載の透明表示装置。

【請求項15】

前記平面対象イメージ抽出部は、前記平面エッジイメージの特徴点を時間の経過に連れて逐次、抽出する請求項１４に記載の透明表示装置。

【請求項16】

前記透明表示パネルは、表示パターンを表示し、
前記平面対象イメージ抽出部は、
前記表示パターンが前記角膜に投影された表示パターンイメージを検出し、前記表示パターンイメージに基づいて前記表示領域の位置を検出して前記平面対象イメージを特定する請求項１３に記載の透明表示装置。

【請求項17】

前記背景イメージ生成部は、
前記平面対象イメージの解像度及び形状を補正して変換イメージを生成する変調部と、
前記変換イメージから前記表示イメージを除去し、鮮明度を補正して前記背景イメージを生成する算出部と、を含む請求項１２に記載の透明表示装置。

【請求項18】

前記算出部は、
前記表示イメージが除去された前記変換イメージを前記透明表示パネルの透過率で割ることで補正する請求項１７に記載の透明表示装置。

【請求項19】

前記角膜反射イメージ抽出部は、
前記非表示領域上に配置される前面カメラを含む請求項１２に記載の透明表示装置。

【請求項20】

前記透明表示パネルは、互いに絶縁されて交差するゲートライン及びデータラインを含み、
前記背景イメージ及び前記表示イメージを受信して前記データラインにデータ電圧を出力するデータドライバーをさらに含む請求項１２に記載の透明表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は透明表示装置、その駆動方法、及びイメージ取得装置に係り、さらに詳細には角膜反射イメージを補正して背景イメージを取得する透明表示装置、その駆動方法、及びイメージ取得装置に係る。

【背景技術】

【0002】

透明表示装置は、画面の後ろの背景が写って見える表示装置であり、既存のものは主として非発光の液晶パネルに投射して具現していたが、現在は、直接、透明な表示素子を構成する方向へと開発が進められている。液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ）は、遮光率が優れるが、２枚の偏光板を利用するために透過率が低いので、透明表示装置として活用するのが難しかった。透明表示装置は、特に、自発光が可能である有機発光ダイオード表示装置（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ Ｄｉｓｐｌａｙ ｄｅｖｉｃｅ）で主に具現されている。透明表示装置は、自動車の前面ガラスや家庭用ガラス等に適用されて、使用者に、表示装置の情報と周辺環境情報とを同時に提供することができる。

【0003】

透明表示装置は、光透過性によって、透明表示装置の後面に入射する光を、そのまま透過させて目に伝達する。後面に入射される光がそのまま、目に伝達されることによって、後方の事物を視認することができる。

【0004】

透明表示装置で、コントラスト、鮮明度、及び明るさといった画質を改善しようとすれば、表示装置の表示イメージのみならず、透けて見える背景イメージが要求される。しかし、透明表示装置自体では、付加的なセンサー無しに背景イメージを取得することができない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２００７／０００２１３０号明細書

【特許文献2】米国特許出願公開第２０１５／０１９２９９２号明細書

【特許文献3】米国特許出願公開第２０１５／０２３５３５５号明細書

【特許文献4】特開２０１５−０２２５８９号公報

【特許文献5】特開２０１４−２１６９６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、角膜反射イメージを利用して使用者が見ている背景イメージを取得する透明表示装置、その駆動方法、及びイメージ取得装置を提供することにある。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る透明表示装置駆動方法は、角膜反射イメージを抽出する段階、平面対象イメージを生成する段階、背景イメージを生成する段階、及び透明表示パネルに背景イメージを表示する段階を含む。

【0008】

透明表示パネルは、表示イメージを表示し、背景に反射される光を透過する表示領域と、表示領域の外側の非表示領域とに区分される。表示イメージは、透明表示装置が提供するイメージである。角膜反射イメージは、表示領域が使用者の角膜に投影されて形成された対象イメージと、非表示領域（ベゼル領域）が角膜に投影されて形成されたエッジイメージとを含む。

【0009】

角膜反射イメージを抽出する段階は、カメラで使用者の目を撮像する段階、及び、撮像された目から角膜反射イメージを生成する段階を含む。

【0010】

平面対象イメージは、角膜の湾曲形状によって歪曲された対象イメージを補正して生成される。平面対象イメージを生成する段階は、角膜反射イメージを平面イメージに補正する段階、及び、平面イメージから平面対象イメージを抽出する段階を含む。

【0011】

角膜反射イメージを平面イメージに補正する段階は、エッジイメージを平面エッジイメージに補正する段階を含むことができる。この場合、平面対象イメージを抽出する段階は、平面エッジイメージを検出する段階、及び、平面エッジイメージが囲むイメージを平面対象イメージとして特定する段階を含む。平面エッジイメージを検出する段階は、平面エッジイメージの特徴点を、時間の経過に連れて逐次、抽出する段階である。このような特徴点の抽出は、例えば、一定の時間間隔ごとに、または、適宜に変化させた時間間隔で、行うことができる。

【0012】

平面対象イメージを抽出する段階は、エッジイメージの代わりに透明表示パネルが表示する表示パターンを利用することができる。平面対象イメージを抽出する段階は、表示パターンが角膜に投影された表示パターンイメージを検出する段階、及び、表示パターンイメージに基づいて表示領域の位置を検出して平面対象イメージを特定する段階を含むことができる。背景イメージを生成する段階は、変換イメージを生成する段階、変換イメージから表示イメージを除去する段階、及び変換イメージの鮮明度を補正する段階を含む。

【0013】

本発明の一実施形態に係る透明表示装置は、透明表示パネル、角膜反射イメージ抽出部、イメージ検出部、及び背景イメージ生成部を含む。透明表示パネルは、表示イメージを表示する表示領域と、表示領域に隣接する非表示領域とに区分される。

【0014】

角膜反射イメージ抽出部は、角膜反射イメージを抽出する段階を遂行する。

【0015】

イメージ検出部は、ディワーピング部、及び平面対象イメージ抽出部を含む。ディワーピング部は、角膜反射イメージを平面イメージに補正する。平面対象イメージ抽出部は、平面イメージから平面対象イメージを抽出する段階を遂行する。

【0016】

背景イメージ生成部は、変調部及び算出部を含む。変調部は、平面対象イメージの解像度及び形状を補正して変換イメージを生成する。算出部は変換イメージから表示イメージを除去して背景イメージを生成する。

【発明の効果】

【0017】

本発明の透明表示装置、その駆動方法、及びイメージ取得装置は、別途の視点検出センサー無しでも、使用者が透明表示装置又はイメージ取得装置を通じて見ている背景イメージを、取得することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態に係る透明表示装置を示すブロック図である。

【図2】本発明の一実施形態に係る透明表示装置の駆動方法を示すフローチャートである。

【図3】本発明の一実施形態に係る透明表示装置について、模式的に描いた背景及び使用者とともに示す正面視の光景図である。

【図4】本発明の平面対象イメージを生成する段階を示すフローチャートである。

【図5】図４の一実施形態に係る平面対象イメージを生成する段階を示すフローチャートである。

【図6A】図５にしたがう角膜反射イメージを示す線図である。

【図6B】図５にしたがう平面イメージを示す線図である。

【図6C】図５にしたがう平面対象イメージを示す線図である。

【図7】図４の他の実施形態に係る平面対象イメージを生成する段階を示すフローチャートである。

【図8A】図７にしたがう角膜反射イメージである。

【図8B】図７にしたがう平面イメージを示す線図である。

【図8C】図７にしたがう平面対象イメージを示す線図である。

【図9】本発明の一実施形態に係る背景イメージを生成する段階を示すフローチャートである。

【図10】本発明の一実施形態に係るイメージ検出部を示すブロック図である。

【図11】本発明の一実施形態に係る背景イメージ生成部を示すブロック図である。

【図12】背景イメージ及び表示イメージを透明表示パネルに表示した透明表示装置を示す正面図である。

【発明を実施するための形態】

【0019】

本発明は多様な変更を加えることができ、様々な形態を有し得るのであり、特定な実施形態を図面に例示し、本文で詳細に説明する。しかし、これは本発明を特定な開示形態に対して限定しようとすることではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物乃至代替物を含むこととして理解されるべきである。

【0020】

図１は本発明の一実施形態に係る透明表示装置１０００を示すブロック図である。

【0021】

図１を参照すれば、透明表示装置１０００は、透明表示パネル１００、角膜反射イメージ抽出部２００、イメージ検出部３００、背景イメージ生成部４００、タイミングコントローラ５００、データドライバー６００、及びゲートドライバー７００を含む。

【0022】

透明表示パネル１００は映像を表示する。透明表示パネル１００は、多様な形態の表示パネルの中のいずれか１つであり、例えば液晶表示パネル（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ ｐａｎｅｌ）又は有機発光表示パネル（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｓｐｌａｙ ｐａｎｅｌ）である。透明表示パネル１００は、ゲート信号を受信する複数のゲートラインＧ１〜Ｇｋと、データ電圧を受信する複数のデータラインＤ１〜Ｄｍとを含む。ゲートラインＧ１〜ＧｋとデータラインＤ１〜Ｄｍとは、互いに絶縁されて交差する。透明表示パネル１００には、マトリックス状に配列された多数の画素領域が設定され、これら各素領域に、それぞれ画素ＰＸが備えられる。各画素ＰＸは、一連のゲートラインＧ１〜Ｇｋの中の１つのゲートラインと、一連のデータラインＤ１〜Ｄｍの中の１つのデータラインとに連結される。

【0023】

角膜反射イメージ抽出部２００は、角膜反射イメージ（ＣＲＩ：Ｃｏｒｎｅａｌ ｒｅｆｌｅｃｔｉｏｎ ｉｍａｇｅ）を生成する。角膜反射イメージ抽出部２００は、角膜反射イメージＣＲＩをイメージ検出部３００に提供する。具体的な内容は後述する。

【0024】

イメージ検出部３００は、角膜反射イメージ抽出部２００から角膜反射イメージＣＲＩを受信する。イメージ検出部３００は、角膜反射イメージＣＲＩを補正して平面対象イメージＦＴＩを生成し、背景イメージ生成部４００に平面対象イメージＦＴＩを提供する。具体的な内容は後述する。

【0025】

背景イメージ生成部４００は、イメージ検出部３００から平面対象イメージＦＴＩを受信する。背景イメージ生成部４００は、平面対象イメージＦＴＩを補正して背景イメージＰｂを生成して、タイミングコントローラ５００に提供する。具体的な内容は後述する。

【0026】

タイミングコントローラ５００は、外部のグラフィック制御器（図示せず）から基本イメージデータＤＡＴＡ１及び制御信号ＣＳを受信する。タイミングコントローラ５００は、制御信号ＣＳ、例えば垂直同期信号、水平同期信号、メーンクロック、データイネーブル信号等を受信して、第１制御信号ＣＴ１及び第２制御信号ＣＴ２を出力する。ここで、第１制御信号ＣＴ１は、ゲートドライバー７００の動作を制御するためのゲート制御信号である。第１制御信号ＣＴ１は、ゲートクロックＣＰＶ及び垂直開示信号ＳＴＶを含む。また、第２制御信号ＣＴ２は、データドライバー６００の動作を制御するデータ制御信号である。第２制御信号ＣＴ２は、データドライバー６００の動作を開始する水平開示信号、データ電圧の極性を反転させる反転信号、及びデータドライバー６００からデータ電圧が出力される時期を決定する出力指示信号等を含む。

【0027】

データドライバー６００は、第２制御信号ＣＴ２に基づいて変調イメージデータＤＡＴＡ２が変換されたデータ電圧を、データラインＤ１〜Ｄｍに出力する。

【0028】

ゲートドライバー７００は、透明表示パネル１００に具備されたゲートラインＧ１〜Ｇｋと電気的に連結されて、ゲートラインＧ１〜Ｇｋにゲート信号を提供する。具体的に、ゲートドライバー７００は、第１制御信号ＣＴ１に基づいてゲートラインＧ１〜Ｇｋを駆動するためのゲート信号を生成し、生成されたゲート信号を、ゲートラインＧ１〜Ｇｋに順次出力する。

【0029】

図示しないが、本発明の透明表示装置１０００が有機発光表示装置である場合、透明表示装置１０００は、タイミングコントローラ５００から制御信号を受信して発光制御信号を透明表示パネル１００に提供する、発光ドライバーをさらに含む。発光ドライバーは、各有機発光ダイオードに流れる電流のタイミングを制御する。

【0030】

図２は、本発明の一実施形態に係る透明表示装置１０００の駆動方法（Ｓ１０００）を示すフローチャートである。図３は、本発明の一実施形態に係る透明表示装置１０００について、模式的に描いた背景及び使用者ＵＳＥＲとともに示す正面視の光景図である。

【0031】

図２を参照すれば、透明表示装置１０００の駆動方法（Ｓ１０００）は、角膜反射イメージを抽出する段階（Ｓ１００）、平面対象イメージを生成する段階（Ｓ２００）、背景イメージを生成する段階（Ｓ３００）、及び透明表示パネル１００に背景イメージを表示する段階（Ｓ４００）を含む。

【0032】

図３を参照すれば、透明表示装置１０００は、映像を表示する表示領域ＶＡと、表示領域ＶＡに隣接する非表示領域ＮＶＡとに区分される。表示領域ＶＡは透明又は半透明である。使用者ＵＳＥＲは、透明表示装置１０００の表示領域ＶＡを通じて、透明表示装置１０００の後方の背景を視認することができる。また、非表示領域ＮＶＡに配置されたタイミングコントローラ５００が、基本イメージデータＤＡＴＡ１を受信して、表示領域ＶＡに表示イメージを提供する。表示領域ＶＡは、表示イメージを提供する領域と、背景から写る光を透過する領域とを含む。

【0033】

図２及び図３を参照すれば、角膜反射イメージを抽出する段階（Ｓ１００）では、使用者ＵＳＥＲの角膜に投影された角膜反射イメージＣＲＩを抽出する。角膜反射イメージＣＲＩは、透明表示パネル１００の表示領域ＶＡが使用者ＵＳＥＲの角膜に投影された対象イメージＴＩを含む。具体的に、使用者ＵＳＥＲは、透明表示パネル１００を通じて後方の背景を見ることができ、角膜反射イメージＣＲＩには、表示領域ＶＡを透過した後、使用者ＵＳＥＲの角膜に到達してから反射する光による対象イメージＴＩが含まれる。

【0034】

角膜反射イメージ抽出部２００は、透明表示装置１０００の前面に、非表示領域ＮＶＡ中に備えられる。角膜反射イメージ抽出部２００は使用者ＵＳＥＲを撮像する前面カメラである。角膜反射イメージ抽出部２００は使用者ＵＳＥＲの目を撮像する。カメラのレンズ画角（ａｎｇｌｅ ｏｆ ｖｉｅｗ）が目より広い場合、角膜反射イメージ抽出部２００は、使用者ＵＳＥＲの顔のイメージを検出する顔検出技術や、目のイメージを検出する目検出技術を利用して、角膜反射イメージＣＲＩを抽出する。

【0035】

角膜反射イメージ抽出部２００は、使用者ＵＳＥＲの角膜反射イメージＣＲＩを抽出し、透明表示装置１０００は、角膜反射イメージＣＲＩを利用して背景イメージＰｂを生成する。したがって、透明表示装置１０００は、背景イメージＰｂを抽出するための別途のカメラを必要としない。すなわち、後面カメラを必要としない。

【0036】

平面対象イメージを生成する段階（Ｓ２００）では、角膜によって歪曲された対象イメージＴＩを補正して、平面対象イメージＦＴＩを生成する。使用者ＵＳＥＲの角膜は丸いことから、角膜で反射された角膜反射イメージＣＲＩは凸ミラーに映し出されたイメージと同一であるので、対象イメージＴＩは、使用者ＵＳＥＲが角膜を通じて認知する実際の形状と異なり歪曲されている。したがって、平面対象イメージを生成する段階（Ｓ２００）では、歪曲されたイメージを補正することによって、使用者ＵＳＥＲが角膜を通じて認知する実際の形状と同一の平面対象イメージＦＴＩを生成する。

【0037】

背景イメージを生成する段階（Ｓ３００）では、平面対象イメージＦＴＩから、透明表示パネル１００が表示する表示イメージＰｄを除去して、背景イメージＰｂを生成する。表示イメージＰｄとは、透明表示パネル１００の画素ＰＸによって生成されるイメージを意味する。使用者ＵＳＥＲの角膜に結ぶイメージは、背景のみならず、透明表示パネルが生成する表示イメージＰｄを含む。したがって、平面対象イメージＦＴＩから表示イメージＰｄを除去することによって、透明表示装置１０００は、背景イメージＰｂを取得することができる。

【0038】

図４は、本発明の平面対象イメージを生成する段階（Ｓ２００）を示すフローチャートであり、図５は、図４の一実施形態に係る平面対象イメージを生成する段階（Ｓ２００）を示すフローチャートである。図６Ａ乃至図６Ｃは、図５の平面対象イメージを生成する段階（Ｓ２００）にしたがう、角膜反射イメージＣＲＩ、平面イメージＦＩ、及び平面対象イメージＦＴＩを示す線図である。

【0039】

図４を参照すれば、平面対象イメージを生成する段階（Ｓ２００）は、角膜反射イメージＣＲＩを平面イメージに補正する段階（Ｓ２１０）（以下、ディワーピング（Ｄｅ−ｗａｒｐｉｎｇ）段階という）、及び平面イメージＦＩから平面対象イメージを抽出する段階（Ｓ２２０）を含む。

【0040】

図５を参照すれば、平面対象イメージを抽出する段階（Ｓ２２０）は、平面エッジイメージを検出する段階（Ｓ２３０）、及び、平面エッジイメージ１１０ｂが囲むイメージを平面対象イメージとして特定する段階（Ｓ２５０）を含む。

【0041】

図６Ａには、角膜反射イメージＣＲＩを示す。角膜反射イメージＣＲＩは、対象イメージＴＩ及びエッジイメージ１１０ａを含む。

【0042】

表示領域ＶＡから使用者ＵＳＥＲの角膜に投影されるイメージには、背景が透明表示パネル１００を透過して角膜で反射される対象イメージＴＩと、透明表示パネル１００が表示する表示イメージＰｄとが含まれる。エッジイメージ１１０ａは対象イメージＴＩを囲む。エッジイメージ１１０ａは、透明表示パネル１００の非表示領域ＮＶＡを、使用者ＵＳＥＲの角膜に投影したイメージである。

【0043】

使用者ＵＳＥＲの角膜は、球の一部分を用いた、反射面が膨らんでいる凸ミラーと看做しうる。角膜反射イメージＣＲＩは、使用者ＵＳＥＲが見る背景を、凸ミラーに反射させた形のものと看做しうる。したがって、図６Ａの角膜反射イメージＣＲＩは、中央部が拡張され、外側が収縮された形状を有する。対象イメージＴＩ及びエッジイメージ１１０ａの形状は、それぞれ、実際の表示領域ＶＡ及び非表示領域ＮＶＡの形状と異なり、曲がって形成される。

【0044】

図６Ｂには平面イメージＦＩを示す。平面イメージＦＩは、角膜の湾曲形状によって歪曲された角膜反射イメージＣＲＩを、補正することで生成される。具体的に、ディワーピング段階（Ｓ２１０）では、曲がった物体の角度を考慮して角膜の曲率を検出し、曲がった物体の形状を復元する補正を通じて平面イメージＦＩを生成することができる。

【0045】

平面イメージＦＩは、平面対象イメージＦＴＩ及び平面エッジイメージ１１０ｂを含む。曲がった形状を有する対象イメージＴＩ及びエッジイメージ１１０ａは、ディワーピング段階（Ｓ２１０）を経て、実際の透明表示装置１０００と同一の形状を有するように補正される。具体的に、対象イメージＴＩは平面対象イメージＦＴＩに補正され、エッジイメージ１１０ａは平面エッジイメージ１１０ｂに補正される。

【0046】

表示領域ＶＡは長方形である。この場合、平面対象イメージＦＴＩは、長方形になるように補正することで得られる。

【0047】

図６Ｃには、平面対象イメージＦＴＩを示す。平面対象イメージＦＴＩは、平面エッジイメージを検出する段階（Ｓ２３０）、及び、平面エッジイメージ１１０ｂが囲むイメージを平面対象イメージとして特定する段階（Ｓ２５０）を経て形成される。

【0048】

平面エッジイメージ１１０ｂは、非表示領域ＮＶＡによる色相の変化等を利用して検出する。表示領域ＶＡが長方形である場合、平面対象イメージＦＴＩを囲む４つの直線を算出して平面対象イメージＦＴＩを特定する。

【0049】

平面エッジイメージを検出する段階（Ｓ２３０）では、平面エッジイメージ１１０ｂの特徴点を、時間の経過に連れて逐次、抽出する。一例として平面対象イメージ抽出部３２０は、平面エッジイメージ１１０ｂのＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を抽出する。平面対象イメージ抽出部３２０は、抽出された平面エッジイメージ１１０ｂが囲むイメージを、平面対象イメージＦＴＩとして特定する。

【0050】

図７は、図４の他の実施形態に係る平面対象イメージを生成する段階（Ｓ２００）を示すフローチャートである。図８Ａ乃至図８Ｃには、図７の平面対象イメージを生成する段階（Ｓ２００）にしたがう、角膜反射イメージＣＲＩ、平面イメージＦＩ、及び平面対象イメージＦＴＩを示す。

【0051】

図７を参照すれば、平面対象イメージを抽出する段階（Ｓ２２０）は、ディワーピング段階（Ｓ２１０）、表示パターンイメージを検出する段階（Ｓ２４０）、及び表示パターンイメージ１２０ｂが囲むイメージを平面対象イメージとして特定する段階（Ｓ２５０）を含む。

【0052】

図８Ａには、角膜反射イメージＣＲＩを示す。角膜反射イメージＣＲＩは、対象イメージＴＩ、エッジイメージ１１０ａ、及び表示パターン反射イメージ１２０ａを含む。

【0053】

透明表示パネル１００は表示パターン１２０を表示し、表示パターン１２０は、角膜に投影されて表示パターン反射イメージ１２０ａを生成する。ここでの表示パターン１２０は、背景イメージＰｂの表示範囲の領域を定めるために透明表示パネル１００に表示される。

【0054】

図８Ｂには平面イメージＦＩを示す。平面イメージＦＩは、平面対象イメージＦＴＩ、平面エッジイメージ１１０ｂ、及び表示パターンイメージ１２０ｂを含む。表示パターンイメージ１２０ｂは、ディワーピング段階（Ｓ２１０）を経て表示パターン１２０と同一の形状を有するように補正されたものである。即ち、表示パターン反射イメージ１２０ａは、表示パターンイメージ１２０ｂに補正される。

【0055】

図８Ｂを参照すれば、表示パターンイメージ１２０ｂの形状はダイヤモンドで図示したが、これに制限されず、使用者ＵＳＥＲが抽出しようとする背景イメージＰｂの表示範囲に対応する多様な形状を有することができる。

【0056】

図８Ｃには平面対象イメージＦＴＩを示す。平面対象イメージＦＴＩは、表示パターンイメージを検出する段階（Ｓ２４０）、及び、表示パターンイメージ１２０ｂに基づいて表示領域ＶＡの位置を検出して平面対象イメージＦＴＩを特定する段階を経て形成される。

【0057】

平面対象イメージＦＴＩは、表示パターン１２０による色相変化等を利用して表示パターンイメージ１２０ｂを検出する。表示パターンイメージを検出する段階（Ｓ２４０）では、表示パターンイメージ１２０ｂの特徴点を、時間の経過に連れて逐次、抽出する。表示パターンイメージを検出する段階（Ｓ２４０）では表示パターンイメージ１２０ｂのＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を抽出する。平面対象イメージ抽出部３２０は、抽出された表示パターンイメージ１２０ｂが囲むイメージを平面対象イメージＦＴＩとして特定する。

【0058】

図９は、本発明の一実施形態に係る背景イメージを生成する段階（Ｓ３００）を示すフローチャートである。

【0059】

図９を参照すれば、背景イメージを生成する段階（Ｓ３００）は、変換イメージを生成する段階（Ｓ３１０）、表示イメージを除去する段階（Ｓ３２０）、及び変換イメージＰｃの鮮明度を補正する段階（Ｓ３３０）を含む。

【0060】

変換イメージを生成する段階（Ｓ３１０）は、平面対象イメージＦＴＩの解像度及び形状を補正して変換イメージＰｃを生成する段階である。平面対象イメージＦＴＩは、解像度及び形状が、透明表示装置１０００の仕様に適合するように補正される。平面対象イメージＦＴＩは、Ａｆｆｉｎｅ変換を利用して並進（ｔｒａｎｓｌａｔｉｏｎ）、スケーリング（ｓｃａｌｉｎｇ）、回転（ｒｏｔａｔｉｏｎ）、又はシャーリング（ｓｈｅａｒｉｎｇ）の中の少なくとも１つの変換によって、変換イメージＰｃに補正される。

【0061】

表示イメージを除去する段階（Ｓ３２０）は、変換イメージＰｃから表示イメージＰｄを除去する段階である。表示イメージＰｄも、やはり使用者ＵＳＥＲの角膜に投影されるので、変換イメージＰｃから背景イメージＰｂを取得するために、表示イメージＰｄが除去される必要がある。

【0062】

鮮明度を補正する段階（Ｓ３３０）は、透明表示パネル１００の透過率（ａａ）によって損失されたイメージを補正する段階である。実際の背景は、透明表示パネル１００を透過して使用者ＵＳＥＲの角膜に投影されるので、透明表示パネル１００の透過率（ａａ）によって、背景は、一部が透明表示パネル１００で反射または吸収され、残りの部分が角膜に投影される。したがって、変換イメージＰｃから透過率（ａａ）による損失イメージを補正して、実際の背景と同一の背景イメージＰｂを取得する。

【0063】

背景イメージはＰｂ、表示イメージはＰｄ、透明表示パネルの透過率はａａ、及び変換イメージはＰｃとして定義される場合、背景イメージはＰｂ＝（Ｐｃ−Ｐｄ）／ａａを満足する。具体的に、鮮明度を補正する段階（Ｓ３３０）では、変換イメージＰｃから表示イメージＰｄを除去した後、透明表示パネル１００の透過率（ａａ）で割る補正によって、背景イメージＰｂを生成する。

【0064】

背景イメージを生成する段階（Ｓ３００）は、角膜の反射率によって損失された鮮明度を補正する段階をさらに含む。透明表示パネル１００のみならず、使用者ＵＳＥＲの角膜も、やはり一部の光は吸収し、一部の光は反射する。したがって、変換イメージＰｃから角膜の光反射率による割り算を行うことで、背景イメージＰｂを生成する。

【0065】

背景イメージを生成する段階（Ｓ３００）は、瞳孔の光吸収率による彩度変化を補正する段階をさらに含む。使用者ＵＳＥＲの瞳孔の色相は多様であり、瞳孔の色相にしたがって波長の吸収率が異なる。したがって、使用者ＵＳＥＲの瞳孔の色相を抽出して、実際の背景の色相と同一となるように、変換イメージの色相を補正する。

【0066】

図１０は、本発明の一実施形態に係るイメージ検出部３００を示すブロック図である。

【0067】

図１０を参照すれば、イメージ検出部３００は、ディワーピング部３１０及び平面対象イメージ抽出部３２０を含む。

【0068】

ディワーピング部３１０は、角膜反射イメージＣＲＩを平面イメージＦＩに補正するディワーピング段階（Ｓ２１０）を遂行する。即ち、ディワーピング部３１０は、角膜反射イメージＣＲＩを受信して、平面イメージＦＩを平面対象イメージ抽出部３２０に提供する。

【0069】

平面対象イメージ抽出部３２０は、平面イメージＦＩから平面対象イメージを抽出する段階（Ｓ２２０）を遂行する。即ち、平面対象イメージ抽出部３２０は、平面イメージＦＩを受信して、背景イメージ生成部４００に平面対象イメージＦＴＩを提供する。

【0070】

図１１は、本発明の一実施形態に係る背景イメージ生成部４００を示したブロック図である。

【0071】

図１１を参照すれば、背景イメージ生成部４００は変調部４１０及び算出部４２０を含む。

【0072】

変調部４１０は、平面対象イメージＦＴＩから変換イメージを生成する段階（Ｓ３１０）を遂行する。即ち、変調部４１０は、平面対象イメージＦＴＩを受信して変換イメージＰｃを算出部４２０に提供する。

【0073】

算出部４２０は、変換イメージＰｃから表示イメージを除去する段階（Ｓ３２０）、及び、変換イメージＰｃの鮮明度を補正する段階（Ｓ３３０）を遂行する。即ち、算出部４２０は、変換イメージＰｃを受信してから、表示イメージＰｄを除去し、透過率（ａａ）による鮮明度を補正して背景イメージＰｂを出力する。

【0074】

図１２は、背景イメージＰｂ及び表示イメージＰｄを透明表示パネル１００に表示した透明表示装置１０００を示す正面図である。

【0075】

背景イメージＰｂは、使用者ＵＳＥＲが透明表示パネル１００を通じて見ているイメージに対応される。したがって、使用者ＵＳＥＲの視点が変更されて表示領域ＶＡを通じて見ているイメージが変わる場合、背景イメージＰｂも変わるようになる。角膜反射イメージ抽出部２００は使用者ＵＳＥＲの目を撮像して、使用者ＵＳＥＲの視点変化を検出することができ、使用者ＵＳＥＲの角膜反射イメージＣＲＩを抽出するので、別途の後面カメラ無しで背景イメージＰｂを生成する。

【0076】

表示イメージＰｄは、タイミングコントローラ５００が、外部のグラフィック制御器（図示せず）から基本イメージデータＤＡＴＡ１を受信することで、透明表示パネル１００に表示されるイメージである。図１２を参照すれば、透明表示パネル１００はアルファベットＡＢＣを表示イメージＰｄの一例として図示しているが、これに制限されず、時間、天候、温度等多様な情報を表示領域ＶＡに表示しうる。

【0077】

一方、本発明は記載された実施形態に限定されることではなく、本発明の思想及び範囲を逸脱することなしに、多様に修正及び変形できることは、この技術分野で通常の知識を有する者にとり明らかである。したがって、そのような変形例又は修正例は、本発明の請求の範囲に属するべきである。

【符号の説明】

【0078】

１０００ 透明表示装置
１００ 透明表示パネル
２００ 角膜反射イメージ抽出部
３００ イメージ検出部
４００ 背景イメージ生成部
ＣＲＩ 角膜反射イメージ
ＴＩ 対象イメージ
ＦＩ 平面イメージ
ＦＴＩ 平面対象イメージ
Ｐｂ 背景イメージ
Ｐｃ 変換イメージ
Ｐｄ 表示イメージ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】