(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160990
(43)【公開日】2024-11-15
(54)【発明の名称】3次元画像を提供する電子装置及び方法
(51)【国際特許分類】
G02B 30/26 20200101AFI20241108BHJP
G02B 27/01 20060101ALI20241108BHJP
【FI】
G02B30/26
G02B27/01
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024074417
(22)【出願日】2024-05-01
(31)【優先権主張番号】10-2023-0056913
(32)【優先日】2023-05-02
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2024-0047001
(32)【優先日】2024-04-05
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】516082420
【氏名又は名称】シンクウェア コーポレーション
【氏名又は名称原語表記】THINKWARE CORPORATION
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】コ・スクピル
【テーマコード(参考)】
2H199
【Fターム(参考)】
2H199BA15
2H199BA47
2H199BA49
2H199BA69
2H199BB02
2H199BB18
2H199BB33
2H199BB52
2H199BB58
2H199BB64
2H199BB66
2H199DA03
2H199DA12
2H199DA17
2H199DA32
2H199DA36
(57)【要約】 (修正有)
【課題】車両の走行中、運転者に必要な視覚情報を容易に認識するための方法が求められる。
【解決手段】電子装置は、第1の発光モジュールと、第2の発光モジュールと、第1の発光モジュールから放出された光による第1の画像及び第2の発光モジュールから放出された光による第2の画像をユーザに提供するように構成されたスクリーンと、ユーザの目の位置を感知するように構成された視線追跡器とを含み、第1の発光モジュール及び第2の発光モジュールは、第1の画像内の視覚オブジェクトと第2の画像内の視覚オブジェクトとの間の両眼視差に基づいて、視線追跡器によって感知されたユーザの目の位置に対応する、ユーザが識別する画像とユーザの目との間の焦点距離を調整するように構成される。
【選択図】
図2
【特許請求の範囲】
【請求項1】
電子装置であって、
第1の発光モジュール、
第2の発光モジュール、
前記第1の発光モジュールから放出された光を用いた第1の画像と、前記第2の発光モジュールから放出された光を用いた第2の画像とを、ユーザに提供するように構成されたスクリーン、及び
前記ユーザの目の位置を感知するように構成された視線追跡器を含み、
前記第1の発光モジュール及び前記第2の発光モジュールは、前記第1の画像内の視覚オブジェクトと、前記第2の画像内の視覚オブジェクトとの間の両眼視差に基づいて、前記視線追跡器を介して感知された前記ユーザの前記目の位置と、前記ユーザが識別可能な画像との間の焦点距離を調整するように構成される、電子装置。
【請求項2】
前記第2の発光モジュールは、前記第1の発光モジュールから離隔され、
前記第1の発光モジュール及び前記第2の発光モジュールから離隔された前記スクリーンは、
第1の透明層、
前記第1の透明層から離隔された第2の透明層、及び
前記第1の透明層と前記第2の透明層との間に配置され、シワのある表面を有する透明フィルムを含み、
前記フィルムのシワのある表面は、前記第1の発光モジュールに向かう第1の傾斜面と、前記第2の発光モジュールに向かう第2の傾斜面とを含み、
前記第1の傾斜面は、前記第1の発光モジュールから放出された光を反射して、前記ユーザの第1の目に伝達するように構成され、
前記第2の傾斜面は、前記第2の発光モジュールから放出された光を反射して、前記ユーザの第2の目に伝達するように構成される、請求項1に記載の電子装置。
【請求項3】
前記スクリーンは、
前記第1の透明層と前記第2の透明層との間の空間を満たす屈折率マッチング材料をさらに含み、
前記屈折率マッチング材料は、
前記フィルムに反射された光が通過する前記第2の透明層と前記フィルムとの屈折率差を補償する、請求項2に記載の電子装置。
【請求項4】
前記第1の発光モジュール及び前記第2の発光モジュールは、
前記ユーザが前記スクリーンを見たときに、前記スクリーンに反射された光が前記ユーザに伝達されるように、前記フィルムに向かって光を放出するように構成される、請求項2に記載の電子装置。
【請求項5】
前記第1の透明層及び前記第2の透明層は、
ガラス又はポリマー材料を含む、請求項2に記載の電子装置。
【請求項6】
前記フィルムに向かう前記第1の透明層の一面と、前記フィルムに向かう前記第2の透明層の一面とは、ポリビニルブチラールが塗布されている、請求項2に記載の電子装置。
【請求項7】
前記スクリーンは、
前記電子装置が搭載される車両のウィンドシールドの少なくとも一部として機能する、請求項1に記載の電子装置。
【請求項8】
前記第1の発光モジュール及び前記第2の発光モジュールは、
前記スクリーンに反射された光を介して画像を提供するプロジェクション装置として機能する、請求項1に記載の電子装置。
【請求項9】
前記スクリーン内の1つの層は、
シワのある表面を含み、
前記第1の発光モジュールの第1の発光素子及び前記第2の発光モジュールの第2の発光素子は、
透明OLED(organic light emitting diode)を含み、
前記シワのある表面は、前記第1の発光素子のそれぞれが配置され、前記ユーザの第1の目に向かう第1の傾斜面と、前記第2の発光素子のそれぞれが配置され、前記第2の発光モジュールに向かう第2の傾斜面とを含む、請求項1に記載の電子装置。
【請求項10】
前記ユーザの目の位置を識別するように構成された視線追跡器、及び
前記視線追跡器、前記第1の発光モジュール、及び前記第2の発光モジュールと動作可能に接続されたプロセッサをさらに含み、
前記プロセッサは、
前記視線追跡器から取得された前記ユーザの目の位置に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御するように構成される、請求項1に記載の電子装置。
【請求項11】
前記プロセッサは、
前記視線追跡器を用いて、前記ユーザの前記目の位置が第1の位置から第2の位置に移動したことを識別し、
前記第1の発光モジュール及び前記第2の発光モジュールから放出される光の位置を、前記第1の位置から前記第2の位置に変更するように、前記第1の発光モジュール及び前記第2の発光モジュールの角度を調整するように構成される、請求項10に記載の電子装置。
【請求項12】
前記プロセッサは、
前記スクリーンを介して提供される仮想オブジェクトの位置を変更するための焦点距離に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御するように構成される、請求項10に記載の電子装置。
【請求項13】
前記電子装置の前方環境に関連する画像を取得するように構成された前方カメラをさらに含み、
前記プロセッサは、
前記前方カメラを介して取得された視覚オブジェクトのうち、ユーザが凝視する外部オブジェクトに対応する視覚オブジェクトを識別し、
前記識別された視覚オブジェクトに基づいて、前記外部オブジェクトと前記ユーザの目との間の焦点距離を識別し、
前記識別された焦点距離に基づいて、前記焦点距離上に画像情報を提供するように、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御するように構成される、請求項12に記載の電子装置。
【請求項14】
前記プロセッサは、
前記画像情報を提供するために、前記第1の発光モジュールを用いて、前記画像情報に対応する第1の画像を前記ユーザの第1の目に提供し、前記第2の発光モジュールを用いて、前記画像情報に対応する第2の画像を前記ユーザの第2の目に提供し、
前記第1の画像内の第1の仮想オブジェクトと、前記第1の仮想オブジェクトに対応する前記第2の画像内の第2の仮想オブジェクトとの間の距離を調整して、前記焦点距離上に画像情報を提供するように構成される、請求項13に記載の電子装置。
【請求項15】
前記画像情報は、
走行方向、走行距離、残り距離、移動経路、周辺位置情報、又はこれらの組み合わせのうち少なくとも1つから選択される、請求項13に記載の電子装置。
【請求項16】
前記第1の発光モジュールと前記第2の発光モジュールのそれぞれは、
前記ユーザの目に視覚情報を提供するように、前記スクリーンに対する距離調整又は前記スクリーンに対してティルティングされるように構成される、請求項1に記載の電子装置。
【請求項17】
前記第1の発光モジュール及び前記第2の発光モジュールは、
前記第1の発光モジュールから前記ユーザの第1の目に提供される第1の画像内の第1の視覚オブジェクトと、前記第2の発光モジュールから前記ユーザの第2の目に提供される第2の画像内の第2の視覚オブジェクトとの間の両眼視差に基づいて、前記スクリーンを通して提供される視覚オブジェクトと前記ユーザとの間の距離を調整するように構成される、請求項1に記載の電子装置。
【請求項18】
前肢装置の動作方法であって、
車両に搭乗した運転者の目の位置を識別する動作、
前記運転者の第1の目に第1の画像を伝達するために、第1の発光モジュールを介して、前記車両の前面ガラスに向かって光を放出する動作、
前記運転者の第2の目に第2の画像を伝達するために、第2の発光モジュールを介して、前記車両の前面ガラスに向かって光を放出する動作、及び
前記識別された前記運転者の目の位置に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御する動作を含み、
前記第1の画像内の第1の仮想オブジェクトと、前記第2の画像内の第2の仮想オブジェクトとの間の両眼視差によって、前記車両の前面ガラスによって反射される画像情報の焦点が調整される、方法。
【請求項19】
前記第1の画像内の第1の仮想オブジェクトと、前記第1の仮想オブジェクトに対応する前記第2の画像内の第2の仮想オブジェクトとの間の距離を調整して、前記焦点に対応する位置に前記画像情報を表示する動作を含む、請求項18に記載の方法。
【請求項20】
前記画像情報は、
走行方向、走行距離、残り距離、移動経路、周辺位置情報、又はこれらの組み合わせのうち少なくとも1つから選択される、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3次元画像を提供する電子装置及び方法に関する。
【背景技術】
【0002】
運転者が運転している間、前方の走行環境を注視しながら、車両の情報を取得するための様々な装置が開発されている。例えば、車両にヘッドアップディスプレイが設置されることで、運転者は、インストルメントパネルを確認することなく、車両情報を取得することができる。車両に搭載されたヘッドアップディスプレイは、車両のウィンドシールドガラスから反射された光を介して、運転者に視覚情報を提供することができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
車両の走行中、運転者は、前方環境を注視している。前方環境を注視している間、運転者は、ナビゲーション情報や車両のインストルメントパネルを介した情報を確認するために視線を移動した場合、車両走行の安定性を低下させる可能性がある。運転者が比較的離れた距離の前方環境を注視し、車両内部の装置を通して表示される視覚情報を認識するために焦点を調整するとき、運転者の目の疲労度は、増加することがある。これを解決するために、車両の走行中、運転者に必要な視覚情報を容易に認識するための方法が求められる。
【0004】
本明細書で達成しようとする技術的課題は、前記の技術的課題に限定されず、記載されていない他の技術的課題は、以下の記載から本発明が属する技術分野における通常の知識を有する者に明確に理解され得るだろう。
【課題を解決するための手段】
【0005】
電子装置は、第1の発光モジュールと、第2の発光モジュールと、前記第1の発光モジュール及び前記第2の発光モジュールから放出された光による画像をユーザに提供するように構成されたスクリーンと、前記ユーザの目の位置を感知するように構成された視線追跡器とを含むことができる。前記第1の発光モジュール及び前記第2の発光モジュールは、前記視線追跡器を介して取得された前記ユーザの前記目の位置に基づいて、前記画像と前記ユーザの前記目との間の焦点距離を調整するように構成されてもよい。
【0006】
電子装置の動作方法は、車両に搭乗した運転者の目の位置を識別する動作と、前記運転者の第1の目に第1の画像を伝達するために、第1の発光モジュールを介して、前記車両の前面ガラスに向かって光を放出する動作と、前記運転者の第2の目に第2の画像を伝達するために、第2の発光モジュールを介して、前記車両の前面ガラスに向かって光を放出する動作と、前記識別された運転者の目の位置に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御する動作とを含むことができる。前記第1の画像内の第1の仮想オブジェクトと、前記第2の画像内の第2の仮想オブジェクトとの間の両眼視差によって、前記車両の前面ガラスによって反射される画像情報の焦点を調整することができる。
【0007】
一実施形態による1つ又はそれ以上のプログラムを格納する非一時的コンピュータ可読記憶媒体では、前記1つ又はそれ以上のプログラムが電子装置によって実行されると、車両に搭乗した運転者の目の位置を識別するように、前記電子装置を引き起こす命令(instruction)を含むことができる。前記1つ又はそれ以上のプログラムは、前記電子装置によって実行されると、前記運転者の第1の目に第1の画像を伝達するために、第1の発光モジュールを介して、前記車両の前面ガラスに向かって光を放出するように、電子装置を引き起こす命令を含むことができる。前記1つ又はそれ以上のプログラムは、前記電子装置によって実行されると、前記運転者の第2の目に第2の画像を伝達するために、第2の発光モジュールを介して、前記車両の前面ガラスに向かって光を放出するように、電子装置を引き起こす命令を含むことができる。前記1つ又はそれ以上のプログラムは、前記電子装置が実行されると、前記識別された運転者の目の位置に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御するように、電子装置を引き起こす命令を含むことができる。前記第1の画像内の第1の仮想オブジェクトと、前記第2の画像内の第2の仮想オブジェクトとの間の両眼視差によって、前記車両の前面ガラスによって反射される画像情報の焦点を調整することができる。
【発明の効果】
【0008】
一実施形態によれば、3次元画像を提供する電子装置及び方法は、運転者が前方を注視している間に、運転者の視野範囲内で視覚情報を提供することができる。
【0009】
一実施形態によれば、3次元画像を提供する電子装置及び方法は、運転者が注視する外部オブジェクトに対応する位置に、視覚情報を表示することによって、ユーザの目の疲労度を低減することができる。
【0010】
本開示で得られる効果は、前記で言及された効果に限定されず、言及されていない他の効果は、以下の記載から本開示が属する技術分野における通常の知識を有する者に明確に理解され得るだろう。
【図面の簡単な説明】
【0011】
【
図1】車両に搭載された電子装置を介して提供される車両情報の例を示す。
【
図2】電子装置を介して車両情報を立体的に表示する例を示す。
【
図3a】例示的な電子装置の構成要素の配置を示す。
【
図3b】例示的な電子装置の構成要素を介して、運転者の目に伝達される光を通じて視覚情報が伝達される光路を示す。
【
図4a】プロジェクタを含む例示的な電子装置の構成要素の配置を示す。
【
図4b】プロジェクタを含む例示的な電子装置の構成要素を介して、運転者の目に伝達される光を通じて視覚情報が伝達される光路を示す。
【
図5】車両に搭載される例示的な電子装置のブロック図を示す。
【
図6】電子装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0012】
本明細書に開示された様々な実施形態による電子装置は、様々な形態の装置であり得る。電子装置は、例えば、携帯用通信装置(例えば、スマートフォン)、携帯用通信装置により制御される電子装置、コンピュータ装置、携帯用マルチメディア装置、カメラ、電子装置、又は車両内に搭載される電子装置を含むことができる。本明細書の実施形態による電子装置は、前述の機器に限定されない。
【0013】
本明細書の様々な実施形態及びそれに使用される用語は、本明細書に記載された技術的特徴を、特定の実施形態に限定することを意図するものではなく、その実施形態の様々な変更、等価物、又は代替物を含むことを理解されたい。図面の説明に関して、類似又は関連する構成要素には、類似の参照番号を使用する場合がある。項目に対応する名詞の単数形は、関連する文脈上、明らかに別段の指示がない限り、項目1つ又はそれ以上を含むことができる。本明細書において、「A又はB」、「A及びBのうち少なくとも1つ」、「A又はBのうち少なくとも1つ」、「A、B又はC」「A、B及びCのうち少なくとも1つ」、及び「A、B又はCのうち少なくとも1つ」などの句の各々は、その句の対応する句に一緒に列挙された項目のいずれか、又はそれらの可能なすべての組み合わせを含むことができる。「第1」、「第2」、又は「一番目」又は「二番目」などの用語は、単にその構成要素を他の対応する構成要素と区別するために使用される場合があり、その構成要素を他の側面(例えば、重要性又は順序)に限定しない。ある(例えば、第1の)構成要素が、他の(例えば、第2の)構成要素に、「機能的に」又は「通信的に」という用語と組み合わせて、又はそのような用語なしで、「結合(coupled)」又は「接続(connected)」と言及されている場合、それは、ある構成要素が他の構成要素に直接(例えば、有線で)、無線で、又は第3の構成要素を介して接続され得ることを意味する。
【0014】
本明細書の様々な実施形態は、機器(machine)によって読み取り可能な記憶媒体(storage medium)に格納された1つ又はそれ以上の命令を含むソフトウェアとして実施することができる。例えば、機器のプロセッサは、記憶媒体から格納された1つ又はそれ以上の命令のうち少なくとも1つの命令を呼び出し、それを実行することができる。これにより、機器が、呼び出された少なくとも1つの命令に従って、少なくとも1つの機能を実行するように動作することを可能にする。1つ又はそれ以上の命令は、コンパイラによって生成されたコード又はインタプリタによって実行され得るコードを含むことができる。機器で読み取り可能な記憶媒体は、非一時的(non-transitory)記憶媒体の形態で提供されてもよい。ここで、「非一時的」とは、記憶媒体が実在(tangible)する装置であり、信号(signal、例えば、電磁波)を含まないことを意味するだけであり、この用語は、データが記憶媒体に半永久的に保存される場合と、一時的に保存される場合とを区別しない。
【0015】
一実施形態によれば、本明細書に開示された様々な実施形態による方法は、コンピュータプログラム製品(computer program product)に含まれて提供されてもよい。コンピュータプログラム製品は、商品として販売者と購入者との間で取引され得る。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体(例えば、compact disc read only memory(CD-ROM))の形態で配布されるか、又はアプリケーションストアを介して又は2つのユーザ装置(例:スマートフォン、車両内の電子装置)間で直接、オンラインで配布(例えば、ダウンロード又はアップロード)されてもよい。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリなどの機器で読み取り可能な記憶媒体に少なくとも一時的に保存されるか、一時的に生成され得る。
【0016】
様々な実施形態によれば、前記の構成要素の各構成要素(例えば、モジュール又はプログラム)は、単数又は複数の個体を含んでもよく、複数の個体のうち一部は、異なる構成要素に分離配置してもよい。様々な実施形態によれば、前述の該当構成要素のうち1つ又はそれ以上の構成要素又は動作を省略しても、又は1つ又はそれ以上の他の構成要素又は動作を追加してもよい。代替的又は追加的に、複数の構成要素(例えば、モジュール又はプログラム)は、1つの構成要素に統合することができる。この場合、統合された構成要素は、複数の構成要素の各構成要素の1つ又はそれ以上の機能を、統合前に複数の構成要素のうち該当構成要素によって実行されるのと同じ又は同様に実行することができる。様々な実施形態によれば、モジュール、プログラム、又は他の構成要素によって実行される動作は、順次、並列的、繰り返し、又は経験的に実行されてもよく、又は動作のうち1つ又はそれ以上が異なる順序で実行されても、省略されても、あるいは、1つ以上の他の動作が追加されてもよい。
【0017】
以下では、図面を参照して本開示の実施形態について、本開示が属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。しかしながら、本開示は、様々な異なる形態で実施することができ、本明細書に記載の実施形態に限定されない。図面の説明に関して、同一又は類似の構成要素には、同一又は類似の参照番号を使用することができる。さらに、図面及び関連する説明では、明確性及び簡潔さのために、周知の機能及び構成の説明を省略することがある。
【0018】
図1は、車両に搭載された電子装置を介して提供される車両情報の例を示す。
図2は、電子装置を介して車両情報を立体的に表示する例を示す。
【0019】
図1を参照すると、車両1の走行中に、車両1に搭乗した運転者(又はユーザ)のために、車両1又は車両1に搭載された電子装置(例えば、
図3aの電子装置100、
図4aの電子装置200)は、運転者に視覚情報を提供することができる。車両1又は車両1に搭載された電子装置は、車両のインストルメントパネル又は車両内部に実装されたディスプレイを介して、運転者に視覚情報を提供することができる。車両1又は車両1に搭載された電子装置は、車両のウィンドシールド(又は前面ガラス)に反射するように構成されたディスプレイ(例えば、HUD(head up display))を介して、ユーザに視覚情報を提供することができる。
【0020】
一実施形態によれば、車両1又は車両1に搭載された電子装置は、HUDを介して提供される視覚情報を、立体的に提供するように構成されてもよい。例えば、HUDを介して提供される視覚情報は、遠近感を有することができる。運転者は、走行中に、インストルメントパネル、車内ディスプレイ、又はHUDを介してウィンドシールドに表示された視覚情報を見るために、目の焦点を変更する必要がある。例えば、運転者は、車両1の外部オブジェクト20(例えば、道路、車両、又は背景)を注視している間、車両の視覚情報を確認するために、視野を変更するか、焦点を変更することで、緊急事態に対応し難いことを感じるか、目の疲労度の増加を感じることがある。
【0021】
一実施形態によれば、車両1又は車両1に搭載された電子装置は、HUDを介して提供される視覚情報の表示の位置を調整するように構成されてもよい。車両1又は車両1に搭載された電子装置は、仮想スクリーン10上に視覚オブジェクト11を表示することができる。視覚オブジェクト11は、走行方向、走行距離、残り距離、移動経路、走行速度、周辺位置情報、又はそれらの組み合わせのうち少なくとも1つから選択された画像情報又はアイコンを含むことができる。固定された位置に表示された視覚オブジェクト11′と運転者の目との間の焦点距離は、運転者が注視している外部オブジェクト20と運転者の目との間の焦点距離とは異なることがある。固定された位置に表示された視覚オブジェクト11′を識別するために、運転者は、固定された位置に表示された視覚オブジェクト11′に対応する焦点距離に変更することによって、周囲環境の識別が困難になり、疲労度が増加することがある。一実施形態によれば、車両1又は車両1に搭載された電子装置は、目の疲労度を低下させるように運転者の焦点距離を維持するために、視覚オブジェクト11が表示される仮想スクリーン10の位置を調整するように構成することができる。例えば、車両1又は車両1に搭載された電子装置は、車両1の運転者が外部オブジェクト20を注視することを識別すると、外部オブジェクト20と車両1の運転者の目との間の焦点距離に対応する点に、視覚オブジェクト11が表示される仮想スクリーン10を配置するように調整することができる。
図2を参照して、仮想スクリーン10に表示される視覚オブジェクトの遠近感を表示する方法について説明する。
【0022】
図2を参照すると、車両1又は車両1に配置された電子装置は、車両1の運転者が前方に配置されるスクリーン40を含むことができる。スクリーン40は、車両のウィンドシールドの一部として機能することができる。ウィンドシールドに配置されたスクリーン40は、ユーザに視覚オブジェクト11を提供するHUDの構成要素として機能することができる。スクリーン40は、車両1のウィンドシールドの一部として機能するものとして説明したが、実施形態は、これに限定されない。例えば、スクリーン40は、車両1のウィンドシールドと運転者との間に配置された透明ガラス又は透明ポリマーを含む要素に配置又は実装されてもよい。スクリーン40を含む電子装置の構造の例は、
図3a、
図3b、
図4a及び
図4bを参照して説明する。
【0023】
一実施形態によれば、スクリーン40は、拡張現実(AR(augmented reality))及び/又は混合現実(MR(mixed reality))に関連する機能を実行することができる。運転者が車両1に搭乗した状態で、ウィンドシールド(又は前面ガラス)に配置又は実装されたスクリーン40は、ウィンドシールド(又は前面ガラス)を透過した周辺環境を示す可視光と、スクリーン40を通して出射される光とを結合することができる。スクリーン40は、光を結合するので、運転者は、車両の外部オブジェクトを含む周囲環境と、スクリーン40を介して出射される光によって形成された視覚オブジェクト11とが混合された像を見ることができる。視覚オブジェクト11の像は、車両1の外側に配置された仮想スクリーン10に表示されてもよい。
【0024】
一実施形態によれば、スクリーン40は、ユーザの目e1、e2のそれぞれに向かって整列された少なくとも1つの発光モジュール41a、41bを含むことができる。スクリーン40は、第1の発光モジュール41a及び第2の発光モジュール41bを含むことができる。第1の発光モジュール41aの発光素子は、車両1に搭乗した運転者の第1の目e1(例えば、運転者の左眼)に向かうように配置され、第2の発光モジュール41bの発光素子は、車両1に搭乗した運転者の第2の目e2(例えば、運転者の右眼)に向かうように配置され得る。
【0025】
スクリーン40を含む車両1又は電子装置は、仮想スクリーン10を提供することができる。スクリーン40、スクリーン40を含む車両1又は電子装置は、仮想スクリーン10内で3次元の位置を有する視覚オブジェクト11を表示することができる。スクリーン40は、第1の発光モジュール41aの発光モジュールを介して提供される第1の画像30a内の視覚オブジェクト11aの第1の位置と、第2の発光モジュール41bの発光モジュールを介して提供される第2の画像30b内の視覚オブジェクト11bの第2の位置とを変更して、ユーザにより認識される仮想スクリーン10内の視覚オブジェクト11の距離を変更することができる。例えば、第1の位置と第2の位置との間の差を調整することによって、スクリーン40、スクリーンを含む車両1又は電子装置は、仮想スクリーン10内で視覚オブジェクト11の遠近感を調整することができる。第1の位置と第2の位置との差が増加するほど、視覚オブジェクト11の両眼視差aが増加し得る。両眼視差aの増加に伴って、スクリーン40は、仮想スクリーン10内の視覚オブジェクト11が近づく感覚を提供することができる。例えば、第1の画像30a内の視覚オブジェクト11aは、第1の位置に位置し、第2の画像30b内の視覚オブジェクト11bは、第2の位置に位置することができる。視覚オブジェクト11a及び視覚オブジェクト11bは、互いに対応するオブジェクトを表してもよい。第1の画像30a内の視覚オブジェクト11aの第1の位置が、第1の画像30aの一点から距離d1の点である場合、第2の画像30b内の視覚オブジェクト11bの第2の位置が、第2の画像30bの一点から距離d2の点である場合、スクリーン40は、視覚オブジェクト11を仮想スクリーン10の面に配置されていると表示することができる。視覚オブジェクト11の遠近感を調整するために、第2の画像30b内の視覚オブジェクト11bの第2の位置を、視覚オブジェクト11b′に移動させるとき、視覚オブジェクト11b′の位置は、第2の画像30bの一点から距離d2′の点であってもよい。移動した第2の画像30b内の視覚オブジェクト11b′によって、両眼視差aが増加し、増加した両眼視差aによって、スクリーン40は、仮想スクリーン10から視覚オブジェクト11が近づいてくるとユーザーに認識させることができる。
【0026】
第1の位置と第2の位置との間の差が減少するほど、視覚オブジェクト11の両眼視差aは、減少し得る。両眼視差aの減少に従い、スクリーン40は、仮想スクリーン10内の視覚オブジェクト11が離れていく感覚を提供することができる。例えば、第1の画像30a内の視覚オブジェクト11aは、第1の位置に位置し、第2の画像30b内の視覚オブジェクト11b′は、第2の位置とは異なる位置に配置することができる。視覚オブジェクト11の遠近感を調整するために、第2の画像30b内の視覚オブジェクト11b′の位置を、視覚オブジェクト11bの第2の位置に移動させるとき、視覚オブジェクト11bの位置は、第2の画像30bの一点から距離d2の点であってもよい。移動した第2の画像30b内の視覚オブジェクト11bによって、両眼視差aが減少し、減少した両眼視差aによって、スクリーン40は、仮想スクリーン10から視覚オブジェクト11が離れていくとユーザーに認識させることができる。
【0027】
一実施形態によれば、スクリーン40又はスクリーン40を含む電子装置は、視線追跡器(eye tracker、例えば、
図3aの視線追跡器130又は
図4aの視線追跡器230)などの少なくとも1つの光学入力装置(例えば、カメラ)を用いて、運転者の視線を追跡するように構成されてもよい。スクリーン40又はスクリーン40を含む電子装置は、運転者が車両に搭乗するとき、車両に搭乗した運転者の姿勢が変わるとき、又は外部を注視する運転者の視線で変化が発生したとき、運転者の視線の位置を識別し、運転者に提供される視覚オブジェクト11の位置を変更するように構成することができる。一実施形態によれば、スクリーン40又はスクリーン40を含む電子装置は、視線の位置に関連するキャリブレーションを実行して、その位置関係によって引き起こされる視線位置の誤差を補償又は軽減することができる。
【0028】
一実施形態では、キャリブレーションを実行するために、スクリーン40又はスクリーン40を含む電子装置は、視線位置に関連するキャリブレーション情報を取得することができる。キャリブレーション情報は、視線位置の計算に関連する情報を含んでもよい。例えば、キャリブレーショ情報は、視線追跡器を使用して取得された画像及び/又はビデオ、及び/又はこの画像及び/又はビデオから視線位置を計算した結果のうち少なくとも1つを含むことができる。
【0029】
図3aは、例示的な電子装置の構成要素の配置を示す。
図3bは、例示的な電子装置の構成要素を介して、運転者の目に伝達される光を通じて視覚情報が伝達される光路を示す。
【0030】
図3a及び
図3bを参照すると、電子装置100は、スクリーン110と視線追跡器130とを含むことができる。電子装置100は、車両内に搭載することができる。電子装置100は、車両に含まれるECU(electronic control unit)で実現することができる。スクリーン110は、ユーザに視覚情報を提供するディスプレイとして動作することができる。スクリーン110は、車両(例えば、
図1の車両1)のウィンドシールドの少なくとも一部として機能することができる。例えば、スクリーン110は、車両(例えば、
図1の車両1)のウィンドシールドに隣接して配置されてもよく、ウィンドシールドに組み込まれてもよい。スクリーン110は、ヘッドアップディスプレイと呼ぶことがある。
【0031】
一実施形態によれば、スクリーン110は、透明ディスプレイとして動作することができる。例えば、スクリーン110内に配置された第1の発光モジュール111及び第2の発光モジュール112は、透明OLED(organic light emitting diode)などの発光素子を含むことができる。スクリーン110は、第1の発光モジュール111及び第2の発光モジュール112から放出された光によって形成された画像を、ユーザに提供するように構成されてもよい。透明ディスプレイとして動作するスクリーン110は、車両1の外部の光を車両1の内部に透過させることができる。第1の発光モジュール111及び第2の発光モジュール112から放出された光による画像は、透明ディスプレイとして動作するスクリーン110を介して、車両1の内部に透過した光による外部環境に重畳するように表示されてもよい。第1の発光モジュール111及び第2の発光モジュール112は、柔軟で透明な基板を含むことができる。例えば、第1の発光モジュール111及び第2の発光モジュール112は、複数の発光素子が配置される透明で柔軟性を有するポリマー(例えば、PI(polyimide))で形成された基板を含むことができる。第1の発光モジュール111と第2の発光モジュール112とは、透明性を有する基板を含むことで、車両1の外部から伝達された光を、車両1の運転者pに伝達することができる。第1の発光モジュール111及び第2の発光モジュール112は、柔軟性を有することで、曲面のウィンドシールド101に配置することができる。
【0032】
電子装置100は、運転者pが立体感を感じるように、スクリーン110を介して運転者pの両眼のそれぞれに異なる画像を提供することができる。第1の発光モジュール111及び第2の発光モジュール112は、運転者pの目eに向かって視覚情報を提供するように構成されてもよい。第1の発光モジュール111は、運転者pの第1の目e1に視覚情報(例えば、
図2の第1の画像30a)を提供するように構成され、第2の発光モジュール112は、運転者pの第2の目e2に視覚情報(例えば、
図2の第2の画像30b)を提供するように構成され得る。第1の発光モジュール111及び第2の発光モジュール112は、複数の発光素子111a、111b、...111n、112a、112b、...112nを含むことができる。スクリーン110は、複数の発光素子111a、111b、...111n、112a、112b、...112nによって、ユーザの両眼に異なる画像を提供するように、複数の発光素子111a、111b、...111n、112a、112b、......112nが配置される傾斜面i1、i2を含むことができる。傾斜面i1、i2は、スクリーン110の外面に対して傾きを有することができる。第1の傾きを有する第1の傾斜面i1と、第2の傾きを有する第2の傾斜面i2とは、交互に配置されてもよい。第1の傾斜面i1は、運転者pの第1の目e1に向かうように傾いてもよく、第2の傾斜面i2は、運転者pの第2の目e2に向かうように傾いてもよい。
【0033】
一実施形態によれば、第1の発光モジュール111は、複数の第1の発光素子111a、111b、...111nを含むことができる。複数の第1の発光素子111a、111b、...111nのそれぞれは、運転者pの第1の目e1に向かって光を出射するように構成されてもよい。第1の発光モジュール111の複数の第1の発光素子111a、111b、...111nは、運転者pの第1の目e1に向かうように、傾斜面に配置されてもよい。例えば、複数の第1の発光素子111a、111b、...111nは、第1の傾斜面i1に配置されてもよい。第1の傾斜面i1は、スクリーン110内で運転者pの第1の目e1に向かうように傾いてもよい。第1の傾斜面i1は、スクリーン110の外面に対して第1の傾きを有することができる。第1の傾斜面ilに配置された第1の発光素子111a、111b、...111nは、運転者pの第1の目e1に向かって光を出射することができる。第1の発光素子111a、111b、...111nは、各第1の傾斜面ilに複数のピクセルを形成することができる。第1の発光素子111a、111b、......111nは、ピクセルを構成するサブピクセルに対応することができ、赤色光、青色光又は緑色光を放出するように構成することができる。1つの第1の傾斜面ilに配置された複数の第1の発光素子111a、111b、...111nの一部は、第1の画像(例えば、
図2の第1の画像30a)の一部を、運転者pの第1の目e1に提供することができる。第1の傾斜面il全体に配置された複数の第1の発光素子111a、111b、...111nは、第1の画像を運転者pの第1の目e1に提供することができる。
【0034】
第2の発光モジュール112は、複数の第2の発光素子112a、112b、112nを含むことができる。複数の第2の発光素子112a、112b、...112nのそれぞれは、運転者pの第2の目e2に向かって光を出射するように構成されてもよい。第2の発光モジュール112の複数の第2の発光素子112a、112b、...112nは、運転者pの第2の目e2に向かうように傾斜面に配置されてもよい。例えば、複数の第2の発光素子112a、112b、...112nは、第2の傾斜面i2に配置することができる。第2の傾斜面i2は、スクリーン110内で運転者pの第2の目e2に向かうように傾いてもよい。第2の傾斜面i2は、スクリーン110の外面に対して第2の傾きを有することができる。第2の傾斜面i2に配置された第2の発光素子112a、112b、...112nは、運転者pの第2の目e2に向かって光を出射することができる。第2の発光素子112a、112b、...112nは、各第2の傾斜面i2に複数のピクセルを形成することができる。第2の発光素子112a、112b、......112nは、ピクセルを構成するサブピクセルに対応することができ、赤色光、青色光又は緑色光を放出するように構成することができる。1つの第2の傾斜面i2に配置された複数の第2の発光素子112a、112b、...112nの一部は、第2の画像(例えば、
図2の第2の画像30b)の一部を、運転者pの第2の目e2に提供することができる。第2の傾斜面i2全体に配置された複数の第2の発光素子112a、112b、...112nは、第2の画像を運転者pの第2の目e2に提供することができる。
【0035】
第1の発光モジュール111及び第2の発光モジュール112は、第1の発光モジュール111から運転者pの第1の目e1に提供される第1の画像(例えば、
図2の第1の画像30a)内の第1の視覚オブジェクト11aと、第2の発光モジュール112から運転者pの第2の目e2に提供される第2の画像(例えば、
図2の第2の画像30b)内の第2の視覚オブジェクト11bとの間の両眼視差に基づいて、スクリーン110を介して提供される仮想スクリーン(例えば、
図2の仮想スクリーン10)上の視覚オブジェクト11とユーザpとの間の距離を調整するように構成することができる。例えば、電子装置100は、第1の発光モジュール111から提供される第1の画像内の第1の視覚オブジェクトと、第2の画像内の第2の視覚オブジェクトとの位置を調整して、両眼視差を増加又は減少することができる。
【0036】
一実施形態によれば、視線追跡器130は、運転者の視線を追跡するように構成された少なくとも1つの光学入力装置(例えば、カメラ)を含むことができる。視覚情報(例えば、
図1の視覚オブジェクト11)をユーザに提供するために、電子装置100は、視線追跡器130を介して取得された情報に基づいて、第1の発光モジュール111及び/又は第2の発光モジュール112の姿勢を調整することができる。電子装置100は、視線追跡器130を介して、車両1の運転者pの目eの位置又は目の焦点位置(又は焦点距離)を感知することができる。電子装置100は、視線追跡器130を介して取得された目eの位置に基づいて、第1の発光モジュール111及び/又は第2の発光モジュール112の姿勢を制御することができる。第1の発光モジュール111及び/又は第2の発光モジュール112の姿勢を制御することにより、第1の発光モジュール111及び第2の発光モジュール112から提供される画像を、運転者pの目eに伝達することができる。第1の発光モジュール111及び第2の発光モジュール112の姿勢は、傾斜面i1、i2の垂直方向の傾き及び/又は水平方向の傾きを変更するか、又はティルティングすることによって調整することができる。例えば、傾斜面i1、i2は、互いに分離されていてもよい。傾斜面i1、i2のそれぞれは、アクチュエータによって傾きを調整することができる。電子装置100は、アクチュエータによって傾きが調整された傾斜面i1、i2に配置された複数の発光素子111a、111b、...111n、112a、112b、...112nから放出される光路l1、l2を、運転者pの目eに向かうように調整することができる。例えば、運転者pとスクリーン110との間の距離が離れると、第1の傾斜面i1の傾き及び第2の傾斜面i2の傾きが小さくなり、光路l1、l2の交点を運転者p目eに移動させることができる。運転者pとスクリーン110との距離が近づくと、第1の傾斜面i1の傾きと第2の傾斜面i2の傾きが大きくなり、光路l1、l2の交点を運転者p目eに移動させることができる。
【0037】
図4aは、プロジェクタを含む例示的な電子装置の構成要素の配置を示す。
図4bは、プロジェクタを含む例示的な電子装置の構成要素を介して、運転者の目に伝達される光を通じて視覚情報が伝達される光路を示す。
【0038】
図4a及び
図4bを参照すると、電子装置200は、第1の発光モジュール201、第2の発光モジュール202、スクリーン210及び視線追跡器230を含むことができる。電子装置200は、車両に含まれるECU(electronic control unit)で実現することができる。第1の発光モジュール201、第2の発光モジュール202、及びスクリーン210は、ユーザに視覚情報を提供するディスプレイとして動作することができる。
【0039】
第1の発光モジュール201及び第2の発光モジュール202は、視線追跡器230(例えば、
図3aの視線追跡器130)を介して取得されたユーザの目の位置に基づいて、仮想スクリーン(例えば、
図1の仮想スクリーン10)に表示される画像と、運転者pの目eとの間の焦点距離を調整するように構成することができる。視線追跡器230は、
図3aの視線追跡器130と実質的に同一又は類似であってもよい。第1の発光モジュール201は、第2の発光モジュール202から離隔されてもよい。第1の発光モジュール201及び第2の発光モジュール202は、2次元に配置されたピクセルを表す光(又はビーム)を出射するために組み立てられた複数のハードウェアを含むことができる。第1の発光モジュール201と第2の発光モジュール202とが光を出射する方式は、DLP(digital light processing)方式、LCOS(liquid crystal on silicon)方式、3LCD(liquid crystal display)方式、LCD方式 、及び/又はレーザ方式を含むことができる。
【0040】
例えば、第1の発光モジュール201と第2の発光モジュール202とは、色空間内の3原色(three primary colors)のそれぞれの光を出射するためのCRT(cathode-ray tubes)、及び該CRTのそれぞれから出射された光を拡大するためのレンズの組み合わせ(combination)を含むことができる。例えば、3LCD方式で実施された第1の発光モジュール201及び第2の発光モジュール202は、光を出射するための光源(例えば、ランプ)、前記光を、3原色のそれぞれに対応する光路(light paths)に分割するための光学フィルタ、前記光路のそれぞれに配置されたLCD(liquid crystal display)パネル、及びLCDパネルから出力された光を合成するためのプリズム及び/又はレンズの組み合わせを含むことができる。例えば、DLP方式で実現された第1の発光モジュール201及び第2の発光モジュール202は、光を出射するための光源、光から3原色のいずれかを選択する光学フィルタ、光学フィルタによってフィルタリングされた原色の反射を調整するためのDMD(digital mirror device)、及びDMDによって反射された光を拡大するためのレンズの組み合わせを含むことができる。例えば、レーザ方式で実現された第1の発光モジュール201及び第2の発光モジュール202は、レーザ光を出射するための光源、光学フィルタ、及び光学フィルタによってフィルタリングされたレーザ光の光路を調整するアクチュエータ、スペックルなどのレーザ光の干渉を減らすためのハードウェアの組み合わせを含むことができる。スクリーンに表示するために光の投影を必要とする観点から、前述の組み合わせのうち少なくとも1つの発光モジュールは、プロジェクションアセンブリ又はビームプロジェクタ(beam projector)と呼ばれることがある。第1の発光モジュール201及び第2の発光モジュール202は、別途の部品として構成されており、車両のダッシュボード、車両の運転者シート又は車両の天井に配置されてもよい。第1の発光モジュール201と第2の発光モジュール202とは、ウィンドシールド内に実装されたスクリーン210に向かって光を放出可能な車両の室内に配置することができる。
【0041】
スクリーン210は、第1の発光モジュール201及び第2の発光モジュール202から離隔されてもよい。スクリーン210は、車両(例えば、
図1の車両1)のウィンドシールドに隣接して配置されてもよく、ウィンドシールドに組み込まれてもよい。スクリーン210は、第1の発光モジュール201及び第2の発光モジュール202から放出された光を反射して、視覚情報を運転者pに伝達することができる。例えば、第1の発光モジュール201及び第2の発光モジュール202は、入射光の経路liに沿って、光をスクリーン210に出射することができる。スクリーン210に伝達された光は、スクリーン210内のフィルム220に反射することができる。スクリーン210内のフィルム220に反射された光は、反射光の経路lrに沿って、運転者pの目eに伝達することができる。フィルム220は、柔軟で透明な材料を含むことができる。スクリーン210は、透明で柔軟なフィルム220を含むことによって、車両1の外部から伝達された光を、車両1の運転者に伝達することができる。フィルム220は、柔軟性を有することで、曲面のウィンドシールド101に配置することができる。
【0042】
第1の発光モジュール201、第2の発光モジュール202、及びスクリーン210を含む装置は、車両のウィンドシールド又は前面ガラスに情報を表示する側面から、ヘッドアップディスプレイと呼ばれることがある。
【0043】
一実施形態によれば、スクリーン210は、2重接合されて形成されてもよい。例えば、スクリーン210は、第1の透明層211、第2の透明層212、フィルム220、第1の接合材料221、及び第2の接合材料222を含むことができる。第1の透明層211及び第2の透明層212は、ウインドシールドの剛性を維持しながら、運転者が外部環境を視認するように、透明な材料を含むことができる。第1の透明層211及び第2の透明層212は、強化ガラス、ガラス、又はポリマー材料を含むことができる。第1の透明層211は、第2の透明層212から離隔されてもよい。第1の透明層211及び第2の透明層212は、スクリーン210の内部空間又は内部容積を画定することができる。フィルム220は、内部空間又は内部容積内に配置することができる。例えば、フィルム220は、第1の透明層211と第2の透明層212との間に配置することができる。フィルム220は、第1の発光モジュール201及び第2の発光モジュール202から放出された光を反射するように構成することができる。フィルム220は、シワのある表面を有することができる。例えば、フィルム220は、第1の傾斜面i1と第2の傾斜面i2とを含むことができる。第1の傾斜面i1と第2の傾斜面i2とは、交互に繰り返し配置されてもよい。
【0044】
第1の傾斜面i1は、第1の発光モジュール201から放出された光を、運転者pの第1の目e1に反射させるように構成されてもよい。第2の傾斜面i2は、第2の発光モジュール202から放出された光を、運転者pの第2の目e2に反射させるように構成されてもよい。
【0045】
一実施形態によれば、電子装置200は、運転者pが立体感を感じるように、運転者pの両眼のそれぞれに異なる画像を提供することができる。第1の発光モジュール201、第2の発光モジュール202及びフィルム220は、運転者pの目eに向かって視覚情報を提供するように構成されてもよい。第1の発光モジュール201は、フィルム220の第1の傾斜面i1に反射された光を介して、運転者pの第1の目e1に視覚情報(例えば、
図2の第1の画像30a)を提供するように構成することができる。第2の発光モジュール202は、フィルム220の第2の傾斜面i2に反射された光を介して、運転者pの第2の目e2に視覚情報(例えば、
図2の第2の画像30b)を提供するように構成することができる。傾斜面i1、i2は、スクリーン110の外面に対して傾きを有することができる。第1の傾きを有する第1の傾斜面i1と、第2の傾きを有する第2の傾斜面i2とは、交互に配置することができる。第1の傾斜面i1は、運転者pの第1の目e1に向かうように傾いてもよく、第2の傾斜面i2は、運転者pの第2の目e2に向かうように傾いてもよい。第1の傾斜面i1は、スクリーン210の外面に対して、第1の傾きを有することができる。第2の傾斜面i2は、スクリーン210の外面に対して、第2の傾きを有することができる。
【0046】
一実施形態によれば、第1の発光モジュール201は、第1の傾斜面ilに光を出射することができる。例えば、第1の発光モジュール201は、第1の入射光の経路li1に沿って、光を出射することができる。運転者pの第1の目e1に向かって傾いた第1の傾斜面ilは、到達した光を、第1の反射光の光路lr1に沿って運転者pの第1の目e1に反射させることができる。1つの第1の傾斜面ilに反射された光は、第1の画像(例えば、
図2の第1の画像30a)の一部を、運転者pの第1の目e1に提供することができる。第1の傾斜面il全体に反射された光は、第1の画像を、運転者pの第1の目e1に提供することができる。
【0047】
一実施形態によれば、第2の発光モジュール202は、第2の傾斜面i2に光を出射することができる。例えば、第2の発光モジュール202は、第2の入射光の経路li2に沿って、光を出射することができる。運転者pの第2の目e2に向かって傾斜した第2の傾斜面i2は、到達した光を、第2の反射光の経路lr2に沿って運転者pの第2の目e2に反射することができる。1つの第2の傾斜面i2に反射された光は、第2の画像(例えば、
図2の第2の画像30b)の一部を、運転者pの第2の目e2に提供することができる。第2の傾斜面i2全体に反射された光は、第2の画像を運転者pの第2の目e2に提供することができる。
【0048】
電子装置200は、第1の発光モジュール201と第2の発光モジュール202とを介して、両眼視差を調整することに基づいて、スクリーン210を介して提供される視覚オブジェクトの距離を調整するように構成されてもよい。例えば、第1の発光モジュール201及び第2の発光モジュール202は、第1の発光モジュール201から、第1の入射光の経路li1及び第1の反射光の経路lr1に沿って、運転者pの第1の目e1に提供される第1の画像(例えば、
図2の第1の画像30a)内の第1の視覚オブジェクト11aと、第2の発光モジュール112から、第2の入射光の経路li2及び第2の反射光の経路lr2に沿って、運転者pの第2の目e2に提供される第2の画像(例えば、
図2の第2の画像30b)内の第2の視覚オブジェクト11bとの間の両眼視差に基づいて、スクリーン210を介して提供される仮想スクリーン(例えば、
図2の仮想スクリーン10)上の視覚オブジェクト11とユーザpとの間の距離を調整するように構成されてもよい。例えば、電子装置200は、第1の発光モジュール201から提供される第1の画像内の第1の視覚オブジェクトと、第2の発光モジュール202から提供される第2の画像内の第2の視覚オブジェクトとの位置を調整して、両眼視差を増加又は減少させることができる。第1の発光モジュール201及び第2の発光モジュール202から放出された光が、フィルムに反射された画像は、スクリーン110を介して車両1の内部に透過した光による外部環境に重なるように表示することができる。
【0049】
一実施形態によれば、電子装置200は、視線追跡器230を介して取得された運転者pの目eの位置に基づいて、第1の発光モジュール201及び/又は第2の発光モジュール202の姿勢を制御することができる。電子装置200は、第1の発光モジュール201及び/又は第2の発光モジュール202の姿勢を制御することにより、第1の発光モジュール201及び第2の発光モジュール202から提供される画像を、運転者pの目eに伝達することができる。第1の発光モジュール201及び第2の発光モジュール202の姿勢は、第1の発光モジュール201及び第2の発光モジュール202に結合されたアクチュエータを介して調整することができる。アクチュエータは、発光モジュール201、202のそれぞれを、スクリーンに向かって距離の調整及び/又は上下左右の回転(又はティルティング)調整を行うように構成することができる。
【0050】
電子装置200は、視線追跡器230を介して取得した運転者pの目eの位置がスクリーン210から遠い場合、発光モジュール201、202をスクリーン210から離れるように移動させることができる。スクリーン210から離れた発光モジュール201、202は、スクリーン210のフィルム220に向かって、狭い入射角で光を放出することができる。狭い入射角で放出された光は、スクリーン210のフィルム220に、狭い反射角で反射することができる。狭い反射角で反射された光が移動する反射光の経路lr1、lr2の交点は、離れていてもよい。電子装置100は、発光モジュール201、202の位置を調整することにより、反射光の経路lr1、lr2を、運転者pの目eに向けるように調整することができる。
【0051】
電子装置200は、視覚情報(例えば、
図1の視覚オブジェクト11)をユーザに提供するために、視線追跡器230を介して取得した運転者pの目eの位置がスクリーン210から近づくと、発光モジュール201、202を、スクリーン210から近づくように移動させることができる。スクリーン210から近づいた発光モジュール201、202は、スクリーン210のフィルム220に向かって、広い入射角で光を出射することができる。広い入射角で放出された光は、スクリーン210のフィルム220に、広い反射角で反射することができる。広い反射角で反射された光が移動する反射光の経路lr1、lr2の交点は、近づいてもよい。電子装置200は、発光モジュール201、202の位置を調整することにより、反射光の経路lr1、lr2を、運転者pの目eに向けるように調整することができる。
【0052】
傾斜面i1、i2は、
図3bの傾斜面i1、i2と同様に、互いに分離して傾きを調整することができる。
図3bの動作と同様に、電子装置200は、視線追跡器230を介して識別された運転者pの目eの位置に基づいて、傾斜面i1、i2に反射され、反射光の経路lr1、lr2に沿って光を運転者pの目eに進めるように構成することができる。
【0053】
スクリーン210は、車両1の外部の光を車両1の内部に透過させることができる。スクリーン210内に配置されたフィルム220が、運転者pに識別されるのを減らすために、フィルム220は、透明材料で形成することができる。フィルム220は、第2の透明層212を通して伝達される光を反射するために、第2の透明層212とは異なる屈折率を有することができる。異なる屈折率によって、運転者pがフィルム220を識別するのを減らすために、第1の透明層211と第2の透明層212との間に、屈折率マッチング材料236を充填することができる。屈折率マッチング材料236は、フィルム220の屈折率と第2の透明層212の屈折率との差を補償することができる。屈折率マッチング材料236は、反射防止(anti-reflection)材料又は反射防止フィルムで置き換えることができる。
【0054】
第1の接合材料221は、フィルム220に向かう第1の透明層211の一面に塗布することができる。第1の接合材料221は、第1の透明層211と屈折率マッチング材料236とを結合することができる。第1の透明層211と第2の透明層212との間に、フィルム220の視認を防止するための他の物質が充填された場合、第1の接合物質221は、前記他の物質と第1の透明層211とを結合することができる。第2の接合材料222は、フィルム220に向かう第2の透明層212の一面に塗布することができる。第2の接合材料222は、第2の透明層212と屈折率マッチング材料236とを結合することができる。第1の透明層211と第2の透明層212との間に、フィルム220の視認を防止するための他の物質が充填された場合、第2の接合物質222は、前記他の物質と第2の透明層212とを結合することができる。第1の接合材料221及び第2の接合材料222は、ポリビニルブチラール(polyvinyl-butyral)を含むことができる。
【0055】
図5は、車両に搭載される例示的な電子装置のブロック図を示す。
【0056】
図5を参照すると、電子装置500(例えば、
図3aの電子装置100及び/又は
図4aの電子装置200)は、プロセッサ510、スクリーン520(例えば、
図3aのスクリーン110及び/又は
図4aのスクリーン210)、第1の発光素子531(例えば、
図3bの第1の発光素子111又は
図4bの第1の発光素子201)、第2の発光素子532(例えば、
図3bの第2の発光素子112又は
図4bの第2の発光素子202)及び/又は視線追跡器540(例えば、
図3aの視線追跡器130又は
図4aの視線追跡器230)を含むことができる。
【0057】
プロセッサ510、第1の発光素子531、第2の発光素子532、及び/又は視線追跡器540は、互いに電気的及び/又は動作的に接続することができる。各要素が動作的に結合されることは、直接接続又は間接接続を表すことができる。
【0058】
一実施形態によれば、電子装置100のプロセッサ510は、1つ又はそれ以上の命令に基づいて、データを処理するためのハードウェアを含んでもよい。データを処理するためのハードウェアは、例えば、ALU(arithmetic and logic unit)、FPU(floating point unit)、FPGA(field programmable gate array)、CPU(central processing unit)、及び/又はAP(application processor)を含むことができる。プロセッサ510の数は、1つ又はそれ以上であってもよい。例えば、プロセッサ510は、デュアルコア(dual core)、クアッドコア(quad core)、又はヘキサコア(hexa core)などのマルチコアプロセッサの構造を有してもよい。
【0059】
スクリーン520は、車両の運転者に視覚情報を出力するように構成されてもよい。例えば、スクリーン520は、電子装置500のプロセッサ510から提供された1つ以上の画像又は動画を、ユーザに提供することができる。スクリーン520は、車両の運転者に視覚オブジェクトを提供するように構成されてもよい。視覚オブジェクトは、車両に関連する情報を含むテキスト、画像、アイコン、ビデオ、スライダ、及び/又はテーブルなどの情報の送信及び/又は相互作用のために、スクリーン520を介して表示されるオブジェクトを表すことができる。スクリーン520は、第1の発光素子531及び第2の発光素子532を含むことができる。第1の発光素子531及び第2の発光素子532は、スクリーン520内に配置されるピクセルを構成することができる。第1の発光素子531を介して提供される画像は、運転者の一方の目(例えば、左眼)に伝達され、第2の発光素子532を介して提供される画像は、運転者の別の目(例えば、右眼)に伝達され得る。スクリーン520は、第1の発光素子531及び第2の発光素子532を介して提供される画像の両眼視差に基づいて、立体感を有する視覚オブジェクトを含む画像を提供することができる。
【0060】
一実施形態による電子装置500の視線追跡器540は、カメラを含むことができる。視線追跡器540は、光の色及び/又は明るさを示す電気信号を生成する光センサ(例えば、CCD(Charged Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ)を1つ以上含むことができる。視線追跡器540に含まれる複数の光センサは、2次元格子(2 dimensional array)の形態で配置することができる。視線追跡器540は、複数の光センサのそれぞれの電気信号を実質的に同時に取得し、2次元格子の光センサに到達した光に対応し、2次元に配置された複数のピクセルを含む画像又はフレームを生成することができる。例えば、視線追跡器540を用いて取得されたビデオは、視線追跡器540から指定されたフレームレート(frame rate)に応じて取得した複数の画像のシーケンス(sequence)を意味することができる。視線追跡器540は、光を受信する方向に向かって配置され、その方向に光を出力するためのフラッシュライトをさらに含むことができる。視線追跡器540は、運転者又は車両の内部を含むビデオを取得することができる。
【0061】
一実施形態による電子装置500は、視線追跡器540とは異なるカメラをさらに含んでもよい。このカメラは、光を受信する方向に向かって配置され、その方向に光を出力するためのフラッシュライトをさらに含むことができる。例えば、電子装置500は、カメラを介して車両の外部環境を含むビデオを取得することができる。ただし、これに限定されるものではない。
【0062】
図6は、電子装置の動作を示すフローチャートである。
【0063】
図6を参照すると、動作601において、プロセッサ510(例えば、
図5のプロセッサ510)は、ユーザ(又は運転者、搭乗者)の目の位置を識別するように構成することができる。プロセッサ510は、視線追跡器(例えば、
図5の視線追跡器540)を介して、ユーザの目の位置を識別することができる。視線追跡器540は、運転者の周辺環境を撮影して、運転者の目の画像を取得することができる。視線追跡器540は、複数のカメラを含むことができる。複数のカメラは、様々な角度から運転者の周辺環境を撮影することができる。プロセッサ510は、撮影された画像から運転者の位置及び運転者の目の位置を識別することができる。
【0064】
目の位置は、電子装置500に記憶された空間座標上の目の位置を意味することができる。プロセッサ510は、撮影された画像から、目が凝視する方向、又は瞳孔又は虹彩の大きさ方向に基づいて識別される焦点距離情報を取得するように構成することができる。プロセッサ510は、運転者の目に関連する画像情報から、運転者の目の座標、焦点距離及び凝視方向を識別することができる。
【0065】
動作603において、プロセッサ510は、識別された運転者の目の座標、焦点距離及び凝視方向に基づいて、第1の発光素子(例えば、
図3bの第1の発光素子111a、111b、...111n及び/又は
図4bの第1の発光モジュール201)及び第2の発光素子(例えば、
図3bの第2の発光素子112a、112b、...112n及び/又は
図4bの第2の発光モジュール202)を制御するように構成することができる。
【0066】
一実施形態によれば、プロセッサ510は、視線追跡器540を介して、運転者の目の位置が第1の位置から第2の位置に移動されることを識別することができる。プロセッサ510は、識別された運転者の目の位置に基づいて、第1の発光素子(又は第1の発光モジュール)及び第2の発光素子(又は第2の発光モジュール)から伝達される光の経路の終点を、第1の位置から第2の位置に移動させるように、第1の発光素子(又は第1の発光モジュール)及び第2の発光素子(又は第2の発光モジュール)の角度を調整するように構成することができる。
【0067】
一実施形態によれば、プロセッサ510は、識別された焦点距離に基づいて、第1の発光モジュール及び第2の発光モジュールを制御することによって、仮想スクリーン内の視覚オブジェクトの位置を調整するように構成されてもよい。例えば、視覚オブジェクトの位置を調整するために、プロセッサ510は、第1の発光モジュールと第2の発光モジュールの姿勢を制御することができる。別の例として、視覚オブジェクトの位置を調整するために、プロセッサ510は、第1の発光モジュールを介して提供される第1の画像内の視覚オブジェクトと、第2の発光モジュールを介して提供される第2の画像内の視覚オブジェクトとの位置を調整するように構成することができる。プロセッサ510は、第1の画像内の視覚オブジェクトと、第2の画像内の視覚オブジェクトの位置を調整することによって、両眼視差を調整することができる。運転者は、調整された両眼視差を介して、視覚オブジェクトの位置が近づいたり離れたりすることを感知することができる。
【0068】
一実施形態によれば、プロセッサ510は、車両の外部カメラ(又は前方カメラ)を介して画像を取得し、識別された目の位置に基づいて、前方カメラを介して取得された視覚オブジェクトのうちユーザが凝視する外部オブジェクトに対応する視覚オブジェクトを識別することができる。プロセッサ510は、識別された視覚オブジェクトに基づいて、外部オブジェクトとユーザとの間の焦点距離を識別することができる。前記の方法とは異なり、プロセッサ510は、識別された目の位置に基づいて、焦点距離を識別し、識別された焦点距離に基づいて、焦点距離に位置する外部オブジェクトを識別することができる。プロセッサ510は、識別された焦点距離度又は目の位置に基づいて、焦点距離上に位置する外部オブジェクト(又はユーザが凝視する外部オブジェクト)の周囲に視覚オブジェクトを含む画像情報を提供するように構成され得る。プロセッサ510は、第1の発光素子(又は第1の発光モジュール)及び第2の発光素子(又は第2の発光モジュール)の姿勢を制御するか、又は第1の発光素子(又は第1の発光モジュール)及び第2発光素子(又は第2の発光モジュール)から提供される画像内の視覚オブジェクトの位置を調整するように構成することができる。視覚オブジェクト又は画像を介して伝達される画像情報は、車両の走行方向、走行距離、残り距離、移動経路、周辺位置情報、又はそれらの組み合わせのうち少なくとも1つから選択された情報であり得る。
【0069】
前述の実施形態によれば、電子装置は、第1の発光モジュール、第2の発光モジュール、スクリーン及び視線追跡器を含むことができる。前記スクリーンは、前記第1の発光モジュール及び前記第2の発光モジュールから放出された光による画像を、ユーザに提供するように構成されてもよい。前記視線追跡器は、前記ユーザの目の位置を感知するように構成することができる。前記第1の発光モジュール及び前記第2の発光モジュールは、前記視線追跡器を介して取得された前記ユーザの前記目の位置に基づいて、前記画像と前記ユーザの前記目との間の焦点距離を調整するように構成されてもよい。
【0070】
一実施形態によれば、前記第2の発光モジュールは、前記第1の発光モジュールから離隔されてもよい。前記第1の発光モジュール及び前記第2の発光モジュールから離隔されたスクリーンは、第1の透明層、第2の透明層、及びフィルムを含むことができる。前記第2の透明層は、前記第1の透明層から離隔されてもよい。前記フィルムは、前記第1の透明層と前記第2の透明層との間に配置され、シワのある表面を有し、透明であり得る。前記フィルムのシワのある表面は、前記第1の発光モジュールに向かう第1の傾斜面と、前記第2の発光モジュールに向かう第2の傾斜面とを含むことができる。前記第1の傾斜面は、前記第1の発光モジュールから放出された光を反射して、前記ユーザの第1の目に伝達するように構成されてもよい。前記第2の傾斜面は、前記第2の発光モジュールから放出された光を反射して、前記ユーザの第2の目に伝達するように構成されてもよい。
【0071】
一実施形態によれば、前記スクリーンは、前記第1の透明層と前記第2の透明層との間の空間を満たす屈折率マッチング材料をさらに含んでもよい。前記屈折率マッチング材料は、前記フィルムに反射された光が通過する前記第2の透明層と前記フィルムとの屈折率差を補償することができる。
【0072】
一実施形態によれば、前記第1の発光モジュール及び前記第2の発光モジュールは、前記ユーザが前記スクリーンを見たときに、前記スクリーンに反射された光が前記ユーザに伝達されるように、前記フィルムに向かって光を出射するように構成することができる。
【0073】
一実施形態によれば、前記第1の発光モジュール及び前記第2の発光モジュールは、前記第1の発光モジュールから前記ユーザの前記第1の目に提供される第1の画像内の第1の視覚オブジェクトと、前記第2の発光モジュールから前記ユーザの前記第2の目に提供される第2の画像内の第2の視覚オブジェクトとの間の両眼視差に基づいて、前記スクリーンを介して提供される視覚オブジェクトと前記ユーザとの間の距離を調整するように構成することができる。
【0074】
一実施形態によれば、前記第1の発光モジュール及び前記第2の発光モジュールのそれぞれは、前記ユーザの目に視覚情報を提供するために、前記スクリーンに対する距離調整又は前記スクリーンに対してティルティングするように構成されてもよい。
【0075】
一実施形態によれば、前記スクリーンは、前記電子装置が搭載される車両のウィンドシールドの少なくとも一部として機能することができる。
【0076】
一実施形態によれば、前記第1の発光モジュール及び前記第2の発光モジュールは、前記スクリーンの前記フィルムに反射された光を介して画像を提供するプロジェクション装置として機能することができる。
【0077】
一実施形態によれば、前記スクリーン内の1つの層は、シワのある表面を含み、前記第1の発光モジュールの第1の発光素子及び前記第2の発光モジュールの第2の発光素子は、透明OLED(organic light emitting diode)を含み、前記シワのある表面は、前記第1の発光素子のそれぞれが配置され、前記ユーザの第1の目に向かう第1の傾斜面と、前記第2の発光素子のそれぞれが配置され、前記第2の発光モジュールに向かう第2の傾斜面とを含むことができる。
【0078】
一実施形態によれば、電子装置は、前記ユーザの目の位置を識別するように構成された視線追跡器と、前記視線追跡器、前記第1の発光モジュール及び前記第2の発光モジュールと動作可能に接続されるプロセッサをさらに含むことができる。前記プロセッサは、前記視線追跡器から取得された前記ユーザの前記目の位置に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御するように構成することができる。
【0079】
一実施形態によれば、前記プロセッサは、前記視線追跡器から前記ユーザの前記目の位置が第1の位置から第2の位置に移動されることを識別し、前記第1の発光モジュール及び前記第2の発光モジュールから放出され、前記第1の位置に伝達される光を前記第2の位置に伝達するように、前記第1の発光モジュール及び前記第2の発光モジュールの角度を調整するように構成することができる。
【0080】
一実施形態によれば、前記プロセッサは、前記スクリーンを介して提供される仮想オブジェクトの位置を変更するための焦点距離に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御するように構成することができる。
【0081】
一実施形態によれば、前記電子装置の前方環境に関連する画像を取得するように構成された前方カメラをさらに含むことができる。前記プロセッサは、前記前面カメラを介して取得された視覚オブジェクトのうち、ユーザが凝視する外部オブジェクトに対応する視覚オブジェクトを識別し、前記識別された視覚オブジェクトに基づいて、前記外部オブジェクトと前記ユーザの目との間の焦点距離を識別し、前記識別された焦点距離に基づいて、前記焦点距離上に画像情報を提供するように、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御するように構成することができる。
【0082】
一実施形態によれば、前記プロセッサは、前記画像情報を提供するために、前記第1の発光モジュールを用いて、前記画像情報に対応する第1の画像を、前記ユーザの第1の目に提供し、前記第2の発光モジュールを用いて、前記画像情報に対応する第2の画像を、前記ユーザの第2の目に提供し、前記第1の画像内の第1の仮想オブジェクトと、前記第1の仮想オブジェクトに対応する前記第2の画像内の第2の仮想オブジェクトとの間の距離を調整して、前記焦点距離上に画像情報を提供するように構成することができる。
【0083】
一実施形態によれば、前記画像情報は、走行方向、走行距離、残り距離、移動経路、周辺位置情報、又はそれらの組み合わせのうち少なくとも1つから選択することができる。
【0084】
一実施形態によれば、前記フィルムに向かう前記第1の透明層の一面、及び、前記フィルムに向かう前記第2の透明層の一面には、ポリビニルブチラールが塗布されてもよい。
【0085】
一実施形態によれば、前記第1の透明層及び前記第2の透明層は、ガラス又はポリマー材料を含むことができる。
【0086】
一実施形態によれば、電子装置の動作方法は、車両に搭乗した運転者の目の位置を識別する動作と、前記運転者の第1の目に第1の画像を伝達するために、第1の発光モジュールを介して、前記車両の前面ガラスに向かって光を放出する動作と、前記運転者の第2の目に第2の画像を伝達するために、第2の発光モジュールを介して、前記車両の前面ガラスに向かって光を放出する動作と、前記識別された前記運転者の目の位置に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御する動作とを含むことができる。
【0087】
前記第1の画像内の第1の仮想オブジェクトと、前記第2の画像内の第2の仮想オブジェクトとの間の両眼視差によって、前記車両の前面ガラスによって反射される画像情報の焦点を調整することができる。
【0088】
一実施形態によれば、前記方法は、前記第1の画像内の第1の仮想オブジェクトと、前記第1の仮想オブジェクトに対応する前記第2の画像内の第2の仮想オブジェクトとの間の距離を調整して、前記焦点距離上に画像情報を提供する動作を含むことができる。
【0089】
一実施形態によれば、前記画像情報は、走行方向、走行距離、残り距離、移動経路、周辺位置情報、又はそれらの組み合わせのうち少なくとも1つから選択することができる。
【0090】
一実施形態による1つ又はそれ以上のプログラムを記憶する非一時的コンピュータ読み取り可能な記憶媒体では、前記1つ又はそれ以上のプログラムが電子装置によって実行されると、車両に乗った運転者の目の位置を識別するように、前記電子装置を引き起こす命令を含むことができる。前記1つ又はそれ以上のプログラムは、前記電子装置によって実行されると、前記運転者の第1の目に第1の画像を伝達するために、第1の発光モジュールを介して、前記車両の前面ガラスに向かって光を出射するように、電子装置を引き起こす命令を含むことができる。前記1つ又はそれ以上のプログラムは、前記電子装置によって実行されると、前記運転者の第2の目に第2の画像を伝達するために、第2の発光モジュールを介して、前記車両の前面ガラスに向かって光を出射するように、電子装置を引き起こす命令を含むことができる。前記1つ又はそれ以上のプログラムは、前記電子装置が実行されると、前記識別された前記運転者の目の位置に基づいて、前記第1の発光モジュール及び前記第2の発光モジュールの姿勢を制御するように電子装置を引き起こす命令を含むことができる。前記第1の画像内の第1の仮想オブジェクトと、前記第2の画像内の第2の仮想オブジェクトとの間の両眼視差によって、前記車両の前面ガラスによって反射される画像情報の焦点を調整することができる。
【0091】
前述の装置は、ハードウェア構成要素、ソフトウェア構成要素、及び/又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで実施することができる。例えば、実施形態で説明した装置及び構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、又は命令(instruction)を実行及び応答することができる他の任意の装置など、1つ又はそれ以上の汎用コンピュータ又は特殊目的コンピュータを使用して実装することができる。処理装置は、オペレーティングシステム(OS)及び前記オペレーティングシステム上で実行される1つ又はそれ以上のソフトウェアアプリケーションを実行することができる。さらに、処理装置は、ソフトウェアの実行に応答して、データをアクセス、保存、操作、処理及び生成することもできる。理解の便宜のために、処理装置は、1つが使用されるものとして説明されている場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数タイプの処理要素を含んでもよいことが分かり得る。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含むことができる。さらに、パラレルプロセッサ(parallel processor)などの他の処理構成(processing configuration)も可能である。
【0092】
ソフトウェアは、コンピュータプログラム(computer program)、コード(code)、命令(instruction)、又はこれらの1つ又はそれ以上の組み合わせを含むことができ、所望のように動作するように処理装置を構成するか、独立して又は組み合わせて(collectively)処理装置に命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されるか、又は処理装置に命令又はデータを提供するために、任意のタイプの機械、構成要素(component)、物理装置、コンピュータ記憶媒体又は装置に具体化(embody)されてもよい。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で保存又は実行されてもよい。ソフトウェア及びデータは、1つ又はそれ以上のコンピュータ可読記録媒体に記憶することができる。
【0093】
実施形態による方法は、様々なコンピュータ手段を介して実行され得るプログラム命令の形態で実施され、コンピュータ可読媒体に記録され得る。この場合、媒体は、コンピュータで実行可能なプログラムを保存し続けるか、実行又はダウンロードのために一時的に保存することができる。さらに、媒体は、単一又は複数のハードウェアが結合された形態の様々な記録手段又は記憶手段であってもよく、任意のコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、CD-ROM、DVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの磁気光学媒体(magneto-optical medium)、ROM、RAM、フラッシュメモリなどを含む、プログラム命令が格納されるように構成されたものであり得る。また、別の媒体の例として、アプリケーションを流通するアプリケーションストアや他の様々なソフトウェアを供給又は流通するサイト、サーバなどで管理する記録媒体や記憶媒体も挙げられる。
【0094】
以上のように実施形態が限定された実施形態と図面によって説明されたが、当該技術分野で通常の知識を有する者であれば、前記の記載から様々な修正及び変形が可能である。例えば、記載された技術は、記載された方法とは異なる順序で実行され、及び/又は記載されたシステム、構造、装置、回路などの構成要素は、記載された方法とは異なる形態で結合されるか又は組み合わせられても、又は他の構成要素又は均等物によって代替又は置換されても、適切な結果が達成され得る。