特許 6792740 画像内の場所に情報を配置するためのデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6792740

(24)【登録日】2020年11月10日

(45)【発行日】2020年11月25日

(54)【発明の名称】画像内の場所に情報を配置するためのデバイス

(51)【国際特許分類】

   G01S 1/70 20060101AFI20201116BHJP

   G06F 3/0481 20130101ALI20201116BHJP

   B60R 11/02 20060101ALI20201116BHJP

   G09G 5/38 20060101ALI20201116BHJP

   G09G 5/00 20060101ALI20201116BHJP

【ＦＩ】

   G01S1/70

   G06F3/0481

   B60R11/02 C

   G09G5/38 Z

   G09G5/00 550C

【請求項の数】15

【全頁数】22

(21)【出願番号】特願2020-502399(P2020-502399)

(86)(22)【出願日】2018年7月16日

(65)【公表番号】特表2020-527806(P2020-527806A)

(43)【公表日】2020年9月10日

(86)【国際出願番号】EP2018069254

(87)【国際公開番号】WO2019016132

(87)【国際公開日】20190124

【審査請求日】2020年3月13日

(31)【優先権主張番号】17182250.5

(32)【優先日】2017年7月20日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】516043960

【氏名又は名称】シグニファイ ホールディング ビー ヴィ

【氏名又は名称原語表記】ＳＩＧＮＩＦＹ ＨＯＬＤＩＮＧ Ｂ．Ｖ．

(74)【代理人】

【識別番号】100163821

【弁理士】

【氏名又は名称】柴田 沙希子

(72)【発明者】

【氏名】アリアクセイエウ ディミトリ ヴィクトロヴィッチ

(72)【発明者】

【氏名】マエス ジェロ―メ エドゥアルド

(72)【発明者】

【氏名】エンヘレン ディルク ヴァレンティヌス レネ

(72)【発明者】

【氏名】ファン デ スレイス バルテル マリヌス

【審査官】 渡辺 慶人

(56)【参考文献】

【文献】 特開２００８−１９９５６９（ＪＰ，Ａ）

【文献】 特表２０１６−５３７７９２（ＪＰ，Ａ）

【文献】 特開２０１０−０１４４０８（ＪＰ，Ａ）

【文献】 特表２０１７−５１９１８４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２４２８０４（ＵＳ，Ａ１）

【文献】 韓国公開特許第１０−２０１４−００３１５３９（ＫＲ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ １／７０

Ｈ０４Ｂ １０／００ − １０／９０

Ｈ０４Ｊ １４／００ − １４／０８

Ｈ０５Ｂ ３９／００ − ３９／１０

４５／００ − ４５／５８

４７／００ − ４７／２９

(57)【特許請求の範囲】

【請求項1】

画像内の場所に情報を配置するためのデバイスであって、
前記画像を記録するための検出器であって、前記画像は光源を含み、前記光源の照明特性は、前記情報と、前記情報を配置する前記画像内の前記場所とを示すコードを含み、前記場所は、前記画像内の前記光源の位置に対する位置と定義される、検出器と、
プロセッサであって、
前記コードを取得するために前記画像を処理し、
前記コードによって示される前記情報を取得し、
前記コードによって示される前記場所を取得し、
前記画像内の前記場所に前記情報を配置することによって、前記画像を処理済み画像に処理するように構成された、プロセッサと、
前記処理済み画像をレンダリングするための画像レンダリングデバイスと、
を含む、デバイス。

【請求項2】

前記プロセッサは、
コードに対応する場所を示すリストを含むデータベースにアクセスすること、及び
前記データベース内の前記リストから当該コードに対応する前記場所を取得すること
によって、前記コードによって示される前記場所を取得するように構成される、請求項１に記載のデバイス。

【請求項3】

前記プロセッサは、
前記コードを処理することによって、前記コードによって示される前記場所を取得するように構成され、前記場所は前記コード内に含まれている、請求項１に記載のデバイス。

【請求項4】

前記情報は、ナビゲーション情報、旅行者用情報、広告情報、通信情報、及びデバイス情報のうちの少なくとも１つを含む、請求項１乃至３の何れか一項に記載のデバイス。

【請求項5】

前記場所は、前記画像内の前記光源の前記位置に一致する前記画像内の位置と定義される、請求項１乃至４の何れか一項に記載のデバイス。

【請求項6】

前記情報を配置する前記画像内の前記場所は、前記デバイスの物理的パラメータに依存し、
前記プロセッサは、前記デバイスの前記物理的パラメータを取得するように、及び前記画像内の前記場所に前記情報を配置することによって、前記画像を処理済み画像に処理するように構成され、前記場所は、前記物理的パラメータに依存する、請求項１乃至５の何れか一項に記載のデバイス。

【請求項7】

前記物理的パラメータは、前記デバイスの場所、前記デバイスの速度、前記デバイスの向き、及び前記デバイスの使用のうちの１つである、請求項６に記載のデバイス。

【請求項8】

前記場所は、前記画像レンダリングデバイスの縁部に対する位置と定義される、請求項１乃至７の何れか一項に記載のデバイス。

【請求項9】

前記画像を処理済み画像に処理することは、前記画像内の前記場所にナビゲーション情報を配置することを含み、前記場所は、前記画像内の前記光源の前記位置に一致する前記画像内の位置と定義され、前記光源は道路照明インフラストラクチャの一部である、請求項７に記載のデバイス。

【請求項10】

画像内の場所に情報を配置するためのシステムであって、
請求項１乃至９の何れか一項に記載のデバイスと、
前記光源と、
を含む、システム。

【請求項11】

画像内の場所に情報を配置する方法であって、
前記画像を記録するステップであって、前記画像は光源を含み、前記光源の照明特性は、前記情報と、前記情報を配置する前記画像内の前記場所とを示すコードを含み、前記場所は、前記画像内の前記光源の位置に対する位置と定義される、ステップと、
前記コードを取得するために前記画像を処理するステップと、
前記コードによって示される前記情報を取得するステップと、
前記コードによって示される前記場所を取得するステップと、
前記画像内の前記場所に前記情報を配置することによって、前記画像を処理済み画像に処理するステップと、
前記処理済み画像を表示するステップと、
を含む、方法。

【請求項12】

前記コードによって示される前記場所を取得するステップは、
コードに対応する場所を示すリストを含むデータベースにアクセスするステップと、
前記データベース内の前記リストから当該コードに対応する前記場所を取得するステップと、
によって実施されることを含む、請求項１１に記載の方法。

【請求項13】

前記コードによって示される前記場所を取得するステップは、
前記コードを処理するステップによって実施されることを含み、前記場所は前記コード内に含まれている、請求項１２に記載の方法。

【請求項14】

前記画像を処理済み画像に処理するステップは、ポジショニング、ナビゲーション、及び／又はロケーションベースのサービスに必要な情報を前記画像内の前記場所に配置するステップを含み、前記場所は、前記画像内の前記光源の前記照明特性に一致する前記画像内の位置と定義され、前記光源は道路照明インフラストラクチャの一部である、請求項１１乃至１３の何れか一項に記載の方法。

【請求項15】

コンピューティングデバイス用のコンピュータプログラムであって、前記コンピュータプログラムが前記コンピューティングデバイスの処理ユニット上で実行されたときに請求項１１乃至１４の何れか一項に記載の方法を実行するためのコンピュータプログラムコードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内の場所(location)に情報を配置するためのデバイスに関する。本発明は更に、画像内の場所に情報を配置する方法、当該デバイス及び光源を含むシステム、コンピュータプログラム製品、並びに画像内の場所に情報を配置するための光源に関し、画像は、デバイスによって記録される、処理される、及び表示される。

【背景技術】

【0002】

最近の技術進歩によって、拡張現実を提供するデバイスを大衆がより一層利用できるようになっている。例えば、適格なスマートフォン、カメラ、ヘッドアップディスプレイ、スマートグラス等などの拡張現実デバイスは、近い将来、更に一層広く普及するであろう。

【0003】

拡張現実適用の目標は、物理的ビューの上に情報を重ね合わせることである。拡張現実適用が多くなると、拡張ビュー内により多くの視覚的乱雑さを生じさせる可能性がある。視覚的乱雑さは不都合であり得るため望ましくない。例えば、視覚的乱雑さは情報の機能的な概要の取得を制限する可能性があり、視覚的乱雑さは拡張現実ビューにより支援された活動中の物理的安全性を制限する可能性があり、視覚的乱雑さは視覚的な人間工学性を低減させる可能性があり、視覚的乱雑さは拡張現実ビュー内の現実世界の必須部分を不必要に遮断する可能性がある、等である。

【0004】

ビュー管理は、拡張現実ビュー内に提供される情報を管理することによって欠点を解決することができる。解決策は、例えば、マッピングディスプレイを非乱雑化するための手法が開示される米国特許出願公開第２０１１／０１６１８７５（Ａ１）号によって提供される。すなわち、乱雑化したマッピングディスプレイ（例えば、複数の近くの対象地点（Points of Interests；ＰＯＩ）を有する拡張現実ディスプレイ）上の１つ以上のＰＯＩを選択し、マッピングディスプレイの画像を捕捉し、次いで、選択したＰＯＩを、各ＰＯＩを明確にレンダリングするためのリスト又はその他のフォーマットとして重ね合わせる能力を有するシステムが開示される。この手法により、米国特許出願公開第２０１１／０１６１８７５（Ａ１）号に開示されるシステムは、特定のマッピングディスプレイ内に見える又は存在するＰＯＩのうちの１つ以上を明確にレンダリングし、非乱雑化することができる。同様に、別の種類の拡張現実情報管理が米国特許出願公開第２０１６／０４２５６３（Ａ１）号及び同第２０１５／２４２８０４（Ａ１）号に見出される。

【0005】

米国特許出願公開第２０１１／０１６１８７５（Ａ１）号に開示される発明は、拡張現実ビュー内に存在する情報を非乱雑化するための手法を提供するが、マッピングされた情報をユーザが能動的に選択してレンダリングする必要があり、当該手法は、例えば、物理的活動及び／又はナビゲーション中の安全性を向上させるための、自動化、効率、及び適用において依然として制限されたままである。

【0006】

したがって、拡張現実の適用がより広く普及するにつれて、拡張現実ビューをより効率的かつ効果的に非乱雑化する明確な必要性が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、上記の欠点のうちの１つを少なくとも軽減する、画像内の場所に情報を配置するための改良されたデバイスを提供することである。

【課題を解決するための手段】

【0008】

そこで、本発明は、画像内の場所に情報を配置するためのデバイスであって、画像を記録するための検出器であって、画像は光源を含み、光源の照明特性は、情報と、情報を配置する画像内の場所とを示すコードを含む、検出器と、コードを取得するために画像を処理し、コードによって示される情報を取得し、コードによって示される場所を取得し、画像内の場所に情報を配置することによって、画像を処理済み画像に処理するように構成されたプロセッサと、処理済み画像をレンダリングするための画像レンダリングデバイスと、を含む、デバイスを提供する。

【0009】

記録された光源の照明特性が、情報を示し、かつ情報を配置する画像内の場所を示すコードを含むことから、発明の概念によって、このようなデバイスは、画像内の場所に情報を配置する。コードは、画像を処理することによって取得される。したがって、何れもコードによって示される情報及び場所は、画像内の場所に情報を配置することによって画像が処理済み画像に処理され得るように、取得されてもよい。その後、画像レンダリングデバイスは処理済み画像をレンダリングしてもよい。

【0010】

したがって、画像を検出器によって単に記録することにより、デバイスは、光源の照明特性によって、画像内の指示された場所に指示された情報を配置するように促される。したがって、光源はデバイスのビューを管理することができる。デバイスは、光源が拡張現実デバイスのビュー内の情報の非乱雑化を促すことができる、又は拡張現実デバイスのビュー内にまだこれからレンダリングされる情報のレイアウトを促すことができるように、拡張現実デバイスの一部であってもよい。したがって、本発明は、自動化ビュー管理における有利に強力な、簡単明瞭かつ発明的な概念を提供する。

【0011】

明確にするために、非限定的な例は、例えば、本発明によるデバイスの検出器は、以下のようであってもよい：危険かつ混雑した交差点の光源を含む画像を記録することができる。光源の照明特性、例えば、可視光通信（Visible Light Communication；ＶＬＣ）に基づく変調光は、情報と、情報を配置する画像内の場所とを示すコードを含み得る。ここで、例えば、コードを具体的に決定するための安全性の配慮では、（記録された）画像の左上隅にナビゲーション情報を配置することを示すことを基礎としてもよく、画像は拡張現実ビュー、例えば、レンダリングされた拡張ビューを有するヘッドアップディスプレイの一部であってもよい。したがって、本発明によって、危険かつ混雑した交差点にある光源は、例えば、（交差点を横断して走行する間）拡張現実ビューで使用するための光源の画像を記録する本発明によるデバイスのビューを管理してもよい。したがって、例えば、記録された光源は、どの情報を拡張現実デバイスの拡張現実ビュー内のどの場所に配置するかを決定する。

【0012】

前述したような、及び以下で（例えば、例で）更に説明されるような本発明によるデバイスの利点は、画像内の場所に情報を配置するための改良されたデバイスが提供されることである。なぜなら、記録された画像内に含まれる光源が、どの情報を処理済み画像内の、したがって例えば拡張現実ビュー内の、どこに配置するかを決定することができるからである。したがって、処理済み画像及び／又は拡張現実ビューは、情報を非乱雑化する及び／又はレイアウトするように、光源によって有利に管理されてもよい。更なる利点は、本発明による光源は、都市又は建物インフラストラクチャ内に普及し、戦略的に配置され得ることである。したがって、都市インフラストラクチャ内の様々な光源（例えば、道路照明又はファサード照明）の特定の分布は、例えば拡張現実デバイスのビューを管理するために有利に用いられてもよい。したがって、照明インフラストラクチャの広範囲に及ぶ性質は、安全性を向上させるために、及び拡張現実デバイスなどの本発明によるデバイスの人間工学性を提供するために有利に用いられてもよい。

【0013】

更なる利点は、情報を配置するための専用の場所が光源によって促され得ることであり、これにより、例えば、拡張現実情報が画像又はビューの他の部分を遮断することを防ぎ、かつ経験豊富なユーザが情報をより容易に見つけるのにも役立ち得る。これは、このようなユーザはそうした情報が各光源によりどこに配置されるかを学習している可能性があるからである。

【0014】

その結果、画像内の場所に情報を配置するための、したがって、ビュー、例えば拡張現実ビューを管理するための自動化された、より効果的かつより効率的なデバイスが提供される。

【0015】

デバイスは、例えば、拡張現実デバイス、仮想現実デバイス、ヘッドアップディスプレイ、プロジェクタデバイス、スマートフォン、スマートグラス、双方向型バイザー、ナビゲーションデバイス、又はタブレットの一部であってもよい。デバイスはまた、組み合わせて又は接続して単一デバイスを形成する複数の別個の構成要素を含んでもよく、例えば、各構成要素は互いの間で通信するための送受信機を含み、例えば、検出器、プロセッサ、及び／又は画像レンダリングデバイスは、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、又はＲＦなどの無線接続によって通信する。

【0016】

対応する画像レンダリングデバイスはディスプレイであってもよい。ディスプレイは、ＬＥＤディスプレイ、又はＬＣＤ、ＣＲＴ、ＯＬＥＤ、ＡＭＯＬＥＤ、スーパーＡＭＯＬＥＤ、又はＲｅｔｉｎａであってもよい。ディスプレイは、更に、タッチスクリーン、３Ｄスクリーン、又はホログラフィックディスプレイであってもよい。画像レンダリングデバイスは更に、例えば、ディスプレイ、スクリーン、窓、ガラス、ポリマー若しくはセラミックなどの透明材料、レンズ、又は眼上に投影が行われ得る投影デバイスであってもよい。画像レンダリングデバイスは更に、ヘッドアップディスプレイ、レーザ投影などの画像をレンダリングするのに適した車両窓、又はスマートグラスのガラスであってもよい。

【0017】

検出器は、好ましくは、画像を記録するように構成されたカメラ、又は受光した光に基づいて画像を記録する及び／若しくは再構成するように構成された光ダイオードなどの光検出器であってもよい。

【0018】

検出器によって記録される画像は、写真、写真のセット、又はビデオであってもよい。画像はフォーマットを含んでもよい。画像は、画像の輪郭及び／又はサイズを画定する縁部を含んでもよい。縁部及び／又は輪郭は、フレームとしての、例えば、画像内に情報を配置するための基準系としての、又は画像が処理され得るフレームとしての役割を果たしてもよい。画像は透明な画像に更に処理されてもよい。

【0019】

プロセッサは、情報、場所、コード、画像、又は画像の処理を記憶するためのローカルメモリを含んでもよい。プロセッサは、画像内に含まれる光源の照明特性内に含まれるコードを復号するための計算能力を含んでもよい。プロセッサは更に、記録された画像を、写真、複数の写真、ビデオ、又は熱マッピング若しくは周波数マッピングなどの画像内に観察された特徴の他のマッピングなどの異なるタイプの画像に処理するための計算能力を含んでもよい。プロセッサは更に、画像処理及び／又は画像編集を実施するための計算能力を含んでもよい。

【0020】

言及したように、プロセッサは、画像内の場所に情報を配置することによって、画像を処理済み画像に処理するように構成される。処理済み画像は、例えば、場所に情報が配置される記録された画像であってもよい、又は処理済み画像は、場所に情報が配置される、例えば、記録された画像と関連する新しい画像であってもよい。前者は、現実の画像が記録され、記録された画像が、本発明による、場所に情報が配置された状態で表示されて処理済み画像を生じさせる、例えば、スマートフォンディスプレイに関連し得る。後者は、現実の画像が記録され、記録された画像は、例えば、情報を配置する場所を決定するために、及びその後、新しい画像内に情報を配置するために単に使用され、情報は含むが、元の記録された画像は含まない処理済み画像を生じさせる、例えば、ヘッドアップディスプレイデバイスに関連し得る。このような処理済み画像は投影デバイス専用であり、この例では、ヘッドアップディスプレイデバイスによって投影され得る。したがって、このような場合、プロセッサは、画像内の場所に及び／又は画像に関連する場所に情報を配置することによって、画像を処理済み画像に処理するように構成されてもよい。したがって、本発明は、物理的なディスプレイデバイスから投影デバイスまでに及ぶ全てのデバイスに有利に適用可能である。

【0021】

前述のように、画像内の場所に情報を配置するためのデバイスが提供される。記録された光源の照明特性は、情報を示し、かつ情報を配置する画像内の場所を示すコードを含む。

【0022】

光源は、動作中、光、したがって照明特性を発し得る。光源は、ＬＥＤ、ＯＬＥＤ、ＬＥＤストリップ、ＴＬＥＤ、画素化ＬＥＤスポットなどの半導体照明デバイスであってもよい。半導体照明デバイスは、有利には、小型化されてもよく、実装されてもよく、耐久性があってもよく、かつ有利には、ＶＬＣなどによってコードを提供することができてもよい。いくつかの例では、光源は、白熱電球などの従来の白熱光源、蛍光光源、又はハロゲンスポットであってもよい。光源はまた、光ガイド、レンズ、反射器、又はフィルタ、又は（調整可能な）カバーなどの光学系を含んでもよい。光源はまた、例えば、交通において適用されるような蛍光塗料などの蛍光材料であってもよい、又は例えば、そのような蛍光材料を含んでもよい。

【0023】

照明特性は、色、強度、色温度、及び変調の群からのものであってもよい。照明特性はまた、光源のフットプリントによって引き起こされる影、パターン、又は、視覚的境界などの、発せられた光の間接効果によって引き起こされてもよい。

【0024】

例においては、光源を含む画像とは、物理的光源は見えないが、コードが受信され得るように、生じる光（すなわち、例えば、光効果、光フットプリント、照明特性）は見える画像を指し得る。例えば、壁面照明器具は、画像内に記録された壁の壁面照明光を復号するときには存在しない場合がある。したがって、例において、光源を含む画像は、光源の発せられた（又は生じた）光を含む画像であってもよい。

【0025】

光源の照明特性内に含まれるコードは、赤外線若しくは高周波などの不可視光によって通信されるコード又は可視光通信（ＶＬＣ）によって通信されるコードの何れかを指し得る。可視光通信は、可視光に埋め込まれた信号によるデータの通信である。より具体的には、データは、可視光の特性、典型的には強度を、任意の適切な変調技術に従って変調することによって埋め込まれ得る。「符号化光」中の情報は、変調に基づき、光検出器を用いて検出されてもよい。更に、発せられた光内に含まれるコードは、色符号化スキームに更に関連し得る。

【0026】

更に、コードは、情報、及び情報を配置する画像内の場所を示す。コードは、例えば、識別子を含んでもよい。識別子は、例えば、場所及び情報の両方を示してもよい。例えば、（前の例で述べたような）危険かつ混雑した交差点にある特定の光源の識別は、場所及び情報を示してもよい、すなわち、識別子は、更なる処理ステップにおいて、場所及び情報を導出するために使用されてもよい。こうしたコードは、場所及び情報がバックエンドシステムによって取得され得る一方で、コードは情報及び場所を示す識別子のみに限定され得るため、計算効率的であり得る。

【0027】

更に、コードは、例えば、情報を配置する画像内の場所を明示的に含んでもよく、コードは、例えば、座標に定義されるような位置を示すコードのコーディングの文字列を含んでもよい。場所は、例えば、画像のスケーラブルフレーム内の相対位置、例えば、画像の正方形フレームの左上隅、アスペクト比４：３の画像の矩形フレームの上部５％、アスペクト比１６：９の画像の矩形フレームの右半分、左下隅が原点である画像の正方形フレーム内の位置Ｘ；Ｙ等であってもよい。したがって、コードは、場所を定義してもよい。上述したように、例において、場所は、コードに明示的に定義されてもよい。

【0028】

更に、コードは、例えば、情報を明示的に含んでもよく、コードは、情報を示すコードのコーディングの文字列を含み、例えば、文字列は、情報の種類又は情報のグループを定義する。したがって、情報は、情報の種類又は情報のグループを示すラベルであってもよい。例えば、文字列は、情報を「ナビゲーション情報」として示す。あるいは、いくつかの例では、計算能力が利用可能な場合、コードは、本発明に定義されるように情報を提供するだけでなく、情報の内容も提供してよい。例えば、情報を「ナビゲーション情報」として示す文字列はまた、デバイスに対するナビゲーション方向などの内容を提供してもよい。したがって、例においては、コードは、情報を定義してもよい。情報は、述べたように、例においては、コードに明示的に定義されてもよい。

【0029】

コードは、画像を処理することによって取得される。コードによって示される位置は、プロセッサによって取得されてもよい。

【0030】

第１に、例えば、コードに対応する場所を示すリストを含むデータベースから場所を取得すると有利であり得る。例えば、コードは、データベースから対応する場所を取得するために使用されてもよい光源の識別子を含んでもよい。したがって、一実施形態において、プロセッサは、コードに対応する位置を示すリストを含むデータベースにアクセスすること、及びデータベース内のリストからコードに対応する場所を取得することによって、コードによって示される場所を取得するように構成される。このような実施形態は、コードがより短くなり得るので、コードを取得するために画像を処理するための計算労力を減らすのに有利である。また、コードを発する光源は、より少ない処理労力を必要とし得る。こうしたデータベースの別の利点は、コードに対応する場所を示すリストがより効果的かつ一様に更新され得ることである。すなわち、コードに対応する位置を示すリスト内のエントリを変更するための優先として、入力が提供されてもよい。

【0031】

データベースは、外部サーバ内に含まれてもよい。例えば、データベースは、都市照明、道路照明、近隣照明、又は建物照明などの光源群に関連するサーバによってホストされてもよい。データベースは、照明柱又は光源物体内に含まれてもよい。データベースはまた、スマートフォン、タブレット、スマートウェアラブルデバイス、又はコンピュータなどの別のデバイスにホストされてもよい。データベースはまた、ソーシャルメディアをホストするサーバの一部であってもよい。外部サーバは、コードに対応する位置を示すリスト内のエントリを変更するための入力手段を更に含んでもよい。外部サーバは、コードが更新された所望の場所に対応するように、単一の更新セッション中に更新されてもよい。

【0032】

例えば、こうしたデータベースは、外部の場所（例えばクラウド）からデバイス上にダウンロードされてもよい、又はリストを作成するためにユーザエントリによって追加されてもよい。したがって、デバイスは、ユーザエントリを提供するためのユーザ入力手段を含んでもよい。これは、本発明によるデバイスを使用するユーザが画像内のどこに情報を配置するかに関する自身の好みを有効にすることができ、したがって、拡張現実デバイスであってもよいデバイスのビュー管理に関する自身の好みを有効にすることができるため、有利である。

【0033】

デバイスは、データベースと通信するための送受信機を含んでもよい。通信は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、ＲＦ、ＧＳＭ、又はＶＬＣによって無線で実施されてもよい。

【0034】

データベースはまた、本発明によるデバイスのメモリ内に含まれてもよく、プロセッサは、コードに対応する位置を示すリストを取得するためにメモリにアクセスしてもよい。メモリは内蔵されてもよく、ローカルワーキングメモリなど、プロセッサの一部であってもよい。したがって、一実施形態では、本発明によるデバイスであって、データベースを含む、デバイスが提供される。こうした実施形態は、デバイスが、データベースにアクセスすること、及びコードに対応する場所を取得することによって場所を自律的に取得することができるため、有利である。このような場合、コードが場所を明示的に含む必要はないので、コードはより短くてもよく、計算的に有利である。

【0035】

第２に、上で一部述べたように、コードによって示される場所は、プロセッサによって取得されてもよい。いくつかの例では、場所は、コード自体によって有利に提供されてもよく、このことは、光源の照明特性内に含まれるコードによりデバイスに対するより多くの制御を光源に提供する。したがって、一実施形態では、プロセッサは、コードを処理することによって、コードによって示される場所を取得するように構成されており、場所はコード内に含まれている。したがって、コードは、情報を配置する画像内の場所を直接的に（明示的に）示してもよい、又は定義してもよい、又は決定してもよい。コードは、場所が、検出器、画像、又はデバイスのパラメータに対する相対座標若しくは一般座標で符号化されたデータ信号であってもよい。例えば、非限定的な場合では、コードは、「記録された画像のサイズの上部２０パーセント」によって相対的に示される場所の一般コマンドを含んでもよい。他の例が提供されてもよい。

【0036】

前述のように、画像内の場所に情報を配置するためのデバイスが提供される。記録された光源の照明特性は、情報を示し、かつ情報を配置する画像内の場所を示すコードを含む。コードは、画像を処理することによって取得される。コードによって示される情報は、プロセッサによって取得されてもよい。

【0037】

上で一部述べたように、情報を示すコードは、コードが、情報を示す（コードのコーディングの）データ列を含むことを意味する。情報を示すことは、情報の種類を示すこと、又は特定の種類の情報を示すことを含む。そのため、デバイスは、特定の種類の情報を、画像内の場所に配置してもよい。例えば拡張現実ビューにおける、例えば安全性及び／又は人間工学性を確実にするために、本発明によるデバイスは、特定の種類の情報を画像内の場所に配置するのに有利に適し得る。したがって、一実施形態では、情報は、ナビゲーション情報、旅行者用情報、広告情報、通信情報、及びデバイス情報のうちの少なくとも１つを含む。更に、情報の内容は、例えば、デバイスによって生成、ホスト、適用、作成、又は受信されたときに、プロセッサによって取得されてもよい。

【0038】

したがって、一部述べたように、コードは、どの種類の情報を画像内のどこに配置するかの命令を含んでもよい。例では、命令は、種類の情報を含まず、別のソースから取得される。

【0039】

したがって、一部述べたように、情報は、分類子を含む情報であってもよく、分類子は、例えばナビゲーション情報又は広告情報などの情報の種類を示す。このため、情報を配置する画像内の場所は、分類子を含む情報を配置する画像内の場所を意味し、分類子はまた、光源のコードによって示される。

【0040】

ナビゲーション情報は、ポジショニング、ナビゲーション、及び／又はロケーションベースのサービスに必要な情報を含んでもよい。処理済み画像、例えば拡張現実ビュー内のナビゲーション情報の乱雑さは安全性に影響するおそれがあるため、情報がナビゲーション情報である本発明によるデバイスを提供することは有利である。したがって、安全性の考慮のため、本発明は、画像内の場所にナビゲーション情報を配置するための改良されたデバイスを提供する。

【0041】

更に、光源が本発明による処理済み画像のレンダリングを促す、ゆえに、光源がナビゲーション情報ビューを管理するため、画像内の場所にナビゲーション情報を配置するために本発明を使用すると有利である。なぜなら、光源は、ナビゲーション中に記録された検出器の画像内に一般に広く存在するからである（例えば道路照明）。したがって、例えば、拡張現実デバイスなどの本発明によるデバイスのビューを管理するための照明インフラストラクチャは、広く適用可能であり得る。

【0042】

旅行者用情報は、（ｉ）例えば、観光提案、格付け、自治体ニュース更新、街の施設の施設メッセージ、ホテルデータ、住所、都市内の配管及び／又はケーブルレイアウト、街のイベント情報、旅行者統計、待ち合わせ場所の情報、旅行者のデジタル付箋、レストラン情報等などの街の情報、（ｉｉ）天気予報、空のレーダビュー、地域の熱力学的性質の提示、天候に基づく衣服の提案等などの天気情報、（ｉｉｉ）ホテルの稼働率、住民プロファイル、物件価格等などの住宅情報、（ｉｖ）歴史情報、開店時間、写真、動画等などの観光情報、（ｖ）入場料金決済、駐車券決済等などの決済を含んでもよい。旅行者用情報は広範にわたって提供され得るため、拡張現実ビューは容易に乱雑化し得る。したがって、本発明によるデバイスは、例えば、拡張現実ビューが、旅行者の活動に対して広範に利用可能であり得る光源の照明特性内に含まれるコードに基づき効果的に管理され得るように、画像内の場所に旅行者用情報を配置するための発明概念を提供する。

【0043】

広告情報は、デジタル広告板、店情報、広告写真又はビデオ、値引き情報、販売促進情報、クーポン券の提供、買い物リスト、金融取引等を含んでもよい。小売業者は拡張現実デバイスに情報を詰め込みすぎることが予想されるため、このことは拡張現実デバイスのビューを乱雑にし得ることも予想される。したがって、前述のように、本発明によるデバイスは、光源の照明特性内に含まれるコードに基づいて画像内の場所に情報を配置することができるため、本発明によるデバイスは、情報の詰め込みすぎに対する解決策を提供することができる。より具体的には、例えば、本発明によるデバイスの検出器は、街中の混雑した商店街にある複数の光源を含む画像を記録してもよい。画像は、広告情報の内容を含んでもよい。これは、商店街内の多くの店に関連する多くのポップアップ広告であってもよい。混雑した商店街のせいで、広告情報の内容（ポップアップ）は画像内のビューを乱雑にする場合がある。複数の光源それぞれの照明特性、例えば、可視光通信（ＶＬＣ）に基づく変調光は、情報と、情報を配置する画像内の場所とを示すコードを含み得る。ここで、例えば、ビューの機能的な非乱雑化では、コードを具体的に決定するために、記録された画像の下部５％にのみ広告情報を配置することを示すことを基礎としてもよく、画像は拡張現実ビューの一部であってもよい。このため、本発明により、商店街内の複数の光源のそれぞれは、広告情報の内容を含む画像が広告情報の内容によって乱雑化しないように、本発明によるデバイスのビューを効果的に管理することができる。複数の光源は、例えば、道路照明又はショーウィンドウ照明であってもよい。

【0044】

通信情報は、電話帳；電話通話又はビデオ通話などの通話情報；テキスト情報；通信アプリケーションフィーチャのレンダリング；メール情報、又は通知メッセージを含んでもよい。

【0045】

デバイス情報は、デバイスステータス情報、電力消費情報、センサ情報、外部デバイス結合情報、又はアプリケーションメニューを含んでもよい。より具体的には、例えば、本発明によるデバイスは、観光オブジェクトを見る拡張現実デバイスの一部であってもよい。拡張現実ビューは、デバイスの電力消費、いくつかのメニューアイコン、及び他のセンサ読み取り情報を示すデバイス情報を含んでもよい。このようなデバイス情報は、ビュー内にあってもよい。観光オブジェクトのはっきりとしたビューを有することが望まれ得るため、ビューを乱雑化していなくても、デバイス情報をレンダリングすることは望ましくない場合がある。したがって、観光オブジェクトは、情報と、情報を配置する画像内の場所とを示すコードを含む照明特性を含む光源を含み得る。ここで、情報はデバイス情報であり、場所は、画像の左下隅、例えば、スクリーン表面全体の３％のみであってもよい。

【0046】

前述のように、画像内の場所に情報を配置するためのデバイスであって、画像は光源を含み、光源の照明特性が、情報と、情報を配置する画像内の場所とを示すコードを含む、デバイスが提供される。一実施形態では、場所は、画像内の光源の位置に対する位置と定義される。このような実施形態は、光源が、情報を配置する画像内の場所を定義するための適切なアンカー点であり得ることから有利である。したがって、画像内の光源の位置に対する位置は、画像内の光源からオフセットした距離であってもよい。更に、コードは画像を処理することによって取得されるため、画像内の光源の位置は既に処理されていてもよく、それゆえ、場所を、画像内の光源の位置に対する位置として定義することが計算効率的であり得る。

【0047】

更に、一実施形態では、場所は、画像内の光源の位置に一致する画像内の位置と定義される。このような実施形態は、画像内の光源の位置が、実際の環境内の光源の配置の本質により、特定の（種類の）情報を固定する又は一致させるのに好適な位置であり得ることから有利である。例えば、実際の環境では、住所情報及び方向情報などの様々な種類の情報を提示するために案内標識及び／又は照明柱が使用されている。したがって、ビュー（ビューは、例えば、本発明では画像によって成り立っている）を非乱雑化するとき、例えば、住所情報又は方向情報を、画像内の光源の位置に一致する画像内の位置に配置すると有利であり得る。このことは、デバイスのユーザに人間工学性及びデバイスの使用の改善を与えることができる。ここで、一致することは、重なり合うことであってもよい。

【0048】

したがって、一実施形態では、本発明の対応する例によるデバイスであって、画像を処理済み画像に処理することは、画像内の場所にナビゲーション情報を配置することを含み、場所は、画像内の光源の位置に一致する画像内の位置と定義され、光源は道路照明インフラストラクチャの一部である、デバイスが提供される。光源は道路照明インフラストラクチャの一部であるため、ナビゲーション情報が画像内の最も人間工学的な位置に配置されることから、画像内の光源の位置に一致する画像内の位置にナビゲーション情報を提供すると有利である。例えば、高速道路上を走行しているとき、案内標識の光源などの道路照明インフラストラクチャの光源に一致させてナビゲーション情報を特に配置すると有利な場合がある。なぜなら、走行している（及び本発明のデバイスを使用している）ユーザは、実世界における経験により、位置を人間工学的であると考える可能性があるからである（案内標識は既に所定の位置にあるが、ここでは、情報を配置するためのユーザのための有益なアンカーとしての役割を果たす）。

【0049】

一実施形態では、場所は、画像レンダリングデバイスの縁部に対する位置と定義される。画像レンダリングデバイスは様々な形状を含み得るが、画像レンダリングデバイスの縁部は物理的に静止していると判断されるので、画像レンダリングデバイスの縁部に対する位置に場所を関連付けると、改良された人間工学性を提供することができるため、そのような実施形態は有利である。

【0050】

一実施形態では、プロセッサは、画像を完全に透明にすることによって、画像を処理済み画像に処理するように構成されている。したがって、そのような実施形態は、処理済み画像がヘッドアップディスプレイ上に投影される場合に有利であり得る。ヘッドアップディスプレイは、検出される画像のフィーチャに対応する実際のフィーチャを示す透明窓を含むため、検出される画像のフィーチャをヘッドアップディスプレイ上に表示させる必要はない。画像を完全に透明にすることなど、透明性を提供することは、本発明による画像レンダリングデバイス及び／又はデバイスの計算効率を向上させることができる。

【0051】

一実施形態では、光源は、道路照明インフラストラクチャ、ファサード照明、屋内照明、及び娯楽照明のうちの少なくとも１つの一部であってもよい。このような光源は、広く普及し得るとともに、特定の種類の情報と有利に関連付けられ得る。例えば、道路照明インフラストラクチャは、本発明において、広告情報、旅行者用情報、又は街の情報用のファサード照明と同様に、旅行者用情報用の娯楽照明と同様に、デバイス情報用の屋内照明と同様に、ナビゲーション情報を配置するために有利に実装されてもよい。

【0052】

更に、一実施形態では、本発明によるデバイスが提供され、デバイスは、画像内の更なる場所に更なる情報を配置するように更に構成され、コードは、更なる情報と、更なる情報を配置する画像内の更なる場所とを示し、プロセッサは、コードによって示される更なる情報を取得するように、コードによって示される更なる場所を取得するように、画像内の更なる場所に更なる情報を配置することによって画像を処理済み画像に更に処理するように、構成されている。一実施形態では、更なる情報は、ナビゲーション情報、旅行者用情報、広告情報、通信情報、及びデバイス情報のうちの少なくとも１つを含んでもよい。一実施形態では、情報はナビゲーション情報であり、更なる情報は通信情報である、又は情報はナビゲーション情報であり、更なる情報は広告情報である、又は情報は広告情報であり、更なる情報は通信情報である、又は情報は旅行者用情報であり、更なる情報はデバイス情報である。あるいは、デバイスが存在する環境の状況に基づいて、特定の組み合わせが想定されてもよい。

【0053】

このような実施形態の結果、画像レンダリングデバイスによってレンダリングされた処理済み画像は、処理済み画像内の場所にある情報と、処理済み画像内の更なる場所にある更なる情報との両方をホストしてもよい。人間工学は、２種類の情報が互いに対し特定の配置により良く置かれ得ることを示しているため、これは有利である。例えば、通知情報は、ビューの上部分に示され得ると最良であり、通信情報は、ビューの下部分に示されると最良である。例えば、ナビゲーション情報及び広告情報は、ビューの両側にあると最も好適であり得る。

【0054】

更に、一実施形態では、本発明によるデバイスであって、情報を配置する画像内の場所は更に、デバイスの物理的パラメータに依存し、プロセッサは更に、デバイスの物理的パラメータを取得するように、及び処理済み画像内の場所に情報を配置することによって画像を処理済み画像に処理するように構成され、場所は更に、物理的パラメータに依存する、デバイスが提供される。一実施形態では、物理的パラメータは、デバイスの場所、デバイスの速度、及びデバイスの向きのうちの１つである。あるいは、デバイスの使用もまた、物理的パラメータであってもよい。あるいは更に、物理的パラメータは、デバイスのバッテリレベル、又は例えばディスクリートモードなどのデバイスのアプリケーションモードであってもよい。当該実施形態は、方法のステップが当該実施形態の特徴と関連付けられる、本発明による方法に同様に適用され得る。

【0055】

そのような実施形態の結果、コードが、物理的パラメータに基づいて、情報を配置する画像内の場所を示すデバイスが提供される。これにより、画像内の場所における情報の配置に付加的なパラメータ又は寸法を追加することが可能になる。例えば、デバイスの速度は、プロセッサによって検出及び取得されてもよい。コードは、デバイスが閾値を上回る速度、例えば１ｍ／ｓで移動しているとき、広告情報が画像の左上隅に配置され得ることを示してもよく、デバイスが閾値を下回る速度、例えば１ｍ／ｓ又は０ｍ／ｓで移動しているとき、広告情報が画像の中央に配置され得ることを示してもよい。したがって、本発明による拡張現実デバイスを有するユーザが混雑した商店街を歩くために拡張現実ビューを利用するとき、本発明によるデバイスは、急いでいることを特徴とする（デバイスが閾値を超える速度である）ユーザのビューは非乱雑化してもよく、急いでいないこと特徴とする（例えば、店の前に立ち止まっている）ユーザのより顕著なビュー内には広告情報を配置してもよい。ここで、コードはなお、検出された／記録された画像内に含まれる光源の照明特性により含まれる。車両の速度がより高く、したがって、より高い閾値、例えば５０ｋｍ／ｈを提供し、速度に応じて画像内の異なる場所に情報が配置される、車両に関連する本発明によるデバイス用の類似の例が提供され得る。類似の例にはまた、車両の向きが提供されてもよい。例えば、日没の時刻の間に西に進む自動車は、西の向きに応じて画像内の場所Ａに情報が配置され得る一方、反対の東の向きに応じて画像内の場所Ｂに情報が異なって配置され得る、本発明によるデバイスを用意してもよい。場所Ａは、例えば、日没及び当該効果を有利に利用してもよく、場所Ｂは当該向きにおいて日没はないことを利用してもよい。

【0056】

更に、本実施形態を考慮すると、場所は複数の場所であってもよく、情報を配置する画像内の場所である最適な場所は、デバイスの物理的パラメータに基づいて選択される。

【0057】

本発明の更なる目的は、画像内の場所に情報を配置するための改良されたシステムを提供することである。そこで、本発明は、画像内の場所に情報を配置するためのシステムであって、本発明によるデバイスと、光源とを含む、システムを更に提供する。本発明によるデバイスに当てはまる利点は、本発明によるシステムにもまた当てはまる。

【0058】

一実施形態では、光源は、道路照明インフラストラクチャ、ファサード照明、屋内照明、及び娯楽照明のうちの少なくとも１つの一部であってもよい。

【0059】

本発明の更なる目的は、画像内の場所に情報を配置するための改良された光源を提供することである。そこで、本発明は、画像内の場所に情報を配置するための光源であって、画像は、デバイスによって記録され、加工され、及び表示され、光源は、情報と、デバイスによって記録された、加工された、及び表示された画像内の、情報を配置する場所とを示すコードを含む照明特性を含む、光源を更に提供する。本発明によるデバイスに当てはまる利点は、本発明によるシステムにもまた当てはまる。デバイスは、本発明（の第１の態様）によるデバイスであってもよい。

【0060】

一実施形態では、光源は、道路照明インフラストラクチャ、ファサード照明、屋内照明、及び娯楽照明のうちの少なくとも１つの一部であってもよい。

【0061】

一実施形態では、光源は、複数の照明ユニットを含んでもよい。

【0062】

本発明の更なる目的は、画像内の場所に情報を配置するための改良された方法を提供することである。そこで、本発明は、画像内の場所に情報を配置するための方法であって、画像を記録するステップであって、画像は光源を含み、光源の照明特性は、情報と、情報を配置する画像内の場所とを示すコードを含む、ステップと、コードを取得するために画像を処理するステップと、コードによって示される情報を取得するステップと、コードによって示される場所を取得するステップと、画像内の場所に情報を配置することによって、画像を処理済み画像に処理するステップと、処理済み画像を表示するステップと、を含む、方法を更に提供する。本発明によるデバイス及び本発明によるシステムに当てはまる利点は、ここで定義される本発明による方法にもまた当てはまり得る。

【0063】

方法は、本発明による、画像内の場所に情報を配置するためのデバイスによって実施されてもよい。

【0064】

一実施形態では、コードによって示される場所を取得するステップは、コードに対応する場所を示すリストを含むデータベースにアクセスするステップと、データベース内のリストからコードに対応する場所を取得するステップと、によって実施される。こうした実施形態は、デバイスが、データベースにアクセスすること、及びコードに対応する場所を取得することによって場所を自律的に取得することができるため、有利である。

【0065】

一実施形態では、コードによって示される場所を取得するステップは、コードを処理するステップによって実施され、場所はコード内に含まれている。場所はコード自体によって提供され得るため、このタスク専用のプロセッサにおける特定の処理ステップは必要とされない。更に、光源は、コードによるデバイスに対するより多くの制御を伴って有利に提供される。

【0066】

前述と同様に、一実施形態では、場所は、画像内の光源の位置に対する位置と定義される。このような実施形態は、光源が、情報を配置する画像内の場所を定義するための適切なアンカー点であり得ることから有利である。したがって、画像内の光源の位置に対する位置は、画像内の光源からオフセットした距離であってもよい。更に、コードは画像を処理することによって取得されるため、画像内の光源の位置は既に処理されていてもよく、それゆえ、場所を、画像内の光源の位置に対する位置として定義することが計算効率的であり得る。

【0067】

一実施形態では、画像を処理済み画像に処理するステップは、画像内の場所にナビゲーション情報を配置するステップを含み、場所は、画像内の光源の照明特性に一致する画像内の位置と定義され、光源は道路照明インフラストラクチャの一部である。光源は道路照明インフラストラクチャの一部であるため、ナビゲーション情報が画像内の最も人間工学的な位置に配置されることから、画像内の光源の位置に一致する画像内の位置にナビゲーション情報を提供すると有利である。

【0068】

本発明は、更に、コンピュータプログラム製品に関する。したがって、本発明は、コンピューティングデバイス用のコンピュータプログラム製品であって、コンピュータプログラム製品がコンピューティングデバイスの処理ユニット上で実行されたときに、本発明による方法の何れか１つの方法を実行するためのコンピュータプログラムコードを含む、コンピュータプログラム製品を提供する。例えば、処理ユニットはまた、本発明によるデバイス、又はデバイス内に設けられた別個のプロセッサであってもよい。コンピュータプログラム製品によって上述の方法を実施することは、コンピュータプログラム製品によって実施可能な方法の特徴のみを含んでもよい。

【0069】

したがって、本発明の態様は、コンピュータによって実行され得る、コンピュータ可読記憶デバイス上に記憶されたコンピュータプログラム命令の集合であり得るコンピュータプログラム製品内に実装されてもよい。本発明の命令は、限定するものではないが、スクリプト、解釈可能プログラム、ダイナミックリンクライブラリ（dynamic link library；ＤＬＬ）、又はＪａｖａ（登録商標）クラスを含めた、任意の解釈可能又は実行可能なコードメカニズムであってもよい。命令は、完全に実行可能なプログラム、部分的に実行可能なプログラムとして、既存のプログラムに対する修正（例えば、アップデート）として、又は、既存のプログラムに関する拡張（例えば、プラグイン）として提供されてもよい。更には、本発明の処理の部分は、複数のコンピュータ又はプロセッサにわたって分散されてもよい。

【0070】

更なる態様では、本発明は、画像内の場所に情報を配置するためのデバイスであってもよく、画像を記録するための検出器であって、画像は光源を含み、光源の照明特性は、情報のクラスと、情報を配置する画像内の場所とを示すコードを含む、検出器と、コードを取得するために画像を処理し、情報のクラスによって示される情報を取得し、コードによって示される場所を取得し、画像内の場所に情報を配置することによって、画像を処理済み画像に処理するように構成されたプロセッサと、処理済み画像をレンダリングするための画像レンダリングデバイスと、を含む、デバイスを提供する。

【0071】

更なる態様では、本発明は、画像内の場所に情報を配置するためのデバイスであって、画像を記録するための検出器であって、画像は光源を含み、光源の照明特性は、分類子と、情報を配置する画像内の場所とを示すコードを含む、検出器と、コードを取得するために画像を処理し、コードによって示される分類子を取得し、分類子によって示される情報を取得し、コードによって示される場所を取得し、取得された（すなわち、分類子によって示される）情報を画像内の場所に配置することによって、画像を処理済み画像に処理するように構成されたプロセッサと、処理済み画像をレンダリングするための画像レンダリングデバイスと、を含む、デバイスを提供してもよい。

【0072】

一実施形態では、光源は、分類子と、情報を配置する画像内の場所とを示すコードを含む。したがって、コードは、分類子と場所情報とを単に含んでもよい。

【0073】

あるいは、上記のクラス又は分類子は、列、ラベル、タグ、群識別子、選択、下位群と表現されてもよい。

【0074】

上記の本発明の第１の目的の実施形態は、上記の更なる態様に準用されてもよい。本発明の更なる態様は、方法のステップが更なる態様の特徴と関連付けられる、本発明による方法に同様に適用され得る。

【0075】

更に別の態様では、本発明は、処理済み画像内の修正された場所に情報を配置するためのデバイスであってもよく、デバイスは、画像を記録するための検出器であって、画像は光源を含み、光源の照明特性は、情報のクラスと、（特定の）クラスの情報を配置する処理済み画像内の場所とを示すコードを含む、検出器と、コードを取得するために画像を処理し、コードによって示される情報のクラスを取得し、コードによって示される場所を取得し、（特定の）クラスの情報を得、処理済み画像内に（特定の）クラスの情報を配置することによって、画像を処理済み画像に処理するように構成されたプロセッサと、処理済み画像をレンダリングするための画像レンダリングデバイスと、を含む、デバイスを提供してもよい。

【0076】

本発明の一実施形態では、デバイスが提供され、コードが、情報を配置するための画像内の修正された場所を更に示し、情報を配置する処理済み画像内の修正された場所は更に、デバイスの物理的パラメータに依存し、プロセッサは、デバイスの物理的パラメータを取得するように、及び処理済み画像内の修正された場所に（特定の）クラスの情報を配置することによって、画像を処理済み画像に処理するように更に構成され、場所は更に、物理的パラメータに依存する。

【0077】

一実施形態では、物理的パラメータは、デバイスの場所、デバイスの速度、及びデバイスの向きのうちの１つである。あるいは、デバイスの使用もまた、物理的パラメータであってもよい。あるいは更に、物理的パラメータは、デバイスのバッテリレベル、又は例えばディスクリートモードなどのデバイスのアプリケーションモードであってもよい。更に別の態様では、本発明は、処理済み画像内の修正された場所に情報を配置するためのデバイスであって、画像を記録するための検出器であって、画像は光源を含み、光源の照明特性は、情報の分類子と、情報を配置するための画像内の修正された場所とを示すコードを含む、検出器と、コードを取得するために画像を処理し、コードによって示される分類子を取得し、コードによって示される修正された場所を取得し、分類子を含む情報を取得することのみによって情報を得、処理済み画像内の修正された場所に情報を配置することによって画像を処理済み画像に処理するように構成されたプロセッサと、処理済み画像をレンダリングするための画像レンダリングデバイスと、を含む、デバイスを提供してもよい。

【0078】

ここでも、上記の本発明の第１の目的の実施形態は、上記の更なる態様に準用されてもよい。本発明の更なる態様は、方法のステップが更なる態様の特徴と関連付けられる、本発明による方法に同様に適用され得る。

【0079】

全般的に、本願は、本発明によるデバイスが、光源によって示される、特定のクラス／群／ラベル等を含む／に属する特定の種類の情報を、光源によって及び／又はデバイスの物理的パラメータに依存して発せられたコードによって示される画像内の場所に配置するように光源の照明特性により促される発明を提供する。特定の分類である又は分類子を含む情報は、本発明の態様及び実施形態に適用されてもよい。

【0080】

本発明の第１の目的に対して提供される実施形態は、本発明の他の目的に準用されてもよい。

【図面の簡単な説明】

【0081】

本発明は、ここで、非限定的な概略図面を用いて更に説明される。

【図1A】画像内の場所に情報を配置するためのデバイスであって、検出器、プロセッサ、及び画像レンダリングデバイスを含む、デバイスの一実施形態を概略的に示し、図１Ｂは、デバイスの斜視図を概略的に示す。

【図1B】画像内の場所に情報を配置するためのシステムであって、本発明によるデバイス及び光源を含む、システムの一実施形態も同時に示す。図１Ｂはまた、本発明によるそのような光源を同時に示す。

【図2】図１Ｂに示されるシステムの実施形態の適用を概略的に示す。

【図3A】画像内の場所に情報を配置するためのデバイスであって、検出器、プロセッサ、及び画像レンダリングデバイスを含み、プロセッサは、データベースにアクセスすることによって場所を取得するように構成されている、デバイスの一実施形態を概略的に示し、

【図3B】デバイスの斜視図を概略的に示す。

【図4】画像内の場所に情報を配置するための方法の一実施形態をフローチャートにおいてで概略的に示す。

【発明を実施するための形態】

【0082】

言及したように、画像内の場所に情報を配置するための改良されたデバイスが提供される。デバイスは、記録された画像内に含まれる光源を用いて、処理済み画像内のどこにどの情報が配置されるべきかを決定する。こうした処理済み画像は、例えば、拡張現実ビュー内で使用されてもよい。したがって、処理済み画像及び／又は拡張現実ビューは、情報を非乱雑化する及び／又はレイアウトするように、光源によって有利に管理されてもよい。その結果、画像内の場所に情報を配置するための、したがって、ビュー、例えば拡張現実ビューを管理するための自動化された、より効果的かつより効率的なデバイスが提供される。

【0083】

図１Ａ及び図１Ｂは、非限定的な例により、画像１３内の場所１７に情報１８を配置し、最終的に処理済み画像１９を提供するためのデバイス１００の一実施形態を概略的に示す。デバイス１００は、検出器１０と、プロセッサ１１と、画像レンダリングデバイス１２と、を含む。検出器１０とプロセッサ１１と画像レンダリングデバイス１２とは、有線接続によって接続された別個の構成要素である。あるいは、構成要素は、デバイスの単一本体に組み込まれてもよい。あるいは更に、構成要素は別個のものであってよいが、互いに通信するための送受信機を含み、例えば、検出器、プロセッサ、及び／又は画像レンダリングデバイスは、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、又はＲＦなどの無線接続によって通信する。

【0084】

ここでは、デバイス１００は、ディスプレイ上に拡張現実ビューを提供する、及び／又はヘッドアップディスプレイ上に拡張現実ビューを投影することによって車両２２のフロントガラス２０のヘッドアップディスプレイ上に拡張現実ビューを提供する、車両２２の拡張現実デバイスの一部である。両者は、画像レンダリングデバイス１２の参照番号１２によって図１Ｂに概略的に示されている。デバイス１００のプロセッサ１１は自律型かつ独立型であるが、代替的に、車両２２、又はナビゲーションデバイス若しくはコンピュータなどの、車両２２に結合されたデバイスのプロセッサの一部であってもよい。ヘッドアップディスプレイはそれ自体が、現実２３の一部がヘッドアップディスプレイを通して見える透明又は半透明の投影スクリーンを含んでもよい。あるいは、デバイスはまた、仮想現実デバイス、プロジェクタデバイス、スマートフォン、スマートグラス、双方向型バイザー、ナビゲーションデバイス、又はタブレットの一部であってもよい。ディスプレイは、タッチスクリーン、３Ｄスクリーン、又はホログラフィックディスプレイであってもよい。あるいは、画像レンダリングデバイスは、例えば、眼鏡、レンズ、又は眼上に投影が提供され得る投影デバイスであってもよい。ヘッドアップディスプレイの場合、プロセッサ１１は、ヘッドアップディスプレイを通して現実２３が見え得る一方、拡張されたフィーチャがヘッドアップディスプレイ上に投影され得るように、画像を完全に透明にすることによって、画像１３を処理済み画像に処理する。

【0085】

図１Ａ及び図１Ｂを参照すると、検出器１０は画像１３を記録する。検出器は、光検出器、より具体的にはカメラである。あるいは、検出器は、光、高周波、及び／又は熱的特徴を感知するためなどの追加的なセンサによって拡張されてもよく、これにより、感知された特徴を含む代替的な画像を提供してもよい。画像１３は、現実２３、すなわち、フォーマットとサイズとを含むビデオの表現である。画像１３は、例えば図１Ｂにおいては、車両２２のフロントガラス２０を通して見える実際のビュー２３を示す。ここでは、実際のビュー２３の記録は、複数の照明柱を含む照明インフラストラクチャを含む。各照明柱は、１つの（又は少なくとも１つの）光源を含み得る。画像１３は照明柱２１を含み、照明柱２１は光源１４を含む。光源１４の照明特性１５は、情報１８と、情報１８を配置する画像１３内の場所１７とを示すコード１６を含む。あるいは、それぞれ図１Ｂに参照番号１４^＊及び参照番号１５^＊として参照される、壁面照明特性を有する家の壁面照明器具などの他の照明特性を含む他の光源が記録されてもよい。壁面照明特性は色コーディングのコードを含んでもよい。

【0086】

光源１４は、照明特性１５を有する光を発する半導体照明デバイスである。照明特性１５は、変調された可視光である。あるいは、発せられた光は、無線周波数スペクトル又は光の赤外線スペクトル内にあってもよい。したがって、ここでは、発せられた光及び対応する照明特性１５は符号化光であり、これは、可視光通信（ＶＬＣ）の原理内の符号化を指す。したがって、適切な変調技術に従って強度を変調することによって光源１４の可視光内に信号が埋め込まれる。あるいは、色などの光の他の特性は符号化スキームに従って変調されてもよい。あるいは更に、光源１４は、単一色を継続的に発することを特徴としてもよい。単一色はコードを示し得る。

【0087】

言及したように、光源１４の照明特性１５は、情報１８と、情報１８を配置する画像１３内の場所１７とを示すコード１６を含む。プロセッサ１１は、コード１６を取得するために、続いて、何れもコード１６によって示される、情報１８及び場所１７を取得するために、画像１３を処理する。更に、プロセッサ１１は、画像１３内の場所１７に情報１８を配置することによって、画像１３を処理済み画像１９に処理するように構成される。図１Ｂにおいて、プロセッサ１１は車両２２のダッシュボード内に間接的に示されている。プロセッサ１１は、ホストデータベース情報などの情報を一時的に記憶及び処理するためのワーキングメモリを有してもよい。

【0088】

画像レンダリングデバイス１２は処理済み画像１９をレンダリングする。車両２２のフロントガラスのヘッドアップディスプレイ上のレンダリング並びにディスプレイ上のレンダリングの両方が図１Ｂに示される。

【0089】

図１Ａ及び図１Ｂに示される実施形態を更に参照すると、場所１７はコード１６内に含まれる。コード１６は、情報１８を配置する画像１３内の場所１７を明示的に示す、又は定義する、又は決定する。より具体的には、第１に、場所１７"は、記録された画像に対する相対座標又は一般座標を有するコード１６に符号化される。ここでは、相対座標は、情報１８"を配置するための場所１７"（すなわち、記録された画像１３の右下隅）を定義する。第２に、場所１７'は、記録された画像１３のサイズの相対的に最も左側の１５％に情報１８'を配置するための一般コマンドとしてコード１６に符号化される。第３に、場所１７は、コマンド列としてコード１６内に直接含まれ、場所１７は、画像１３内の光源１４又は照明特性１５の位置に対する位置と定義される。プロセッサ１１は、例えば、光源の識別子でもあってよいコマンド列を認識し、画像１３内の光源１４の位置を識別するために、及び画像１３内の光源の位置に対して情報１８を配置するために、処理ステップを実施する。コード１６は画像１３内で既に検出されているので、前述の処理ステップは計算効率的であり得る。ここで、場所１７は、画像内の光源１４の位置に一致する画像１３内の位置と定義される。あるいは、コードが場所をいかにして含み得るかについての他の例又は組み合わせが想定されてもよい。あるいは、照明特性が、例えば、光源の光のフットプリントである場合、情報は、画像内の照明特性の位置に一致してもよい。あるいは更に、縁部が基準点として使用され得るように、場所は、画像レンダリングデバイスの縁部に対する位置と定義されてもよい。

【0090】

更に、コード１６は情報１８を示す。ここでは、コード１６は、情報１８の種類を明示的に示す。プロセッサ１１は、コード１６に基づいて情報１８を取得するように構成される。すなわち、ここでは、コード１６は、ナビゲーション情報１８、デバイス情報１８'、及び／又は通信情報１８"の種類を示すデータ列を含む。プロセッサ１１は、ここで、どの種類の情報１８、１８'、１８"が取得され、各々の場所１７、１７'、１７"に配置される必要があるかを知る。あるいは、コードは、光源の識別子を有するデータ列を含んでもよい。次いで、プロセッサは、識別子に基づいて情報又は情報の種類を取得してもよい。したがって、混雑した交差点に配置された光源の識別子は、プロセッサにナビゲーション情報を示してもよく、ナビゲーション情報は、例えば、拡張現実ビューナビゲーション中の安全性を向上させるために、デバイスが、例えば、画像内の最も人間工学的な位置に配置する。あるいは更に、コードは、ナビゲーション情報のナビゲーションコンテンツなど関連情報のコンテンツ、例えば、方向（又は広告情報の場合は広告）それ自体を含んでもよい。

【0091】

したがって、上記の結果として、デバイス１００は、画像１３内の場所１７にナビゲーション情報１８を配置するようにコード１６によって促され、場所１７は、画像１３内の光源１４の位置に一致する位置にある。ナビゲーション情報１８のコンテンツは、プロセッサ１１によって内部的に、又は接続されたメモリ／処理ユニットから取得される。更に、図１Ａ及び図１Ｂに示されるように、通信情報１８"は、画像１３の右下隅の相対座標である場所１７"に配置され、デバイス情報１８'は、画像１３の左側１５％である場所１７'に配置される。したがって、情報がビューを乱雑にする代わりに各自の位置に配置されるので、処理済み画像１９は、より人間工学的で、より安全で、かつより効率的な拡張現実ビューを提供する。

【0092】

図１Ｂを更に参照するが、異なる実施形態では、画像１３内の場所１７に情報１８を配置するためのシステム１０００が提供され、システム１０００は本発明によるデバイス１００を含み、照明柱２１は光源１４を含む。照明柱は照明インフラストラクチャの一部であり得る。

【0093】

図２は、非限定的な例により、図１Ｂに示されるシステムの実施形態の適用を概略的に示す。交通状況２００が、危険な交差点を含む道路とともに示される。車両２２０は道路を走行し、危険な交差点を横断する。車両２２０の走行した経路に対応する４つの瞬間１、２、３、４が示される。車両２２０は本発明によるデバイス１００を含み、これは、図１Ａ及び図１Ｂに示される実施形態に部分的に類似する、車両２２０のフロントガラスの拡張現実ビューの一部である。

【0094】

第１の瞬間１において、車両２２０は危険な交差点にまだ遭遇しておらず、直線道路部分を走行している。本発明によるデバイス１００の検出器は、第１の瞬間１に、本発明によらない通常の光源２１０を含むビューを記録する。複数の情報のせいで、第１の瞬間１における拡張現実ビューは、方向を示す矢印などのナビゲーション情報１５０及びテキスト又はメールを含むポップアップメッセージなどの通信情報１６０で乱雑になっている。あるいは、広告又は旅行者用情報などの他の種類の情報が拡張現実ビュー内に存在し得る。

【0095】

第２の瞬間２において、車両２２０は危険な交差点に接近している。危険な交差点の交差部に本発明（すなわち、システム１０００）による照明柱２１が存在する。明細書中で上述したように、照明柱２１光源の照明特性は、情報１８０、１８０'及び情報１８０、１８０'を配置する画像内のそれぞれの場所１７０、１７０'を示すコード１４０を含む。すなわち、ここでは、画像は、デバイス１００によって車両２２０のフロントガラス上にレンダリングされる拡張現実ビューの一部である。したがって、システム１０００、光源２１、及びデバイス１００によって、以前は何れもビューを乱雑にしていたナビゲーション情報１８０及び通信情報１８０'が、ここではそれぞれ、フロントガラスの右側の最端１５％及び左側の最端１５％に配置される（すなわち、画像レンダリングデバイスによって）。あるいは、人間工学、ビュー管理、又は安全性に従って他の適切な位置が想定されてもよい。したがって、本発明により、システム１０００は、第２の瞬間２に車両が危険な交差点を走行しているときに、交差点の乱雑でない明瞭なビューを確実にする。これは、車両内の拡張現実ビューのユーザに、危険な交差点における交通状況２００のより安全なオーバービューが提供され得ることを意味する。このことは、ユーザが車両で一部作業する（例えば、メールへの応答、電話、筆記、編集等）ために拡張現実ビューを使用する自律走行車にも当てはまることがあり、安全規制により道路の明瞭なビューが必要なときには拡張現実ビューが自動的に非乱雑化される。

【0096】

第３の瞬間３に車両２２０は危険な交差点を離れ、光源２１はなお本発明に従っているので、第２の瞬間に本発明により有効とされた状況を第３の瞬間３に準用する。第４の瞬間４に車両２２０はもはや危険な交差点にはなく、光源２１０は本発明に従っていないので、第１の瞬間１の（本発明が有効とされない）状況を第４の瞬間４に準用する。交通制御機関は、例えば、拡張現実デバイスを使用するユーザの車両の拡張現実ビューの効率的な制御が望まれる場所に、例えば、本発明による光源を含む照明柱２１を設けてもよい。

【0097】

図３Ａ及び図３Ｂは、非限定的な例により、画像３３内の場所３７、３７'に情報３８、３８'を配置するためのデバイス３００の一実施形態を概略的に示し、デバイス３００は、検出器３０と、プロセッサ３１と、画像レンダリングデバイス３２と、を含み、図１Ａ及び図１Ｂの実施形態に一部類似するが、ここでは、プロセッサ３１は、データベース４０にアクセスするように、及びデータベース４０から場所３７、３７'を取得するように構成されている。

【0098】

デバイス３００は、ガラスなどの透明な投影要素上に画像を投影する画像レンダリングデバイスによって現実４３の拡張現実ビューを提供するスマートグラス４２の一部である。現実４３は、街中の混雑した商店街であり、道は、ショーウィンドウを有する複数の店を含む。各店は無線情報をスマートグラス４２に送信し、それによって拡張現実ビューの乱雑なビュー（図示せず）をレンダリングする。本発明は、図３Ａ及び図３Ｂに具現化されるように、拡張現実ビューを非乱雑化し、向上させる。ショーウィンドウ上方の各壁又はショーウィンドウそれ自体が、壁面照明効果３５'を提供する壁面照明器具３４'で照明されている。更に、商店街の照明柱３４は符号化光３５を提供する。

【0099】

図３Ａ及び図３Ｂを参照すると、検出器３０は画像３３を記録する。画像３３は光源３４、３４'（すなわち、例えば、壁面照明器具又は照明柱）を含み、光源の照明特性３５、３５'は、情報３８、３８'と情報３８、３８'を配置する画像３３内の場所３７、３７'とを示すコード３６を含む。プロセッサ３１は、コード３６を取得するために画像３３を処理する。コード３６は、光源３４、３４'を識別する識別子と、識別子に対応する情報３７、３７'の種類を示すデータ列とを含む。プロセッサ３１は、コード３６によって示される、データ列によって示された広告情報の種類に対応する広告情報３８である情報を取得する。あるいは、情報は旅行者用情報３８'であってもよい。更に、プロセッサは、コードに対応する位置、すなわちここでは識別子を示すリスト４１を含むデータベース４０にアクセスすること、及びコード３６に対応する場所３７、３７'をデータベース４０内のリスト４１から取得することによって、コード３６によって示された場所３７、３７'を取得する。この場合も、図１Ａ及び図１Ｂに示される実施形態と同様に、プロセッサは、画像３３内の場所３７、３７'に情報３８、３８'を配置することによって、画像３３を処理済み画像３９に処理する。

【0100】

図３Ａ及び図３Ｂを参照すると、デバイス３００はデータベース４０を含む。あるいは、データベースはデバイス３００の外部にあってもよく、データベースは、例えば、Ｗｉ−Ｆｉ、ＢＬＥ、ＺｉｇＢｅｅ、ＲＦ、若しくはＶＬＣなどの有線又は無線接続によってデバイス３００に接続されてもよい。

【0101】

図３Ａ及び図３Ｂを更に参照すると、情報は、旅行者用情報３８及び広告情報３８'である。データベース４０から取得された対応する場所３７、３７'は、広告情報３８'の場合は（壁面照明）光源３４'の照明効果３５'（すなわち壁面照明効果）にそれぞれ一致し、照明柱光源３４の上方にオフセットを伴って配置され、オフセットは、画像３３の高さの１０％に等しい距離である。旅行者用情報３８は天気の状態又は地域の教会の開館時間であってもよく、広告情報３８'は商店街の店の広告であってもよい。

【0102】

あるいは、ナビゲーション情報は照明柱の光源に固定されてもよい。なぜなら、これが、都市インフラストラクチャ内における、そのような情報を固定するための最も人間工学的な位置であり得るからである。あるいは更に、広告情報は、庇（abris）又は店の窓に固定されてもよい。あるいは更に、旅行者用情報は、ほとんどの場合は空を含み得る画像の上部に固定されてもよい。あるいは更に、街の情報はファサード照明に固定されてもよい。

【0103】

したがって、上記の結果、デバイス３００は、画像３３内の場所３７'に広告情報３８'を配置するようにコード３６によって促され、場所３７'は、壁面照明光源３４（すなわちファサード照明）の壁面照明効果３５'に一致する位置にある。更に、旅行者用情報３８は、照明柱光源３５の上方にオフセットした場所３８に配置される。あるいは、旅行者用情報は、画像レンダリングデバイスの縁部に対する位置に配置されてもよい。したがって、情報がビューを乱雑にするのではなく店の位置に配置されるので、処理済み画像３９は、より人間工学的かつより効率的な拡張現実ビューを提供する。

【0104】

図４は、非限定的な例により、画像内の場所に情報を配置するための方法６００の一実施形態のフローチャートを概略的に示す。本発明による検出器、画像レンダリングデバイス、及びプロセッサによって実施される方法は、画像を記録するステップであって、画像は光源を含み、光源の照明特性は、ナビゲーション情報と、ナビゲーション情報を配置する画像内の場所とを示すコードを含む、ステップ（６０１）を含む。あるいは、広告情報、デバイス情報、通信情報、街の情報、旅行者用情報等などの他の種類の情報がコードによって示されてもよい。方法は、コードを取得するために画像を処理するステップ（６０２）と、コードによって示されるナビゲーション情報を取得するステップ（６０３）と、を更に含む。この取得するステップは、ナビゲーション情報が記憶されたメモリにアクセスすることによってプロセッサにより行われてもよい。なぜなら、そのような情報を取得するための唯一の要件はどの種類の又はどの情報を取得すべきかを知っていることであり、これはコードによって示されるからである。方法は、コードによって示される場所を取得するステップ（６０４）と、画像内の場所にナビゲーション情報を配置することによって、画像を処理済み画像に処理するステップ（６０５）と、処理済み画像を表示するステップ（６０６）と、を更に含む。一例では、画像を処理済み画像に処理するステップ（６０５）は、画像内の光源の照明特性に一致する画像内の位置にナビゲーション情報を配置することを含み、光源は道路照明インフラストラクチャの一部である。

【0105】

一実施形態（不図示）では、図４に示される方法は、コードに対応する位置を示すリストを含むデータベースにアクセスすることによって、コードによって示される場所を取得するステップ（６０７）と、データベース内のリストからコードに対応する場所を取得するステップ（６０８）と、を更に含む。

【0106】

別の実施形態（不図示）では、図４に示される方法は、コードによって示される場所を取得するステップ（６０８）が、コードを処理するステップによって実施されることを更に含み、場所はコード内に含まれている。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】