特許第6600310号(P6600310)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エシロール エンテルナショナルの特許一覧

特許6600310シースルー頭部装着型装置に基づいたナビゲーション方法
<>
  • 特許6600310-シースルー頭部装着型装置に基づいたナビゲーション方法 図000002
  • 特許6600310-シースルー頭部装着型装置に基づいたナビゲーション方法 図000003
  • 特許6600310-シースルー頭部装着型装置に基づいたナビゲーション方法 図000004
  • 特許6600310-シースルー頭部装着型装置に基づいたナビゲーション方法 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6600310
(24)【登録日】2019年10月11日
(45)【発行日】2019年10月30日
(54)【発明の名称】シースルー頭部装着型装置に基づいたナビゲーション方法
(51)【国際特許分類】
   G08G 1/005 20060101AFI20191021BHJP
   G01C 21/26 20060101ALI20191021BHJP
   G09G 5/00 20060101ALI20191021BHJP
   G09G 5/36 20060101ALI20191021BHJP
【FI】
   G08G1/005
   G01C21/26 P
   G09G5/00 510A
   G09G5/36 510B
   G09G5/00 550C
   G09G5/00 555D
【請求項の数】18
【全頁数】23
(21)【出願番号】特願2016-539534(P2016-539534)
(86)(22)【出願日】2014年9月3日
(65)【公表番号】特表2016-532218(P2016-532218A)
(43)【公表日】2016年10月13日
(86)【国際出願番号】EP2014068763
(87)【国際公開番号】WO2015032833
(87)【国際公開日】20150312
【審査請求日】2017年8月7日
(31)【優先権主張番号】13306209.1
(32)【優先日】2013年9月4日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】518040079
【氏名又は名称】エシロール エンテルナショナル
(74)【代理人】
【識別番号】100060759
【弁理士】
【氏名又は名称】竹沢 荘一
(74)【代理人】
【識別番号】100083389
【弁理士】
【氏名又は名称】竹ノ内 勝
(74)【代理人】
【識別番号】100198317
【弁理士】
【氏名又は名称】横堀 芳徳
(72)【発明者】
【氏名】アマンディーヌ ドゥビエーヴル
(72)【発明者】
【氏名】ブノワ カリエ
(72)【発明者】
【氏名】マリオン スウィタル
【審査官】 岩田 玲彦
(56)【参考文献】
【文献】 特開2006−171302(JP,A)
【文献】 特開2006−217520(JP,A)
【文献】 特開2006−146778(JP,A)
【文献】 特開2008−185609(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/005
G01C 21/00 −21/36
G09G 5/00
G09G 5/36
(57)【特許請求の範囲】
【請求項1】
シースルー頭部装着型装置の装用者のためのナビゲーション方法であって、
− 装用者視覚化パラメータ提供ステップであって、前記装用者の眼の状態に関係した少なくとも1つの装用者視覚化パラメータが提供されるステップと、
− ジオ位置判定ステップであって、ルートに沿った前記装用者のジオ位置が判定されるステップと、
− ジオ位置比較ステップであって、前記ジオ位置判定ステップにおいて判定された前記装用者の前記ジオ位置が、前記ルートに沿った保存されているジオ位置と比較されるステップと、
− ナビゲーション視覚支援機能適合ステップであって、前記装用者の前記ジオ位置が前記保存されているジオ位置のうちの1つとマッチングした際に、ナビゲーション視覚支援機能が前記装用者視覚化パラメータと前記装用者の前記ジオ位置との両方に基づいて適合されるステップとを有し、
− ナビゲーション視覚支援は、前記シースルー頭部装着型装置によって提供され、
− 装用者識別子と装用者視覚パラメータとの間の関連付けをデータベース内において事前登録するステップを更に有する、方法。
【請求項2】
前記頭部装着型装置は、表示装置を有し、且つ、前記ナビゲーション視覚支援機能適合ステップは、
− 処理済み画像選択ステップであって、前記装用者の前記ジオ位置が前記保存されているジオ位置のうちの1つとマッチングした際に、前記装用者の前記ジオ位置にマッチングした前記保存されているジオ位置と関連付けられた処理済みの画像のうちの少なくとも1つが、前記装用者視覚化パラメータに従って選択されるステップと、
− 表示ステップであって、前記装用者の視覚環境の前記処理済みの画像が、シースルー頭部装着型表示装置により、前記装用者に対して表示されるステップと
を更に有する請求項1に記載のナビゲーション方法。
【請求項3】
前記頭部装着型装置は、表示装置と、前記装用者の視覚環境の画像を取得するように適合されたカメラとを有し、且つ、前記ナビゲーション視覚支援機能適合ステップは、
− 画像取得ステップであって、前記装用者の前記視覚環境の少なくとも1つの画像が、前記カメラによって取得されるステップと、
− 画像処理選択ステップであって、前記装用者の前記ジオ位置が前記保存されているジオ位置のうちの1つとマッチングした際に、前記装用者の前記ジオ位置にマッチングした前記保存されているジオ位置と関連付けられた画像処理のうちの少なくとも1つが、前記装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、前記画像取得ステップにおいて取得された前記視覚環境の前記画像が、画像処理選択ステップにおいて選択された前記画像処理に従って処理されるステップと、
− 表示ステップであって、前記視覚環境の処理済みの画像が、シースルー頭部装着型表示装置により、前記装用者に対して表示されるステップと
を更に有する請求項1又は2に記載のナビゲーション方法。
【請求項4】
前記ナビゲーション視覚支援機能適合ステップは、
− 画像要素識別ステップであって、前記装用者の前記視覚環境の前記画像が、予め定義された要素リスト内において列挙されている少なくとも1つの予め定義された要素を識別するべく分析され、前記予め定義された要素のそれぞれは、少なくとも1つの画像処理と関連付けられているステップを更に有し、及び
− 前記画像処理選択ステップにおいて、前記予め定義された要素リスト内において列挙されている前記予め定義された要素のうちの1つに対応する前記装用者の前記視覚環境の前記画像の要素を識別する際に、前記装用者の前記視覚環境の前記画像内において識別された前記予め定義された要素と関連付けられた画像処理が選択される請求項3に記載のナビゲーション方法。
【請求項5】
− 視覚環境パラメータ判定ステップであって、少なくとも1つの視覚環境パラメータが判定されるステップを更に有し、及び
− 前記画像処理選択ステップにおいて、前記画像処理が、前記視覚環境パラメータに従って選択され、且つ/又は、前記処理済み画像選択ステップにおいて、前記処理済みの画像が、前記視覚環境パラメータに従って選択される請求項3又は4に記載のナビゲーション方法。
【請求項6】
− 送信ステップであって、前記ジオ位置が、少なくとも1つの画像処理と関連付けられた保存されているジオ位置と比較されるべく、離れたエンティティに送信されるステップと、
− 受信ステップであって、前記選択された画像処理及び/又は前記処理済みの画像が、離れたエンティティから受信されるステップと
を更に有する請求項3〜5のいずれか一項に記載のナビゲーション方法。
【請求項7】
− 送信ステップであって、前記ジオ位置が、少なくとも1つの画像処理と関連付けられた保存されているジオ位置と比較されるべく、離れたエンティティに送信され、且つ、前記装用者の前記視覚環境の前記取得された画像が、前記ジオ位置と関連付けられた前記画像処理に基づいて処理されるべく、前記離れたエンティティに送信されるステップと、
− 受信ステップであって、前記処理済みの画像が、離れたエンティティから受信されるステップと
を更に有する請求項3〜5のいずれか一項に記載のナビゲーション方法。
【請求項8】
前記装用者の前記ジオ位置に基づいて、前記視覚環境の前記処理済みの画像に基づく補完的な視覚情報を表示するステップを更に有する請求項2〜7のいずれか一項に記載のナビゲーション方法。
【請求項9】
前記頭部装着型表示装置は、能動的機能と、前記能動的機能を制御するように構成された制御ユニットとを有し、且つ、前記能動的機能は、前記ナビゲーション視覚支援機能適合ステップにおいて適合される請求項1〜8のいずれか一項に記載のナビゲーション方法。
【請求項10】
前記装用者視覚化パラメータのうちの少なくとも1つは、前記装用者識別子との関連において、ネットワークを介して前記頭部装着型装置に接続されたサーバー上の装用者データベース内に保存される請求項1〜9のいずれか一項に記載のナビゲーション方法。
【請求項11】
少なくともルートをデータベース内において事前登録する予備的ステップを更に有し、前記予備的ステップは、
− 関連付けステップであって、前記ジオ位置判定ステップにおいて判定された前記ルートに沿ったジオ位置が、少なくとも1つのナビゲーション視覚支援機能変更と関連付けられるサブステップと、
− 保存ステップであって、前記ジオ位置及び前記関連付けられた少なくとも1つのナビゲーション視覚支援機能変更が保存されるサブステップと
を有する請求項1〜10のいずれか一項に記載のナビゲーション方法。
【請求項12】
前記予備的ステップは、
− 画像取得ステップであって、前記装用者の視覚環境の少なくとも1つの画像がカメラによって取得されるステップと、
− 画像処理選択ステップであって、画像処理のうちの少なくとも1つが、前記装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、前記画像取得ステップにおいて取得された前記視覚環境の前記画像が、画像処理選択ステップにおいて選択された前記画像処理に従って処理されるステップと
を更に有し、及び
− 前記関連付けステップにおいて、処理済みの画像は、前記ジオ位置と関連付けられる請求項11に記載のナビゲーション方法。
【請求項13】
前記予備的ステップは、
− 画像選択ステップであって、少なくとも1つの画像が選択されるステップと、
− 画像処理選択ステップであって、画像処理の少なくとも1つが、前記装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、前記選択された画像が、画像処理選択ステップにおいて選択された前記画像処理に従って処理されるステップと
を更に有し、及び
− 前記関連付けステップにおいて、処理済みの画像は、前記ジオ位置と関連付けられる請求項11に記載のナビゲーション方法。
【請求項14】
ナビゲーション視覚支援機能変更データは、任意選択により、アクセス権限に従って、装用者識別子に従って定義される請求項13のいずれか一項に記載のナビゲーション方法。
【請求項15】
前記関連付けステップは、前記装用者によって実行される請求項1113のいずれか一項に記載のナビゲーション方法。
【請求項16】
前記ジオ位置比較ステップの前に、受信ステップであって、ナビゲーション視覚支援機能変更と関連付けられた前記保存されているジオ位置が、離れたエンティティから受信され、且つ、保存されるステップを更に有する請求項1〜15のいずれか一項に記載のナビゲーション方法。
【請求項17】
プロセッサからアクセス可能であると共に、前記プロセッサによって実行される際に前記プロセッサに請求項1〜16のいずれか一項に記載のステップを実行させる命令の1つ又は複数の保存されたシーケンスを有するコンピュータプログラム。
【請求項18】
プログラムを記録し、前記プログラムは、請求項1〜16に記載の方法をコンピュータに実行させるコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シースルー頭部装着型装置の装用者のためのナビゲーション方法と、プロセッサによって実行される際にプロセッサに本発明の視覚支援ガイダンスナビゲーション方法のステップを実行させる命令を有するコンピュータプログラムと、コンピュータプログラムの命令を保持するコンピュータ可読媒体とに関する。
【背景技術】
【0002】
例えば、GPS技術に基づいたナビゲーション装置が周知である。このような装置は、通常は、表示画面上において視覚情報を提供すると共に、通常は、オーディオ情報を提供する。
【0003】
ユーザーに対して提供される情報は、装用者の位置と、ユーザーによって規定された「行き先」地点とに基づいたものである。装置は、保存されている地図及びユーザーパラメータに基づいてルートを算出し、且つ、ユーザーに対してガイダンスナビゲーションを提供する。
【0004】
このような装置は、弱視のユーザーに対して、或いは、更に一般的には、眼科欠陥を有するユーザーに対して、適合されてはいない。
【0005】
このような装置を使用した眼科欠陥を有するユーザーの移動は、困難であり、ルートの誤りが増加し、且つ、移動時間が長くなる。
【0006】
従って、眼科欠陥を有するユーザー対して、特に視覚欠陥を有するユーザーに対して、適合された視覚支援ガイダンスナビゲーション方法を提供することが望ましい。
【0007】
装用者の視覚的快適性を改善するべく、装用者に対して特別に適合されたカスタマイズされた方法で画像及びテキストが表示される視覚支援ガイダンスナビゲーション方法を提供することが望ましい。
【0008】
更には、ユーザーナビゲーションを最適化すると共に眼科欠陥を有するユーザーの移動を合理化する視覚支援ガイダンスナビゲーション方法を提供することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、このような方法を提供することである。
【課題を解決するための手段】
【0010】
本発明は、一般的には、頭部装着型装置を伴う視覚支援ガイダンスナビゲーション用の方法及びシステムを提供し、この場合に、装用者に固有の視覚化パラメータを考慮することにより、ナビゲーションのカスタマイズが実現されている。このような視覚化パラメータは、装用者の処方データなどの装用者の眼科データに関係したパラメータを含む。
【0011】
本発明によれば、装用者に固有の視覚化パラメータを考慮することにより、装用者の視覚的経験及びナビゲーションの品質を改善することができる。
【0012】
これを目的として、本発明は、シースルー頭部装着型装置の装用者のためのナビゲーション方法を提案し、方法は、
− 装用者視覚化パラメータ提供ステップであって、少なくとも1つの装用者視覚化パラメータが提供されるステップと、
− ジオ位置判定ステップであって、ルートに沿った装用者のジオ位置(geo−position)が判定されるステップと、
− ジオ位置比較ステップであって、ジオ位置判定ステップにおいて判定された装用者のジオ位置が、ルートに沿った保存されているジオ位置と比較されるステップと、
− ナビゲーション視覚支援機能適合ステップであって、装用者のジオ位置が保存されているジオ位置のうちの1つとマッチングした際に、特に、装用者のガイダンスを促進するべく、ナビゲーション視覚支援機能が装用者視力パラメータと装用者のジオ位置との両方に基づいて適合されるステップと
を有し、
− この場合に、ナビゲーション視覚支援は、シースルー頭部装着型装置によって提供される。
【0013】
有利には、装用者視力パラメータ及び装用者のジオ位置に基づいてルートに沿った頭部装着型装置のナビゲーション視覚支援機能を適合させることにより、本発明の方法は、装用者の眼科欠陥に対して適合された視覚ガイダンスナビゲーション方法を提供する。
【0014】
装用者の移動が改善されると共に促進される。
【0015】
更には、本発明の方法によれば、装用者の移動を促進する装用者の眼科欠陥に対して適合されたルートのカスタマイズされた認識機能を装用者に対して提供することができる。更には、それぞれの装用者の眼科欠陥に対して適合された事前記録カスタムルートによれば、ルートに沿った頭部装着型装置による処理及び表示の最適化が可能であり、この結果、ルートに沿って強力な眼科欠陥を有する装用者を支援するための選択的且つ定性的な情報の提供が可能である。
【0016】
単独で又は任意の可能な組合せにおいて検討されうる更なる実施形態によれば、
− 頭部装着型装置は、表示装置を有し、且つ、ナビゲーション視覚支援機能適合ステップは、
− 処理済み画像選択ステップであって、装用者のジオ位置が保存されているジオ位置のうちの1つとマッチングした際に、装用者のジオ位置にマッチングした保存されているジオ位置と関連付けられた処理済みの画像のうちの少なくとも1つが、装用者視覚化パラメータに従って選択されるステップと、
− 表示ステップであって、装用者の視覚環境の処理済みの画像が、シースルー頭部装着型表示装置により、装用者に対して表示されるステップと
を更に有し、
− 頭部装着型装置は、表示装置と、装用者の視覚環境の画像を取得するように適合されたカメラとを有し、且つ、ナビゲーション視覚支援機能適合ステップは、
− 画像取得ステップであって、装用者の視覚環境の少なくとも1つの画像が、カメラによって取得されるステップと、
− 画像処理選択ステップであって、装用者のジオ位置が保存されているジオ位置のうちの1つとマッチングした際に、装用者のジオ位置にマッチングした保存されているジオ位置と関連付けられた画像処理のうちの少なくとも1つが、装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、画像取得ステップにおいて取得された視覚環境の画像が、画像処理選択ステップにおいて選択された画像処理に従って処理されるステップと、
− 表示ステップであって、視覚環境の処理済みの画像が、シースルー頭部装着型表示装置により、装用者に対して表示されるステップと
を更に有し、且つ/又は、
− ナビゲーション視覚支援機能適合ステップは、
− 画像要素識別ステップであって、装用者の視覚環境の画像が、予め定義された要素リスト内において列挙されている少なくとも1つの予め定義された要素を識別するべく分析され、予め定義された要素のそれぞれは、少なくとも1つの画像処理と関連付けられているステップを更に有し、及び
− 画像処理選択ステップにおいて、予め定義された要素リスト内において列挙されている予め定義された要素のうちの1つに対応する装用者の視覚環境の画像の要素を識別する際に、装用者の視覚環境の画像内において識別された予め定義された要素と関連付けられた画像処理が選択され、且つ/又は、
− 方法は、
− 視覚環境パラメータ判定ステップであって、少なくとも1つの視覚環境パラメータが判定されるステップを更に有し、及び
− 画像処理選択ステップにおいて、画像処理が、視覚環境パラメータに従って選択され、且つ/又は、処理済み画像選択ステップにおいて、処理済みの画像が、視覚環境パラメータに従って選択され、且つ/又は、
− 方法は、
− 送信ステップであって、ジオ位置が、少なくとも1つの画像処理と関連付けられた保存されているジオ位置と比較されるべく、離れたエンティティに送信されるステップと、
− 受信ステップであって、選択された画像処理が、離れたエンティティから受信されるステップと
を更に有し、且つ/又は、
− 方法は、
− 送信ステップであって、ジオ位置が、少なくとも1つの画像処理と関連付けられた保存されているジオ位置と比較されるべく、離れたエンティティに送信され、且つ、装用者の視覚環境の取得された画像が、ジオ位置と関連付けられた画像処理に基づいて処理されるべく、離れたエンティティに送信されるステップと、
− 受信ステップであって、処理済みの画像が、離れたエンティティから受信されるステップと
を更に有し、且つ/又は、
− 離れたエンティティは、スマートフォン及び/又はスマートウォッチであり、且つ/又は、
− 方法は、装用者のジオ位置に基づいて、視覚環境の処理済みの画像に基づく補完的な視覚情報を表示するステップを更に有し、且つ/又は、
− 頭部装着型表示装置は、能動的機能と、能動的機能を制御するように構成された制御ユニットとを有し、且つ、能動的機能は、ナビゲーション視覚支援機能適合ステップにおいて適合され、且つ/又は、
− 方法は、装用者のジオ位置に基づいて装用者に対してオーディオ通知を提供するステップを更に有し、且つ/又は、
− 方法は、装用者識別子と前記装用者視覚化パラメータとの間の関連付けをデータベース内において事前登録するステップを更に有し、且つ/又は、
− 前記装用者視覚化パラメータのうちの少なくとも1つは、装用者識別子との関連において、ネットワークを介して頭部装着型装置に接続されたサーバー上の装用者データベース内に保存され、且つ/又は、
− 方法は、少なくともルートをデータベース内において事前登録する予備的ステップを更に有し、この予備的ステップは、
− 関連付けステップであって、ジオ位置判定ステップにおいて判定されたルートに沿ったジオ位置が、少なくとも1つのナビゲーション視覚支援機能変更と関連付けられるサブステップと、
− 保存ステップであって、ジオ位置及び関連付けられた少なくとも1つのナビゲーション視覚支援機能変更が保存されるサブステップと
を有し、且つ/又は、
− 予備的ステップは、
− 画像取得ステップであって、装用者の視覚環境の少なくとも1つの画像がカメラによって取得されるステップと、
− 画像処理選択ステップであって、画像処理のうちの少なくとも1つが、装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、画像取得ステップにおいて取得された視覚環境の画像が、画像処理選択ステップにおいて選択された画像処理に従って処理されるステップと
を更に有し、及び
− 関連付けステップにおいて、処理済みの画像が、ジオ位置と関連付けられ、且つ/又は、
− ナビゲーション視覚支援機能変更データは、任意選択により、アクセス権限に従って、前記装用者識別子に従って定義され、且つ/又は、
− 関連付けステップは、装用者によって実行され、且つ/又は、
− 方法は、ジオ位置比較ステップの前に、受信ステップであって、ナビゲーション視覚支援機能変更と関連付けられた保存されているジオ位置が、離れたエンティティから受信され、且つ、保存されるステップを更に有し、且つ/又は、
− 予備的ステップは、
− 画像選択ステップであって、少なくとも1つの画像が選択されるステップと、
− 画像処理選択ステップであって、画像処理の少なくとも1つが、装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、選択された画像が、画像処理選択ステップにおいて選択された画像処理に従って処理されるステップと
を更に有し、及び
− 関連付けにおいて、処理済みの画像は、ジオ位置と関連付けられる。
【0017】
本発明は、装置のナビゲーション視覚支援機能を制御するように構成された制御ユニットと、本発明による方法を実装するように適合されたプロセッサとを有する頭部装着型シースルー電気光学装置に更に関する。
【0018】
更なる態様によれば、本発明は、プロセッサからアクセス可能であると共に、プロセッサによって実行される際にプロセッサに本発明による方法のステップを実行させる命令の1つ又は複数の保存されたシーケンスを有するコンピュータプログラムプロダクトに関する。
【0019】
本発明は、本発明によるコンピュータプログラムプロダクトの命令の1つ又は複数のシーケンスを保持するコンピュータ可読記憶媒体に更に関する。
【0020】
更には、本発明は、本発明の方法をコンピュータに実行させるプログラムにも関する。
【0021】
又、本発明は、その上に記録されたプログラムを有するコンピュータ可読記憶媒体にも関し、この場合に、プログラムは、本発明の方法をコンピュータに実行させる。
【0022】
本発明は、命令の1つ又は複数のシーケンスを保存すると共に、本発明による方法のステップの少なくとも1つを実行するように適合されたプロセッサを有する装置にも更に関する。
【0023】
以下、添付図面を参照し、本発明の非限定的な実施形態について説明する。
【図面の簡単な説明】
【0024】
図1】本発明の一実施形態による方法のステップを表すフローチャートである。
図2】本発明の一実施形態による方法を実装しうる頭部装着型電気光学装置を示す。
図3】本発明のローカル実装形態によるシースルー頭部装着型装置機能適合ステップのサブステップを表すフローチャートである。
図4】本発明のリモート実装形態によるシースルー頭部装着型装置機能適合ステップのサブステップを表すフローチャートである。
【発明を実施するための形態】
【0025】
本発明について説明するべく、以下の定義が提供される。
【0026】
「サーバー」SERVは、当技術分野において周知である。サーバーSERVは、広範なネットワークNETWを介して複数の端末TERMに接続されてもよい。ネットワークNETWは、データ送信を許容し、且つ、高周波通信(Wi−Fi、Bluetooth(登録商標)、3G、4Gなど)及び/又は光通信(Li−Fi、IR、近IR、可視など)などの無線通信、並びに/或いは、有線通信(Ethernet(登録商標)、光ファイバ)に依存したものであってもよい。サーバーSERVは、1つ又は複数のデータベースDBを有してもよく、且つ/又は、1つ又は複数のデータベースDBに対して接続されてもよい。
【0027】
以下において「ローカル」実装形態と呼称される本発明の一実施形態によれば、本発明のステップのすべては、頭部装着型装置内に配置された少なくとも1つのプロセッサによってローカルに実行されている。本発明のこのような実装形態の場合には、頭部装着型装置は、少なくともメモリ及びプロセッサを有する必要がある。
【0028】
以下において「リモート」実装形態と呼称される本発明の一実施形態によれば、本発明のステップの少なくとも一部分は、少なくとも1つのリモートプロセッサによって実行されている。リモートプロセッサは、ネットワークを介して頭部装着型装置に対してリンクされた離れたサーバーSERV内に配置されてもよい。
【0029】
「頭部装着型装置」(HMD)は、当技術分野において周知である。このような装置は、装用者の頭部の上部又は周辺において装用される必要がある。これらは、装用者による視覚化のための画像を表示する光学手段を含む。HMDは、単眼(単一の眼)型又は双眼(両方の眼)型であってもよい。本発明のHMDは、眼鏡、スキー又はダイビングマスクなどのマスク、ゴーグルなどを含む様々な形態を有することができる。HMDは、1つ又は複数のレンズを有してもよい。前記レンズは、処方レンズのうちから選択することができる。好適な実施形態においては、HMDは、レンズが提供された眼鏡である。図2には、本発明の頭部装着型装置の一例が示されている。
【0030】
「視覚化パラメータデータ」(VPD)は、装用者眼科データOD(処方データPD、眼感度データSD、及び生物計測データBD)及び/又は装用者眼データ(ED)のうちの1つ又は複数を含む。前記VPDは、HMD上において構築されたメモリ上に保存されてもよく、且つ/又は、サーバーSERVを介してアクセス可能な専用のデータベースDB上において保存されてもよい。
【0031】
「装用者眼科データ」又は「眼科データ」ODは、当技術分野において周知である。装用者眼科データは、装用者処方データPD、装用者眼感度データSD、及び装用者眼科生物計測データBDを含む。
【0032】
「処方データ」PDは、当技術分野において周知である。処方データは、装用者について取得されると共に、それぞれの眼ごとにそれぞれの眼の屈折異常、及び/又は老眼を矯正するのに適した処方された遠見視力の平均屈折力PFV、及び/又は処方された乱視値CYLFV、及び/又は処方された乱視軸AXEFV、及び/又は処方された加入度Aを通知する1つ又は複数のデータを意味している。平均屈折力PFVは、処方された球値SPHFVに処方された乱視値CYLFVの半分の値を合計することにより、得られる(PFV=SPHFV+CYLFV/2)。次いで、近見視力におけるそれぞれの眼の平均屈折力は、同一の眼について処方された遠見視力の平均屈折力PFVに処方された加入度Aを合計することにより得られる(PNV=PFV+A)。累進多焦点レンズの処方の場合には、処方データは、SPHFV、CYLFV、及びAについてそれぞれの眼ごとに通知する装用者データを有する。好適な実施形態においては、装用者の処方データPDは、乱視モジュール、乱視軸、ジオプトリ、プリズム、及び加入度から選択される。
【0033】
「装用者眼感度データ」SDは、当技術分野において周知である。装用者眼感度データは、(1つ又は複数の波長又はスペクトル帯域に対する)スペクトル感度のデータ、輝度感度、例えば、屋外輝度感度などの一般的な感度、装用者の眼の色、装用者の光及び/又はグレア感度、又は回復を含む。このようなデータは、装用者による画像の視覚化のためのコントラストを最適化するために重要である。
【0034】
「装用者眼科生体計測データ」又は「生体計測データ」BDは、当技術分野において周知である。生体計測データは、装用者の構造に関するデータを含み、且つ、通常は、単眼瞳孔距離、瞳孔間距離、眼の軸方向の長さ、眼の回転中心の位置などのうちの1つ又は複数を含む。
【0035】
「装用者眼データ」は、当技術分野において周知である。眼のデータは、ユーザーの暗順応、ユーザーの色覚、視野、双眼視力、装用者の眼のサッケード運動、固定安定性、装用者の視覚−手動調整、装用者の「頭部/眼」運動調整、所与の距離視力における装用者の両眼の注視方向など、瞳孔拡張、瞼の位置などの頭部装着型装置の望ましい設定に応じて眼科パラメータに直接的には関係付けられていないパラメータを含む。又、これは、視覚疾病及び/又は視覚暗点の特性を有してもよい。
【0036】
「着用者データベース」WEAR−DBは、装用者視覚化パラメータデータVPDを保存及び取得するのに適したメモリを有するデータベースである。データベース及びメモリは、当技術分野において周知である。視覚化パラメータデータの取得は、視覚化パラメータ識別子VP−IDなどの専用のポインタを使用して実現することができる。例えば、識別子WEAR−IDは、視覚化パラメータ識別子VP−IDとして機能することができる。それぞれの装用者識別子WEAR−ID1、2、...、nは、装用者の右眼RE及び左眼LEのそれぞれごとの、ここでは、ジオプトリP、乱視ASTI、加入度ADDなどとして示されている、様々な処方データPDの取得を許容する。
【0037】
図1上に示されている本発明の一実施形態によれば、シースルー頭部装着型装置の装用者のための視覚支援ガイダンスナビゲーション方法は、
− 装用者視覚化パラメータ提供ステップS1と、
− ジオ位置判定ステップS2と、
− ジオ位置比較ステップと、
− シースルー頭部装着型装置機能適合ステップS3と
を有する。
【0038】
本発明の方法は、コンピュータ手段によって実装されてもよい。
【0039】
装用者視覚化パラメータ提供ステップS1においては、装用者の視覚プロファイルに関係する少なくとも1つの装用者視覚化パラメータデータVPDの値が提供される。
【0040】
本発明の意味において、装用者の視覚プロファイルとは、装用者に関係付けられたパラメータの組として理解することを要する。視覚プロファイルは、静的及び動的方式によって装用者の視力を定義するパラメータを有する。
【0041】
視覚プロファイルは、装用者視覚化パラメータデータVPDを含み、且つ、装用者眼データED、並びに/或いは、装用者処方データPD、装用者眼感度データSD、及び/又は装用者眼科生体計測データBDを含む眼科データODを有してもよい。
【0042】
装用者視力パラメータ提供ステップS1は、前記VPDデータを送信するステップであってもよい。例えば、送信は、頭部装着型装置上のコントローラに対するものであってもよい。送信は、無線通信によるものであってもよく、或いは、フラッシュドライブ(USBキー)を通じた入力によるものであってもよい。又、装用者視力パラメータ提供ステップS1は、例えば、望ましい焦点を得るか又は装用者の視野内における画像の場所を変更するべく視力パラメータを調節するための頭部装着型装置上のサムホイールを回転させるなど、頭部装着型装置上においてセットアップを手動で提供することにより、実行されてもよい。
【0043】
本発明の一実施形態によれば、方法は、装用者視覚化パラメータ判定ステップS0を有してもよく、このステップにおいては、装用者の視覚プロファイルに含まれるVPDデータの値が判定される。
【0044】
VPDデータは、例えば、速度センサを使用するか、又はネットワークを介してリモートエンティティとデータを交換するなど、当業者に既知の任意の手段により、判定及び/又は更新されてもよい。
【0045】
装用者パラメータの値は、離れたエンティティから装用者の視覚プロファイルをダウンロードすることにより、判定されてもよい。通常、離れたエンティティは、装用者に関係するデータを保存してもよい。このようなデータのうち、いくつかのデータは、装用者の視覚プロファイルの一部分として識別されてもよい。
【0046】
装用者の視覚プロファイルを判定するべく、或いは、装用者の視覚プロファイルのダウンロードされた値に加えて、装用者の視覚プロファイルを完成させるか又は調節するように、視覚試験が実行されてもよい。
【0047】
例えば、装用者は、近距離のターゲットを注視するように求められてもよく、且つ、装用者の両眼の注視方向が判定されてもよい。このような注視方向を使用することにより、装用者の観察距離を判定してもよい。
【0048】
一実施形態によれば、装用者視覚化パラメータ判定ステップS0は、装用者の視覚能力及び主観的な好みに関する評価を査定するべく、対話型の一連の試験により、実行されている。
【0049】
例えば、文字視力検査(acuity test visualization letter)、試験フォント検査(test font test)、空間文字試験(test space characters)、判読力検査(test reading acuity)、表示モード検査(test display mode)、グレア試験、又は眼運動検査を実装することができる。VPDデータは、任意の種類の媒体の読取り、視聴などのいくつかの活動の際に、装用者の動作及び現実世界のシーンを計測することにより、定義することができる。
【0050】
本発明の別の態様においては、ステップS1の視覚化パラメータデータVPDは、視覚化パラメータ識別子VP−IDとの関連において、ネットワークNETWを介して前記頭部装着型装置HMDに接続されたサーバーSERV上の装用者データベースWEAR−DB内に保存されているメモリ内において保存されてもよい。この実施形態は、視覚化パラメータデータVPDの更新を許容しているという点において有利である。例えば、所与の装用者の場合に、処方データは、時間に伴って変化する場合があり、及び/又は装用者が装置HMDを変更する場合もある。本発明の方法におけるサーバーの使用は、装置HMDによる画像表示を忠実にカスタマイズするための更新機能を提供する。
【0051】
視覚化パラメータ識別子VP−IDは、例えば、所与の装用者を識別する一意の識別子などの個別のものであってもよい。又、視覚化パラメータ識別子VP−IDは、例えば、同一の近視矯正を有する装用者又は同一モデルの装置HMDを有する装用者のグループなどの、例えば、同一の処方データPDを有する装用者のグループを識別するための一般的な識別子(グループ識別子)であってもよい。
【0052】
視覚化パラメータ識別子VP−IDは、HMD上に配置されたQRコード(登録商標)又はRFIDコードなどのコードであってもよい。
【0053】
ジオ位置判定ステップS2においては、装用者のジオ位置が判定される。
【0054】
装用者のジオ位置の判定は、GPSシステム又はこの均等物を使用することにより、実装されてもよい。
【0055】
本発明の一実施形態によれば、装用者のジオ位置は、GPSシステムに加えて又はこの代わりに、画像認識システムを有してもよい。画像認識システムは、少なくとも、装用者の周りの視覚シーンの画像を取得するように適合されたカメラと、画像認識のために適合された処理手段とを有する。
【0056】
例えば、画像認識システムは、都市内の特定の建物のリストなどの所与の場所のリストを認識するように適合されてもよい。
【0057】
又、画像認識システムは、街路灯、横断歩道、道路標識など、装用者が頻繁に遭遇しうる物体のリストを認識するように適合されてもよい。
【0058】
ジオ位置比較ステップにおいては、ジオ位置判定ステップにおいて判定された装用者のジオ位置が、保存されているルートに沿ったジオ位置と比較される。
【0059】
ナビゲーション視覚支援機能適合ステップS3においては、装用者のガイダンスを容易にするべく、装用者のジオ位置が、保存されているルートに沿ったジオ位置のうちの1つとマッチングした際に、頭部装着型装置のナビゲーション視覚支援機能が、装用者視覚化パラメータデータVPD及び装用者のジオ位置に基づいて適合される。
【0060】
本発明の意味において、ナビゲーション視覚支援機能とは、使用されるルートの装用者の視覚的経験を改善することによって装用者のガイダンスを容易にするのに有用なHMDの任意の適合又は変更に関係している。
【0061】
後述するように、様々な実施形態において、ナビゲーション視覚支援機能適合は、HMDの能動的機能の制御及び/又は異なる既定の頭部装着型装置機能の間における切り替え及び/又は実際のシーンの画像及び/又はコンピュータ生成された画像に関係付けられた任意の機能であってもよい。
【0062】
本発明の一実施形態によれば、装用者の所与のジオ位置を検出した際に、頭部装着型装置のナビゲーション視覚支援機能が、装用者視力パラメータに従って適合されている。
【0063】
例えば、GPS測位及び画像認識システムを使用することにより、装用者が街路灯に対向しているという事実を検出した際には、装用者のために街路灯を視覚的に強調するように、頭部装着型装置の機能が適合される。
【0064】
本発明の一実施形態によれば、方法は、適合された頭部装着型装置機能がユーザーに対して示唆される示唆ステップを有してもよい。このような実施形態によれば、示唆された適合済みの頭部装着型装置機能のユーザーからの検証の際に、頭部装着型装置の適合済みの頭部装着型装置機能が適合される。
【0065】
一実施形態によれば、頭部装着型装置機能は、異なる既定の頭部装着型装置機能の間において切り替えられてもよい。
【0066】
本発明の一実施形態によれば、頭部装着型装置は、能動的機能と、能動的機能を制御するように構成された制御ユニットとを有してもよい。
【0067】
能動的機能は、ナビゲーション視覚支援機能適合ステップにおいて適合される。
【0068】
一実施形態において、能動的機能は、エレクトロクロミックタイプである。
【0069】
エレクトロクロミック装置によって放出される光の量は、例えば、電界の強度又はHMDのエレクトロクロミック装置に跨る電圧を制御することにより、制御することができる。
【0070】
エレクトロクロミック装置の放出は、視覚支援機能適合ステップにおいて適合されてもよい。
【0071】
例えば、装用者の光感度に基づいて、2つの光放出レベルが判定されてもよい。装用者のジオ位置に基づいて、エレクトロクロミック装置は、2つの光放出レベルの間において切り替えるように制御されてもよい。通常、装用者が建物又はトンネルに進入していることを検出した際には、光放出は、ハイレベルに設定されてもよく、装用者が建物又はトンネルから離脱していることを検出した際には、光放出は、ローレベルに設定されてもよい。
【0072】
この結果、ユーザーは、安全な方法で、ルートに沿って無事に移動することができる。
【0073】
装用者のジオ位置は、頭部装着型装置の最も適切な機能を判定するべく、更なる情報と組み合わせられてもよい。
【0074】
本発明の一実施形態によれば、方法は、ナビゲーション視覚支援機能適合ステップS3の前に、視覚環境パラメータ提供ステップを更に有してもよい。
【0075】
視覚環境パラメータ提供ステップにおいては、装用者の環境に関係した少なくとも1つのパラメータの値が提供される。
【0076】
例えば、時刻又は季節が考慮されてもよい。又、直接的な環境データが考慮されてもよい。例えば、頭部装着型装置は、環境の光度を計測するように適合された光センサを有してもよい。
【0077】
通常は光の放出である頭部装着型装置の機能は、前記の更なる情報を考慮することにより、適合されてもよい。
【0078】
又、このような環境パラメータは、顔の検出、衝突リスクの検出、電池レベル、通知、表示されたコンテンツなどの頭部装着型装置の状態、或いは、装用者の環境に関係した任意のその他のパラメータに対応するものであってもよい。
【0079】
本発明の一実施形態によれば、フィルタの透過、反射、及び吸収仕様が、ナビゲーション視覚支援機能ステップにおいて適合されている。
【0080】
本発明の一実施形態によれば、頭部装着型装置は、その光屈折機能が、レンズに跨る電圧を制御することによって制御されうるプログラム可能なレンズを有してもよい。
【0081】
プログラム可能なレンズの光屈折機能は、装用者の視覚環境の要素を強調するように、適合されてもよい。通常、装用者が街路灯に対向していることを検出した際には、プログラム可能なレンズの光屈折機能は、街路灯の明瞭な観察を装用者に提供するように、適合されてもよい。
【0082】
本発明の一実施形態によれば、頭部装着型装置は、図2に示されている頭部装着型表示装置である。
【0083】
この例においては、フレームは、従来の眼鏡フレームと類似しており、且つ、類似の快適さレベルにより、装用することができる。但し、ヘルメット、ストラップ、又はその他の手段によってユーザーの頭部に取り付けられる顔面シールドなどのその他の実装形態も可能である。フレームは、フレームフロント102と、テンプル104及び105とを含む。フレームフロントは、ユーザーの左眼用のシースルーレンズ101と、ユーザーの右眼用のシースルーレンズ103とを保持している。左及び右という向きは、ユーザーの観点からのものである。左側シースルーレンズ101は、左眼による観察のために、増補されたリアリティ画像を現実世界シーンからの光と混合するビームスプリッタなどの光透過性光学コンポーネント122を含む。
【0084】
右側シースルーレンズ103は、右眼による観察のために、増補されたリアリティ画像を現実世界シーンからの光と混合するビームスプリッタなどの光学コンポーネント120を含む。
【0085】
右側増補リアリティエミッタ116が、アーム114を介してフレームに取り付けられており、且つ、左側増補リアリティエミッタ108が、アーム110を介してフレームに取り付けられている。
【0086】
頭部装着型装置は、装用者に対向している現実世界シーンの画像を取得するように適合されたシーンカメラ112を有する。
【0087】
例えば、電池などの電源130が、頭部装着型装置の様々な要素に電力を供給している。
【0088】
例えば、フレーム内の導電性経路を介して、適切な電気接続を実施することができる。
【0089】
図3には、図2に示されている頭部装着型装置を使用した本発明のローカル実装形態の一例が示されている。
【0090】
このような実施形態によれば、ナビゲーション視覚支援機能適合ステップは、
− 画像取得ステップS31と、
− 画像処理選択ステップS33と、
− 画像処理ステップS34と、
− 表示ステップS35と
を更に有する。
【0091】
画像取得ステップS31において、装用者に対向している現実世界シーンの少なくとも1つの画像がシーンカメラによって取得されている。
【0092】
本発明のローカル実装形態によれば、シーンカメラによって取得された画像は、頭部装着型リモート装置に含まれたメモリ内において保存されている。
【0093】
ジオ位置比較ステップにおいては、例えば、頭部装着型装置内に配置されたGPSチップによって判定されたGPS座標を使用することにより、ジオ位置判定ステップにおいて判定された装用者のジオ位置が、保存されているルートに沿ったジオ位置と比較される。
【0094】
保存されているジオ位置は、少なくとも1つの画像処理との関連において、メモリ内に保存されている。ジオ位置及び関連付けられた画像処理が、頭部装着型装置に含まれたメモリ内においてローカルに保存されているデータベースとして、列挙されてもよい。
【0095】
本発明の一実施形態によれば、方法は、画像要素識別ステップS321を更に有してもよい。
【0096】
画像要素識別ステップS321において、画像取得ステップS31において取得された画像が、予め定義された要素リスト内に列挙されている少なくとも1つの予め定義された要素を識別するべく分析される。予め定義された要素リストの予め定義された要素のそれぞれは、少なくとも1つの画像処理と関連付けられている。
【0097】
画像の分析は、適切なアルゴリズムを使用して画像内の要素を識別するステップと、要素の識別の際に、識別された要素を予め保存されている要素と比較するステップとを有してもよい。
【0098】
有利には、画像要素識別ステップは、識別された要素に基づいた相対的に固有の且つ適合された画像処理の提供を許容している。又、画像要素識別ステップは、装用者のジオ位置を提供するべく、或いは、少なくとも、装用者のジオ位置の精度を向上させるべく、使用されてもよい。
【0099】
画像処理選択ステップS33においては、装用者のジオ位置とマッチングした保存されているジオ位置と関連付けられた画像処理のうちの少なくとも1つが選択される。
【0100】
画像処理は、
− 画像の拡大、及び/又は、
− 画像の再マッピング、及び/又は、
− 色の極小化、及び/又は、
− 色の拡大、及び/又は、
− 色の再マッピング、及び/又は、
− 画像強度の改善、及び/又は、
− コントラストの改善、及び/又は、
− 輝度の改善、及び/又は、
− 視野の輝度調節、及び/又は、
− 画像の縮小、及び/又は、
− 輪郭の改善、及び/又は、
− 画像の二値化、
からなるリストから選択することができる。
【0101】
又、画像処理は、装用者の視野内における画像表示の(例えば、装置HMDのフレームを基準とした)位置(場所)及び/又は視覚化対象の画像の焦点計画の場所を含んでもよい。
【0102】
例えば、画像処理は、ジオ位置判定ステップにおいて判定されたジオ位置が、保存されているジオ位置のうちの1つとマッチングした際に選択される。
【0103】
通常、データベースは、道路作業に対応する保存されているジオ位置を有してもよい。ジオ位置は、装用者の眼科欠陥に基づいて、道路作業の通知を強調しうる様々な画像処理と関連付けられてもよい。
【0104】
例えば、データベースは、リスクゾーン警告に対応する保存されているジオ位置を有してもよい。
【0105】
例えば、通り名称の標識を改善するべく、画像処理は、コントラストの改善と組み合わせられた画像の拡大であってもよい。
【0106】
鉄道の駅の標識を改善するべく、画像処理は、輝度の改善と組み合わせられた画像の拡大であってもよい。
【0107】
デジタル画面上において表示された情報を改善するべく、画像処理は、画像の二値化と組み合わせられた画像の拡大であってもよい。
【0108】
例えば、所与の処方データPDを有する所与の近視装用者の場合に、本発明に従って表示される画像は、装用者の屈折異常/老眼に対してカスタマイズされることになり、且つ、前記装用者にとっては、十分に明瞭なものとなるであろうが、異なる処方データを有する別の装用者にとっては、明瞭なものとはならないであろう。
【0109】
例えば、地下鉄路線の地図など、壁の上に表示された情報を改善するべく、HMDのプロセッサは、装用者のVPDに対して適合された変更済みの画像データを提供するように、計算ステップ又は処理ステップを実行する。
【0110】
有利には、本発明による方法は、容易且つ安全な方法で無事にルートに沿って移動するための信頼性の高いセキュリティ手段を提供している。
【0111】
複数の画像処理が、ジオ位置に関連付けられてもよい。最も適切な画像処理又は画像処理の組合せの選択は、少なくとも装用者視力パラメータに基づいたものである。
【0112】
画像要素識別ステップを有する本発明の実施形態によれば、最も適切な画像処理の選択は、画像内において識別された要素に更に基づいたものであってもよい。
【0113】
有利には、取得された画像内において改善されるべき要素を識別することにより、画像処理の適合性が大幅に向上する。
【0114】
最も適切な画像処理の選択は、視覚環境パラメータ判定ステップにおいて判定された環境パラメータに更に基づいたものであってもよい。関心の対象となりうる環境パラメータとして、上述のように、一日のうちの時間帯(昼/夜)、時刻、及び/又は天気を考慮してもよい。
【0115】
実際に、適用される画像処理は、環境パラメータに応じて異なってもよく、且つ、場合によっては、改善対象の情報のタイプが変化してもよい。
【0116】
通常、例えば、滑りやすい道路の標識などの特定の道路標識は、雨天の際に改善が必要となるものであり、乾燥した状態においては、前記道路標識は、関心の的とはならず、且つ、従って、本発明の方法によって改善する必要もない。
【0117】
環境パラメータは、例えば、センサを使用するか、又はネットワークを介したリモートエンティティとの間におけるデータ交換によるなど、当業者には既知の任意の手段により判定されてもよい。又、環境パラメータは、頭部装着型装置と共に提供される通信手段を使用することにより、装用者によって提供されてもよい。
【0118】
最も適切な画像処理の選択は、装用者の活動パラメータ判定ステップにおいて判定された装用者の活動パラメータに更に基づいたものであってもよい。関心の的になりうる装用者活動パラメータとして、歩行、運転、自転車走行などの活動を考慮してもよい。
【0119】
実際に、適用される画像処理は、装用者の活動に応じて、異なってもよく、且つ、場合によっては、改善対象の情報のタイプが変化してもよい。
【0120】
通常、装用者が歩行している際には、歩道灯が、特に関心の的となり、装用者が運転している際には、道路灯が、特に関心の的となる。
【0121】
画像処理ステップS34においては、画像取得ステップS31において取得された装用者の視覚環境の画像が、選択された画像処理に従って処理される。ステップS34は、単一の(1回の)計算を有してもよく、或いは、画像の動的視覚化ために、「動的」な、連続的な又はリアルタイムの計算を有してもよい。本発明のローカル実装形態によれば、画像は、頭部装着型装置内に配置されているプロセッサを使用することにより、処理されている。
【0122】
装用者の視覚環境の処理済みの画像は、表示ステップにおいて、装用者に対して表示される。処理済みの画像は、シースルー頭部装着型表示装置を使用することにより表示される。
【0123】
図4には、本発明のリモート実装形態が示されている。
【0124】
このような実施形態によれば、ナビゲーション視覚支援機能適合ステップは、
− 画像取得ステップS31と、
− 取得された画像送信ステップS311と、
− 画像処理選択ステップS33と、
− 画像処理ステップS34と、
− 受信ステップS341と、
− 表示ステップS35と
を有する。
【0125】
画像取得ステップS31は、本発明のローカル実装形態について上述したものに等しい。
【0126】
取得された画像送信ステップS311においては、画像取得ステップS31において取得された取得済みの画像が、頭部装着型装置から、例えば、離れたサーバーなどの離れたエンティティに送信されている。
【0127】
ジオ位置送信ステップS21において、ジオ位置判定ステップにおいて取得されたジオ位置が、離れたエンティティに送信されている。
【0128】
ジオ位置比較ステップS32は、前記ステップが、離れたサーバー側において実装されているという点を除いて、本発明のローカル実装形態について詳述したものに等しい。画像処理と関連付けられた保存されているジオ位置は、例えば、離れたサーバーのメモリ内において、データベースとして保存されている。
【0129】
方法は、ローカル実装形態と同様に、画像要素識別ステップS321を更に有してもよい。画像要素識別ステップS321は、離れたサーバー側に配置されているプロセッサによって実行される。
【0130】
画像処理選択ステップS33及び画像処理ステップS34は、前記ステップが離れたサーバー側において実装されているという点を除いて、本発明のローカル実装形態について詳述したものに等しい。
【0131】
受信ステップS341において、処理済みの画像が、頭部装着型表示装置によって受信されている。
【0132】
ローカル実装された実施形態と同様に、表示ステップS35において、受信された処理済みの画像が装用者に対して表示されている。
【0133】
又、本発明は、処理済みの画像の表示のための適切なデータを取得する方法をも提供している。データは、情報、写真、及びこれらに類似したものをその特定の場所に対して「タグ付け」又は「フラグ付与」するように、特定の場所に対して結び付けられていてもよい。場所は、固定されたGPS座標のものである必要はない。
【0134】
この実施形態においては、受信ステップは、前記処理済みの画像データを通信端末TERMから頭部装着型装置HMDに送信するステップであってもよい。送信は、装用者の観点においては、「プッシュ」型又は「プル」型であってもよく、即ち、装用者からのなんらかのコマンドと無関係であってもよく、或いは、装用者の能動的コマンドによってトリガされてもよい。
【0135】
この実施形態によれば、処理済みの画像は、前記端末TERM上のメモリに保存されてもよく、或いは、ネットワークNETWを介して端末TERMに接続されたデータベースDB内において保存されてもよい。データベースDBは、データの組を有してもよく、この場合に、データのそれぞれの組は、所与のコンテンツ(テキスト、画像など)に対応している。
【0136】
一代替リモート実装形態によれば、取得された画像の処理は、頭部装着型装置内に配置されているプロセッサにより、ローカルに実装されてもよい。
【0137】
有利には、このような実施形態によれば、帯域幅に対するニーズが低減され、その理由は、画像が頭部装着型装置と離れたサーバーの間において送信されないからである。
【0138】
別の実施形態によれば、実際のシーンの画像取得ステップは、データベース又はメモリ内の保存されている画像が、画像処理選択ステップの後に処理されるべく取得される画像取得ステップにより、置換されてもよい。
【0139】
保存されている画像が、保存の前に既に事前処理されている場合には、処理ステップ及び画像処理選択ステップは除去されてもよい。
【0140】
従って、保存されているジオ位置は、少なくとも1つの画像及び画像処理との関連において、メモリ内において、且つ/又は、少なくとも1つの事前処理された画像と共に保存されている。
【0141】
画像は、コンピュータによって生成された画像であってもよく、或いは、装用者又はダウンロードによって予め取得された実際のシーンの画像であってもよい。
【0142】
前記データは、HMDのメモリ内において、且つ/又は、サーバーからアクセス可能なデータベース内において保存することができる。
【0143】
リアルタイム情報を装用者に提供するように、本発明の方法のステップは、好ましくは、少なくとも15Hzの、好ましくは、少なくとも20Hzの、最も好ましくは、少なくとも24Hzの頻度で反復される。
【0144】
処理済みの画像に加えて、方法は、装用者のジオ位置に基づいて装用者の視覚環境の処理済みの画像に加えて補完的な視覚情報を表示するステップを有してもよい。
【0145】
通常、方法は、交通情報、買物情報、向き情報、又は装用者に適した任意のその他のタイプの情報を表示してもよい。
【0146】
本発明の一実施形態によれば、方法は、ジオ位置判定ステップにおいて判定されたジオ位置に基づいて、オーディオ通知を装用者に提供するステップを更に有してもよい。
【0147】
又、一実施形態によれば、本発明は、処理済みの画像(タグ/コンテンツ)を生成する方法をも提供している。この結果、前記処理済みの画像は、後から取得及び表示されてもよい。又、処理済みの画像によってタグ付けする方法が本発明によって提供されるように、処理済みの画像は、所与の場所と関連付けられてもよい。
【0148】
この実施形態においては、方法は、任意選択により、(i)頭部装着型の処理済み画像表示装置HMDが設けられた装用者の運動を検出するステップと、(ii)ステップ(i)の運動の認識に基づいてデータを取得するステップとを有してもよい。ステップ(i)の運動は、コマンド用の制御信号を生成するのに適した任意の運動であってよい。
【0149】
データを取得するステップ(ii)は、メニューからの選択肢の選択、視覚キーボード上の少なくとも1つのキーの押下、仮想ノートパッド上における手書き、音声コマンドによる命令の付与、デジタル写真の撮影、或いは、デジタルビデオの記録のうちから選択された1つ又は複数を有してもよい。従って、ステップ(ii)のデータは、テキスト、写真、これらの組合せなどのデータであってもよい。従って、本発明は、コンテンツを有するコンピュータによって生成された処理済みの画像タグである仮想ポストを提供してもよい。又、ステップ(ii)は、例えば、仮想的なクリック動作(仮想ボタン「好き!」の選択などの予め定義されたメニュー又は予め定義されたアイコンからの選択)又は認識されうると共にデジタルテキストに変換されうる仮想的な手書きにより、仮想的に注釈を付与するステップであってもよい。
【0150】
この場合にも、通信端末は、ネットワークを介してサーバーに接続されてもよく、或いは、そうでなくてもよい。本発明の方法においては、ステップ(ii)は、サーバーに対する接続を伴うことなしに、実行されてもよい。或いは、この代わりに、前記少なくとも1つの通信端末TERMは、ネットワークNETWを介して通信サーバーSERVに接続されてもよく、且つ、処理済みの画像は、場所との関連において通信データベースDB内において保存することができる。所与の場所との間における送信データの関連付けは、タグをピン止めするという選択肢を許容し、即ち、処理済みの画像(コンテンツ)を特定の場所と関連付けるという選択肢を許容する。例えば、レストランの顧客レビューが、前記レストランの近傍に位置した端末上において、利用可能とされてもよい。データと関連付けられた場所は、装用者の場所であってもよく、或いは、そうでなくてもよく、場所は、装用者が端末の近傍に存在している際には、装用者の場所であってもよいが、装用者が対象の場所にもはや存在していない際には、例えば、データを別の端末を使用してネットワークを介してサーバーに提供することにより、一時点におけるデータと場所の間の関連付けを装用者が提供することもできる。
【0151】
又、本発明は、装用者プロファイル及びアクセス権限を定義するという選択肢をも提供している。装用者プロファイルの定義は、所与の装用者に適した選択された情報を提供するのに有用である。例えば、装用者がスポーツに関心を持っている場合には、前記装用者が、視覚化のために、スポーツと関係した特定のコンテンツを利用できるようにしてもよい。処理済みの画像データの取得(タグ又はコンテンツの視覚化のための制限されたアクセス)のために、且つ/又は、処理済みの画像の生成(タグ又はコンテンツの生成のための制限されたアクセス)のために、アクセス権限が定義されてもよい。
【0152】
本発明の一実施形態によれば、方法は、ナビゲーション視覚支援機能適合ステップS3の前に、少なくともルートをデータベース内において事前登録する予備的ステップを更に有してもよく、予備的ステップは、
− 関連付けサブステップと、
− 保存サブステップと
を有する。
【0153】
関連付けステップにおいては、ルートの中間地点が、少なくとも1つのナビゲーション視覚支援機能変更及び装用者視覚化パラメータデータ及び/又は視覚化パラメータ識別子と関連付けられる。
【0154】
更に詳しくは、関連付けステップにおいては、装用者の様々なジオ位置が選択され、判定され、且つ、例えば、画像処理などの少なくとも1つのナビゲーション視覚支援機能変更と関連付けられる。
【0155】
装用者のジオ位置は、GPSチップの使用など、当業者には既知の任意の手段により、上述のように判定されてもよい。
【0156】
ナビゲーション視覚支援機能変更は、既定の規則に基づいて選択されてもよく、或いは、装用者の好みに基づいて装用者によって選択されてもよく、或いは、これらの組合せであってもよい。例えば、シースルー頭部装着型装置機能変更のリストを装用者に対して提案することが可能であり、且つ、装用者が、最も適切な変更を選択する。
【0157】
ナビゲーション視覚支援機能変更とルートの中間地点の関連付けは、装用者がカスタマイズすることが可能であり、且つ/又は、離れたエンティティからダウンロードすることも可能である。
【0158】
離れたエンティティは、ダウンロード用の一般的な装用者プロファイルを提供してもよく、この場合には、ルートに沿った中間地点とカスタマイズされた視覚支援機能変更及び視覚化パラメータ識別子との間の関連付けが提案される。
【0159】
更には、カスタマイズは、その他の装用者のグループとの間において共有されてもよい。例えば、同一タイプの眼科欠陥を有する装用者は、画像処理とルートに沿ったジオ位置の関連付けを共有してもよい。
【0160】
関連付けステップは、ローカルに実行することができる。ジオ位置及び関連付けられたシースルー頭部装着型装置機能変更は、頭部装着型装置内に配置されたメモリ内において保存される。
【0161】
関連付けステップは、リモートで実行することもできる。ジオ位置及び関連付けられたシースルー頭部装着型装置機能変更は、例えば、サーバーなどの離れたエンティティに送信され、且つ、そこで保存される。
【0162】
通常、装用者は、都市内をナビゲートしてもよく、且つ、特定の場所を識別する際に、その場所を画像処理などのシースルー頭部装着型装置機能変更と関連付けるように決定してもよい。この結果、前記特定の場所を再度通過する際に、シースルー頭部装着型装置は、選択された変更に基づいて、シースルー頭部装着型装置機能を適合させることになる。
【0163】
本発明の一実施形態によれば、装用者によって選択された画像処理などのシースルー頭部装着型装置機能変更は、ジオ位置と自動的に関連付けられ、且つ、記憶されている。
【0164】
従って、装用者が更なる移動において同一の場所を通過した際に、予め選択されたシースルー頭部装着型装置機能変更が、自動的に適用されもよく、或いは、少なくとも装用者に対して提案されてもよい。
【0165】
シースルー頭部装着型装置機能変更は、仮想的な環境パラメータと更に関連付けられてもよい。この結果、類似の環境パラメータを識別する際に、装用者によって選択されたシースルー頭部装着型装置機能変更が装用者に対して提案されてもよい。
【0166】
保存ステップにおいては、ジオ位置及び関連付けられた少なくとも1つのナビゲーション視覚支援機能変更が、装用者の視覚プロファイルと共にデータベースDB内において保存される。
【0167】
一実施形態においては、画像データが、サーバー上の画像データベース内において又はローカルに保存されている。
【0168】
更には、特定の画像に対するアクセス権限を定義することもできる。従って、画像データが画像データベース内に保存されている場合に、本発明の方法は、任意選択により、アクセス権限に従って、装用者識別子及び前記装用者と画像データの間の関連付けを前記データベース内において事前登録する予備的ステップを有してもよい。装用者識別子は、視覚化パラメータ識別子VP−IDと同一のものであってもよく、或いは、異なっていてもよい。装用者識別子は、装置HMD又はサーバー上に配置された、例えば、QRコード(登録商標)又はRFIDコードなどのコードであってもよい。この結果、画像データベースとの関連においてアクセス権限の1つ又は複数のレベルを定義することができる。
【0169】
以上、実施形態を利用し、全般的な発明概念の限定を伴うことなしに、本発明について説明した。
【0170】
上述の例示用の実施形態を参照した際に、当業者には、多くの更なる変更形態及び変形形態が明らかとなろう。これらの例示用の実施形態は、例として付与されたものに過ぎず、且つ、添付の請求項によってのみ判定される本発明の範囲の限定を意図したものではない。
【0171】
請求項においては、「有する」という用語は、その他の要素又はステップを排除するものではなく、且つ、「1つ(a)」又は「1つ(an)」という不定冠詞は、複数形を排除するものではない。異なる特徴が相互に異なる従属請求項において記述されているという事実は、それのみによって、これらの特徴の組合せが有利に使用できないことを示すものではない。請求項における任意の符号は、本発明の範囲を限定するものとして解釈されるべきではない。
図1
図2
図3
図4