▶ ドットルーメン ソシエターテ ク ラスプンデレ リミタータの特許一覧
特表2024-505933視覚障害者の動作を支援するためのコンピュータ実装方法、ウェアラブルデバイス、非一過性のコンピュータ読み取り可能な記憶媒体、コンピュータプログラムおよびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-08
(54)【発明の名称】視覚障害者の動作を支援するためのコンピュータ実装方法、ウェアラブルデバイス、非一過性のコンピュータ読み取り可能な記憶媒体、コンピュータプログラムおよびシステム
(51)【国際特許分類】
G01C 21/26 20060101AFI20240201BHJP
G08G 1/005 20060101ALI20240201BHJP
【ＦＩ】
G01C21/26 P
G08G1/005
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023546181
(86)(22)【出願日】2022-01-20
(85)【翻訳文提出日】2023-07-28
(86)【国際出願番号】 EP2022051262
(87)【国際公開番号】W WO2022161855
(87)【国際公開日】2022-08-04
(31)【優先権主張番号】21154462.2
(32)【優先日】2021-01-29
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】523287528
【氏名又は名称】ドットルーメン ソシエターテ ク ラスプンデレ リミタータ
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(74)【代理人】
【識別番号】100170209
【弁理士】
【氏名又は名称】林 陽和
(72)【発明者】
【氏名】アマリエイ コーネル－マリアン
(72)【発明者】
【氏名】キンドリス ガブリエル
(72)【発明者】
【氏名】コソヴァヌ ダニエル
【テーマコード（参考）】
2F129
5H181
【Ｆターム（参考）】
2F129AA02
2F129BB03
2F129DD13
2F129DD15
2F129DD20
2F129EE09
2F129EE21
2F129EE34
2F129EE52
2F129FF02
2F129FF15
2F129FF18
2F129FF20
2F129FF32
2F129GG17
2F129GG18
5H181AA23
5H181BB04
5H181BB08
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF13
5H181FF14
5H181FF22
5H181LL07
(57)【要約】
本発明の第1の様相では、ウェアラブルデバイスによって視覚障害者の動作を支援するためのコンピュータ実装方法であり、以下のステップを含む：
S1- 視覚障害者の環境からデータを取得する、
S2- 取得したデータを融合し、ライブマップを作成、更新することを繰り返す、
S3- 視覚障害者の現在位置から関心点まで誘導するために、関連ナビゲーション案内指示とともに少なくとも1つのナビゲーション経路を決定し、繰り返し更新し、格納し、少なくとも1つのナビゲーションパスから1つの優先ナビゲーションパスを繰り返し選択し、関連ナビゲーション案内指示とともに優先ナビゲーションパスを視覚障害者に繰り返し送信することで、視覚障害者の現在位置から関心点までのナビゲーションパスを決定する。
S4-触覚および／または聴覚キューを含む、各関連ナビゲーション案内指示を送信するための案内モードを使用することによって、視覚障害者を優先ナビゲーションパスに沿って案内する。
本発明は、ステップ2、3、4がどのように実行されるかを詳述し、また、ライブマップの内容を詳述する。ライブマップは、物体や生物に関するセンサーからのデータ、物体や生物間の関係、歩行可能エリア、非歩行可能エリア、条件付き歩行可能エリアといった異なるタイプのエリアから構成される、
本発明の第2の様相では、方法のステップを適用するように構成された、視覚障害者の動作を支援するためのウェアラブルデバイスが請求される。
【選択図】図１
S1- 視覚障害者の環境からデータを取得する、
S2- 取得したデータを融合し、ライブマップを作成、更新することを繰り返す、
S3- 視覚障害者の現在位置から関心点まで誘導するために、関連ナビゲーション案内指示とともに少なくとも1つのナビゲーション経路を決定し、繰り返し更新し、格納し、少なくとも1つのナビゲーションパスから1つの優先ナビゲーションパスを繰り返し選択し、関連ナビゲーション案内指示とともに優先ナビゲーションパスを視覚障害者に繰り返し送信することで、視覚障害者の現在位置から関心点までのナビゲーションパスを決定する。
S4-触覚および／または聴覚キューを含む、各関連ナビゲーション案内指示を送信するための案内モードを使用することによって、視覚障害者を優先ナビゲーションパスに沿って案内する。
本発明は、ステップ2、3、4がどのように実行されるかを詳述し、また、ライブマップの内容を詳述する。ライブマップは、物体や生物に関するセンサーからのデータ、物体や生物間の関係、歩行可能エリア、非歩行可能エリア、条件付き歩行可能エリアといった異なるタイプのエリアから構成される、
本発明の第2の様相では、方法のステップを適用するように構成された、視覚障害者の動作を支援するためのウェアラブルデバイスが請求される。
【選択図】図１
【特許請求の範囲】
【請求項1】
ウェアラブルデバイス（1）によって視覚障害者の動きを支援するために適合されるコンピュータ実装方法であり、以下のステップを含む：S1
ウェアラブルデバイス（1）の感覚ユニット（2）によって、視覚障害者の環境からデータを取得し、視野（20）からセンシングし、前記取得したデータをウェアラブルデバイス（1）の処理・制御ユニット（3）の感覚融合サブユニット（30）へ送信する、
S2
感覚融合サブユニット（30）により取得したデータを融合し、融合したデータを処理・制御ユニット（3）のライブマップサブユニット（31）へ送信する、
ライブマップ（310）をライブマップサブユニット（31）により作成し、繰り返し更新し、保存すること：
a）処理・制御ユニット（3）で受信した融合データに基づいて生成されるライブマップ判定、次のように含まれる：
- 感覚ユニット(2)の位置と向きについて、
- 複数のオブジェクト（On）、
- 複数の生きもの（Ln）、
ここで、ライブマップの決定が、ローカリゼーションモジュール（301）によって、複数のオブジェクト（On）に対する感覚ユニット（2）の位置および向きを繰り返しローカライズすることをさらに含む、感覚ユニット（2）から受信したデータ及びライブマップ（310）からのデータに適用されるローカリゼーションアルゴリズムを用いてライブマップ（310）の複数の生物（Ln）に対してそれぞれローカリゼーションし、感覚ユニット（2）の位置及び向きのローカリゼーションデータを感覚融合サブユニット（30）の歩行可能エリア検出モジュール（302）に繰り返し送信する、
b）複数のオブジェクト（On）と複数の生物（Ln）によって占領されていない地面上の領域のアンサンブルとして定義される自由エリア（A）に基づいて作成されるライブマップ判定であり、自由エリア（A）は、以下を含む：
- 永久的な所定の歩行可能エリア要件を満たす歩行可能エリア（WA）、
ここで、自由エリア（A）の決定が、以下に基づいて行われる
- 感覚ユニット（2）から受信したデータ
- ローカリゼーションモジュール（301）から受信したデータ
- 永久的な所定の歩行可能エリア要件要件のセット
ここで、更新された自由エリア（A）は、ライブマップ（310）に繰り返し送信され、
ここで、更新されたライブマップ（310）は、メモリーMに繰り返し格納される、
S3
自動的に、または視覚障害者からの第1の要求に応答し、処理・制御ユニット（3）のナビゲーション・マネージャー・サブユニット（33）によって、視覚障害者が感覚ユニット（2）の現在位置から複数のオブジェクト（On）および／または複数の生物（Ln）の中から選択された関心点（PI）へナビゲートするために、少なくとも一つのナビゲーションパス（Pn）および関連ナビゲーション案内指示 、繰り返し更新および格納されることで、決定する、
ここで、視覚障害者からのいずれかの要求は、ユーザーコマンドインターフェース（5）の触覚手段（51）または聴覚手段（52）を用いて行われ、前記要求は、処理・制御ユニット（3）のユーザーコマンドインターフェースマネージャーサブユニット（34）を通じてナビゲーションマネージャーサブユニット（33）により受信される、
及び、ナビゲーション・マネージャー・サブユニット（33）によって、関連ナビゲーション案内指示を処理・制御ユニット（3）のフィードバック・マネージャー・サブユニット35に送信する、
S4
フィードバックマネージャーサブユニット（35）によって、視覚障害者へのガイダンスを提供する、各関連するナビゲーション案内指示を送信するための案内モードを使用し、各ナビゲーション指示は、フィードバックマネージャーサブユニット（35）によって処理・制御ユニット（3）のフィードバックユニット（4）に送られる触覚及び／又は聴覚キューからなり、前記フィードバックユニット（4）は、以下のように含む：
- 視覚障害者の頭部に配置されるように構成された触覚フィードバックアクチュエータ（41）、及び／又は
- 視覚障害者の片耳または両耳に配置するように構成された聴覚フィードバックアクチュエータ（42）
ここで、各関連するナビゲーション案内指示の案内モードは、視覚障害者により、ユーザー・コマンド・インターフェース（5）によって、また、ユーザー・コマンドイン・ターフェース・マネージャー・サブユニットを介してフィードバック・マネージャー・サブユニット（35）によって受信されるユーザコマンドを介して選択される、
その中で、以下のことを特徴とする：
- S2におけるライブマップの判定は、さらに、以下を含む：
c) 処理・制御ユニット（3）のリレーションシップ・マネジャー・サブユニット（32）から受信した複数のオブジェクト（On）および／または複数の生物（Ln）の間の複数の関係（Rn）に基づいて作成されるライブマップ判定
ここで、複数の関係（Rn）は、所定の関係要件のセットを適用することを含むライブマップ（310）から取得したデータに基づいて、リレーションシップ・マネージャー・サブユニット（32）によって繰り返し作成および更新される、
ここで、更新された複数の関係（Rn）は、ライブマップ（310）に繰り返し送信され、そして
ここで、前記複数の関係（Rn）に対して、さらに前記ローカリゼーションアルゴリズムが適用される。
そして、その中でも
- S2b）において、前記自由エリア（A）に基づいて作成されるライブマップ判定は、さらに以下を含む：
- 永久的な所定の歩行可能エリア要件と、少なくとも1つの予測可能な条件付き歩行可能エリア要件とを満たす条件付き歩行可能エリア（CWA）、
- そして、その中でも
S2 b）は、歩行可能エリア（A）の決定と同時に、条件付き歩行可能エリア（CWA）の歩行可能エリア検出モジュール（302）によって、繰り返し決定することをさらに含み、計算されてメモリー（M）に格納された少なくとも1つの予測可能な条件付き歩行可能エリア要件に基づくことを含む、
そして、その中でも
- S3は、少なくとも1つのナビゲーションパス（Pn）の決定の後に、以下をさらに含む：
a）自動的に、または視覚障害者からの第2の要求に応答し、少なくとも1つのナビゲーションパス（Pn）から優先ナビゲーションパス（SP）を繰り返し選択すること：
i) 歩行可能エリア（WA）および/または条件付き歩行可能エリア（CWA）を通過する。
ii) 非衝突性要件、非攻撃性要件など、安全要件のセットを満たす、
ここで、ナビゲーションマネージャーサブユニット（33）は、さらに、優先ナビゲーションパスSPを処理・制御ユニット（3）のフィードバックマネージャーサブユニット35に送信し、そして
ここで、優先ナビゲーションパスSPが条件付き歩行可能エリアCWAを通過するとき、ナビゲーションマネージャーサブユニット（33）は、前記少なくとも1つの予測可能な条件付き歩行可能領域要件に対応する関連ナビゲーション案内指示をフィードバックマネージャーサブユニットに送信する、
b) フィードバックマネージャーサブユニット（35）によるS4の案内は、優先ナビゲーションパス（SP）に沿って提供される、
コンピュータ実装方法。
【請求項2】
ライブマップ（310）は、SLAM（simultaneous localisation and mapping）アルゴリズムを用いて感覚融合サブユニットによって更新される、請求項１に記載のコンピュータ実装方法。
【請求項3】
ステップ３において、関心点（PI）が視覚障害者者によって知られていないとき、および少なくとも1つのナビゲーションパス（Pn）を決定し、繰り返し更新し、格納する前に、サブステップ3-0を含む：S.3-0.1.
複数のオブジェクト（On）から選択された少なくとも1つのオブジェクト（On）または複数の生物（Ln）から選択された少なくとも1つの生物（Ln）に関する視覚障害者による情報要求を処理・制御ユニット（3）の音表現サブユニット（36）に送信する、
S.3-0.2.
処理・制御ユニット3の音表現サブユニット（36）によって、ライブマップ（310）から、選択された少なくとも1つの特定のオブジェクト（On）または少なくとも1つの特定の生物（Ln）に関する情報を抽出し、抽出した情報を対応する空間化音として表現し、フィードバックユニット（4）によって視覚障害者に空間化音を送信する、
S.3-0.3.
前記複数のオブジェクト（On）または前記複数の生物（Ln）から、前記視覚障害者によって、前記関心点（PI）を選択し、対応する選択要求を前記ナビゲーションマネージャーサブユニット（33）に送信する、
請求項１または２に記載のコンピュータ実装方法。
【請求項4】
ステップ３において、少なくとも1つのナビゲーションパス（Pn）を決定し、繰り返し更新し、記憶する前に、予備的なサブステップを含む、S.3-1.
ナビゲーションマネージャー（33）によって、視覚障害者を関連ナビゲーション案内指示とともにワンダリングパス（WP）を決定し、ワンダリングパス（WP）と関連ナビゲーション案内指示をフィードバックマネージャーサブユニット（35）に送信する、
請求項１～３のいずれか１項に記載のコンピュータ実装方法。
【請求項5】
ここで、触覚キューは、予め決められた優先ナビゲーションパスSP 複雑さの基準に従って、振動の持続時間、周期性、強度または周波数において変化する、およびここで、聴覚キューは、予め設定された優先ナビゲーションパスの複雑さの基準に従って、周波数、持続時間、反復強度、または3D空間仮想化において変化する、
請求項１～４のいずれかに記載のコンピュータ実装方法。
【請求項6】
3次元歩行可能トンネル（T）が、所定の断面の仮想トンネルとして定義され、水平長手軸として優先ナビゲーションパス（SP）があり、案内モードが、視覚障害者が歩行可能トンネル（T）の仮想壁に近づいているときに視覚障害者に送られる特定の触覚キューをさらに含む、請求項１～５のいずれか１項に記載のコンピュータ実装方法。
【請求項7】
ここで、優先ナビゲーションパス（SP）は、複数のマイルストーン（93）によって区切られた所定の区間に分割され、そしてここで、案内モードは、現在のマイルストーン（93）から次のマイルストーン（93）まで視覚障害者に関連ナビゲーション案内指示を提供する次の少なくとも1つのマイルストーン（93）の位置を知らせる触覚キューおよび／または聴覚キューを含み、所定のセグメントの長さは、優先ナビゲーションパス（SP）の複雑性および長さに依存して変化する、
請求項１～５のいずれか１項に記載のコンピュータ実装方法。
【請求項8】
ここで、ステップ４の案内モードは、触覚キューおよび／または聴覚キューが、優先ナビゲーションパス（SP）の方向をシグナリングすることからなる、ここで、優先ナビゲーションパス（SP）上の方向は、感覚ユニット2の原点及び、優先ナビゲーションパスSPと感覚ユニット2の位置を原点とし所定の長さの半径rを有する円との交点で定義される線によって決定される、および
ここで、優先ナビゲーションパス（SP）上の方向をシグナリングする聴覚キューは、感覚ユニット2に対して空間化音源Sの所定の第1の距離d1に配置された空間化音源Sから発信される、
請求項１～５のいずれか１項に記載のコンピュータ実装方法。
【請求項9】
ここで、聴覚キューは、感覚ユニット（2）の位置から、空間化された音源（S）が所定の第2の距離（d2）の終わりに到達して感覚ユニットの位置に戻るまで、優先ナビゲーションパス（SP）上を所定の第2の距離（d2）に沿って仮想的に移動する空間化音源（S）から発信される空間化音である、請求項１～５のいずれか１項に記載のコンピュータ実装方法。
【請求項10】
視覚障害者の動作を支援するために適用されたウェアラブルデバイス（1）であって、以下を含む：- 視覚障害者の頭部に装着されるように構成された感覚ユニット（2）であって、は以下を含む感覚ユニット（2）：
- カメラ（21）
- 深度センサー(22)
- 慣性計測ユニット（23）
- 音像定位センサー（24）
- 処理・制御ユニット（3）であって、以下を含む処理・制御ユニット（3）：
- 感覚融合サブユニット（30）であって、以下を含む感覚融合サブユニット（30）：
- ローカリゼーションモジュール（301）
- 歩行可能エリア検出モジュール（302）
- 方位計算モジュール（303）
- 音方向定位モジュール（304）
- 音分類モジュール（305）
- オブジェクト2D特性抽出モジュール(306)
- オブジェクト3D特性融合モジュール(307)
- オブジェクト音特性融合モジュール（308）
- ライブマップサブユニット（31）
- リレーションシップ・マネージャー・サブユニット（32）
- ナビゲーション・マネージャー・サブユニット（33）
- ユーザー・コマンド・インターフェース・マネジャー・サブユニット（34）
- フィードバック・マネージャー・サブユニット（35）
- 音声表現サブユニット（36）
- 視覚障害者の頭部に装着されるように構成されたフィードバックユニット（４）であって、以下を含むフィードバックユニット（４）：
- 複数の触覚フィードバックアクチュエータ（41）であって、以下を含む複数の触覚フィードバックアクチュエータ（41）：
- 左の触覚フィードバックアクチュエータ（411）
- 右の触覚フィードバックアクチュエータ（412）
- 中央の触覚フィードバックアクチュエータ（413）
- 複数の聴覚フィードバックアクチュエータ（42）であって、以下を含む複数の聴覚フィードバックアクチュエータ（42）：
- 左聴覚フィードバックアクチュエータ（421）
- 右聴覚フィードバックアクチュエータ（422）
- 視覚障害者の頭部に配置されるように構成されたユーザコマンドインターフェース（5）であって、以下を含むユーザコマンドインターフェース（5）：
- 複数のユーザーコマンド触覚手段（51）
- 複数のユーザーコマンド音声手段（52）
- 蓄電ユニット（6）
- メモリー（M）
- 感覚ユニット（2）、処理・制御ユニット（3）、フィードバックユニット（4）、ユーザーコマンドインターフェース（5）、蓄電ユニット（6）、メモリー（M）の間で、通信プロトコルにより電子通信を行う手段
ここで、ウェアラブルデバイス（1）は、請求項１～９のいずれか１項に記載の視覚障害者の動作を支援するために適合される方法のステップを適用するように構成される、ウェアラブルデバイス（1）。
【請求項11】
感覚ユニット（２）は、さらに少なくとも１つの追加センサーを以下から含む：- 感覚ユニット（2）の絶対位置を決定するように構成された全地球測位センサー（25）
- オブジェクト（On）および生物（Ln）の温度を決定するように構成された温度センサー（26）
ここで、感覚融合サブユニット（30）は、さらに以下を含む：
- オブジェクト音特性融合モジュール（308）からのデータを、感覚ユニット（2 ）の絶対位置に関するデータと融合するように構成された相対・絶対変換モジュール（309-1）
-オブジェクト音特性融合モジュール（308）からのデータをオブジェクト（On）および生物（Ln）の温度に関するデータと融合させ、融合したデータをライブマップサブユニット（31 ）に送信するように構成されるオブジェクト温度特性融合モジュール（309-2）
請求項１０に記載のウェアラブルデバイス。
【請求項12】
コンピュータプログラムを符号化した非一過性のコンピュータ可読記憶媒体であって、コンピュータプログラムは、1つまたは複数のプロセッサーによって実行可能な指示を含み、その実行により、1つまたは複数のプロセッサーに、請求項１～９のいずれか１項に記載の視覚障害者の動作を支援するために適合されるコンピュータ実施方法の動作を実行させる、コンピュータ可読記憶媒体。
【請求項13】
請求項１０または１１に記載のウェアラブルデバイス（1）によってプログラムが実行されたときに、ウェアラブルデバイス（1）に、請求項１～９のいずれか１項に記載の視覚障害者の動作を支援するために適合されるコンピュータ実装方法のステップを実行させる指示を含む、コンピュータプログラム
【請求項14】
１つ以上のプロセッサーと1つ以上の非一過性のコンピュータ可読記憶装置を含むシステムであって、請求項１２に記載の記憶媒体を含む非一過性のコンピュータ可読記憶装置は、請求項１～９のいずれか１項に記載の視覚障害者の動作を支援するために適合されるコンピュータ実装方法の動作を実行するために1つ以上のプロセッサーによって実行可能である指示を含む、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視覚障害者の移動の補助の分野に関するものである。特に、本発明は、視覚障害者（本発明全体では、視覚障害者ユーザと呼ぶ）の移動を支援するための方法およ着用可能なデバイスに関連するものである。用語「視覚障害者」は、本発明では、中程度の障害と重度の障害（盲目）を含むものとする。
【背景技術】
【0002】
調査によると、2015年には3,600万人が重度の障害を受け、2億1,660万人が中等度から重度の視覚障害であったことが分かる。その一方で、視覚障害者のニーズが高まり、視覚障害者向けのソリューションも登場している。例えば、杖や盲導犬といった古典的なナビゲーション手段を使うことで、都市は視覚障害者にとってより利用しやすくなっている。また、技術的なソリューションも生まれ、視覚障害者のコミュニティにも受け入れられ始めている。OrCam社やMicrosoft社が提案したソリューションなど、様々なレベルのものが採用されている。しかし、技術の進歩にもかかわらず、視覚障害者のためのソリューションとして最も利用されているのは、依然として杖である。
【0003】
視覚障害者を支援するための技術的なソリューションは、新しいものではない。初期の取り組みは、US3594823A [1]の著者Paul Bach-Y-Ritta他によるものである。そこでは、視覚信号が視覚障害者の背中の触覚フィードバックに変換されている。一般に、視覚障害者を支援するための技術的ソリューションは、以下のカテゴリーのいずれか、または複数に分類されている：
・感覚的代替 - 利用可能な感覚を使用し、当該感覚を通じて通常受け取られない情報を表現すること。このほかにも、触覚や音など、他の感覚を使って視覚情報を置き換える試みが、その後数年間に他の努力が行われている、
・感覚的な代替を利用して、視覚障害者のためのパスを作成し、当該パスを視覚障害者に伝達する方法、
・その環境における視覚障害者の位置を定位する方法、および／または障害物および／または目標目的地とみなすことができる様々なオブジェクトを定位する方法
・環境、経路、障害物などの情報を視覚障害者に伝え、そのフィードバックを受ける方法。
様々なソリューションが、上記のカテゴリーの1つまたは複数に対応している。
・感覚的代替 - 利用可能な感覚を使用し、当該感覚を通じて通常受け取られない情報を表現すること。このほかにも、触覚や音など、他の感覚を使って視覚情報を置き換える試みが、その後数年間に他の努力が行われている、
・感覚的な代替を利用して、視覚障害者のためのパスを作成し、当該パスを視覚障害者に伝達する方法、
・その環境における視覚障害者の位置を定位する方法、および／または障害物および／または目標目的地とみなすことができる様々なオブジェクトを定位する方法
・環境、経路、障害物などの情報を視覚障害者に伝え、そのフィードバックを受ける方法。
様々なソリューションが、上記のカテゴリーの1つまたは複数に対応している。
【0004】
2015年7月26日に公開されたUS 9 915 545［2］は、スマートデバイスを使用して視覚障害者に指示を提供する方法を開示する。この方法は、少なくとも2つのセンサーを利用し、スマートデバイスの検索モードの選択に応答して、スマートデバイスの周辺環境に対応する画像データと、スマートデバイスの位置決定に対応する位置データとを検出すること; 入力デバイスにより、所望のものまたは所望の場所を受信すること; スマートデバイスのメモリーに格納された画像データ、測位データおよび地図データに基づいて、プロセッサーによってスマートデバイスの初期位置を確定すること; スマートデバイスの初期位置および地図データに基づいて、所望のものへの方向を出力デバイスによって提供することを含む。
【0005】
2015年7月16日に公開されたUS 9 629 774［3］は、少なくとも1つのキャビティを定義し、ネック部分と第1と第2のサイド部分を有する本体を含むスマートネックレスを開示する。このネックレスは、スマートネックレスの周辺環境に対応する深度情報を含む画像データを検出するように構成された一対のステレオカメラを含む。このネックレスは、スマートネックレスの位置決めに対応する位置決めデータを検出するように構成された位置決めセンサーをさらに含む。このネックレスは、少なくとも1つのキャビティに配置され、地図データおよびオブジェクトデータを記憶するように構成された非一過性のメモリーを含む。また、スマートネックレスは、少なくとも1つの空洞に配置され、一対のステレオカメラ、測位センサ及び非一過性のメモリに結合されたプロセッサーを含む。プロセッサーは、画像データ、測位データ、地図データおよびオブジェクトデータに基づいて、出力データを確定するように構成される。
【0006】
2016年11月15日に公開された「視覚障害者のためのコンテキストに基づく意思決定を行うウェアラブル屋内ナビゲーションシステム」という学術論文［4］では、著者のXiaochen Zhangほかが、視覚障害者向けのウェアラブル室内ナビゲーションシステムを紹介する。このシステムは、RGB-Dカメラ、慣性計測ユニットIMU、ウェブカメラなどの複数のセンサーとフィードバックデバイスを統合し、ローカライゼーションとナビゲーションにSLAMとセマンティックパスプランニングを使用している。このシステムは、RGB-Dベースのビジュアルオドメトリーアルゴリズムを適用してユーザーの位置と姿勢を推定し、慣性計測ユニットIMUを使用して姿勢誤差を精緻化する。ウェブカメラとRGB-Dカメラで部屋番号や廊下の角などの主要なランドマークを検出し、デジタル化されたフロアマップと照合することで、ユーザーの位置を特定することができる。目的の目的地まで誘導するためのパスとモーションガイダンスを作成される。この論文では、誤った観察に起因するユーザーの混乱を解消するために、経路計画のコンテキストベースの意思決定メカニズムにおいて、厳格なコマンドと人間にとって最適な機械の意思決定との間のマッチングを改善する方法を提案している。US2016/0033280 A1［5］は、賢いイヤホンに結合された慣性測定ユニットIMUに接続されたプロセッサー、全地球測位システムGPSユニット、および少なくとも1つのカメラを含む、ユーザの耳上に着用される賢いイヤホンを開示する。IMUは、賢いイヤホンの位置決め、速度、または加速度に対応する慣性測定データを検出するように構成され、全地球測位システム（GPS）ユニットは、賢いイヤホンの位置に対応する位置データを検出するように構成され、少なくとも1つのカメラは、賢いイヤホンに結合され、賢い誘導装置の周辺環境に対応する画像データを検出するように構成される。また、イヤホンには、IMU、GPSユニット、および少なくとも1つのカメラに接続されたプロセッサーが含まれる。プロセッサーは、周辺環境におけるものを認識するように構成される。これは、保存されたオブジェクトデータと慣性計測データまたは位置データの少なくとも一方に基づいて画像データを分析することによって行われる。プロセッサーは、決定された望ましいイベント又は行動に基づいて、目的地を決定することができる。プロセッサーは、決定された目的地、画像データ、慣性測定データ又は位置データに基づいて、賢い誘導装置を目的地にナビゲートするためのナビゲーション経路を決定することができる。プロセッサーは、決定されたナビゲーションパスに基づき、出力データを決定することができる。US2016/0033280 A1 [5]には、視覚障害者への適応は特に開示されていない。
【0007】
当業者であれば、視覚障害者の移動を補助する装置はすべて、視覚障害者が見えない、あるいはほとんど見えないため、視覚を使うことで得られない環境からの情報を、主としてその使用者に与えなければならないことを知っている。つまり、視覚障害者のナビゲーションを補助するデバイスが使用するセンサーの中で、ビデオカメラが最も重要である。
【0008】
【0009】
視覚障害者がUS2016/0033280 A1のイヤホンを使用する場合、イヤホンが耳の後ろにあるため、カメラ（複数可）の視野が視覚障害者の頭によって部分的に妨げられる。従って、イヤホンは環境を完全にカバーする画像を提供することができない。例えば、イヤホンを左耳の後ろに置くと、右側の視野の一部がユーザーの頭によって妨げられることになる。
【0010】
US2016/0033280 A1は、当業者が一般知識を利用して追加カメラの代替位置の主題を再現できるように、それぞれの実装を詳述することなく、追加カメラの代替位置について不完全な開示がある。
【0011】
先行技術のデメリット
感覚の代替に関しては、一般的に、聴覚や触覚の帯域幅よりもはるかに大きいことが知られている視覚の帯域幅の不適切な代替を提案し、少なすぎる情報または必要ない情報を提供して、ユーザーを混乱させたり困らせたりしている。地図を作成する方法と、視覚障害者のための経路を作成し、その経路を視覚障害者に伝える方法に関して、先行技術のナビゲーション/GPSベースの方法は、一般的な経路を提供するが、障害物や生物を回避することはできない。
感覚の代替に関しては、一般的に、聴覚や触覚の帯域幅よりもはるかに大きいことが知られている視覚の帯域幅の不適切な代替を提案し、少なすぎる情報または必要ない情報を提供して、ユーザーを混乱させたり困らせたりしている。地図を作成する方法と、視覚障害者のための経路を作成し、その経路を視覚障害者に伝える方法に関して、先行技術のナビゲーション/GPSベースの方法は、一般的な経路を提供するが、障害物や生物を回避することはできない。
【0012】
環境内で視覚障害者の位置を特定する方法、および／または障害物および／または目標目的地とみなされる様々なオブジェクトを特定する方法に関して、マイクロソフトのSeeing AIやOrCamのような方法は、限られた視野の中に存在するオブジェクトだけ認識するが、目的地に到達する方法について十分な情報を提供しない。一般に、既知のソリューションでは、センサーによって検出されたオブジェクトの位置を保存する可能性がないか、または減少しており、その結果、過去に検出されたオブジェクトを認識する可能性がない、または減少している。既知のソリューションでは、オブジェクトに関する完全な情報、つまり視覚障害者にとって有用な情報を提供することができない。例えば、椅子が他の人に占領されている場合、対象物のサイズやその他の物理的・化学的特性は、視覚障害者が当該物理的・化学的特性を知覚するために当該対象物に触れる必要があり、これはあまり衛生的ではなく、危険であり、時間がかかりすぎる可能性がある。
【0013】
視覚障害者に環境、経路、障害物に関する情報を伝え、フィードバックを受ける方法に関して、現在のソリューションの多くは、視覚障害者への情報伝達が遅すぎたり、視覚障害者からのフィードバックが遅すぎるため、最初の経路の変更が困難になり遅延してしまう。
【0014】
例えば、US9,629,774[3]の実施形態では、スマートネックレスは階段、トイレの出口、空席を認識することができるが、当該ネックレスは、ラッチやドアノブの位置、空席が汚れているかなどオブジェクトの特徴のより詳細な情報を提供しないよう構成される。
【0015】
US 9,629 774 [3]では、スマートネックレスが視覚障害者に伝えることができるコマンドの種類は限られており、45度回転、90度回転、左回転、右回転など、さまざまな回転の度合いを教える。このような情報の伝え方を利用すると、US 9,629 774 [3]は非視覚障害者の自然な経路作成と比較すると、厳格である。
【0016】
US 9,629,774 [3]では、他の特徴を持たず、様々なオブジェクトの位置だけを含む地図について教えている。
【0017】
US 9,915,545 [2]は、電子機器の盲目のユーザーに指示を提供する方法を教えており、その指示は、電子デバイスの現在位置から所望のオブジェクトの位置までである。この方法では、経路を生成する領域の種類の区別がなく、さまざまなオブジェクトの間に関係が構築されず、生き物の感情状態の検出や表面の清浄度の検出など、オブジェクトや生き物の特性の重要な部分が省かれ、地図の内容はセンサーの視野からの情報に還元されることになる。
【発明の概要】
【発明が解決しようとする課題】
【0018】
発明によって解決された課題は、視覚障害者の移動を補助するために適応された方法であり、視覚障害者でないユーザのナビゲーションに近い形で屋内外を移動することができる方法を提供することである。特に、この発明によって解決される課題は、
・視覚障害者の安全なナビゲーションとより具体的なナビゲーション目標を目的とし、オブジェクトと生物との間のより正確でより詳細な関係の提供を含む、ユーザーの環境のより正確でより詳細な表現を提供すること;
・より正確でより詳細なナビゲーションパスの世代を提供すること;
・視覚障害者のナビゲーションパスを、より正確かつ安全に案内すること;
・視覚障害者のナビゲーションパスをより快適に案内し、視覚障害者でないユーザーと同様の判断を下す可能性を与えること;
である。
・視覚障害者の安全なナビゲーションとより具体的なナビゲーション目標を目的とし、オブジェクトと生物との間のより正確でより詳細な関係の提供を含む、ユーザーの環境のより正確でより詳細な表現を提供すること;
・より正確でより詳細なナビゲーションパスの世代を提供すること;
・視覚障害者のナビゲーションパスを、より正確かつ安全に案内すること;
・視覚障害者のナビゲーションパスをより快適に案内し、視覚障害者でないユーザーと同様の判断を下す可能性を与えること;
である。
【課題を解決するための手段】
【0019】
本発明の第1様相では、ウェアラブルデバイスによって視覚障害者の動きを支援するために、ウェアラブルデバイスによって視覚障害者の動きを支援するために適応された方法を提供し、以下のステップを含む。
ステップS1
ウェアラブルデバイスの感覚ユニット2によって視覚障害者の環境からデータを取得し、視野から感覚し、取得したデータをウェアラブルデバイスの処理・制御ユニットの感覚融合サブユニット30に送信する。
ステップS2
感覚融合サブユニットにより取得したデータを融合し、融合したデータを処理・制御ユニットのライブマップサブユニットに送る、
ライブマップのサブユニットによって、以下のデータからなるライブマップを作成し、更新と保存を繰り返す。ライブマップは次のデータを含む:
1. 官能融合サブユニットから受信した融合データに基づくライブマップ判定を次のように含む:
- 感覚ユニットの位置と方向、
- 複数のオブジェクト、
- 複数の生き物、
2. 処理・制御ユニットのリレーションシップ・マネージャー・サブユニットから受信した複数のオブジェクトおよび／または複数の生物間の複数の関係に基づいて作成されるライブマップ判定、
3. 複数のオブジェクトおよび複数の生物Lnによって占領されていない地上の領域の集合体として定義される自由エリアに基づいて作成されるライブマップ判定。自由エリアAは次のように含む:
- 永久的な所定の歩行可能エリア要件のセットを満たす歩行可能なエリア、
- 永久的な所定の歩行可能エリア要件のセットを満たす条件付き歩行可能エリアと、少なくとも1つの予測可能な条件付き歩行可能エリア要件、
ステップS3
自動的に又は視覚障害者の要求に応答して、処理及び制御ユニットのナビゲーション・マネージャー・サブユニットにより、視覚障害者が感覚ユニットの現在位置から複数のオブジェクトおよび／または複数の生物の中から選択された関心点に移動するための少なくとも1つのナビゲーションパスと関連ナビゲーション案内指示の更新と保存を繰り返し、
自動的に、または視覚障害者の要求に応じて、少なくとも2つのナビゲーションパスの要件を満たす少なくとも1つのナビゲーションパスの中から優先ナビゲーションパスの選択を繰り返す:
i) 歩行可能エリアおよび/または条件付き歩行可能エリアを通過する、および
ii) 非衝突性要件、非攻撃性要件など安全要件のセットを満たす。
視覚障害者からの要求が、ユーザー・コマンド・インターフェースの触覚手段または音声手段を用いて行われ、前記要求は、処理・制御ユニットのユーザー・コマンド・インターフェース・マネージャー・サブユニットを介して、ナビゲーション・マネージャー・サブユニットによって受信される、及びナビゲーション・マネージャー・サブユニットによって、処理・制御ユニットのフィードバック・マネージャー・サブユニットに送信する
i) 優先ナビゲーションパスと
ii) 関連なナビゲーション案内指示、
優先ナビゲーションパスSPが条件付き歩行可能エリアを通過するとき、ナビゲーション・マネージャー・サブユニットは、少なくとも1つの予測可能な条件付き歩行可能エリア要件に対応する関連ナビゲーション案内指示をフィードバック・マネージャー・サブユニットに送信する。
ステップS4
フィードバック・マネージャー・サブユニットによって、各関連ナビゲーション案内指示を送信するための案内モードを使用することによって、優先ナビゲーションパスに沿って、視覚障害ユーザに案内を提供し、各ナビゲーション指示は、フィードバック・マネージャー・サブユニットによって処理・制御ユニットのフィードバック・ユニットに送信される触覚および／または聴覚キューを含み, このフィードバックユニットが次のように含む:
- 視覚障害者の頭部に配置するように構成された触覚フィードバック・アクチュエータ、及び/又は
- 視覚障害者の片耳または両耳に配置されるように構成された聴覚フィードバック・アクチュエータ、
各関連ナビゲーション案内指示の案内モードは、ユーザー・コマンド・インターフェースを使用し、ユーザー・コマンド・インターフェース・マネージャー・サブユニットを介してフィードバック・マネージャー・サブユニットによって受信されるユーザー・コマンドを通じて、視覚障害者によって選択される。
ステップS1
ウェアラブルデバイスの感覚ユニット2によって視覚障害者の環境からデータを取得し、視野から感覚し、取得したデータをウェアラブルデバイスの処理・制御ユニットの感覚融合サブユニット30に送信する。
ステップS2
感覚融合サブユニットにより取得したデータを融合し、融合したデータを処理・制御ユニットのライブマップサブユニットに送る、
ライブマップのサブユニットによって、以下のデータからなるライブマップを作成し、更新と保存を繰り返す。ライブマップは次のデータを含む:
1. 官能融合サブユニットから受信した融合データに基づくライブマップ判定を次のように含む:
- 感覚ユニットの位置と方向、
- 複数のオブジェクト、
- 複数の生き物、
2. 処理・制御ユニットのリレーションシップ・マネージャー・サブユニットから受信した複数のオブジェクトおよび／または複数の生物間の複数の関係に基づいて作成されるライブマップ判定、
3. 複数のオブジェクトおよび複数の生物Lnによって占領されていない地上の領域の集合体として定義される自由エリアに基づいて作成されるライブマップ判定。自由エリアAは次のように含む:
- 永久的な所定の歩行可能エリア要件のセットを満たす歩行可能なエリア、
- 永久的な所定の歩行可能エリア要件のセットを満たす条件付き歩行可能エリアと、少なくとも1つの予測可能な条件付き歩行可能エリア要件、
ステップS3
自動的に又は視覚障害者の要求に応答して、処理及び制御ユニットのナビゲーション・マネージャー・サブユニットにより、視覚障害者が感覚ユニットの現在位置から複数のオブジェクトおよび／または複数の生物の中から選択された関心点に移動するための少なくとも1つのナビゲーションパスと関連ナビゲーション案内指示の更新と保存を繰り返し、
自動的に、または視覚障害者の要求に応じて、少なくとも2つのナビゲーションパスの要件を満たす少なくとも1つのナビゲーションパスの中から優先ナビゲーションパスの選択を繰り返す:
i) 歩行可能エリアおよび/または条件付き歩行可能エリアを通過する、および
ii) 非衝突性要件、非攻撃性要件など安全要件のセットを満たす。
視覚障害者からの要求が、ユーザー・コマンド・インターフェースの触覚手段または音声手段を用いて行われ、前記要求は、処理・制御ユニットのユーザー・コマンド・インターフェース・マネージャー・サブユニットを介して、ナビゲーション・マネージャー・サブユニットによって受信される、及びナビゲーション・マネージャー・サブユニットによって、処理・制御ユニットのフィードバック・マネージャー・サブユニットに送信する
i) 優先ナビゲーションパスと
ii) 関連なナビゲーション案内指示、
優先ナビゲーションパスSPが条件付き歩行可能エリアを通過するとき、ナビゲーション・マネージャー・サブユニットは、少なくとも1つの予測可能な条件付き歩行可能エリア要件に対応する関連ナビゲーション案内指示をフィードバック・マネージャー・サブユニットに送信する。
ステップS4
フィードバック・マネージャー・サブユニットによって、各関連ナビゲーション案内指示を送信するための案内モードを使用することによって、優先ナビゲーションパスに沿って、視覚障害ユーザに案内を提供し、各ナビゲーション指示は、フィードバック・マネージャー・サブユニットによって処理・制御ユニットのフィードバック・ユニットに送信される触覚および／または聴覚キューを含み, このフィードバックユニットが次のように含む:
- 視覚障害者の頭部に配置するように構成された触覚フィードバック・アクチュエータ、及び/又は
- 視覚障害者の片耳または両耳に配置されるように構成された聴覚フィードバック・アクチュエータ、
各関連ナビゲーション案内指示の案内モードは、ユーザー・コマンド・インターフェースを使用し、ユーザー・コマンド・インターフェース・マネージャー・サブユニットを介してフィードバック・マネージャー・サブユニットによって受信されるユーザー・コマンドを通じて、視覚障害者によって選択される。
【0020】
本発明の第2様相では、視覚障害者の動作を支援するためのウェアラブルデバイス1が次のように提供される:
- 視覚障害者の頭部に装着されるように構成された感覚ユニットであり、基本センサーを含む感覚ユニットは以下を含む:
- カメラ、
- 深度センサー、
- 慣性計測ユニット、
- 音像定位センサー
- 処理・制御ユニットは次のように含む:
- 感覚融合型サブユニットは次のように含む:
- ローカライゼーションモジュール、
- 歩行可能エリア検出モジュール、
- 方向計算モジュール、
- 音方向定位モジュール、
- 音分類モジュール、
- オブジェクト2D特性抽出モジュール、
- オブジェクト3D特性融合モジュール、
- オブジェクト音特性融合モジュール、
- ライブマップのサブユニット、
- リレーションシップ・マネージャー・サブユニット、
- ナビゲーション・マネージャー・サブユニット、
- ユーザー・コマンド・インターフェース・マネージャー・サブユニット
- フィードバック・マネージャー・サブユニット、
- 音声表現サブユニット、
- 視覚障害者の頭に装着するように構成されたフィードバックユニットは、次のように含む:
- 複数の触覚フィードバックアクチュエータは次のように含む:
- 左の触覚フィードバックアクチュエータ、
- 右の触覚フィードバックアクチュエータ、
- 中央の触覚フィードバックアクチュエータ、
- 複数の聴覚フィードバックアクチュエータは次のように含む:
- 左の聴覚フィードバックアクチュエータ、
- 右の聴覚フィードバックアクチュエータ
- 視覚障害者の頭部に配置されるように構成されたユーザーコマンドインタフェースは、次のように含む:
- 複数のユーザーコマンド触覚手段,
- 複数のユーザーコマンド音声手段,
- 蓄電ユニット、
- メモリー、及び
- 感覚ユニット、処理・制御ユニット、フィードバック・ユニット、ユーザー・コマンド・インターフェース、蓄電ユニット、メモリーの間で、通信プロトコルによる電子通信手段、
ウェアラブルデバイスが、その組み合わせを含む本発明の任意の実施形態による方法のステップを適用するように構成されている。
- 視覚障害者の頭部に装着されるように構成された感覚ユニットであり、基本センサーを含む感覚ユニットは以下を含む:
- カメラ、
- 深度センサー、
- 慣性計測ユニット、
- 音像定位センサー
- 処理・制御ユニットは次のように含む:
- 感覚融合型サブユニットは次のように含む:
- ローカライゼーションモジュール、
- 歩行可能エリア検出モジュール、
- 方向計算モジュール、
- 音方向定位モジュール、
- 音分類モジュール、
- オブジェクト2D特性抽出モジュール、
- オブジェクト3D特性融合モジュール、
- オブジェクト音特性融合モジュール、
- ライブマップのサブユニット、
- リレーションシップ・マネージャー・サブユニット、
- ナビゲーション・マネージャー・サブユニット、
- ユーザー・コマンド・インターフェース・マネージャー・サブユニット
- フィードバック・マネージャー・サブユニット、
- 音声表現サブユニット、
- 視覚障害者の頭に装着するように構成されたフィードバックユニットは、次のように含む:
- 複数の触覚フィードバックアクチュエータは次のように含む:
- 左の触覚フィードバックアクチュエータ、
- 右の触覚フィードバックアクチュエータ、
- 中央の触覚フィードバックアクチュエータ、
- 複数の聴覚フィードバックアクチュエータは次のように含む:
- 左の聴覚フィードバックアクチュエータ、
- 右の聴覚フィードバックアクチュエータ
- 視覚障害者の頭部に配置されるように構成されたユーザーコマンドインタフェースは、次のように含む:
- 複数のユーザーコマンド触覚手段,
- 複数のユーザーコマンド音声手段,
- 蓄電ユニット、
- メモリー、及び
- 感覚ユニット、処理・制御ユニット、フィードバック・ユニット、ユーザー・コマンド・インターフェース、蓄電ユニット、メモリーの間で、通信プロトコルによる電子通信手段、
ウェアラブルデバイスが、その組み合わせを含む本発明の任意の実施形態による方法のステップを適用するように構成されている。
【0021】
本発明の第3様相では、コンピュータプログラムを符号化した非一過性のコンピュータ読み取り可能な記憶媒体が提供され、コンピュータプログラムは、1つまたは複数のプロセッサーによって実行可能な指示を含み、その実行により、1つまたは複数のプロセッサーに、その組み合わせを含む好ましい実施形態のいずれかにおいて、視覚障害者の動作を支援するために適合されたコンピュータ実装方法の動作を実行させる。
【0022】
本発明の第4様相では、本発明の任意の実施形態に従って、ウェアラブルデバイスによってプログラムが実行されると、その組み合わせを含む好ましい実施形態のいずれかにおいて、視覚障害者の動作を支援するために適合されたコンピュータ実装方法のステップをウェアラブルデバイスに実行させる指示を含むコンピュータプログラムが提供される。
【0023】
本発明の第5様相では、1つ以上のプロセッサーと、1つ以上の非一過性のコンピュータ読み取り可能な記憶デバイスを含むシステムが提供され、非一過性のコンピュータ可読記憶装置は、その組み合わせを含む好ましい実施形態のいずれかにおいて、視覚障害者の動作を支援するために適合されたコンピュータ実装方法の動作を実行するために、1つ以上のプロセッサーによって実行可能な指示を含む記憶媒体を含む。
【0024】
１つの実施例によれば、視覚障害者の環境からデータを取得することを含むコンピュータ実装方法は、ウェアラブルデバイスの感覚ユニットが視野からセンシングすること、取得したデータをウェアラブルデバイスの処理・制御ユニットの感覚融合サブユニットに送ること、感覚融合サブユニットによって取得データを融合すること、融合データを処理・制御ユニットのライブマップサブユニットに送ること、ライブマップ・サブユニットによってライブマップを作成、更新、および保存することを含む。ライブマップは、感覚融合サブユニットから処理・制御ユニットで受信した融合データに基づいて作成される感覚ユニットの位置と方向、複数のオブジェクト、複数の生物を含む1以上のライブマップ確定、処理および制御ユニットのリレーションシップ・マネージャー・サブユニットから受信した複数のオブジェクトまたは複数の生物の間、または複数のオブジェクトと複数の生物の間の複数の関係に基づいて作成される1つまたは複数のライブマップ確定、複数のオブジェクトと複数の生物によって占領されていない地上のエリアの集合体として定義される自由エリアに基づいて作成される1つまたは複数のライブマップ確定を含み、自由エリアは、永久的な所定の歩行可能エリア要件のセットを満たす歩行可能エリアと、永久的な所定の歩行可能エリア要件のセットを満たす条件付き歩行可能エリアと、少なくとも1つの予測可能な条件付き歩行可能エリア要件とを含むことである。この方法では、自動的に又は視覚障害者からの第1の要求に応答して、処理及び制御ユニットのナビゲーションマネージャーサブユニットによって、視覚障害者が感覚ユニットの現在位置から複数のオブジェクト又は生物又は複数のオブジェクト及び複数の生物の中から選択された関心点に誘導するための少なくとも一つのナビゲーションパス及び関連ナビゲーション案内指示を決定して繰り返し更新及び格納させることと、自動的に、または視覚障害ユーザーからの第2の要求に応答して、少なくとも1つのナビゲーションパスから、（i）歩行可能エリアまたは条件付き歩行可能エリア上、または歩行可能エリア上および条件付き歩行可能エリア上を通過し、（ii）非衝突要件、および非攻撃性要件を含む安全要件のセットを満たす優先ナビゲーションパスを繰り返し選択することを含まれる。視覚障害者からの要求は、ユーザーコマンドインターフェースの触覚手段または音声手段を用いて行われ、要求は、処理・制御ユニットのユーザーコマンドインターフェースマネージャーサブユニットを介して、ナビゲーションマネージャーサブユニットによって受け取られること、ナビゲーションマネージャーサブユニットによって、処理・制御ユニットのフィードバックマネージャーサブユニットに、優先ナビゲーションパスと関連ナビゲーション案内指示を送信し、優先ナビゲーションパスが条件付き歩行可能エリアを通過するとき、ナビゲーションマネージャーサブユニットは、少なくとも1つの予測可能条件付き歩行可能エリア要件に対応する関連ナビゲーション案内指示をフィードバックマネージャーサブユニットに送信する。フィードバックマネージャーサブユニットによって、優先ナビゲーションパスに沿って視覚障害者にガイダンスを提供し、各関連ナビゲーション案内指示を送信するための案内モードを使用する。各ナビゲーション指示は、フィードバックマネージャーサブユニットによって処理・制御ユニットのフィードバックユニットに送られる触覚または聴覚のキューを含む。フィードバックユニットが視覚障害者の頭部に配置されるように構成された触覚フィードバックアクチュエータ、または視覚障害者の片耳または両耳に配置されるように構成された聴覚フィードバックアクチュエータ、または触覚フィードバックアクチュエータおよび聴覚フィードバックアクチュエータを含み、ここで、各関連ナビゲーション案内指示の案内モードは、視覚障害者により、ユーザーコマンドインターフェースにより、ユーザーコマンドインターフェースマネージャーサブユニットを介してフィードバックマネージャーサブユニットにより受信されるユーザーコマンドを通じて選択される。
【0025】
一部の実施形態には、次の機能が1つ以上含まれる。例えば、この方法では、感覚融合サブユニットから受信した融合データに基づいて、前記感覚ユニットの位置及び向き、複数の物体及び複数の生物の位置、向き及び特性を繰り返し決定し、感覚融合サブユニットのローカリゼーションモジュールに作成及び更新されたライブマップを繰り返し送信することを含むライブマップを作成と更新することと、リレーションシップ・マネージャー・サブユニットにより、所定の関係要件のセットを適用することを含む前記ライブマップから取得したデータに基づいて、複数のオブジェクトまたは生物または複数のオブジェクトと複数の生物との間の複数の関係を繰り返し作成と更新し、更新した複数の関係をライブマップに繰り返し送信することと、ローカライゼーションモジュールにより、感覚ユニットから受信したデータおよびライブマップからのデータに適用されるローカライゼーションアルゴリズムを使用して、ライブマップの複数のオブジェクトと複数の生物に対する感覚ユニットの位置および向きを繰り返しローカライズし、感覚融合サブユニットの歩行可能エリア検出モジュールに、感覚ユニットの位置と向きのローカライズデータを繰り返し送信することと、歩行可能エリア検出モジュールにより、感覚ユニットから受信したデータ、ローカリゼーションモジュールから受信したデータ、永久的な所定の歩行可能エリア要件のセット、及び計算されてメモリーに格納された少なくとも一つの予測可能な条件付き歩行可能エリア要件に基づいて自由エリアを繰り返し決定することと、更新された自由エリアをライブマップに繰り返し送信し、更新されたライブマップをメモリーに繰り返し格納することを含む。ライブマップは、SLAM（Simultaneous Localization and Mapping）アルゴリズムを用いて感覚融合サブユニットによって更新される。この方法は、複数のオブジェクトから選択された少なくとも1つのオブジェクト又は複数の生物から選択された少なくとも1つの生物に関する情報要求を視覚障害者が処理・制御ユニットの音表現サブユニットに送ることと、処理及び制御ユニットの音表現サブユニットによって、ライブマップから、選択された少なくとも1つの特定のオブジェクト又は少なくとも1つの特定の生物に関する情報を抽出することとを含む；抽出された情報を対応する空間化された音として表現し、フィードバックユニットによって空間化された音を視覚障害者に送信し、視覚障害者によって、複数のオブジェクトまたは複数の生物から関心点を選択し、対応する選択要求をナビゲーションマネージャーサブユニットに送信する。前記方法は、前記ナビゲーション・マネージャーによって、視覚障害者のための関連するナビゲーション案内指示とともに徘徊経路を決定することと、徘徊経路および関連ナビゲーション案内指示をフィードバック・マネージャー・サブユニットに送信することを含む。触覚キューは、予め決められた優先ナビゲーションパスの複雑さの基準に従って、振動の持続時間、周期性、強度または頻度を変化し、聴覚キューは、予め決められた優先ナビゲーションパスの複雑さの基準に従って、周波数、持続時間、反復強度、または3d空間仮想化を変化する。三次元歩行可能トンネルは、水平縦軸として優先ナビゲーションパスを有する、所定の断面の仮想トンネルとして定義され、案内モードは、視覚障害者が歩行可能トンネルの仮想壁に接近しているときに視覚障害者に送られる特定の触覚キューをさらに含む。優先ナビゲーションパスは、複数のマイルストーンによって区切られた所定のセグメントに分割され、案内モードは、現在のマイルストーンから次のマイルストーンへの関連ナビゲーション案内指示を視覚障害者に提供する次の少なくとも1つのマイルストーンの位置を示す触覚キューまたは聴覚キューを含み、所定のセグメントの長さは、優先ナビゲーションパスの複雑さや長さに応じて変化する。案内モードは、優先ナビゲーションパス上の方向を知らせる触覚キューまたは聴覚キュー、あるいは触覚および聴覚キューを含む。優先ナビゲーションパス上の方向は、感覚ユニットの原点と、感覚ユニットの位置を原点とし所定の長さの半径を持つ円と優先ナビゲーションパスの交点で定義される線によって決定され、優先ナビゲーションパス上の方向を示す聴覚キューは、感覚ユニットに対して空間化された音源のうち所定の第1の距離に配置された空間化された音源から発信される。聴覚キューは、感覚ユニットの位置から、空間化された音源が所定の第2の距離の端に到達して感覚ユニットの位置に戻るまで、優先ナビゲーションパス上の所定の第2の距離に沿って仮想的に移動する空間化された音源から発信される空間化された音である。
【0026】
別の一般的な実施形態では、視覚障害者の動作を支援するためのウェアラブルデバイスは、カメラ、深度センサー、慣性測定ユニット、および音定位センサーを含む、視覚障害者の頭に配置されるように構成された感覚ユニットを含む。このデバイスは、定位モジュール、歩行可能エリア検出モジュール、方位計算モジュール、音方向定位モジュール、音分類モジュール、オブジェクト2d特性抽出モジュール、オブジェクト3d特性融合モジュール、オブジェクト音特性融合モジュールを含む感覚融合サブユニットを含む処理・制御ユニットを含む。このデバイスは、ライブマップ・サブユニット、リレーションシップ・マネージャー・サブユニット、ナビゲーション・マネージャー・サブユニット、ユーザー・コマンド・インターフェース・マネージャー・サブユニット、フィードバック・マネージャー・サブユニット、及び音声表現サブユニットを含む。このデバイスは、左触覚フィードバックアクチュエータ、右触覚フィードバック・アクチュエータ、中央触覚フィードバック・アクチュエータを含む複数の触覚フィードバック・アクチュエータ及び左聴覚フィードバック・アクチュエータ、右聴覚フィードバック・アクチュエータを含む複数の聴覚フィードバック・アクチュエータを含むフィードバックユニットを備える視覚障害の頭に配置されるように構成されたフィードバック・ユニットを含む。このデバイスは、複数のユーザーコマンド触覚手段と、複数のユーザコマンド聴覚手段とを含む、視覚障害者の頭に配置されるように構成されたユーザーコマンド・インターフェースを含む。このデバイスは、蓄電ユニット、メモリー、センサー・ユニット、処理・制御ユニット、フィードバック・ユニット、ユーザー・コマンド・インターフェース、蓄電ユニット及びメモリー間の電子通信コンポーネントを含む。
【0027】
実装例には、次の機能の1つ以上が含まれる。感覚ユニットは、感覚ユニットの絶対位置を確定するように構成された全地球測位センサー、またはオブジェクトおよび生物の温度を確定するように構成された温度センサーの中から、少なくとも1つの追加センサーを含む。感覚融合サブユニットは、オブジェクト音特性融合モジュールからのデータを感覚ユニットの絶対位置に関するデータと融合するように構成された相対・絶対変換モジュールと、オブジェクト音特性融合モジュールからのデータをオブジェクト及び生物の温度に関するデータと融合し、融合したデータをライブマップサブユニットに送るように構成されたオブジェクト温度特性融合モジュールを含む。
【0028】
別の実装例には、1つ以上のプロセッサーと、開示された方法に対応する動作を実行するために1つ以上のプロセッサーによって実行可能な指示を格納する1つ以上の非一過性の機械可読記憶装置とを含むシステム、またはコンピュータプログラムを符号化した非一過性のコンピュータ記憶媒体を含む。このコンピュータプログラムは、1つまたは複数のプロセッサーによって実行されたときに、前記1つまたは複数のプロセッサーに、開示された方法に対応する動作を実行させる指示を含む。
【0029】
本発明の1つの様相における特徴は、適切な組み合わせで、本発明の他の様相に適用することができる。特に、方法の特徴は、デバイスの特徴に適用することができ、その逆も可能である。
【0030】
該当の場合、手段-プラス-機能の特徴は、適切にプログラムされたプロセッサーや関連するメモリーなど、対応する構造の観点から代替的に表現することができる。
【0031】
本発明の様々な特徴の特定の組み合わせは、独立して実施および／または供給および／または使用することができる。
【発明の効果】
【0032】
発明のメリット
本発明の主なメリットは次の通りである:
- 以下の理由により、視覚障害者の安全なナビゲーションと、日常生活の対象物や生き物へのより正確なアクセスを提供することができる:
- ユーザーの環境をより正確に、より詳細に表現する;
- より正確でより詳細なナビゲーションパスを作成する;
- ナビゲーションパスをより正確に、より安全に案内することができる;
- 快適性や意思決定の可能性など、視覚障害者でないユーザーの体験に近いナビゲーション体験を提供する。
本発明の主なメリットは次の通りである:
- 以下の理由により、視覚障害者の安全なナビゲーションと、日常生活の対象物や生き物へのより正確なアクセスを提供することができる:
- ユーザーの環境をより正確に、より詳細に表現する;
- より正確でより詳細なナビゲーションパスを作成する;
- ナビゲーションパスをより正確に、より安全に案内することができる;
- 快適性や意思決定の可能性など、視覚障害者でないユーザーの体験に近いナビゲーション体験を提供する。
【図面の簡単な説明】
【0033】
【図2】図2は、２つの好ましい実施形態におけるウェアラブルデバイス1の構成要素の概略的な位置関係を示す三面図である。図2Aは、2つのコンポーネントを持つウェアラブルデバイスであり、図2Bは、単一コンポーネントのウェアラブルデバイスである。
【図6】図6は、視覚障害者の後頭部から見たヘッドセットコンポーネント11を示し、フィードバックユニット4のコンポーネントおよびユーザコマンドインターフェース5のコンポーネントの位置関係を詳細に示す好ましい実施形態の1つの三面図である。
【図7】図7は、図6の好ましい実施形態の詳細を示す正面図であり、視覚障害者の額から見たヘッドセットコンポーネント11を紹介し、4つの基本センサーの位置決めを詳述し、ユーザーコマンドインターフェース5のコンポーネントの位置決めを詳述する。
【図18】図 18は、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-1 - 空間化された音S86がウィンドウ85の同じ位置で知覚される方法のステップS.3-0.2概略図」である。
【図19A】図19Aは、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-2 - 空間化された音S86が、仰角空間次元上のウィンドウ85に関して誇張されたまたは「ズーム」された表現である、方法のステップS.3-0.2概略図」である。
【図19B】図19Bは、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-3 - 空間化された音S86が、方位空間次元上の潜在的関心点PPIとしてのウィンドウ85に関して誇張されたまたは“ズーム”された表現である、方法のステップS.3-0.2概略図」である。
【図20】図20は、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-4 - 視覚障害者から非等距離に置かれた2つのウィンドウ85-1、85-2が、視覚障害者からのウィンドウ85-1、85-2の距離に応じて、仮想化された音の異なる周波数特性S86f-1、および、それぞれS86f-2で音表現される、方法のステップS.3-0.2概略図」である。
【図21】図21は、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-5 - ウィンドウ85の余白が、視覚障害ユーザに対する各四肢の距離に応じて異なる符号化特性を有する2つの空間化音S86P-E1、およびS86P-E2によって音表現される、方法のステップS.3-0.2の概略図」である。
【図22】図22は、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-6 - ウィンドウ85の寸法S86P、およびS86Lの表現を示す方法のステップS.3-0.2概略図」である。
【図23】図23は、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-7 - ウィンドウ85の形状が2つの空間化された穿刺状音源S86P1およびS86P2によって表される、方法のステップS.3-0.2概略図」である。
【図24】図24は、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-8 - ウィンドウ85の形状が、方位上で異なる周波数を有する2つの空間化音源S86f1、およびS86f2によって表される、方法のステップS.3-0.2概略図」である。
【図25】図25は、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-9 - ウィンドウ25の形状が、ウィンドウ85の輪郭上の出発点t0から出発点t0に戻るまで仮想的に移動する単一の空間化音源S86によって表される、方法のステップS.3-0.2概略図」である。
【図26】図26は、「手法の具体例 - 例2 ウィンドウ85が象徴的に表現される」であり、「例2-10 - ウィンドウ25の形状が、角度付きパターンで仮想的に移動する単一の空間化音源S86によって表される、方法のステップS.3-0.2概略図」である。
【発明を実施するための形態】
【0034】
参照符号一覧
このリストは、説明および／または図面において提示される構成要素、パラメータまたは基準への参照を含む。これは、本発明の読解を容易にするために作成されたものである。
1 ウェアラブルデバイス
11 ヘッドセット コンポーネント
12 ベルト装着部
12 手首コンポーネント - グラフィック表示なし
13 ハンドヘルドコンポーネント- グラフィック表示なし
2 感覚ユニット
基本センサー: 21, 22, 23, 24
20 基本センサーの視野
21 カメラ
22 深度センサー
21-22 カメラと深度センサー - グラフィック表示なし
23 慣性計測ユニット
24 音像定位センサー
21-22 カメラと深度センサー - グラフィック表示なし
追加センサー25, 26
25 全地球測位センサー
26 温度センサー
3 処理・制御ユニット
30 感覚融合サブユニット
301 ローカライゼーションモジュール
302 歩行可能エリア検出モジュール
303 方位計算モジュール
304 音方向定位モジュール
305 音分類モジュール
306 オブジェクト2D特性抽出モジュール
307 オブジェクト3D特性融合モジュール
308 オブジェクト音特性融合モジュール
309-1 相対・絶対変換モジュール
309-2 オブジェクト温度特性融合モジュール
31 ライブマップのサブユニット
310 ライブマップ
32 リレーションシップ・マネージャー・サブユニット
33 ナビゲーション・マネージャー・サブユニット
34 ユーザー・コマンド・インターフェース・マネージャー・サブユニット
35 フィードバックマネージャーサブユニット
36 音声表現サブユニット
4 フィードバックサブユニット
41 触覚フィードバックアクチュエータ
411 左フィードバックアクチュエータ
412 右フィードバックアクチュエータ
413 中央フィードバックアクチュエータ
42 聴覚フィードバックアクチュエータ
421 左聴覚フィードバックアクチュエータ
422 右聴覚フィードバックアクチュエータ
5 ユーザー・コマンド・インターフェース
51 ユーザーコマンドの触覚手段
52 ユーザーコマンドの音声手段
6 蓄電ユニット - グラフィック表示なし
M メモリー - グラフィック表示なし
7 通信ユニット - グラフィック表示なし
このリストは、説明および／または図面において提示される構成要素、パラメータまたは基準への参照を含む。これは、本発明の読解を容易にするために作成されたものである。
1 ウェアラブルデバイス
11 ヘッドセット コンポーネント
12 ベルト装着部
12 手首コンポーネント - グラフィック表示なし
13 ハンドヘルドコンポーネント- グラフィック表示なし
2 感覚ユニット
基本センサー: 21, 22, 23, 24
20 基本センサーの視野
21 カメラ
22 深度センサー
21-22 カメラと深度センサー - グラフィック表示なし
23 慣性計測ユニット
24 音像定位センサー
21-22 カメラと深度センサー - グラフィック表示なし
追加センサー25, 26
25 全地球測位センサー
26 温度センサー
3 処理・制御ユニット
30 感覚融合サブユニット
301 ローカライゼーションモジュール
302 歩行可能エリア検出モジュール
303 方位計算モジュール
304 音方向定位モジュール
305 音分類モジュール
306 オブジェクト2D特性抽出モジュール
307 オブジェクト3D特性融合モジュール
308 オブジェクト音特性融合モジュール
309-1 相対・絶対変換モジュール
309-2 オブジェクト温度特性融合モジュール
31 ライブマップのサブユニット
310 ライブマップ
32 リレーションシップ・マネージャー・サブユニット
33 ナビゲーション・マネージャー・サブユニット
34 ユーザー・コマンド・インターフェース・マネージャー・サブユニット
35 フィードバックマネージャーサブユニット
36 音声表現サブユニット
4 フィードバックサブユニット
41 触覚フィードバックアクチュエータ
411 左フィードバックアクチュエータ
412 右フィードバックアクチュエータ
413 中央フィードバックアクチュエータ
42 聴覚フィードバックアクチュエータ
421 左聴覚フィードバックアクチュエータ
422 右聴覚フィードバックアクチュエータ
5 ユーザー・コマンド・インターフェース
51 ユーザーコマンドの触覚手段
52 ユーザーコマンドの音声手段
6 蓄電ユニット - グラフィック表示なし
M メモリー - グラフィック表示なし
7 通信ユニット - グラフィック表示なし
【0035】
ライブマップ310の内容
感覚融合サブユニット30から受信した融合データに基づくライブマップ確定
- 感覚ユニット2の位置と方向
- 複数のオブジェクトOn
- 複数の生き物 Ln - グラフィック表示なし
リレーションシップマネージャーサブユニット32から受信したデータに基づくライブマップの確定:
- 複数のオブジェクトOnおよび／または複数の生物Lnの間の複数の関係Rn＝関係 - グラフィック表示なし
自由エリアA:
- WA 歩行可能エリア
- CWA 条件付き歩行可能エリア
- NA 歩行不可エリア
感覚融合サブユニット30から受信した融合データに基づくライブマップ確定
- 感覚ユニット2の位置と方向
- 複数のオブジェクトOn
- 複数の生き物 Ln - グラフィック表示なし
リレーションシップマネージャーサブユニット32から受信したデータに基づくライブマップの確定:
- 複数のオブジェクトOnおよび／または複数の生物Lnの間の複数の関係Rn＝関係 - グラフィック表示なし
自由エリアA:
- WA 歩行可能エリア
- CWA 条件付き歩行可能エリア
- NA 歩行不可エリア
【0036】
最低条件
- エリアについて:
- 永久的な所定の歩行可能エリア要件のセット
- 少なくとも1つの予測可能な条件付き歩行可能エリア要件
- 関係について:
- 事前に判定する関係要件のカテゴリーは次ののように含む:
- 事前に判定する親子関係及び
- 事前に判定する条件付き関係
- ナビゲーションパスPnについて:
- 2つのナビゲーションパス条件
- 安全条件
- 非衝突要件
- 非攻撃性条件
- WAにもCWAにもある
- エリアについて:
- 永久的な所定の歩行可能エリア要件のセット
- 少なくとも1つの予測可能な条件付き歩行可能エリア要件
- 関係について:
- 事前に判定する関係要件のカテゴリーは次ののように含む:
- 事前に判定する親子関係及び
- 事前に判定する条件付き関係
- ナビゲーションパスPnについて:
- 2つのナビゲーションパス条件
- 安全条件
- 非衝突要件
- 非攻撃性条件
- WAにもCWAにもある
【0037】
選択基準
- パス選択基準セット
- コスト基準
- 目的地までのコスト・タイム基準
- 快適基準
- 予め決められた優先ナビゲーションパスの複雑さの基準
- パス選択基準セット
- コスト基準
- 目的地までのコスト・タイム基準
- 快適基準
- 予め決められた優先ナビゲーションパスの複雑さの基準
【0038】
空間化された音の基準
- 予め決められた空間的な音の基準
- 予め決められた空間的な音の基準
【0039】
視覚障害者によるリクエストと選択
- 開始リクエスト
- 選択リクエスト
- 情報リクエスト
- 開始リクエスト
- 選択リクエスト
- 情報リクエスト
【0040】
ナビゲーションマネージャーのサブユニット33で決定したパス
- Pn 少なくとも１つのパス - グラフィック表示なし
- SP 優先ナビゲーションパス
- WP ワンダリングパス -グラフィック表示なし
- PI 関心点
- PI-OLD 古い関心点
- PPI ポテンシャル関心点- グラフィック表示なし
- Pn 少なくとも１つのパス - グラフィック表示なし
- SP 優先ナビゲーションパス
- WP ワンダリングパス -グラフィック表示なし
- PI 関心点
- PI-OLD 古い関心点
- PPI ポテンシャル関心点- グラフィック表示なし
【0041】
該当ナビゲーション案内指示を送信するための案内モード
T 歩行可能トンネル
93 マイルストーン 93
r 感覚ユニット2の位置を原点とする円の所定の長さを持つ半径
94 半径d1を有する円と優先ナビゲーションパスSPとの交差点
S 空間化音源
d1 感覚ユニット2に対する空間化音源Sの所定の第1距離
d2 所定の第2距離
T 歩行可能トンネル
93 マイルストーン 93
r 感覚ユニット2の位置を原点とする円の所定の長さを持つ半径
94 半径d1を有する円と優先ナビゲーションパスSPとの交差点
S 空間化音源
d1 感覚ユニット2に対する空間化音源Sの所定の第1距離
d2 所定の第2距離
【0042】
例1
図14～17
84 最初の関心点= 玄関ドア、関心点PIとして選択された複数のオブジェクトOnの中から特定のオブジェクトOnの例として
２つの玄関ドア84-01およびそれぞれ84-02は、複数のオブジェクトOnの中から関心点84が選択されるオブジェクトOnの例としてグラフィカルに表現されていない。
841 さらなる関心点= ドアベル 841、関心点PI の別の特定の例として
83 犬、複数の生きものLnの中から特定の生きものLnの例として
831 交通信号
832 横断歩道
942 歩行可能エリア、歩行可能エリアWAの具体例として
941 歩行不可エリア、歩行不可エリアNAの具体例として
943 条件付き歩行可能エリア、条件付き歩行可能エリアCWAの具体例として
911 最初ナビゲーションパス、優先ナビゲーションパスSPの具体例として
912 第２ナビゲーションパス、優先ナビゲーションパスSPの他の具体例として
922 歩行可能トンネル、歩行可能トンネルTの具体例として
[例2のグループ - 図18～28]
85 - ウィンドウ、複数のオブジェクトOnの中から潜在的関心点PPIであるオブジェクトOnの特定の例として、またオブジェクトOnのカテゴリーの例として
85-1 一番目のウィンドウ
85-2 二番目のウィンドウ
85-3 三番目のウィンドウ - グラフィック表示なし
85-4 四番目のウィンドウ - グラフィック表示なし
ウィンドウ85のいずれかに選ばれた端点: 85-E1と85-E2
S86 ウィンドウの該当空間化されたサウンド
S86-1 第1ウィンドウ85-1に対応する- グラフィック表示なし
S86-2 第２ウィンドウ85-２に対応する- グラフィック表示なし
S86-3 第３ウィンドウ85-３に対応する- グラフィック表示なし
S86-4 第４ウィンドウ85-４に対応する- グラフィック表示なし
空間化されたサウンドの具体例
S86f 特定の周波数を持つ空間化されたサウンド- グラフィック表示なし
S86f -1 ウィンドウ85-1に対応する特定の周波数を持つ空間化されたサウンド
S86f -2 ウィンドウ85-２に対応する特定の周波数を持つ空間化されたサウンド
S86f1、とS86f2 ウィンドウ85の輪郭上を仮想的に移動する異なる周波数でエンコードされた空間化された音源
S86p 特定のパルスを持つ空間化されたサウンド- グラフィック表示なし
S86t 特定の時間特性を持つ空間化されたサウンド- グラフィック表示なし
S86t-1、とS86t-2 2つのウィンドウ85-1、85-2の枠の形状を表現するための異なる時間特性を持つ空間化されたサウンド
S86t11-1、S86t12-1、ウィンドウ85-1の外枠の形状を表現するために、ウィンドウ85-1の輪郭上を仮想的に移動する異なる時間特性を有する空間化されたサウンド
S86t21-1、S86t22-1、ウィンドウ85-1の内枠の形状を表現するために、ウィンドウ85-1の輪郭上を仮想的に移動する異なる時間特性を有する空間化されたサウンド
S86P 区切り音、
S86P1、とS86P2ウィンドウ85の輪郭上を仮想的に移動する空間化された区切り音
S86P-E1、とS86P-E2 ウィンドウ85-E1、85-E2の両端に対応する2つの空間化された区切り音
S86L リニアサウンド
S861、と S862 内枠の輪郭とウィンドウ８５の外形輪郭との間の空間内で角度のあるパターンで仮想的に移動する空間化されたサウンド
ウィンドウ85の輪郭上を仮想的に移動する空間化された音源の時間中におけるt0 出発点とtfinal終点
図14～17
84 最初の関心点= 玄関ドア、関心点PIとして選択された複数のオブジェクトOnの中から特定のオブジェクトOnの例として
２つの玄関ドア84-01およびそれぞれ84-02は、複数のオブジェクトOnの中から関心点84が選択されるオブジェクトOnの例としてグラフィカルに表現されていない。
841 さらなる関心点= ドアベル 841、関心点PI の別の特定の例として
83 犬、複数の生きものLnの中から特定の生きものLnの例として
831 交通信号
832 横断歩道
942 歩行可能エリア、歩行可能エリアWAの具体例として
941 歩行不可エリア、歩行不可エリアNAの具体例として
943 条件付き歩行可能エリア、条件付き歩行可能エリアCWAの具体例として
911 最初ナビゲーションパス、優先ナビゲーションパスSPの具体例として
912 第２ナビゲーションパス、優先ナビゲーションパスSPの他の具体例として
922 歩行可能トンネル、歩行可能トンネルTの具体例として
[例2のグループ - 図18～28]
85 - ウィンドウ、複数のオブジェクトOnの中から潜在的関心点PPIであるオブジェクトOnの特定の例として、またオブジェクトOnのカテゴリーの例として
85-1 一番目のウィンドウ
85-2 二番目のウィンドウ
85-3 三番目のウィンドウ - グラフィック表示なし
85-4 四番目のウィンドウ - グラフィック表示なし
ウィンドウ85のいずれかに選ばれた端点: 85-E1と85-E2
S86 ウィンドウの該当空間化されたサウンド
S86-1 第1ウィンドウ85-1に対応する- グラフィック表示なし
S86-2 第２ウィンドウ85-２に対応する- グラフィック表示なし
S86-3 第３ウィンドウ85-３に対応する- グラフィック表示なし
S86-4 第４ウィンドウ85-４に対応する- グラフィック表示なし
空間化されたサウンドの具体例
S86f 特定の周波数を持つ空間化されたサウンド- グラフィック表示なし
S86f -1 ウィンドウ85-1に対応する特定の周波数を持つ空間化されたサウンド
S86f -2 ウィンドウ85-２に対応する特定の周波数を持つ空間化されたサウンド
S86f1、とS86f2 ウィンドウ85の輪郭上を仮想的に移動する異なる周波数でエンコードされた空間化された音源
S86p 特定のパルスを持つ空間化されたサウンド- グラフィック表示なし
S86t 特定の時間特性を持つ空間化されたサウンド- グラフィック表示なし
S86t-1、とS86t-2 2つのウィンドウ85-1、85-2の枠の形状を表現するための異なる時間特性を持つ空間化されたサウンド
S86t11-1、S86t12-1、ウィンドウ85-1の外枠の形状を表現するために、ウィンドウ85-1の輪郭上を仮想的に移動する異なる時間特性を有する空間化されたサウンド
S86t21-1、S86t22-1、ウィンドウ85-1の内枠の形状を表現するために、ウィンドウ85-1の輪郭上を仮想的に移動する異なる時間特性を有する空間化されたサウンド
S86P 区切り音、
S86P1、とS86P2ウィンドウ85の輪郭上を仮想的に移動する空間化された区切り音
S86P-E1、とS86P-E2 ウィンドウ85-E1、85-E2の両端に対応する2つの空間化された区切り音
S86L リニアサウンド
S861、と S862 内枠の輪郭とウィンドウ８５の外形輪郭との間の空間内で角度のあるパターンで仮想的に移動する空間化されたサウンド
ウィンドウ85の輪郭上を仮想的に移動する空間化された音源の時間中におけるt0 出発点とtfinal終点
【0043】
詳細な説明と実現例
図1を参照すると、ウェアラブルデバイス1は、感覚ユニット2、処理・制御ユニット3、フィードバックユニット4、ユーザーコマンドインターフェース5から構成される。
図1を参照すると、ウェアラブルデバイス1は、感覚ユニット2、処理・制御ユニット3、フィードバックユニット4、ユーザーコマンドインターフェース5から構成される。
【0044】
ウェアラブルデバイス1は、グラフィカルに表現されていない2つのハードウェアユニット、すなわち、蓄電ユニット6と、メモリーMとから構成される。
【0045】
本発明全体を通じて、視覚障害者はウェアラブルデバイス1を装着しており、ウェアラブルデバイス1のスイッチがオンになっていると理解されるものとする。したがって、説明、請求及び図面におけるウェアラブルデバイス1又は感覚ユニット2への言及は、視覚障害者の位置への言及を含むと理解されるものとする。簡単のため、本発明全体を通して、視覚障害者は、全ての性別の状況を包含する「彼」として言及されるものとする。
【0046】
ハードウェアユニットの構成や位置に関する詳細は、本明細書のうち、ウェアラブルデバイス1の構成に関連する部分で説明する。
【0047】
本方法をよりよく理解するために、ハードウェアユニットの基本的な構成要素を、本方法の開示とともにペースを保って簡単に説明する。
【0048】
感覚ユニット2は、視覚障害者の頭部に装着され、基本センサーで構成される：
- カメラ 21
- 深度センサー22、
- 慣性計測ユニット23
- 音像定位センサー24
- カメラ 21
- 深度センサー22、
- 慣性計測ユニット23
- 音像定位センサー24
【0049】
処理・制御ユニット3は、以下のように構成される：
- 感覚融合サブユニット 30、
- ライブマップサブユニット 31、
- リレーションシップマネージャーのサブユニット 32、
- ナビゲーション・マネージャー・サブユニット 33、
- ユーザー・コマンド・インターフェース・マネジャー・サブユニット34、
- フィードバック・マネジャー・サブユニット35、
- 音表現サブユニット36、
- 感覚融合サブユニット 30、
- ライブマップサブユニット 31、
- リレーションシップマネージャーのサブユニット 32、
- ナビゲーション・マネージャー・サブユニット 33、
- ユーザー・コマンド・インターフェース・マネジャー・サブユニット34、
- フィードバック・マネジャー・サブユニット35、
- 音表現サブユニット36、
【0050】
感覚融合サブユニット30は、以下のように構成される：
- ローカリゼーションモジュール301、
- 歩行可能エリア検出モジュール 302、
- 方位計算モジュール303、
- 音方向定位モジュール304、
- 音分類モジュール305、
- 歩行可能エリア検出モジュール 306、
- オブジェクト3D特性融合モジュール307、
- オブジェクト音特性融合モジュール 308、
- ローカリゼーションモジュール301、
- 歩行可能エリア検出モジュール 302、
- 方位計算モジュール303、
- 音方向定位モジュール304、
- 音分類モジュール305、
- 歩行可能エリア検出モジュール 306、
- オブジェクト3D特性融合モジュール307、
- オブジェクト音特性融合モジュール 308、
【0051】
図2は、視覚障害者の額における感覚ユニット2の好ましい位置を例示している。詳細な説明および図を通して、ユーザーの額上の好ましい位置が例示されている。当業者は、本発明が、感覚ユニット2を額に配置することに限定されないことを理解するものとする。
【0052】
本発明による方法は、4つのステップを含む。まず、4つのステップについて、その連続性を簡単に説明する。その後、ステップ2、3、4について詳述する。
【0053】
ステップＳ１：視覚障害者の頭部に装着されたウェアラブルデバイス1の感覚ユニット2は、視覚障害者の環境からデータを取得する。
【0054】
この目的のために、感覚ユニット2は、感覚ユニット2の位置を原点とする視野20からセンシングする。
【0055】
ステップＳ２：感覚ユニット2 が感知したデータは、感性融合サブユニット30に送られる。
【0056】
感覚融合サブユニット30は、感覚ユニット2から取得したデータを、フィルタリング、スムージング、人工知能ベースのアルゴリズムを含むデータ処理アルゴリズムによって融合し、融合したデータを処理・制御ユニット3のライブマップサブユニット31に送出する。
【0057】
さらに、ライブマップサブユニット31は、ライブマップ310を作成し、繰り返し更新し、保存する。ライブマップ310は、3つのカテゴリーのデータから構成される。
【0058】
1. 感覚融合サブユニット30から受信した融合データに基づいて作成されるライブマップ確定、
【0059】
2． 複数のオブジェクトOnおよび／または複数の生物Lnの間の複数の関係Rnに基づいて作成されるライブマップの確定、
【0060】
3. 自由エリアAに基づくライブマップ確定。
【0061】
ライブマップ310は、メモリーMに格納されたデータベースであり、本発明を通じて、ライブマップ310のデータの更新や格納は、メモリーMにおけるライブマップ310の更新や格納を含むものとし、その格納方法は、本発明の範囲外である。
【0062】
【0063】
本発明の実施形態では、ライブマップ310は既にメモリーMに存在し、この場合、ライブマップ310の領域範囲は、ライブマップ310に過去に記憶されたコンテンツによって決定される。図4から分かるように、ライブマップ310には、もはや視野20にはないが、過去に視野20にあったオブジェクトが含まれる。図4のライブマップ310は、過去の関心点である古い関心点PI-OLDを含む。
【0064】
1. 感覚融合サブユニット30から受信した融合データに基づくライブマップ確定は、以下の確定を含む：
- 感覚ユニット2の位置と方向を示す、
- 複数のオブジェクトOn。各オブジェクトOnについての確定は以下を参照する。
- その位置
-その物理的、音響的、化学的特性、
- その方向性、
- 所定の単位時間における将来の位置の予測、
- 複数の生きものLn。各生き物Ln についての確定は以下を参照する。
- その位置
- その生物学的、音響学的特性
- その方位、現在の活動状況、気分の状態、
- 所定の単位時間における将来の位置の予測。
- 感覚ユニット2の位置と方向を示す、
- 複数のオブジェクトOn。各オブジェクトOnについての確定は以下を参照する。
- その位置
-その物理的、音響的、化学的特性、
- その方向性、
- 所定の単位時間における将来の位置の予測、
- 複数の生きものLn。各生き物Ln についての確定は以下を参照する。
- その位置
- その生物学的、音響学的特性
- その方位、現在の活動状況、気分の状態、
- 所定の単位時間における将来の位置の予測。
【0065】
2. 複数のオブジェクトOn及び／又は複数の生物Lnの間の複数の関係Rnに基づくライブマップ判定は、処理・制御ユニット3の関係マネージャー・サブユニット32から受信される。
リレーションシップ・マネージャー・サブユニット32は、ライブマップ310の更新情報をライブマップ・サブユニット31に問い合わせることにより、ライブマップ310から最新の更新情報を取り込む。
計算は、所定の関係要件に基づき、少なくとも以下を含む：
- 所定の親子関係、と
- 所定の条件関係。
簡単のため、本発明全体を通して：
- 前記複数の関係Rnに相当する表現として、用語「関係」が使用される
- 複数の関係Rnは、関係とも呼ばれるが、静的な関係と動的な関係の両方を指す。
計算の後、リレーションシップマネージャーサブユニット32は、計算の結果として更新された関係をライブマップサブユニット31に送り、ライブマップ310 にこれを保存する。
複数の関係Rnに関する詳細は、後述のS.2.2に関する項に記載する。
リレーションシップ・マネージャー・サブユニット32は、ライブマップ310の更新情報をライブマップ・サブユニット31に問い合わせることにより、ライブマップ310から最新の更新情報を取り込む。
計算は、所定の関係要件に基づき、少なくとも以下を含む：
- 所定の親子関係、と
- 所定の条件関係。
簡単のため、本発明全体を通して：
- 前記複数の関係Rnに相当する表現として、用語「関係」が使用される
- 複数の関係Rnは、関係とも呼ばれるが、静的な関係と動的な関係の両方を指す。
計算の後、リレーションシップマネージャーサブユニット32は、計算の結果として更新された関係をライブマップサブユニット31に送り、ライブマップ310 にこれを保存する。
複数の関係Rnに関する詳細は、後述のS.2.2に関する項に記載する。
【0066】
3. 自由エリアAによるライブマップの判定
自由エリアAは、複数のオブジェクトOnと複数の生物Lnに占領されていない地上の領域の集合体として定義される。
この自由エリアAは、3つのカテゴリーに分けられる：
- 視覚障害者が怪我をすることなく歩行できるエリアとして歩行可能エリアWAを定義する、永久的な所定の歩行可能エリア要件のセットを満足する歩行可能エリアWA、
- 永久的な所定の歩行可能エリア要件のセットを満足し、少なくとも1つの予測可能な条件付き歩行可能エリア要件を満足する条件付き歩行可能エリアCWA、
- 永久的な所定の歩行可能エリア要件のセットも、少なくとも1つの追加的な予測可能な条件付き歩行可能エリア要件も満たさない非歩行可能エリアNA。
自由エリアAは、複数のオブジェクトOnと複数の生物Lnに占領されていない地上の領域の集合体として定義される。
この自由エリアAは、3つのカテゴリーに分けられる：
- 視覚障害者が怪我をすることなく歩行できるエリアとして歩行可能エリアWAを定義する、永久的な所定の歩行可能エリア要件のセットを満足する歩行可能エリアWA、
- 永久的な所定の歩行可能エリア要件のセットを満足し、少なくとも1つの予測可能な条件付き歩行可能エリア要件を満足する条件付き歩行可能エリアCWA、
- 永久的な所定の歩行可能エリア要件のセットも、少なくとも1つの追加的な予測可能な条件付き歩行可能エリア要件も満たさない非歩行可能エリアNA。
【0067】
ステップＳ３において、自動的に、または視覚障害者からの第1の要求に応答して、処理・制御ユニット3のナビゲーション・マネージャー・サブユニット33は、視覚障害者が感覚ユニット2の現在位置から、複数のオブジェクトOnおよび／または複数の生物Lnの中から選択した関心点PIに移動するための1以上のナビゲーションパスPnを決定し、繰り返し更新してメモリーMに保存する。
【0068】
本発明において、用語「ナビゲーション」は、これを含むものとして理解されるものとする。
- 視覚障害者がオブジェクトOnや生物Lnに向かって歩くこと、
- 歯ブラシやドアノブなど、さまざまなものを見つけたり、手に取ったりするために、視覚障害者の片手または両手足を使って行う日常の身振りや動作のこと。
ナビゲーションパスPnの非限定的な例としては、以下のものが挙げられる。
- 屋外を歩くためのナビゲーションパスPn、
- 屋内を歩くためのナビゲーションパスPn、
- 櫛のような小さなものから飛行機のような大きなものまで、さまざまな目的のために多くのオブジェクトに到達するためのナビゲーションパスPn。
- 視覚障害者がオブジェクトOnや生物Lnに向かって歩くこと、
- 歯ブラシやドアノブなど、さまざまなものを見つけたり、手に取ったりするために、視覚障害者の片手または両手足を使って行う日常の身振りや動作のこと。
ナビゲーションパスPnの非限定的な例としては、以下のものが挙げられる。
- 屋外を歩くためのナビゲーションパスPn、
- 屋内を歩くためのナビゲーションパスPn、
- 櫛のような小さなものから飛行機のような大きなものまで、さまざまな目的のために多くのオブジェクトに到達するためのナビゲーションパスPn。
【0069】
ナビゲーション・マネージャー・サブユニット33は、自動的に、または視覚障害者からの第2の要求に応じて、1つの優先ナビゲーションパスSPを繰り返し選択する。1つのナビゲーションパスPnのみが決定された場合、優先ナビゲーションパスSPは、ナビゲーションパスPnである。２つ以上のナビゲーションパスPnが決定された場合、ナビゲーションマネージャーサブユニット33は、それらのうちの1つを優先ナビゲーションパスSPとして繰り返し選択する。
【0070】
優先ナビゲーションパスSPは、ナビゲーションマネージャーサブユニット33によって、関連ナビゲーション案内指示とともに、処理・制御ユニット3のフィードバックマネージャーサブユニット35に繰り返し送られる。
【0071】
１つ以上のナビゲーションパスPnを決定するために、ナビゲーションマネージャーサブユニット33は、少なくとも2つのナビゲーションパス要件が満たされているかどうかを確認するために、ライブマップ310に問い合わせを行う。
【0072】
第1のナビゲーションパスの要件は、優先ナビゲーションパスSPを含む全てのナビゲーションパスPnが、歩行可能エリアWA及び／または条件付き歩行可能エリアCWAを通過しなければならないことである。
【0073】
第2のナビゲーションパスの要件は、所定の単位時間内に少なくとも1つのナビゲーションパスPnの近傍に位置する、または位置すると予測される複数のオブジェクトOnおよび／または複数の生物Lnに関して、安全要件のセットを満たすことである。近接は、予め定められており、例えば、ウェアラブルデバイス1の位置から0.3mにある。
【0074】
安全要件のセットは、少なくとも1つの非衝突要件と少なくとも1つの非攻撃性要件を含む。他の安全要件は、高齢者等視覚障害者のニーズ、又は人口密度の高い都市部等視覚障害者が通常生活する環境の特性、又はその両方から生じる様々な特定のニーズに対して定義することができる。
【0075】
非衝突要件、複数のオブジェクトOnおよび／または複数の生物Lnの個別経路が、少なくとも1つのナビゲーションパスPnと衝突してはならないことを意味する。
【0076】
非攻撃性要件 は、複数の生き物の気分Lnが、視覚障害者に向けられる攻撃的な行動を予期してはならないことを意味する。
【0077】
その他、混雑した場所を避ける、所定値以上の勾配を持つゾーンを通らないなど、ユーザーが定義できる航路要件があるが、これらに限定されない。
【0078】
ナビゲーションパス要件は予め設定され、メモリーMに格納され、ナビゲーションマネージャーサブユニット33によって適用される。視覚障害者は、ユーザー・コマンド・インターフェース・マネージャー・サブユニット 34 によって、他の所定のナビゲーションパスの要件を設定することができる。
【0079】
選択されたナビゲーションパスSPが条件付き歩行可能エリアCWAを通過するとき、ナビゲーション・マネージャー・サブユニット33は、フィードバック・マネージャー・サブユニット35に、前記少なくとも一つの予測可能な条件付き歩行可能エリア要件に関係する関連ナビゲーション案内指示を送信する。
【0080】
少なくとも1つのナビゲーションパスPnの確定は、ナビゲーション・マネージャー・サブユニット33によって自動的に、または視覚障害者から開始要求を受信することによって開始される、
【0081】
ナビゲーション・マネージャー・サブユニット33が2つ以上のナビゲーションパスPnを決定した場合、優先ナビゲーションパスSPの選択は、ナビゲーション・マネージャー・サブユニット33によって自動的に行われるか、または、視覚障害者ユーザからの選択要求を前記ナビゲーション・マネージャーサブユニット 33が受け取ることによって行われる。
【0082】
ナビゲーションマネージャーサブユニット33は、デフォルトで、優先ナビゲーションパスSPの選択が、ナビゲーションマネージャーサブユニット33によって自動的に、または視覚障害者からの選択要求に応じて行われるように構成することが可能である。
【0083】
ナビゲーション・マネージャー・サブユニット33によって自動的に実施される場合、優先ナビゲーションパスSPの選択は、コスト基準、目的地までのコスト時間基準、快適性基準 を含む予め定められた経路選択基準のセットを適用することに基づいている。経路選択基準の適用は、先行技術に従って実施される。
【0084】
視覚障害者による要求は、ユーザーコマンドインターフェース5の触覚手段51または聴覚手段52を使用して行われる。これらの要求は、処理・制御ユニット3のユーザーコマンドインターフェースマネージャーサブユニット34を介して、ナビゲーションマネージャーサブユニット33によって受信される。
【0085】
ステップＳ４では、フィードバックマネージャーサブユニット35は、ナビゲーションマネージャーサブユニット33から受信したように、各関連ナビゲーション案内指示を送信するための案内モードを使用して優先ナビゲーションパスSPに沿って視覚障害者を案内する。
【0086】
案内モードは、フィードバックマネージャーサブユニット35によって、処理・制御ユニット3のフィードバックユニット４に送られる。各ナビゲーション案内指示は、触覚及び／又は聴覚のキューからなる。
【0087】
案内モードは以下のいずれかに該当する。
- 視覚障害者の額に配置するように構成されたフィードバックユニット４の触覚フィードバックアクチュエータ41を使用することによる触覚キューによる、又は
- 視覚障害者の片方または両方の耳に配置するように構成されたフィードバックユニット４の触覚フィードバックアクチュエータ41を使用することによる触覚キューによる、又は、
- 触覚キューと聴覚キューの組み合わせ。
- 視覚障害者の額に配置するように構成されたフィードバックユニット４の触覚フィードバックアクチュエータ41を使用することによる触覚キューによる、又は
- 視覚障害者の片方または両方の耳に配置するように構成されたフィードバックユニット４の触覚フィードバックアクチュエータ41を使用することによる触覚キューによる、又は、
- 触覚キューと聴覚キューの組み合わせ。
【0088】
各関連ナビゲーション案内指示の案内モードの選択は、視覚障害者によって、ユーザー・コマンド・インターフェース5によって、また、ユーザー・コマンド・インターフェース・マネージャー・サブユニット34 を介してフィードバック・マネージャー・サブユニット35によって受信されるユーザーコマンド を介して実施される。
【0089】
S2に関する詳細 - 図5を参照して
ライブマップ310は、後述するように、最初のサブステップから最後のサブステップまでいくつかの情報の層が追加されるため、多層ケーキと比較することができる。各レイヤーで、ライブマップ310はより高いレベルの詳細さと正確さを獲得する。作成は連続的であり、その結果、ライブマップ310の連続的な更新と連続的な保存がある。
ライブマップ310は、後述するように、最初のサブステップから最後のサブステップまでいくつかの情報の層が追加されるため、多層ケーキと比較することができる。各レイヤーで、ライブマップ310はより高いレベルの詳細さと正確さを獲得する。作成は連続的であり、その結果、ライブマップ310の連続的な更新と連続的な保存がある。
【0090】
ライブマップ310に複数の情報レイヤーを作成する利点は、データの理解およびアクセスの使いやすさに関連する。個々のレイヤーは、システムの特定の他の構成要素に関連する特定の情報を含むので、これは、情報へのより速いアクセスを容易にする。
【0091】
S2.1. ライブマップサブユニット31は、感覚融合サブユニット、感覚融合サブユニット30から受信した融合データに基づいて、感覚ユニット2の 位置と方向、複数の生物Lnの位置と方向、複数のオブジェクトOnの特性を決定し、作成・更新したライブマップ310を感覚融合サブユニット30のローカリゼーション・モジュール301に繰り返し送信して、ライブマップ310を作成と更新する、
【0092】
S2.2. リレーションシップ・マネージャー・サブユニット32は、所定の関係要件のセットを適用することを含むライブマップ310から取得したデータに基づいて、複数のオブジェクトOnおよび／または複数の生物Lnの間の複数の関係Rnを繰り返し作成と更新する。繰り返し更新された複数の関係Rnは、ライブマップ310に繰り返し送信され、これにより、S2.1.から出力されるライブマップ310のコンテンツが、複数の関係Rnの内容を参照する層で更新される、
【0093】
S2.3. ローカリゼーションモジュール301は、感覚ユニット2から受信したデータ及びライブマップ310のデータに適用されるローカライズアルゴリズムを用いてライブマップ310の複数のオブジェクトOn、及び、それぞれ複数の生物Lnに対する感覚ユニット2の位置及び方位を繰り返しローカライズする。感覚ユニット2の位置と方向のローカライズは、感覚融合サブユニット30の歩行可能エリア検出モジュール302に繰り返し送信され、したがって、S2.2から出力されるようにライブマップ310コンテンツを、複数のオブジェクトOn、および、複数の生き物Lnに対する感覚ユニット2の位置と方向のローカライズデータを参照する層で更新する。
【0094】
S 2.4. 歩行可能エリア検出モジュール302は、自由エリアA に基づいて繰り返し決定する：
i) 感覚ユニット2から受信したデータ、
ii) ローカリゼーションモジュール301から受信したデータ、
iii) 永久的な所定の歩行可能エリア要件のセット、および
iv) 少なくとも1つの予測可能な条件付き歩行可能エリア要件を算出し、歩行可能エリア検出モジュール302のメモリーMに格納する。
i) 感覚ユニット2から受信したデータ、
ii) ローカリゼーションモジュール301から受信したデータ、
iii) 永久的な所定の歩行可能エリア要件のセット、および
iv) 少なくとも1つの予測可能な条件付き歩行可能エリア要件を算出し、歩行可能エリア検出モジュール302のメモリーMに格納する。
【0095】
繰り返し更新された自由エリアAの構成要素は、繰り返しライブマップ310に送信されるため、S2.3から出力されるライブマップ310のコンテンツは、自由エリアAの構成要素を参照するレイヤで更新される。
【0096】
S.2.5 更新されたライブマップ310は、メモリーMに繰り返し格納される。
【0097】
S.2.1 融合データに基づくライブマップ確定に関する内容
方位計算モジュール303は、慣性計測ユニット23から提供される慣性運動データに基づいて、ウェアラブルデバイス1の感覚ユニット2、複数のオブジェクトOn及び複数の生物Lnの感覚ユニット2に対する現在の位置及び方向を決定する。この目的のために、方位計算モジュール303は、カメラ21及び深度センサー22が、カメラ21に関して検出されたオブジェクトOnがどこにあるかを明らかにするが、地面に関してそれらがどのように配向されているかを明らかにしないので、3軸（ピッチ、ロール、ヨー）上のシステムの配向を計算し、オブジェクトの３次元位置決めのために、方位計算アルゴリズムを適用する。
方位計算モジュール303は、慣性計測ユニット23から提供される慣性運動データに基づいて、ウェアラブルデバイス1の感覚ユニット2、複数のオブジェクトOn及び複数の生物Lnの感覚ユニット2に対する現在の位置及び方向を決定する。この目的のために、方位計算モジュール303は、カメラ21及び深度センサー22が、カメラ21に関して検出されたオブジェクトOnがどこにあるかを明らかにするが、地面に関してそれらがどのように配向されているかを明らかにしないので、3軸（ピッチ、ロール、ヨー）上のシステムの配向を計算し、オブジェクトの３次元位置決めのために、方位計算アルゴリズムを適用する。
【0098】
オブジェクト2D特性抽出モジュール306は、カメラ21から取得した2D画像のピクセル単位の分割を行い、ピクセル単位の分割された2D画像において、視野20内に配置された複数のオブジェクトOnの各オブジェクトOn及び複数の生物Lnの各生物Lnを検出し、2D座標におけるそれぞれの位置、及びそれぞれの物理特性を決定する。
【0099】
オブジェクト2D特性抽出モジュール306は、いくつかのアクションを組み合わせたオブジェクト2D特性抽出アルゴリズムを使用する：
- オブジェクトOnや生物Lnの種類、その2次元位置と相対的な2次元サイズ、その2次元中心、カメラ21に対する2次元動きベクトルを、後続の複数の画像間のデータを比較することで判定するオブジェクト検出を行う；
- オブジェクトの姿勢を2D座標で判定するオブジェクトポーズ検出、
- 骨格の向きから生き物Lnの姿勢を判断する骨格姿勢検出は、走る、座る、咳をするなどの生き物Lnの活動や、寝ている、起きているなどの状態を把握するために使用される。
- 顔の特徴検出により、笑い、泣き声などの共感状態や、寝ている、起きている、疲れているなどの活動状態を判定する。
- 様々な観点からのアルゴリズムで構成されるオブジェクト特性判定、例えば：
- 椅子、ハンドルバー、冷蔵庫、または部屋の占有度、例えば、見える範囲を慣習的なイメージに基づくあるべき姿と比較することで、把握することができる；
- 透明な容器の場合など、容器の2D充填の程度；
- 製品の汚れの程度を知ることができる、例えば、カメラ21で撮影されたオブジェクトOnを既知の清浄なオブジェクトOnの画像と比較し、差異を算出すること。
- オブジェクトOnや生物Lnの種類、その2次元位置と相対的な2次元サイズ、その2次元中心、カメラ21に対する2次元動きベクトルを、後続の複数の画像間のデータを比較することで判定するオブジェクト検出を行う；
- オブジェクトの姿勢を2D座標で判定するオブジェクトポーズ検出、
- 骨格の向きから生き物Lnの姿勢を判断する骨格姿勢検出は、走る、座る、咳をするなどの生き物Lnの活動や、寝ている、起きているなどの状態を把握するために使用される。
- 顔の特徴検出により、笑い、泣き声などの共感状態や、寝ている、起きている、疲れているなどの活動状態を判定する。
- 様々な観点からのアルゴリズムで構成されるオブジェクト特性判定、例えば：
- 椅子、ハンドルバー、冷蔵庫、または部屋の占有度、例えば、見える範囲を慣習的なイメージに基づくあるべき姿と比較することで、把握することができる；
- 透明な容器の場合など、容器の2D充填の程度；
- 製品の汚れの程度を知ることができる、例えば、カメラ21で撮影されたオブジェクトOnを既知の清浄なオブジェクトOnの画像と比較し、差異を算出すること。
【0100】
さらに、オブジェクト3D特性融合モジュール307は、オブジェクト2D特性抽出モジュール306から、方位計算モジュール303から、および深度センサー22からデータを受け取り、複数のオブジェクトOn、および複数の生体Lnに関するオブジェクト2D特性抽出モジュール306から受け取った2次元情報について、さらに詳細な情報を決定する。
【0101】
従って、オブジェクト3D特性融合モジュール307は、3D座標における感覚ユニット2に対するオブジェクトOnのそれぞれの位置、寸法、構成、構造、色、形状、湿度、温度、占有度、清潔度、使用度、摩耗度、安定度、充実度、危険度、および感覚器2に対するそれらの方向などの物理特性、ならびに動きのベクトルに基づいて3D座標における所定の瞬間での将来の位置をそれぞれ決定する。また、オブジェクト3D特性融合モジュール307は、3D座標における各生物Lnの位置、身長や骨格姿勢の向き等の身体的特性に関するデータを確定し、所定の単位時間における将来の位置をそれぞれ予測する。骨格姿勢の向き、顔の表情、およびそれらの身体的特徴に基づいて、オブジェクト3D特性融合モジュール307は、各生物Lnの現在の活動および気分状態を決定する。
【0102】
音方向定位モジュール304は、音方向定位センサー24から受信したデータに基づいて、複数のオブジェクトOn及び複数の生物Lnの各々がそれぞれ発する3次元座標で表された複数の音ストリームの方向を決定する。
【0103】
方法の一実施形態において、複数のサウンドストリームの方向は、マイクロフォンの位置を知りながら、サウンドローカリゼーションセンサー24のマイクロフォン間のサウンドストリームの差異を比較することによって決定される。音方向定位モジュール304は、音ストリームが来る方向を検出して、音ストリームの来る源を三角測量する。
【0104】
音方向定位モジュール304によって方向が決定された複数の音ストリームのそれぞれは、音分類モジュール305によって音タイプに分類される。
【0105】
オブジェクト音特性融合モジュール308は、音分類モジュール305によって決定された分類された音種に基づいて、3次元座標が決定された複数のオブジェクトOnおよび生物Lnのそれぞれに音響特性を付加する。
【0106】
そして、オブジェクト音特性融合モジュール308は、ライブマップ310に格納するために、すべての融合データをライブマップサブユニット31に送信する。
【0107】
S.2.2. 複数の関係Rnの作成に関する詳細
リレーションシップ・マネージャ・サブユニット32から受信したデータに基づくライブマップ判定は、視覚障害者の環境を定義するさらに詳細な情報を提供する。このようにして、リレーションシップ・マネージャー・サブユニット32は、オブジェクトOnと生物Lnに関するより正確で詳細な情報を提供し、視覚障害者のより安全なナビゲーションという本発明の目的とより具体的なナビゲーション目標（後者は、本発明では関心点PIとして定義される）を達成する。
リレーションシップ・マネージャ・サブユニット32から受信したデータに基づくライブマップ判定は、視覚障害者の環境を定義するさらに詳細な情報を提供する。このようにして、リレーションシップ・マネージャー・サブユニット32は、オブジェクトOnと生物Lnに関するより正確で詳細な情報を提供し、視覚障害者のより安全なナビゲーションという本発明の目的とより具体的なナビゲーション目標（後者は、本発明では関心点PIとして定義される）を達成する。
【0108】
処理・制御ユニット3が使用するアルゴリズムには、以下のものがあるが、オブジェクト検出、オブジェクトポーズ検出、オブジェクト特性決定に限定されるものではない。処理・制御ユニット3が使用するアルゴリズムは、アイテムとして定義する：
- 複数のオブジェクトOnから各オブジェクトOn、
- 複数の生物Lnから各生物Ln、
- 椅子の脚など各オブジェクトOnの各構成部品、
- 各生きものLnの各部分。
- 複数のオブジェクトOnから各オブジェクトOn、
- 複数の生物Lnから各生物Ln、
- 椅子の脚など各オブジェクトOnの各構成部品、
- 各生きものLnの各部分。
【0109】
例えば、オブジェクトOnが4脚の椅子の場合、椅子は4脚のそれぞれから独立したアイテムとして定義される。
【0110】
項目化の程度は、本発明の範囲外であることが予め決められている。
【0111】
処理・制御ユニット3は、オブジェクトの物理的な関係性に基づいて、オブジェクトのクラスターを作成する。
【0112】
それで、オブジェクトOn、生物Ln、または2つ以上のオブジェクトOn、3つ以上の生物LnまたはオブジェクトOnと生物Lnの間の集合体を形成できるように、予め決められた親子関係が別々のアイテムを接続する。例えば、ドアハンドルはドアに属している。ドアハンドルとドアはどちらもアイテムである。一方のアイテム、他方のオブジェクトOnと生物Lnの主な違いは、オブジェクトOnと生物Lnは、オブジェクトと生物が何であるかについての人々の通常の期待に対応するのに対し、アルゴリズムではオブジェクトOnと生物Lnとその構成要素はすべてアイテムとして扱われることである。
【0113】
所定の条件関係とは、例えば、信号の色を条件として、横断歩道が歩行可能なエリアであるなど、ある条件が満たされた場合にのみ、別々のアイテムを接続することを指す。
【0114】
リレーションシップ・マネージャー・サブユニット32は、ライブマップ310からのデータを使用して特定のアルゴリズムを用いて可能な関係を計算する。
【0115】
親子関係については、アルゴリズムの非限定的な例として、以下のようなものがある：
- 物理的近接：オブジェクトOnや生物Lnに対応するアイテムが物理的に近接している場合、親子関係を形成する：
- キャップと水筒が近くにあれば、水筒が親になり、キャップが子になる、
- キーボードやマウスがコンピューターの近くにあると、それらが子供になり、コンピュータが親になる、
- 犬や猫などの生き物のペットが、生き物の人間の近くにいることを検知すると、ペットが子供になり、人間が親になる、
- ドアハンドルがドアに近づけば、ドアの子供になる。同様に、自動車のドアは自動車の子供である。
- 物理的な近接と封じ込め：オブジェクトOnや生物Lnに対応するアイテムが物理的に近接し、一方のオブジェクトや生物が他方のオブジェクトに含まれる場合、それらは別の親子関係を形成する：
- 魚が近くに検出され、水槽に収容されると、魚が親、水槽が子供となる、
- 透明な容器に液体が検出された場合、容器が親、液体が子となる、
- バスの近辺で座席が検出され、その座席がバスの中に収まっている場合、その座席はバスの子供となる、
- 交差を伴う物理的近接：オブジェクトOnが物理的に近接し、その平面の1つまたは複数が交差している場合、それらは別の親子関係を形成する：
- ドアと壁が近接して検出され、その平面が一致した場合、ドアは壁の子機になる、
- 物理的近接：オブジェクトOnや生物Lnに対応するアイテムが物理的に近接している場合、親子関係を形成する：
- キャップと水筒が近くにあれば、水筒が親になり、キャップが子になる、
- キーボードやマウスがコンピューターの近くにあると、それらが子供になり、コンピュータが親になる、
- 犬や猫などの生き物のペットが、生き物の人間の近くにいることを検知すると、ペットが子供になり、人間が親になる、
- ドアハンドルがドアに近づけば、ドアの子供になる。同様に、自動車のドアは自動車の子供である。
- 物理的な近接と封じ込め：オブジェクトOnや生物Lnに対応するアイテムが物理的に近接し、一方のオブジェクトや生物が他方のオブジェクトに含まれる場合、それらは別の親子関係を形成する：
- 魚が近くに検出され、水槽に収容されると、魚が親、水槽が子供となる、
- 透明な容器に液体が検出された場合、容器が親、液体が子となる、
- バスの近辺で座席が検出され、その座席がバスの中に収まっている場合、その座席はバスの子供となる、
- 交差を伴う物理的近接：オブジェクトOnが物理的に近接し、その平面の1つまたは複数が交差している場合、それらは別の親子関係を形成する：
- ドアと壁が近接して検出され、その平面が一致した場合、ドアは壁の子機になる、
【0116】
検出された関係をもとに、新しいアイテムを作成：
- 交差を伴う物理的近接：オブジェクトOnに対応するアイテムが近接し、それらが交差する場合、新しいアイテムタイプを作成し、そのアイテムの子として割り当てる：
- 床、屋根、複数の壁が近接・交差して検出された場合、それらは別のアイテムである部屋を形成し、その部屋の子供となる、
- 複数の部屋が生成された場合、近接し、交差することでフロアを形成し、フロアに対する子供となる、
- 1つまたは複数のフロアが生成された場合、それらはビルを作成し、そのビルの子供となる。
- 交差を伴う物理的近接：オブジェクトOnに対応するアイテムが近接し、それらが交差する場合、新しいアイテムタイプを作成し、そのアイテムの子として割り当てる：
- 床、屋根、複数の壁が近接・交差して検出された場合、それらは別のアイテムである部屋を形成し、その部屋の子供となる、
- 複数の部屋が生成された場合、近接し、交差することでフロアを形成し、フロアに対する子供となる、
- 1つまたは複数のフロアが生成された場合、それらはビルを作成し、そのビルの子供となる。
【0117】
条件付き関係については、アルゴリズムの非限定的な例として、以下のようなものがある：
- 物理的近接：オブジェクトOnに対応するアイテムが近接している場合、それらは条件関係を形成する：
- ドアベルがドアの近くで検出された場合、ドアに入る前にドアベルを鳴らす必要があるという条件付き関係を形成する、
- ドアハンドルの近くに鍵穴がある場合、ドアハンドルを操作する前に解錠しなければならない、という条件付きで両者は関係する、
- 向きを伴う物理的近接：オブジェクトOnに対応するアイテムが近接し、それらがある向きにある場合、それらは別の条件関係を形成する：
- 横断歩道などの条件付き歩行可能エリアCAが検出され、横断歩道に向いた歩行者用信号が検出された場合、検出された信号の色で条件付き歩行可能エリアCAを決定する。
- 物理的近接：オブジェクトOnに対応するアイテムが近接している場合、それらは条件関係を形成する：
- ドアベルがドアの近くで検出された場合、ドアに入る前にドアベルを鳴らす必要があるという条件付き関係を形成する、
- ドアハンドルの近くに鍵穴がある場合、ドアハンドルを操作する前に解錠しなければならない、という条件付きで両者は関係する、
- 向きを伴う物理的近接：オブジェクトOnに対応するアイテムが近接し、それらがある向きにある場合、それらは別の条件関係を形成する：
- 横断歩道などの条件付き歩行可能エリアCAが検出され、横断歩道に向いた歩行者用信号が検出された場合、検出された信号の色で条件付き歩行可能エリアCAを決定する。
【0118】
オブジェクトOnや生物Lnの種類によって、例えば、親から子へ伝えられる性質がある：
- ドアハンドルが車の子であるドアの子である場合、車が移動すると、ドアハンドルやドアがウェアラブルデバイス1の視野20に入らなくなったとしても、その間に車の位置が変わったとしても、その位置が更新されることになる。
- ドアハンドルが車の子であるドアの子である場合、車が移動すると、ドアハンドルやドアがウェアラブルデバイス1の視野20に入らなくなったとしても、その間に車の位置が変わったとしても、その位置が更新されることになる。
【0119】
複数の関係Rnを確立するためのアルゴリズムで使用される全てのパラメータは、予め決められている。例えば、物理的な近さを決定するために、予め決められた距離の範囲が使用される。
【0120】
S.2.3. 感覚ユニット2の位置と方向のローカリゼーションに関する詳細
ローカリゼーション・モジュール301は、感覚ユニット2のカメラ21、深度センサー22、慣性計測ユニット23から取得したデータに適用されるローカリゼーション・アルゴリズムによって、現在のライブマップ310上で、ウェアラブルデバイス1の感覚ユニット2及び感覚ユニット2に対する複数のオブジェクトOn及び生物Lnの現在の位置及び姿勢を、3D座標で繰り返し決定する。
ローカリゼーションの結果は、自由エリアAの構成要素を決定する歩行可能エリア検出モジュール302に送信される。
ローカリゼーション・モジュール301は、感覚ユニット2のカメラ21、深度センサー22、慣性計測ユニット23から取得したデータに適用されるローカリゼーション・アルゴリズムによって、現在のライブマップ310上で、ウェアラブルデバイス1の感覚ユニット2及び感覚ユニット2に対する複数のオブジェクトOn及び生物Lnの現在の位置及び姿勢を、3D座標で繰り返し決定する。
ローカリゼーションの結果は、自由エリアAの構成要素を決定する歩行可能エリア検出モジュール302に送信される。
【0121】
S.2.4 自由エリアAの構成要素の決定に関する詳細
永久的な所定の歩行可能エリア要件のセットは、様々な一般的な安全性および快適性の要件を考慮し、視覚障害者ごとに予め設定されたカテゴリからなる。
永久的な所定の歩行可能エリア要件のセットは、様々な一般的な安全性および快適性の要件を考慮し、視覚障害者ごとに予め設定されたカテゴリからなる。
【0122】
このセットは、少なくとも次の2つのカテゴリーから構成される：
- 幾何学的な歩行可能エリア要件とは、視覚障害者が仮想的に占領する空間の幾何学的な形状を意味する。したがって、視覚障害者の寸法に調整された３次元を有する仮想直方体が想像される。仮想直方体は、視覚障害者が静止しているとき又は移動しているときに、視覚障害者を怪我から確実に保護する。このカテゴリーの要件の非限定的な例としては、地面のレベルの振動が所定の高さを超えてはならない、地面から一定の距離に置かれた梁は、その距離が所定の閾値以下であれば危険とみなされる、などがある。
- 表面の所定の歩行可能エリアの要件: 特定の地面タイプは除外されますが、これらに限定されない: 5 cm などの所定の幅を超える水膜、氷、泥、通り、道路。
- 幾何学的な歩行可能エリア要件とは、視覚障害者が仮想的に占領する空間の幾何学的な形状を意味する。したがって、視覚障害者の寸法に調整された３次元を有する仮想直方体が想像される。仮想直方体は、視覚障害者が静止しているとき又は移動しているときに、視覚障害者を怪我から確実に保護する。このカテゴリーの要件の非限定的な例としては、地面のレベルの振動が所定の高さを超えてはならない、地面から一定の距離に置かれた梁は、その距離が所定の閾値以下であれば危険とみなされる、などがある。
- 表面の所定の歩行可能エリアの要件: 特定の地面タイプは除外されますが、これらに限定されない: 5 cm などの所定の幅を超える水膜、氷、泥、通り、道路。
【0123】
条件付き歩行可能エリアCWAは、永久的な所定の歩行可能エリア要件のセットを満たし、さらに、少なくとも1つの予測可能な条件付き歩行可能エリア要件を満たさなければならない。
【0124】
永久的な所定の歩行可能エリア要件のセットだけでなく、少なくとも1つの予測可能な条件付き歩行可能エリア要件は、視覚障害者ごとに予め設定され、メモリーMに格納される。歩行可能エリア検出モジュール302は、前記要件を、一方ではカメラ21及び深度センサー22から、他方ではローカリゼーション・モジュール301から受け取るデータに適用し、ローカリゼーション・モジュール 301 から受け取った前記データは、リレーションシップ・マネージャー・サブユニット32から受け取ってライブマップ310に記憶した関係の更新を含む。
【0125】
別の好ましい実施形態では、ライブマップ310の一部は、いずれかの地理的地図サイトからインターネットからダウンロード可能であり、当該部分は、S2.1～S2.4で説明したレイヤーを考慮し、地図がダウンロードされる地理的地図サイトに応じて、各レイヤーの情報が部分的または完全的なことである。インターネットからのダウンロードは、インターネットに接続された、グラフィカルに表現されない通信ユニット7を使用して行われる。この場合、ローカリゼーション・モジュール301は、ダウンロードされたライブマップ310上で感覚ユニット2の位置と方向をローカライズする。
【0126】
また、ライブマップサブユニット31のメモリに過去に記憶されたライブマップ310がある場合には、過去に記憶されたライブマップ310のライブマップ判定に基づいて、ライブマップ310を作成する。
【0127】
以前にライブマップサブユニット31によって決定されたため、またはインターネットからダウンロードされたため、またはそれらの両方のために、ウェアラブルデバイス1のメモリーMに以前に記憶されたライブマップ310が存在する場合、感覚ユニット2から受信したデータに基づく決定は、ローカリゼーションモジュール301によって感覚ユニット2の現在の位置と向きを、以前に保存されたライブマップ310内の識別によってステップ2.3から開始され、歩行可能エリア検出モジュール３０２による、歩行可能エリアＷＡおよび条件付き歩行可能エリアＣＷＡを含む自由エリアＡの識別は、感覚ユニット２から受信したデータに適用されるローカリゼーション・アルゴリズムによって行われる。
【0128】
さらに、ライブマップ 310は、S2.1～S2.2 で説明した追加情報で繰り返し更新され、残りのステップ2.3とステップ2.4とステップ 2.5.は、上述のように実行される。
【0129】
好ましい実施形態では、ライブマップ（310）は、SLAM（Simultaneous Localisation and Mapping）アルゴリズムを使用し、感覚融合サブユニット（30）により更新される。
【0130】
特にSLAMアルゴリズムは、新しい位置情報を用いて推定位置を改善する反復処理を行うために、有利である。反復処理が高いほど、位置精度は高くなる。そのため、計算と、処理ユニットの並列処理機能を備えた高度なハードウェアに、より多くの時間がかかる。
【0131】
別の好ましい実施形態では、使用されるSLAMアルゴリズムは視覚 SLAM アルゴリズムであり、膨大な情報を提供し、サイズ、重量、および電力SWaPフットプリントが極めて低い受動センサーおよびコンポーネントを使用することができるので安価で実装が容易であるという利点がある。
【0132】
これまで開示した本発明は、開始要求を送信する前に、視覚障害者が関心点PIを知ることができた場合について言及している。
【0133】
また、視覚障害者が開始要求を送信する前に、関心点PIに関する十分な情報を持っていない場合もある。典型的な例は、新しい環境に到着したとき、または座席のいつもの場所など、既知の環境で何かが変化したときである。
【0134】
例えば、視覚障害者が4つの窓がある新しい部屋に入ったときである。彼は窓を開けたいと考えている。しかし、4つの窓のうち、どれを関心点PIとして選択すればいいのだろうか。また、視覚障害者が、例えば占領した30席と自由席10席がある会議室に入ったとする。自由席10席のうち、どれを関心点PIとして選べばいいのでしょうか？
【0135】
開始要求を送信する前に関心点PIを選択するために、視覚障害者が自分の環境から追加の情報を必要とするこれらの場合を包含するために、別の好ましい実施形態では、関心点PIが視覚障害者によって知られていない場合、ステップ 3の他のすべてのサブステップの前に、サブステップ3-0が実施される。
【0136】
S.3-0.1において、視覚障害者は、複数のオブジェクトOnから選択された少なくとも1つのオブジェクトOnまたは複数の生物 Ln から選択された少なくとも1つの生物Lnに関する情報要求を処理・制御ユニット3の音声表現サブユニット36に送り、当該少なくとも1つのオブジェクトOnまたは少なくとも1つの生物Lnを視覚障害者にとっての潜在的関心点PPIとする。複数のオブジェクトOnから選択された少なくとも1つのオブジェクトOnの例は、選択された部屋からの窓のグループであり、これは「窓」と呼ばれる。
【0137】
なお、「潜在的」とは、オブジェクトOnの中からいずれかのオブジェクトOnが初期関心点PIとして選択される可能性があることを意味する。音声表現サブユニット36は、
- ライブマップサブユニット 31、フィードバック・マネージャー・サブユニット35、及びユーザー・コマンド・インターフェース・サブユニット34に接続された自己完結型のサブユニットのいずれか、または
- 図1 において簡略化のために表現されているように、ナビゲーション・マネージャー・サブユニット33のサブユニット、または
- フィードバック・マネージャー・サブユニット35のモジュールである。
- ライブマップサブユニット 31、フィードバック・マネージャー・サブユニット35、及びユーザー・コマンド・インターフェース・サブユニット34に接続された自己完結型のサブユニットのいずれか、または
- 図1 において簡略化のために表現されているように、ナビゲーション・マネージャー・サブユニット33のサブユニット、または
- フィードバック・マネージャー・サブユニット35のモジュールである。
【0138】
4つの窓がある部屋を例にとると、視覚障害者は、ユーザコマンドインタフェース5を介して、音声表現サブユニット36に「窓」という名の情報要求を送り、部屋にある窓の数、部屋での位置、窓の大きさや形状、ハンドルの位置を知ることに興味があることを示す。窓は、この例では、潜在的関心点PPIになる。この情報要求は、視覚障害者が情報要求を送信した瞬間に立っている場所（この場合は部屋）の近傍にある、所定の関心領域を参照する。
【0139】
情報要求は、開始要求や選択要求と同様に、ユーザー・コマンド・インタフェース5から ユーザー・コマンド・インタフェース・マネジャー・サブユニット 34 を介して音声表現サブユニット36へ送信される。
【0140】
S.3-0.2.において、音声表現サブユニット36は、音声表現サブユニット36が前記フィードバックマネージャーサブユニット35の一部でない場合、ライブマップ310から、選択した少なくとも一つの特定のオブジェクトOn又は少なくとも一つの特定の生物Lnに関する情報を取り出し、前記少なくとも一つの特定のオブジェクトOn又は少なくとも一つの特定の生物Lnを、それぞれ、対応の空間化サウンドとして表現して、空間化サウンドを、フィードバック・マネージャー・サブユニット 35を介してフィードバックユニット4へ伝達する。
【0141】
空間化されたサウンドによる表現は、音声表現サブユニット36によって、選択されたオブジェクトOnまたはそれぞれ選択された生物Lnの分類された音型を、所定の空間化されたサウンド基準に基づいて符号化することによって作成される。
【0142】
所定の空間化されたサウンドの基準の非限定的かつ非網羅的な例としては、以下である。
- オブジェクトOnの特定のカテゴリーからのオブジェクトOnの特定の特徴または生物Lnの特定のカテゴリーからの生物Lnの特定の特徴に依存する音のバイノーラル仮想化、
- 空間化された音の周波数、振幅、周期、周波数成分、フィルファクター、または持続時間、および繰り返しの空間化されたサウンドの、前記オブジェクトOnと生物Lnの視覚障害者との相対距離に応じての変化。
- オブジェクトOnの特定のカテゴリーからのオブジェクトOnの特定の特徴または生物Lnの特定のカテゴリーからの生物Lnの特定の特徴に依存する音のバイノーラル仮想化、
- 空間化された音の周波数、振幅、周期、周波数成分、フィルファクター、または持続時間、および繰り返しの空間化されたサウンドの、前記オブジェクトOnと生物Lnの視覚障害者との相対距離に応じての変化。
【0143】
選択されたオブジェクトOnまたは、それぞれ選択された生物Lnの分類された音の種類を所定の空間化されたサウンドの基準に基づいて符号化するタイプは、音の様々な技術的特徴を区別するユーザーの能力を決定する試験手順に基づいて選択される。
【0144】
視覚障害者は、音源から発せられる音を処理する人間の自然な能力を利用しウェアラブルデバイス1による十分なトレーニングに従って、空間化された各サウンドを定位することができる。
【0145】
空間化された音の定位は、3つの空間次元で行われる。
- 水平：視覚障害者の額の方位に本質的に対応するウェアラブルデバイス1の方位、
- 垂直：地面からウェアラブルデバイス 1 までの高さを測定し、実質的に視覚障害者の額の高さに対応する高さ、
- 感覚ユニット2の立ち位置から測定される距離範囲または近遠距離の寸法。
- 水平：視覚障害者の額の方位に本質的に対応するウェアラブルデバイス1の方位、
- 垂直：地面からウェアラブルデバイス 1 までの高さを測定し、実質的に視覚障害者の額の高さに対応する高さ、
- 感覚ユニット2の立ち位置から測定される距離範囲または近遠距離の寸法。
【0146】
S.3-0.3において、視覚障害者は、前記特定の複数のオブジェクトOnまたは前記複数の生物Lnからそれぞれ関心点PIを選択し、対応する選択をナビゲーション・マネージャー・サブユニット33に送信する。
【0147】
例2のグループは、音声表現に関する問題を詳しく説明する。
【0148】
状況によっては、例えば、視覚障害者が新しい目的地に到着したときに、関心点PIがライブマップ310にないことがある。
【0149】
この場合、ライブマップユニット31は、ナビゲーション・マネージャーサブユニット33とユーザー・コマンド・インターフェース・マネージャー・サブユニット34に、関心点PIがライブマップ310 にないことを確認するために送る。この方法は、少なくとも1つのナビゲーションパス（Pn）を決定し、繰り返し更新し、記憶する前に、S3において追加のサブステップがある：
【0150】
S3-1 ナビゲーション・マネージャー・サブユニット33は、グラフィカルに表現されていないワンダリングパスWP決定し、一方、方法のS1およびS2は、関心点PIが発見されてライブマップ310に格納されるまで繰り返され、ワンダリングパスWPは少なくとも二つのナビゲーションパス要件を満足する。
【0151】
ナビゲーション・マネージャー・サブユニット33が対応する空間化されたサウンドの特定カテゴリーのオブジェクトOnまたは前記特定カテゴリーの生物Lnとして表している間に、ワンダリングパスWPを決定することが可能である。関心点PIの選択に関する決定がなされると、方法のステップ3とステップ4の残りは、開示されたように実施される。
【0152】
ステップＳ４に関する詳細
すべての案内モードは、視覚障害者がナビゲートする際に、優先ナビゲーションパスSPを維持することを目的としている。各優先ナビゲーションパスSPは、実生活で生じる様々なナビゲーション状況に対応する独自の複雑さの程度を有している。本発明者らは、客観的基準と主観的基準の両方を含む所定の優先ナビゲーションパスSPの複雑さの基準に対応するスコアを用いて、優先ナビゲーションパスSPの複雑さの程度を定量化しようと考え、後者は客観的基準に対する視覚障害者の独自の解釈である。例えば、特定の視覚障害者にとって長い距離と感じられるものが、他の視覚障害者にとっては長いと感じられない、騒音や周囲の温度についても同様である。
すべての案内モードは、視覚障害者がナビゲートする際に、優先ナビゲーションパスSPを維持することを目的としている。各優先ナビゲーションパスSPは、実生活で生じる様々なナビゲーション状況に対応する独自の複雑さの程度を有している。本発明者らは、客観的基準と主観的基準の両方を含む所定の優先ナビゲーションパスSPの複雑さの基準に対応するスコアを用いて、優先ナビゲーションパスSPの複雑さの程度を定量化しようと考え、後者は客観的基準に対する視覚障害者の独自の解釈である。例えば、特定の視覚障害者にとって長い距離と感じられるものが、他の視覚障害者にとっては長いと感じられない、騒音や周囲の温度についても同様である。
【0153】
以下には、所定の優先ナビゲーションパスの複雑さの基準の非限定的かつ非網羅的な例をいくつか提示する：
- 歩行可能エリアWAと条件付き歩行可能エリアCWAの幅：幅10cmの歩行可能エリアWAと幅3mの歩行可能エリアWAでは、ナビゲーションの仕方が違う、
- 関心点PIまでの残り距離、
- 30°、75°などの回転数と回転角度、
- 階段の勾配や段数、
- 聴覚キューの使用を制限する可能性があるため、環境の騒音。
- 歩行可能エリアWAと条件付き歩行可能エリアCWAの幅：幅10cmの歩行可能エリアWAと幅3mの歩行可能エリアWAでは、ナビゲーションの仕方が違う、
- 関心点PIまでの残り距離、
- 30°、75°などの回転数と回転角度、
- 階段の勾配や段数、
- 聴覚キューの使用を制限する可能性があるため、環境の騒音。
【0154】
触覚キューは、予め設定された優先ナビゲーションパスの複雑度の基準に従って、振動の持続時間、周期性、強度または頻度が変化する。
【0155】
聴覚キューは、予め設定された優先ナビゲーションパスの複雑度の基準に従って、周波数、持続時間、繰り返し、強度、または3D空間仮想化において変化する。
【0156】
触覚キューと聴覚キューそれぞれの変化は、予め設定された優先ナビゲーションパスSP複雑度の基準によって定量化された各優先ナビゲーションパスの複雑度に、視覚障害者の案内を適応させるという利点がある。
【0157】
触覚キューと聴覚キューの特性の変化、触覚キューと聴覚キューを組み合わせる可能性の利点は、以下の通りである。
- 視覚障害者に対して、ナビゲーションパスをより正確に、より安全に案内することができる、
- 予め設定された優先ナビゲーションパスの複雑度の基準に応じて、ガイダンスをカスタマイズする可能性を提供する；
- 視覚障害者にとって、より快適なナビゲーションを提供し、常に必要なキューを調整しながら、より多くの判断を下す可能性がある。
- 視覚障害者に対して、ナビゲーションパスをより正確に、より安全に案内することができる、
- 予め設定された優先ナビゲーションパスの複雑度の基準に応じて、ガイダンスをカスタマイズする可能性を提供する；
- 視覚障害者にとって、より快適なナビゲーションを提供し、常に必要なキューを調整しながら、より多くの判断を下す可能性がある。
【0158】
触覚キュー
触覚キューは、触覚フィードバックアクチュエータ41を介して受信される。視覚障害者は、各タイプの触覚キューを特定の案内指示と関連付けるために、ウェアラブルデバイス1の使用前にトレーニングを受ける。
触覚キューは、触覚フィードバックアクチュエータ41を介して受信される。視覚障害者は、各タイプの触覚キューを特定の案内指示と関連付けるために、ウェアラブルデバイス1の使用前にトレーニングを受ける。
【0159】
図6を参照すると、前方、左折、右折の3方向の案内を最低限確保するために、額の方位、つまり同じ水平に配置された3つの触覚フィードバックアクチュエータ41が最低必要である。
- 左の触覚フィードバック・アクチュエータ411は、額の左部分に取り付けられる、
- 右の触覚フィードバック・アクチュエータ412は、額の右部分に取り付けられる、
- 中央の触覚フィードバック・アクチュエータ413は、額の中央に取り付けられる。
- 左の触覚フィードバック・アクチュエータ411は、額の左部分に取り付けられる、
- 右の触覚フィードバック・アクチュエータ412は、額の右部分に取り付けられる、
- 中央の触覚フィードバック・アクチュエータ413は、額の中央に取り付けられる。
【0160】
触覚フィードバックアクチュエータ41は、振動アクチュエータや超音波触覚フィードバックアクチュエータのような近距離遠隔触覚が含まれる。
【0161】
振動アクチュエータは、フィードバック・マネージャー35から受信した電気信号を視覚障害者の額に感じる強制振動に変換する複数の共振アクチュエータからなり、当該振動は特定の誘導指示に関連付けられる。
【0162】
本発明で使用される振動アクチュエータの非限定的な例としては、リニア共振アクチュエータが挙げられる。左の触覚フィードバック・アクチュエータ411、右の触覚フィードバック・アクチュエータ412、中央の触覚フィードバック・アクチュエータ413の各々は、1つ以上のリニアレゾナントアクチュエータからなり得る。
【0163】
リニア共振アクチュエータを使用することは、その既知の良好な触覚性能、他の振動アクチュエータと比較した共振時の効率の向上、電力消費を最適化する能力、および3方向以上の案内が想定される場合に、例えばマトリックスの形で構成できる小型のサイズのために本発明に有利となる。
【0164】
触覚キューには2種類ある。
- 時間的触覚キューとは、いずれかの触覚フィードバックアクチュエータ41を用いて、時間の等間隔または不等間隔で受け取るキューである、
- 時空間的キュー（代わりに触覚パターンキューと呼ばれる）は、空間的成分と組み合わされた時間的成分、すなわち、視覚障害者が方向を変えなければならない方向、例えば、下から上へ、又は上から下へ、又は右又は左へ、等を表すパターンを有する。方向の触覚感覚は、例えば、リニア共振アクチュエータを使用することによって得られる。これは、共振時の効率が向上すると、触覚キューの振動の持続時間、周期性、強度、または周波数の変化を向上させるためである。複数のリニア共振アクチュエータは、所定の早さで振動を出力し、1つのリニア共振アクチュエータが視覚障害者が方向を変えるべき方向に次々と振動することで、視覚障害者が方向を変えるべき方向に誰かに額を引きずられるような触感を与えるようにする。
- 時間的触覚キューとは、いずれかの触覚フィードバックアクチュエータ41を用いて、時間の等間隔または不等間隔で受け取るキューである、
- 時空間的キュー（代わりに触覚パターンキューと呼ばれる）は、空間的成分と組み合わされた時間的成分、すなわち、視覚障害者が方向を変えなければならない方向、例えば、下から上へ、又は上から下へ、又は右又は左へ、等を表すパターンを有する。方向の触覚感覚は、例えば、リニア共振アクチュエータを使用することによって得られる。これは、共振時の効率が向上すると、触覚キューの振動の持続時間、周期性、強度、または周波数の変化を向上させるためである。複数のリニア共振アクチュエータは、所定の早さで振動を出力し、1つのリニア共振アクチュエータが視覚障害者が方向を変えるべき方向に次々と振動することで、視覚障害者が方向を変えるべき方向に誰かに額を引きずられるような触感を与えるようにする。
【0165】
所定の優先ナビゲーションパス複雑度の基準を適用する非限定的な例を以下に示す。
- 触覚キューは、より強く、及び／又はより頻繁に、及び／又はより高い振動数が正比例している：
- 優先ナビゲーションパスSPからの逸脱の程度、
- 90度曲がるのと30度しか曲がらないのを区別したり、10段登るのと2段登るのを区別するために、視覚障害者が必要とする動作量。
- 触覚キューは、多くの触覚キューを受け取ることによる視覚障害者の疲労を避けるために、関心点PIへのナビゲーションの推定時間が所定の時間閾値を超える場合、より小さい持続時間及び／又はより小さい強度及び／又はより小さい振動速度を有する。
- 触覚キューは、より強く、及び／又はより頻繁に、及び／又はより高い振動数が正比例している：
- 優先ナビゲーションパスSPからの逸脱の程度、
- 90度曲がるのと30度しか曲がらないのを区別したり、10段登るのと2段登るのを区別するために、視覚障害者が必要とする動作量。
- 触覚キューは、多くの触覚キューを受け取ることによる視覚障害者の疲労を避けるために、関心点PIへのナビゲーションの推定時間が所定の時間閾値を超える場合、より小さい持続時間及び／又はより小さい強度及び／又はより小さい振動速度を有する。
【0166】
触覚キューの種類は、視覚障害者のニーズに応じて、各場合に予め決定される。触覚キューの事前決定の例は、本発明の教示をよりよく理解するために以下に提示され、同じように限定するためのものではない。
- 感覚ユニット2の現在位置からナビゲーションを開始するための第1触覚キュー、
- 視覚障害者が優先ナビゲーションパスSPから左に逸脱したことを知らせるための第2触覚キュー、
- 視覚障害者が優先ナビゲーションパスSPから右に逸脱したことを知らせるための第3触覚キュー、
- 前に進むための第4触覚キュー、
- 左右に曲がるときの第５触覚キュー、
- 上下に進むための第6触覚キュー、
- ナビゲーション・マネージャー・サブユニット33が、少なくとも1つのナビゲーションパス要件が満たされていないことを検出した場合、または、少なくとも1つの予測可能な条件付き歩行可能エリア要件が満たされるまで停止するようにナビゲーション指示を送信する必要がある条件付き歩行可能エリアCAを検出した場合、ナビゲーションが終了していないときに一時停止する第7触覚キュー、
- 関心点PIに到達すると、ナビゲーションの終了を知らせるための第８触覚キュー。
- 感覚ユニット2の現在位置からナビゲーションを開始するための第1触覚キュー、
- 視覚障害者が優先ナビゲーションパスSPから左に逸脱したことを知らせるための第2触覚キュー、
- 視覚障害者が優先ナビゲーションパスSPから右に逸脱したことを知らせるための第3触覚キュー、
- 前に進むための第4触覚キュー、
- 左右に曲がるときの第５触覚キュー、
- 上下に進むための第6触覚キュー、
- ナビゲーション・マネージャー・サブユニット33が、少なくとも1つのナビゲーションパス要件が満たされていないことを検出した場合、または、少なくとも1つの予測可能な条件付き歩行可能エリア要件が満たされるまで停止するようにナビゲーション指示を送信する必要がある条件付き歩行可能エリアCAを検出した場合、ナビゲーションが終了していないときに一時停止する第7触覚キュー、
- 関心点PIに到達すると、ナビゲーションの終了を知らせるための第８触覚キュー。
【0167】
視覚障害者の他のナビゲーション状況や要件に対応するために、さらなる触覚キューを定義することができる。
【0168】
より正確なガイダンスを保証し、同時に視覚障害者が触覚キューで不必要な過負荷を受けるのを避けるために、触覚キューの種類を組み合わせることができる。例えば、
- 開始/停止などの単純なナビゲーション指示の場合 - 上記の例の１番目、7 番目、8 番目のキューは一時的なキューのみを使用できるが、
- 複雑なナビゲーション指示の場合、時空間キューを使用することができる。理由は、左折/右折または上下方向のガイダンスが、時間的な触覚キューのみ使用する場合よりも、触覚パターンキューに振動基準を適用した場合の方がより正確であるためである。
- 開始/停止などの単純なナビゲーション指示の場合 - 上記の例の１番目、7 番目、8 番目のキューは一時的なキューのみを使用できるが、
- 複雑なナビゲーション指示の場合、時空間キューを使用することができる。理由は、左折/右折または上下方向のガイダンスが、時間的な触覚キューのみ使用する場合よりも、触覚パターンキューに振動基準を適用した場合の方がより正確であるためである。
【0169】
使用されるフィードバックアクチュエータ41から1つ以上への触覚キューの各タイプの割り当ては、予め決められている。
【0170】
聴覚キュー
聴覚キューは、視覚障害者の耳の聴覚フィードバックアクチュエータ42を介して受信される人間によって知覚可能な音である。
聴覚キューは、視覚障害者の耳の聴覚フィードバックアクチュエータ42を介して受信される人間によって知覚可能な音である。
【0171】
聴覚フィードバックアクチュエータ42は、フィードバック・マネージャー・サブユニット35から受信した電気信号を音に変換するスピーカー、ヘッドフォンまたは骨伝導スピーカーである。聴覚フィードバックアクチュエータ42を通じて受信される関連ナビゲーション案内指示は、 各関連ナビゲーション案内指示に特定の音を割り当てるという原理に基づく。
【0172】
図6を参照すると、最低2つの聴覚フィードバックアクチュエータ42が使用される：
- 左聴覚フィードバックアクチュエータ421、左耳またはその周辺に取り付けられる、
- 右聴覚フィードバックアクチュエータ422、右耳またはその周辺に取り付けられる。
- 左聴覚フィードバックアクチュエータ421、左耳またはその周辺に取り付けられる、
- 右聴覚フィードバックアクチュエータ422、右耳またはその周辺に取り付けられる。
【0173】
左聴覚フィードバックアクチュエータ421および右聴覚フィードバックアクチュエータ422の各々は、同じ方位に配置された複数のスピーカ、ヘッドホンまたは骨伝導スピーカで構成される。
【0174】
聴覚キューの種類は、視覚障害者のニーズに応じて、それぞれのケースで予め決定される。本発明をよりよく理解するために、聴覚キューの事前決定の例を以下のように示すが、これを限定するものではない。
- 感覚ユニット2の現在位置からナビゲーションを開始するための最初の聴覚キュー、
- 視覚障害者が優先ナビゲーションパスSPから左に逸脱したことを知らせるための第2聴覚キュー、
- 視覚障害者が優先ナビゲーションパスSPから右に逸脱したことを知らせるための第3聴覚キュー、
- 前に進むための第4聴覚キュー、
- 左右に曲がるときの第5聴覚キュー、
- 上下に進むための第6触覚キュー、
- ナビゲーションが終了していない時に、一時的に停止するための第7聴覚キュー、
- 関心点PIに到達すると、ナビゲーションの終了を知らせるための第8聴覚キュー。
- 感覚ユニット2の現在位置からナビゲーションを開始するための最初の聴覚キュー、
- 視覚障害者が優先ナビゲーションパスSPから左に逸脱したことを知らせるための第2聴覚キュー、
- 視覚障害者が優先ナビゲーションパスSPから右に逸脱したことを知らせるための第3聴覚キュー、
- 前に進むための第4聴覚キュー、
- 左右に曲がるときの第5聴覚キュー、
- 上下に進むための第6触覚キュー、
- ナビゲーションが終了していない時に、一時的に停止するための第7聴覚キュー、
- 関心点PIに到達すると、ナビゲーションの終了を知らせるための第8聴覚キュー。
【0175】
視覚障害者のナビゲーションの状況や要求に対応するために、さらなる種類の聴覚的キューを定義することができる。
【0176】
聴覚フィードバックアクチュエータ42から1つ以上への各タイプの聴覚キューの割り当ては、予め決められている。
【0177】
音の由来を考えると、2種類の音がある。
- 聴覚フィードバックアクチュエータ42に由来する単純な音で、スタートやストップなどの単純な関連ナビゲーション案内指示に使用される、
- 1つ以上の空間化音源Sから発信される空間化音で、スタートとストップを除く全ての関連ナビゲーション案内指示に使用される。
- 聴覚フィードバックアクチュエータ42に由来する単純な音で、スタートやストップなどの単純な関連ナビゲーション案内指示に使用される、
- 1つ以上の空間化音源Sから発信される空間化音で、スタートとストップを除く全ての関連ナビゲーション案内指示に使用される。
【0178】
図8Aおよび図8Bに描かれている1つの好ましい実施形態では、案内モードは、優先ナビゲーションパスSPを水平縦軸として有する、所定の断面の仮想トンネルとして定義された3次元歩行可能トンネルTを含む。S4の案内モードは、視覚障害者が歩行可能トンネルTの仮想壁に近づいたときに視覚障害者に送られる特定の触覚キューからなる。
【0179】
三次元歩行可能トンネルTは、ナビゲーションマネージャーサブユニット33が優先ナビゲーションパスSPと同時に決定し、触覚キューとともにフィードバックマネージャーサブユニット35に送られる。
【0180】
歩行可能トンネルTの利点は、歩行可能トンネルTの仮想壁によって規定される左右の自由度を大きくして、視覚障害者がより快適にナビゲーションできることである。
【0181】
案内キューは、視覚障害者が歩行可能なトンネルTの空間定義された仮想壁内に戻るように歩行可能なトンネルTの仮想壁に到達しているときに送信される。いくつかの実施形態では、歩行可能トンネルTの仮想壁を合図する案内キューとは別に、視覚障害者が歩行可能トンネルTの仮想壁内で安全に航行していることを確認するために、他の案内キューが送信される。
【0182】
歩行可能トンネルTの断面は、ナビゲーションパスSPに沿った複数の可能な断面や、視覚障害者の好みに応じて予め決定される。
【0183】
例1では、歩行可能トンネルTを使った案内モードを詳しく紹介する。
【0184】
別の好ましい実施形態では、図9を参照すると、優先ナビゲーションパスSPは、複数のマイルストーン93によって区切られた予め定められたセグメントに分割されている。各セグメントは、一端に現在のマイルストーン93を有し、他端に後続のマイルストーン93を有する。単語「次」および「後続」は、同じ意味を有する。
【0185】
ステップS4の案内モードは、触覚キュー及び／又は聴覚キューが次のマイルストーン93の位置を知らせ、現在のマイルストーン93から後のマイルストーン 93まで、視覚障害者に関連するナビゲーション案内指示を提供することからなる。視覚障害者が後のマイルストーン93を既に通過した場合、当該後のマイルストーン93は現在のマイルストーン93となる、等。
【0186】
予め定められたセグメントの長さは、優先ナビゲーションパスSP の複雑さや長さに応じて変化する。
【0187】
連続する2つのマイルストーン93間の各セグメントの長さは、所定の優先ナビゲーションパス複雑度の基準に反比例し、優先ナビゲーションパスSPが複雑であるほど、各セグメントが短くなる。マイルストーン93は、直進する部分よりも、水平面または垂直面のいずれかに方向転換を含む部分でより頻繁に配置される。
【0188】
連続する2つのマイルストーン93間の各セグメントの長さは、所定の優先ナビゲーションパスSP複雑化基準を適用して決定されるため、図9のように、優先ナビゲーションパスSPに沿ったセグメントの長さは必ずしも等しくはない。
【0189】
各セグメントの長さは、前記所定の優先ナビゲーションパスの複雑度の基準に対応するスコアを用いて計算することができ、または人工知能ベースの学習方法を用いて動的に適応させることができる。例えば、視覚障害者が反復するいくつかの優先ナビゲーションパスSPを有し、マイルストーンをお気に入りとして使用することによって案内方法を選択する場合、マイルストーンの長さを動的に適応させるために前記学習方法を使用することが便利である。
【0190】
現在のマイルストーン93からその後のマイルストーン93までの案内モードで使用するキューは、以下である。
- 触覚キュー
- 聴覚キュー、または
- 触覚と聴覚キュー
- 触覚キュー
- 聴覚キュー、または
- 触覚と聴覚キュー
【0191】
触覚キューを使用する非限定的な例として、以下のようなものがある。
- 第1、第7、第8のキューは時間的なものである
- 第2および第3のキューは、視覚障害者が優先ナビゲーションパスSPから離れる場合の時空間的なシグナリングである
- 第4キューは、時空間的に次のマイルストーン93を示すもので、前進するときに使う
- 第5と第6のキューは、時空間的に次のマイルストーン93を示すもので、この場合、視覚障害者が水平面または垂直面上で移動方向を変えなければならない場所と定義される
- 第1、第7、第8のキューは時間的なものである
- 第2および第3のキューは、視覚障害者が優先ナビゲーションパスSPから離れる場合の時空間的なシグナリングである
- 第4キューは、時空間的に次のマイルストーン93を示すもので、前進するときに使う
- 第5と第6のキューは、時空間的に次のマイルストーン93を示すもので、この場合、視覚障害者が水平面または垂直面上で移動方向を変えなければならない場所と定義される
【0192】
触覚パターンキューの振動の持続時間、周期性、強度又は周波数の変化は、予め決められた優先ナビゲーションパスの複雑度の基準に正比例し、同時に、次のマイルストーン 93までの距離に反比例して変化する。
【0193】
聴覚キューを使用する非限定的な例として、以下のようなものがある。
- 第1、7、8キューは単純な音、
- 他の全てのキューが空間化された音である。聴覚フィードバックアクチュエータ42は、視覚障害者が後のマイルストーン93に到達するまで、後のマイルストーン93の位置から聞こえる空間化された音を用いて後のマイルストーン93の空間上の位置を繰り返し出力する。各マイルストーン93に到達すると、その空間化音は聞こえなくなり、現在のマイルストーン93となり、次のマイルストーン93に対応する空間化音が聞こえ始める等である。
- 第1、7、8キューは単純な音、
- 他の全てのキューが空間化された音である。聴覚フィードバックアクチュエータ42は、視覚障害者が後のマイルストーン93に到達するまで、後のマイルストーン93の位置から聞こえる空間化された音を用いて後のマイルストーン93の空間上の位置を繰り返し出力する。各マイルストーン93に到達すると、その空間化音は聞こえなくなり、現在のマイルストーン93となり、次のマイルストーン93に対応する空間化音が聞こえ始める等である。
【0194】
空間化された音は、予め決められた優先ナビゲーションパスの複雑度の基準に従って、周波数、時間、繰り返し、強度、3D空間仮想化が正比例して変化すると同時に、後のマイルストーン93までの距離に反比例して変化する。聴覚キューだけを使うのは、関心点と一致する後のマイルストーン93が1つしかないような場合で有利になる。例えば、視覚障害者がソファからキッチンまで移動したい場合、キッチンが唯一の後のマイルストーン93になる。空間化された聴覚キューは、この場合、キッチンに対応する。聴覚キューを使用することで、視覚障害者に、後のマイルストーン93までの移動距離と、後のマイルストーン93の位置から聞こえる対応する聴覚キューを関連付ける可能性を提供するため、簡単で予測可能という利点があり、ナビゲーション時の方向性と安全感の程度を向上させる。聴覚キューのみを使用することは、家の中のナビゲーションパス等、関心点PIが視覚障害者に知られて、関心点PIまで移動する距離が短い場合に好ましい。
【0195】
現在のマイルストーン93から次のマイルストーン93への案内モードが触覚と聴覚によるものである場合、前記触覚と聴覚のうちの一方を一次、他方を二次と定義し、二次は、停止と再開を指示する第7キューなど、特別な所定の状況においてのみキューを出力することが考えられる。
【0196】
別の好ましい実施形態では、図10を参照して、歩行トンネルTを使用する案内モードの触覚キューと、現在のマイルストーン93から次のマイルストーン93への案内モードの聴覚キューを組み合わせることが可能である。触覚キューによって送られる関連ナビゲーション案内指示は、視覚障害者を優先ナビゲーションパスSP上に、歩行可能なトンネルTの制限内に維持することを目的とし、一方、聴覚キューは、視覚障害者が次のマイルストーン93までの残りの距離を推定することができる。
【0197】
2つの案内モードを組み合わせることで、現在のマイルストーン93から次のマイルストーン93までの案内モードの簡単さと予測可能性に、歩行トンネルの快適さと安全性というそれぞれの案内モードの利点を組み合わせることができるというメリットがある。
【0198】
別の好ましい実施形態では、ステップ4の案内モードは、触覚キューまたは聴覚キューまたは触覚と聴覚キューが、優先ナビゲーションパスSPの方向を示すことからなる。
【0199】
触覚キューを使用する非限定的な例として、以下のようなものがある。
- 第1、第7、第8のキューは時間的なものである
- 第2および第3のキューは、視覚障害者が優先ナビゲーションパスSPから離れる場合の時空間的なシグナリングである
- 第4キューは、時空間的に前方向を示すものである
- 第5キューと第6キューは、視覚障害者が水平面または垂直面で移動方向を変えなければならない方向を示す時空間的な信号である
- 第1、第7、第8のキューは時間的なものである
- 第2および第3のキューは、視覚障害者が優先ナビゲーションパスSPから離れる場合の時空間的なシグナリングである
- 第4キューは、時空間的に前方向を示すものである
- 第5キューと第6キューは、視覚障害者が水平面または垂直面で移動方向を変えなければならない方向を示す時空間的な信号である
【0200】
触覚パターンキューは、視覚障害者が目の前に立っている人に、自分の動く方向に向かって常に額を引っ張られているような印象を与えるようにあらかじめ設定される。
【0201】
聴覚キューを使用する非限定的な例として、以下のようなものがある。
- 第1、7、8キューは単純な音
- 他のすべてのキューは空間化された音
- 第1、7、8キューは単純な音
- 他のすべてのキューは空間化された音
【0202】
空間化された音は、予め決められた優先ナビゲーションパスの複雑度の基準に従って、周波数、持続時間、繰り返し、強度、または3D空間仮想化において直接比例して変化する。視覚障害者は、ナビゲーションを行う際、空間化された音源Sの方向に従う。
【0203】
優先ナビゲーションパスSP上の方向をシグナリングすることに基づく案内モードと、現在のマイルストーン93から次のマイルストーン93への案内モードに基づく案内モードとの主な違いは、触覚パターンキュー、およびそれぞれ空間化された音の特徴の変化を指す。
- 両案内モードにおいて、触覚パターンのキューと、それぞれ空間化された音は、予め決められた優先ナビゲーションパスの複雑度の基準に従って正比例して変化する
- 現在のマイルストーン93から次のマイルストーン93への案内モードの場合、ｔｓ卯木のマイルストーン93までの距離に関連する追加の変動が存在し、次のマイルストーン93までの距離に応じて優先ナビゲーションパスSPの方向をシグナリングすることに基づく案内モードには存在しない
- 両案内モードにおいて、触覚パターンのキューと、それぞれ空間化された音は、予め決められた優先ナビゲーションパスの複雑度の基準に従って正比例して変化する
- 現在のマイルストーン93から次のマイルストーン93への案内モードの場合、ｔｓ卯木のマイルストーン93までの距離に関連する追加の変動が存在し、次のマイルストーン93までの距離に応じて優先ナビゲーションパスSPの方向をシグナリングすることに基づく案内モードには存在しない
【0204】
優先ナビゲーションパスSPの方向を知らせる触覚キューまたは聴覚キューの使用は、現在のマイルストーン93から次のマイルストーン93への案内モードまたは歩行トンネルTの案内モードを使用する場合よりも優先ナビゲーションパスSPの複雑度の程度が低い状況で使用するのが有利である。このような例の1つは、同じ優先ナビゲーションパスSPが頻繁に使用される場合である。触覚キューや聴覚キューを使用することで、優先ナビゲーションパスSP上の方向を知らせることができるため、視覚障害者の疲労が少ないという利点がある。
【0205】
優先ナビゲーションパスSP上の方向を知らせる触覚キューを使用する非限定的な一例が、図11Aに示される。この例では、まず、優先ナビゲーションパスSPを、原点を感覚ユニット2の位置とし、半径rを所定の長さとする円との交点94を取得することにより、優先ナビゲーションパスSP上の方向を知らせる方法を決定する。感覚ユニット2の原点と交点94を結ぶ仮想線は、視覚障害者が従うべき方向を与え、当該方向は触覚キューまたは聴覚キューによって視覚障害者に伝達される。半径rの所定の長さは、優先ナビゲーションパスSPの複雑さの程度に応じて設定される。
【0206】
【0207】
空間化音源Sは、感覚ユニット2に対して、空間化音源S の所定の第1距離d1に配置される。
【0208】
案内モードの柔軟性を得るために、また、優先ナビゲーションパスSPの複雑さの程度に前記案内モードを適応させるために、感覚ユニット2に対する空間化音源Sの所定の第1の距離d1は、図11Bに示されるように、半径の所定の長さrよりも小さいか、またはそれと同じかそれよりも大きくすることができる。
【0209】
触覚キューと聴覚キューを組み合わせることが可能で、その組み合わせはグラフィカルに表現されない。
【0210】
別の好ましい実施形態では、図12を参照すると、聴覚キューは、空間化音源Sが所定の第2の距離d2の終わりに到達するまで、感覚ユニット2の位置から優先ナビゲーションパスSP上の所定の第2の距離d2に沿って仮想的に移動して感覚ユニット2の位置まで戻る空間化音源Sから発信する空間化されたサウンドである。
【0211】
聴覚キューを使用する非限定的な例として、以下のようなものがある。
- 第1、7、8キューは単純な音
- 他のすべてのキューは、空間化された音。
- 第1、7、8キューは単純な音
- 他のすべてのキューは、空間化された音。
【0212】
聴覚フィードバックアクチュエータ42は、予め決められた優先ナビゲーションパス複雑度の基準に正比例する周波数、継続時間、繰り返し、強度、3次元空間仮想化の変動により、空間化音源Sを繰り返し出力する。
【0213】
所定の第2距離d2は、予め決められた優先ナビゲーションパスSPの複雑度の基準に反比例して、優先ナビゲーションパスSPが複雑であるほど、所定の第2距離d2が小さくなる。
【0214】
所定の第2距離d2は、典型的には0.2mと5mとの間で変化し、優先ナビゲーションパスSPが非常に複雑である場合、所定の第2距離d2は典型的には0.2mと1mの間で変化する。所定の第2距離d2の値の例は、説明のみを目的としたものであり、限定的なものとして見なされない。
【0215】
例：所定の第2距離d2は1，2mであり、これは、空間化音源Sが感覚ユニット2の位置から0，2mで仮想的に移動することを意味する。空間化された音は、感覚ユニット2の位置からナビゲーション方向に1，2mに達するまで往復し、その後感覚ユニット2の位置まで戻ってくる。音の速度は人間の歩行速度よりかなり速いので、空間化された音の仮想移動を用いる案内モードでは、音が視覚障害者から独立して移動するため、視覚障害者は、本発明で開示する他のどの案内モードよりも詳細にナビゲート案内指示を受け取ることができる。
【0216】
音の特徴、すなわち周波数、持続時間、繰り返し、強度、及び3D空間仮想化の間のいずれか又はそれらの組み合わせは、所定の第2の距離d2まで残された距離と反比例して変化する。例えば、空間化音源Sが0，2mにあるときよりも、空間化音源Sが0，1mにあるときの方が、聴覚キューはより頻繁に、及び／又はより強く、及び／又はより3D空間的に仮想され、又はより長く持続する。
【0217】
この案内モードの利点は、ナビゲーションの微調整が可能であり、歩行可能エリア WA が非常に狭い環境で有利になることであり、従って、優先ナビゲーションパスＳＰは、オブジェクトＯｎと生物Ｌｎとの間のスラロームのように見える。
【0218】
本発明の第2の様相において、ウェアラブルデバイス1は、感覚ユニット2と、処理・制御ユニット3、フィードバックユニット4、ユーザーコマンドインターフェース5を含む。
【0219】
ウェアラブルデバイス1は、グラフィカルに表現されない2つのハードウェアユニット、すなわち、蓄電ユニット6、およびメモリーMから構成される。
【0220】
用語「メモリーM」は、単一の特徴的なハードウェアユニットにおいて一緒にグループ化されるか、又は他のハードウェアユニットの各々に広がる複数の不揮発性メモリーを指定するものとして理解されるものとする。
【0221】
メモリーMは、少なくともライブマップ310、全てのアルゴリズム、全ての基準及び要件、ならびに案内指示を受けるために好むキューの種類等視覚障害の好みを格納するように構成されているが、これに限定されない。この格納は、先行技術に従って行われる。
【0222】
ウェアラブルデバイス1は、優先の実施形態では、単一コンポーネントデバイスであるが、他の優先の実施形態では、マルチコンポーネントデバイスである。
【0223】
単一コンポーネントデバイス1の場合、図2Bに示すように、すべてのハードウェアユニットがウェアラブルデバイス1に含まれる。ウェアラブルデバイス1は、グラフィカルに表現されなく、頭部に取り付けられる。視覚障害者の頭部へのハードウェアユニットの位置決めは、例えば、すべてのハードウェアユニットに対して良いサポートとアンカーを提供するという利点を持つヘッドバンドの形にすることができる。
【0224】
図2A、図6および図7を参照した、マルチコンポーネントデバイス1の優先の実施形態の場合、コンポーネントの1つは、感覚ユニット2、およびフィードバックユニット4 からなるヘッドセットコンポーネント11である。ヘッドセットコンポーネント11は、例えば、図2Aおよび図2Bに示すように、ヘッドバンドの形である。
【0225】
マルチコンポーネントデバイス1の好ましい実施形態の2つの非限定的な例は、2つのコンポーネントを描く。
- ヘッドセットコンポーネント11
- ベルト装着型コンポーネント12、または、それぞれ、手首型コンポーネント12であって手首コンポーネント12は、グラフィカルに表現されない
- ヘッドセットコンポーネント11
- ベルト装着型コンポーネント12、または、それぞれ、手首型コンポーネント12であって手首コンポーネント12は、グラフィカルに表現されない
【0226】
この場合、ベルト装着型コンポーネント12、または、それぞれ、手首型コンポーネント12は、処理・制御ユニット3、ユーザコマンドインターフェース5、および、蓄電ユニット6を含む。
【0227】
メモリーMは、2つのコンポーネントのいずれかに構成することも、それらの間に分散させることも可能である。
【0228】
図2Aは、ヘッドセットコンポーネント11とベルト着用コンポーネント12を有する2コンポーネントデバイス1の好ましい実施形態を示す図である。
【0229】
ヘッドセットコンポーネント11とベルト装着コンポーネント12、あるいはそれぞれ手首コンポーネント12との間の分割は、主にユニットの大きさや重さに基づいて行われる。
【0230】
単一コンポーネントデバイス1を使用する利点は、頭部上のその好ましい位置が、ウェアラブルデバイス1の視覚障害者にとって、非視覚障害者の感覚的経験に非常に近い感覚的経験をもたらし、聴覚キューを聞くことを可能にする耳の位置に近いことである。
【0231】
しかしながら、場合によっては、処理・制御ユニット3及び／又は蓄電ユニット6などのいくつかのハードウェアユニットが重く嵩張ることがある。これらの場合、複数コンポーネントデバイス1は、重くてかさばるハードウェアユニットを、ベルトまたは手首などの、しかしこれらに限定されない身体の他の場所に配置するという利点がある。
【0232】
また、一般的にハードウェアユニットの小型化に向けて技術が進化するため、視覚障害者の頭部に負担をかけずに1コンポーネントデバイス1を使用できる可能性が高くなる。
【0233】
グラフィカルに表されていない別の優先の実施形態では、3つのコンポーネントが存在する：
- 感覚ユニット2と、フィードバックユニット4を含むヘッドセットコンポーネント11
- ベルト装着型コンポーネント12、または、それぞれ、手首型コンポーネント12は、処理・制御ユニット3、蓄電ユニット6を含む
- ハンドヘルドコンポーネント13、 グラフィカルに表現されていない 、 ユーザーコマンドインターフェース5を含む
- 感覚ユニット2と、フィードバックユニット4を含むヘッドセットコンポーネント11
- ベルト装着型コンポーネント12、または、それぞれ、手首型コンポーネント12は、処理・制御ユニット3、蓄電ユニット6を含む
- ハンドヘルドコンポーネント13、 グラフィカルに表現されていない 、 ユーザーコマンドインターフェース5を含む
【0234】
メモリーMは、ヘッドセットコンポーネント11またはベルト装着コンポーネント12、あるいはそれぞれ手首コンポーネント12のいずれかに構成することができ、あるいは両者の間に分散して構成することができる。
【0235】
本発明を実施するためのウェアラブルデバイス1を構成する各種ユニットの構成は、人体の様々な部分に対する単一コンポーネントのデバイスまたは複数コンポーネントのデバイスにおける前記ハードウェアユニットの位置によって影響されない。
【0236】
ハードウェアユニットは、有線通信プロトコル、ワイヤレス通信プロトコル、または有線と無線のプロトコルの組み合わせのいずれかによって相互に通信し、前記通信は、先行技術に従って行われる。
【0237】
感覚ユニット2
感覚ユニット2は、視覚障害者の環境に関するデータを収集するように構成された手段がある。
感覚ユニット2は、視覚障害者の環境に関するデータを収集するように構成された手段がある。
【0238】
感覚ユニット2によって収集されるデータは、良い視覚を含む良好な感覚能力を有する人間によって一般的に識別されるオブジェクトOnおよび生物Lnの複数の特性を参照するものである。感覚ユニット2によって収集されるデータは、技術水準よりも高い精度で環境の複雑さを反映する。
【0239】
より正確なデータを収集する目的を満たすために、感覚ユニット2は、詳細に説明される複数のタイプのセンサーの組み合わせを必要とする。センサーの全ての例は、本発明の教示をより良く理解するためのものであり、本発明を限定するものではないことを理解するものとする。
【0240】
感覚ユニット2は、カメラ21、深度センサー22、慣性計測ユニット23、音像定位センサー24の4つの基本センサーから構成される。
【0241】
カメラ21、深度センサー22、および慣性測定ユニット23の最適な位置は、ウェアラブルデバイス1が単一コンポーネントかマルチコンポーネントかに関係なく、図2Aおよび2Bに示すように、額である。感覚ユニット2を額に配置することが好ましい理由は3つある：
i）人間は視覚障害の有無を問わず、装置がない場合、音や触覚などのキューを受けるときに頭を動かすことに慣れている、ii）額は現在他のデバイスやタスクに使われていない、iii）カメラ21および深度センサー22にとって最良の視野が額にあるからである。
視覚障害者の額に感覚ユニット2を配置する構成は、視野20が以下を含むことを保証する必要がある。
- 視覚障害者の足
- 足元にある自由エリアAの構成要素
- 視覚障害者の当面ステップ、
i）人間は視覚障害の有無を問わず、装置がない場合、音や触覚などのキューを受けるときに頭を動かすことに慣れている、ii）額は現在他のデバイスやタスクに使われていない、iii）カメラ21および深度センサー22にとって最良の視野が額にあるからである。
視覚障害者の額に感覚ユニット2を配置する構成は、視野20が以下を含むことを保証する必要がある。
- 視覚障害者の足
- 足元にある自由エリアAの構成要素
- 視覚障害者の当面ステップ、
【0242】
第1のセンサーは、カメラ21である。用語「カメラ21」は、本発明全体を通じて、1つまたは複数のデジタルビデオカメラを指定する。本発明では、少なくともデジタルビデオカメラを有することが必要である。
【0243】
カメラ21は、カメラの視野から2D画像を取得し、取得した2D画像を ローカリゼーションモジュール301、歩行可能エリア検出モジュール 302、および歩行可能エリア検出モジュール 306に送るように構成される。
【0244】
なお、「画像」とは、カメラ21の画像の取得フレームレートに応じて、静止画像だけでなく動画も含む。
【0245】
カメラ21によって取得された画像は、複数のオブジェクトOnおよび複数の生物Lnの視覚的特徴、例えば、側面、カテゴリ（例えば、木々、車）、色、形状、寸法、ならびに自由エリアAの構成要素に言及する。
【0246】
カメラ21の非限定的な例は、動画の最小解像度1280x720ピクセルをもつHDカメラ、動画の最小解像度320x240ピクセルをもつVGAカメラを含む。
【0247】
カメラ21の最低限必要なものは、以下の通りである。
- 水平視野が50°以上180°以下であり、より広い範囲の情報を提供するため、大きいほどよい
- 垂直方向の視野角が60°以上180°以下であり、より広い範囲から情報を得られるため、大きいほどよい
- 水平視野が50°以上180°以下であり、より広い範囲の情報を提供するため、大きいほどよい
- 垂直方向の視野角が60°以上180°以下であり、より広い範囲から情報を得られるため、大きいほどよい
【0248】
カメラ21は、RGB カメラであるか否かを問わない。RGBの機能は、カメラの視野からより正確な情報を提供するのに役立つ。
【0249】
カメラが複雑であればあるほど、カメラで取得した2次元画像の情報量は多くなる。
【0250】
第２のセンサーは、深度センサー22である。用語「深度センサー22」は、本発明全体を通じて、1つまたは複数の深度センサーを指定する。本発明では、少なくとも1つの深度センサーを有することが必要である。
【0251】
深度センサー22は、深度センサー視野内に配置された各オブジェクトOnおよび各生物Lnの3次元距離位置および寸法に対応する3次元点群データを連続した点群として取得し、そしてローカリゼーションモジュール301、歩行可能エリア検出モジュール 302、およびオブジェクト3D特性融合モジュール307に送信する。
【0252】
深度センサー22が取得する3次元点群データは、密度や体積などオブジェクトOnや生物Lnの3次元的な物理的特徴を意味する。
【0253】
深度センサー22の非限定的な例は、立体カメラ、レーダー、ライダー、超音波センサー、mmWaveレーダーセンサーである。mmWaveレーダーセンサーを使用すると、生物Lnが動いているときでも、生物Lnの脈拍または呼吸を感知することができるので、視覚障害者に追加の情報をもたらすことができるため有利である。
【0254】
カメラ21と深度センサー22を単一センサーにまとめるカメラと深度センサー21-22になる可能である。利点は、2 つのセンサーのタスクを実行するように構成された1つのセンサーのみを使用することによって、前述の2つのセンサーのサイズと重量を削減することである。カメラと深度センサー21-22の非限定的な一例は、TOFカメラ（time of flight）である。
【0255】
第3のセンサーは、慣性測定ユニット23である。用語「慣性測定ユニット23」は、本発明を通じて、少なくとも1つの加速度計と少なくとも1つのジャイロスコープからなるアンサンブルを指定し、個別のセンサーまたは組み合わせたセンサーとして使用される。より良い精度を得るために、少なくとも1つの磁力計を追加することが好ましく、個別のセンサーとして、または少なくとも加速度計および／または少なくともジャイロスコープと組み合わせることができる。アンサンブルのサイズと重量を減らすニーズがあるため、複合センサーを使用することがより好ましい。本発明では、少なくとも1つの慣性計測ユニットを備えることが必要である。
【0256】
慣性計測ユニット23は、感覚ユニット2 の方位を決定し、決定した方位を方位計算モジュール303によってローカリゼーションモジュール301、オブジェクト3D特性融合モジュール307に送信するように構成される。
【0257】
感覚ユニット2は視覚障害者の額に設置されているため、慣性計測ユニット23が取得する情報は、暗黙のうちに地面に対する視覚障害者の頭部の向きを指す。
第4のセンサーは、音像定位センサー24である。
第4のセンサーは、音像定位センサー24である。
【0258】
用語「音像定位センサー24」は、本発明を通じて、通常、到来する音波の方向と音源とセンサー間の距離によって3次元空間における様々な音の発生源を決定するために使用される1つまたは複数のセンサーのアンサンブルを指定する。
【0259】
音像定位センサー24は、オブジェクトOnと生物Lnが発する3次元空間内の複数の音ストリームを取得するように構成され、音方向定位モジュール304に送信する。
【0260】
音像定位センサー24が取得する情報は、オブジェクトOnや生物Lnが発する音であり、当該音の指向性を含むものである。
【0261】
音像定位センサー24による環境の適用範囲は、そのビームパターンによって定義される。
【0262】
音像定位センサーの非限定的な例は、マイクロホンアレイである。音像定位センサー24に使用されるマイクロホンアレイの最小数は、ビーパターンの合計が視野20の角度に等しくなるようなにする必要である。音像定位センサー24に使用されるマイクロホンアレイの最大数は360°をカバーする。マイクロホンアレイは、視野20と360°の間でビームパターンの合計が構成されるようにヘッドセット内に配置される。
【0263】
基本センサーは、処理・制御ユニット3の感覚融合サブユニット30から、カメラ21、深度センサー22のそれぞれの視野と慣性計測ユニット23の計測範囲、音像定位センサー24のビーパターンの相関を含む特定の設定を受け取る。
【0264】
この相関関係は、結果として、図3に模式的に描かれた基本センサー20の視野を有する。基本センサー20の視野の概念は、すべての基本センサーが全く同じ範囲を持つことを意味するものではない。数学の共通項の概念と同様に、すべての基本センサーが知覚を持つ領域として理解されるべきである。一般的に、基本センサー20の視野は前方を向いている。
【0265】
しかしながら、音定位センサー24は、例えば、マイクアレイの数が、ビアンパターンの合計が360°に等しいような場合、基本センサー20の視野より広い範囲を有することができる。この場合、視覚障害者の背中から発信される音情報を収集することができるので有利である。
【0266】
別の好ましい実施形態では、図13のように、1つまたは両方の追加のセンサー：全地球測位センサー25、および温度センサー26を追加することによって、視覚障害者の環境に関するより多くの情報を提供することが可能である。
【0267】
各追加センサーと基本センサーのグループとのいずれかの組み合わせは、より正確で詳細なライブマップ310につながる追加情報を処理・制御ユニット3に提供するという利点がある。
【0268】
２つの追加センサのそれぞれは、以下のように、感覚融合サブユニット30に対応するモジュールがある。
【0269】
全地球測位センサー25は、感覚ユニット2の絶対位置を決定し、感覚ユニット2の相対位置を絶対位置に変換する相対・絶対変換モジュール309-1に決定を送るように構成されているので、オブジェクトOnおよび生物Lnの位置は絶対位置として表される。
【0270】
全地球測位センサー25の最適な位置は、マルチコンポーネントデバイスの場合はウェアラブルデバイス1のヘッドセットコンポーネント11の上部に、単一コンポーネントデバイスの場合はウェアラブルデバイス1の上部にそれぞれある。
【0271】
全地球測位センサー25がない場合、感覚融合サブユニット30は、オブジェクトOnの各々に対するウェアラブルデバイス1の相対位置、および生物Lnの各々に対する相対位置を決定する。
【0272】
温度センサー26は、オブジェクトOnと生物Lnの温度を決定するために、決定された温度をオブジェクト温度特性融合モジュール 309-2に送信するように構成される。
【0273】
追加センサーのいずれかを使用する場合、オブジェクト音特性融合モジュール308が出力したデータは、相対・絶対変換モジュール309-1またはオブジェクト温度特性融合モジュール309-2のいずれかにそれぞれ送られ、それぞれのセンサーから送られたデータと融合されるか、その結果はライブマップのサブユニット31へ送られる。
【0274】
両方の追加センサーを使用する場合、図13のように、オブジェクト音特性融合モジュール308によって出力されたデータは、全地球測位センサー25からのデータと融合された相対・絶対変換モジュール309-1に送られる。次に、その結果は温度センサー26によって送られたデータと融合されたオブジェクト温度特性融合モジュール309-2に送られ、その結果はライブマップサブユニット31に送られる。
【0275】
処理・制御ユニット3
処理・制御ユニット3は、少なくとも1つのプロセッサーと少なくとも1つの不揮発性メモリーを含むコンピューティングユニットであり、例えば、マイクロコントローラ、コンピュータ、スーパーコンピュータが挙げられるが、これらに限定されない。用語「コンピューティングユニット」は、コンピュータ通信システム内で通信する、互いに離れて配置された単一のコンピューティングユニットまたは複数のコンピューティングユニットを含む。
処理・制御ユニット3は、少なくとも1つのプロセッサーと少なくとも1つの不揮発性メモリーを含むコンピューティングユニットであり、例えば、マイクロコントローラ、コンピュータ、スーパーコンピュータが挙げられるが、これらに限定されない。用語「コンピューティングユニット」は、コンピュータ通信システム内で通信する、互いに離れて配置された単一のコンピューティングユニットまたは複数のコンピューティングユニットを含む。
【0276】
処理・制御ユニット3は、感覚融合サブユニット30、ライブマップサブユニット31、リレーションシップ・マネージャー・サブユニット32、ナビゲーション・マネージャー・サブユニット33、ユーザー・コマンド・インターフェース・マネージャー・サブユニット34、フィードバック・マネージャー・サブユニット35、音声表現サブユニット36からなる。
【0277】
図5を参照すると、感覚融合サブユニット30は、感覚ユニット2の4つの基本センサーから受け取った判定を融合し相関させるように構成された手段からなる。
【0278】
図13を参照すると、感覚融合サブユニット30は、感覚ユニット2の4つの基本センサーと、いずれか又は両方の追加センサーから受け取った判定を融合し相関させるように構成された手段からなる。
【0279】
ローカリゼーションモジュール301は、ウェアラブルデバイス1の感覚ユニット2、及び感覚ユニット2に対する複数のオブジェクトOn及び生物Lnの現在の位置及び向きを、感覚ユニット2のカメラ21、深度センサー22、慣性測定ユニット23から取得したデータに適用されるローカリゼーションアルゴリズムによって、現在のライブマップ310上に3D座標でローカライズするように構成される手段である。
【0280】
ローカリゼーションモジュール301は、感覚ユニット2の位置および方向のローカリゼーションを歩行可能エリア検出モジュール302に送信するように構成された手段をさらに備え、したがって、S2.2から出力されるライブマップ310の内容を、複数のオブジェクトOn、および、それぞれ複数の生物Lnに対する感覚ユニット2の位置および方向のローカリゼーションデータを参照する層で更新する。
【0281】
歩行可能エリア検出モジュール302は、カメラ21、深度センサー22から取得したデータを受信するように構成された手段と、ローカリゼーションモジュール301からデータを受信するように構成された手段を含む。そして、両方のデータソースに基づいて、メモリーMに格納された、永久的な所定の歩行可能エリア要件および予測可能な条件付き歩行可能エリア要件のセットを適用することによって、歩行可能エリアWA、および条件付き歩行可能エリアCWAを定義してライブマップサブユニット31に送信するように構成された手段を含む。
【0282】
方位計算モジュール303は、慣性計測ユニット23から提供される慣性データに基づいてウェアラブルデバイス1の方位を決定し、その決定をオブジェクト3D特性融合モジュール307に送るように構成された手段を含む。
【0283】
音方向定位モジュール304は、音定位センサー24から受信したデータに基づいて、複数のオブジェクトOn及び複数の生物Lnの各々がそれぞれ発する3D座標で表される複数の音ストリームの方向を決定するように構成された手段と、決定した方向を音分類モジュール305に送信するように構成された手段を含む。
【0284】
音分類モジュール305は、音方向定位モジュール304から受信した複数の音ストリームを音型に分類し、分類された音型をオブジェクト音特性融合モジュール308に送信するように構成された手段を含む。複数のサウンドストリームをサウンドタイプに分類するように構成された手段は、通常、人工知能アルゴリズムを使用する。
【0285】
オブジェクト2D特性抽出モジュール306は、カメラ21から取得された2D画像のピクセル単位のセグメント化を提供し、ピクセル単位のセグメント化された2D画像において、視野20に置かれた複数のオブジェクトOnの各オブジェクトOnと複数の生物Lnの各生物Lnを検出し、2D座標におけるそれぞれの位置と物理的特徴を決定し、その決定をオブジェクト3D特性融合モジュール307に送信するよう構成された手段を含む。
【0286】
オブジェクト3D特性融合モジュール307は、オブジェクト2D特性抽出モジュール306、方位計算モジュール303、深度センサー22からデータを受け取り、決定するように構成された手段を含み、そして以下を特定する。
- 各オブジェクトOnの感覚ユニット2に対する3次元座標上の位置と、感覚ユニット2に対する向きと、動きベクトルに基づく所定時点における将来の位置
- 複数のオブジェクトOnの寸法、構成、構造、色、形状、湿度、温度、占領度、清潔度、使用度、摩耗度、安定度、満腹度、危険度などの物理的特徴
- 各生物Lnの3次元座標上の位置、身長などの身体的特徴、骨格のポーズの向き、さらに動きベクトルから所定の単位時間における将来の位置の予測
- スケルトンポーズの向きや身体的特徴に基づいた各生物Lnの現在の活動状態や気分の状態
- 各オブジェクトOnの感覚ユニット2に対する3次元座標上の位置と、感覚ユニット2に対する向きと、動きベクトルに基づく所定時点における将来の位置
- 複数のオブジェクトOnの寸法、構成、構造、色、形状、湿度、温度、占領度、清潔度、使用度、摩耗度、安定度、満腹度、危険度などの物理的特徴
- 各生物Lnの3次元座標上の位置、身長などの身体的特徴、骨格のポーズの向き、さらに動きベクトルから所定の単位時間における将来の位置の予測
- スケルトンポーズの向きや身体的特徴に基づいた各生物Lnの現在の活動状態や気分の状態
【0287】
オブジェクト音特性融合モジュール308は、音分類モジュール305によって決定された分類されたサウンドストリームタイプに基づいて3D座標が決定された複数のオブジェクトOnおよび生物Lnのそれぞれに、検出されたオブジェクトOnおよび生物Lnと関連付けて音響特性を付加し、すべてのデータをライブマップサブユニット31に送信するように構成された手段を含む。
【0288】
本発明の実施形態では、感覚融合サブユニット30は、相対・絶対変換モジュール309-1をさらに含む。このモジュールは、感覚ユニット2の相対位置を絶対位置に変換し、オブジェクト音特性融合モジュール308からのデータを感覚ユニット2の絶対位置に関するデータと融合させ、その判定結果を直接またはオブジェクト温度特性融合モジュール309-2によってライブマップサブユニット31に送信するように構成された手段を含む。
【0289】
本発明の別の実施形態では、感覚融合サブユニット30は、オブジェクト温度特性融合モジュール309-2を更に備える。このモジュールは、検出されたオブジェクトOnと生物Lnの温度を決定し、オブジェクト音特性融合モジュール308からのデータをオブジェクトOnと生物Lnの温度に関するデータと融合させ、融合したデータをライブマップサブユニット31に送信するように構成された手段からなる。相対・絶対変換モジュール309-1が使用される場合、オブジェクト温度特性融合モジュール309-2にデータを送り、最終的にオブジェクトOnと生物Lnの温度に関するデータと融合させる。
【0290】
本発明によれば、ライブマップサブユニット31は、ライブマップ310を作成し、繰り返し更新し、保存するように構成された手段と、自由エリアAの構成要素と歩行可能領域検出モジュール 302 からの感覚ユニット 2 の位置と向きの位置特定を参照するレイヤーをもってＳ２.２から出力された更新されたライブマップ３１０コンテンツを参照するデータ及びオブジェクト音特性融合モジュール３０８からの音響特性を含む３Ｄ座標における複数のオブジェクトＯｎおよび生物Ｌｎのそれぞれに関するデータを受信する手段を含み、すべてのライブマップ決定をローカリゼーションモジュール301に送信する。
【0291】
ライブマップサブユニット31は、以下を受信するように構成された手段からなる。
- リレーションシップ・マネージャー・サブユニット32によるライブマップ310のクエリ
- ナビゲーション・マネージャー・サブユニット33によるライブマップ310のクエリ、関心点PIがライブマップ310に既にある場合、ナビゲーション・マネージャーサブユニット33に対するユーザー・コマンド・インターフェース・マネージャー・サブユニット34のクエリを含む
- リレーションシップ・マネージャー・サブユニット32が実施する更新されたリレーションシップRn
- ナビゲーション・マネージャー・サブユニット33が実施する自由エリアAの更新コンポーネント
- オブジェクトOnの具体的な情報に関するサウンド表現モジュール36のクエリである。
- リレーションシップ・マネージャー・サブユニット32によるライブマップ310のクエリ
- ナビゲーション・マネージャー・サブユニット33によるライブマップ310のクエリ、関心点PIがライブマップ310に既にある場合、ナビゲーション・マネージャーサブユニット33に対するユーザー・コマンド・インターフェース・マネージャー・サブユニット34のクエリを含む
- リレーションシップ・マネージャー・サブユニット32が実施する更新されたリレーションシップRn
- ナビゲーション・マネージャー・サブユニット33が実施する自由エリアAの更新コンポーネント
- オブジェクトOnの具体的な情報に関するサウンド表現モジュール36のクエリである。
【0292】
ライブマップサブユニット31は、以下を送信するように構成された手段からなる。
- リレーションシップ・マネージャー・サブユニット32によるライブマップ310のクエリに応答する複数の関係Rn
- ナビゲーション・マネージャー・サブユニット33のクエリに応答する自由エリアAの構成要素
- ナビゲーション・マネージャー・サブユニット33のクリエに応答するすべてのライブマップの決定
- リレーションシップ・マネージャー・サブユニット32によるライブマップ310のクエリに応答する複数の関係Rn
- ナビゲーション・マネージャー・サブユニット33のクエリに応答する自由エリアAの構成要素
- ナビゲーション・マネージャー・サブユニット33のクリエに応答するすべてのライブマップの決定
【0293】
リレーションシップ・マネージャ・サブユニット32は、ライブマップ310に問い合わせを行い、問い合わせの結果としてライブマップ310から更新された最新データを入力するように構成された手段からなる。更新された最新データとは、以下のものを指す：
- 複数のオブジェクトOn
- 複数の生物Ln、
- オブジェクトOnや生物Lnの一部は、信号や犬など、条件付き歩行可能エリアCWAに関連しているため、条件付き歩行可能エリアCWA
- クエリの前に存在する関係Rn。
- 複数のオブジェクトOn
- 複数の生物Ln、
- オブジェクトOnや生物Lnの一部は、信号や犬など、条件付き歩行可能エリアCWAに関連しているため、条件付き歩行可能エリアCWA
- クエリの前に存在する関係Rn。
【0294】
さらに、リレーションシップ・マネージャー・サブユニット32は、複数のオブジェクトOnおよび／または複数の生物Lnの間の関係を決定および更新するための計算を実行し、計算の結果として更新された関係をライブマップサブユニット31に送信してこれをライブマップ310に格納するように構成される手段からなる。
【0295】
ナビゲーション・マネージャー・サブユニット33は、以下のように構成された手段からなる。
- 少なくとも1つのナビゲーションパスPnを決定し、繰り返し更新し、メモリーMに格納する
- 少なくとも1つのナビゲーションパスPnから優先ナビゲーションパスSPを繰り返し選択する
- 関連ナビゲーション案内指示とともに、優先ナビゲーションパスSPをフィードバックマネージャーサブユニット35に繰り返し送信する
- ユーザー・コマンド・インターフェース・マネージャー・サブユニット34から、開始要求、選択要求、情報要求を受信する
- 感覚融合サブユニット30から受信した融合データと、自由エリアAの構成要素である歩行可能エリアWA、条件付き歩行可能エリアCWA、非歩行可能エリアNAとに基づいて、ライブマップ310にライブマップ判定を問い合わせ、各問い合わせに対応する応答をライブマップサブユニット31から受信する
- 関心点PIが既にライブマップ310にある場合、ユーザー・コマンド・インターフェース・マネージャー・サブユニット34の問合せを受信する
- 少なくとも 2つの ナビゲーションパスの要件が満たされているかどうかを検証する
- 前記少なくとも1つの予測可能な条件付き歩行可能エリア要件に関連する関連ナビゲーション誘導指示をフィードバックマネージャーサブユニット35に送信する
- 少なくとも1つのナビゲーションパスPnを決定し、繰り返し更新し、メモリーMに格納する
- 少なくとも1つのナビゲーションパスPnから優先ナビゲーションパスSPを繰り返し選択する
- 関連ナビゲーション案内指示とともに、優先ナビゲーションパスSPをフィードバックマネージャーサブユニット35に繰り返し送信する
- ユーザー・コマンド・インターフェース・マネージャー・サブユニット34から、開始要求、選択要求、情報要求を受信する
- 感覚融合サブユニット30から受信した融合データと、自由エリアAの構成要素である歩行可能エリアWA、条件付き歩行可能エリアCWA、非歩行可能エリアNAとに基づいて、ライブマップ310にライブマップ判定を問い合わせ、各問い合わせに対応する応答をライブマップサブユニット31から受信する
- 関心点PIが既にライブマップ310にある場合、ユーザー・コマンド・インターフェース・マネージャー・サブユニット34の問合せを受信する
- 少なくとも 2つの ナビゲーションパスの要件が満たされているかどうかを検証する
- 前記少なくとも1つの予測可能な条件付き歩行可能エリア要件に関連する関連ナビゲーション誘導指示をフィードバックマネージャーサブユニット35に送信する
【0296】
ユーザコマンドインターフェースマネージャーサブユニット34は、視覚障害ユーザがユーザーコマンドインターフェース5によって行う要求及び選択を受信し、それらをナビゲーションマネージャーサブユニット33に送信するように構成された手段と、選択したガイドモードをザ・フィードバックマネージャーサブユニット35に送信するように構成された手段からなる。
【0297】
ユーザー・コマンド・インターフェース・マネージャー・サブユニット34は、さらに、ライブマップ310から特定のカテゴリーのオブジェクトOnまたは特定のカテゴリーの生物Lnの音声表現を求める要求を視覚障害者から受信するための手段を備える。
【0298】
フィードバックマネージャサブユニット35は、ナビゲーションマネージャーサブユニット33からの案内指示をユーザー・コマンド・インターフェース・マネージャー・サブユニット34からの選択された案内モードと共に受信することによって、視覚障害者を優先ナビゲーションパスSPに沿って案内するように構成された手段と、対応する関連の案内指示をフィードバックユニット4に送信するように構成された手段を含み、特定のカテゴリーのオブジェクトOnまたは特定のカテゴリーの生物Lnに関する音声表現を送信する手段をさらに備える。
【0299】
音表現サブユニット36が自己完結型のサブユニットであり、ナビゲーション・マネージャー・サブユニット33のサブユニットである実施形態において、フィードバック・マネージャー・サブユニット35は、音表現サブユニット36から特定カテゴリーのオブジェクトOnまたは特定カテゴリーの生物Lnの音表現を受信する手段をさらに備える。
【0300】
音表現サブユニット36は、視覚障害者 からの要求を受信し、対応するオブジェクトOnの特定のカテゴリまたは生物Lnの特定のカテゴリに関する情報をライブマップ310から抽出し、抽出した情報を対応する空間化された音として表現してフィードバックユニット4に送信する手段で構成される。
【0301】
視覚障害者の頭に配置されるように構成されたフィードバックユニット４は、方法のステップ4の詳細に関するセクションで詳しく説明したように、フィードバックマネージャサブユニット35から関連案内指示を受信し、視覚障害者に触覚および／または聴覚キューを送ることによって、優先ビゲーションパスSPに沿って視覚障害者を案内するように構成される手段と、視覚障害者にオブジェクトOnまたは生物Lnの特定のカテゴリーを表す音を送信する手段を含む。
【0302】
視覚障害者の頭に配置されるように構成されたユーザー・コマンドインターフェース５は、視覚障害者から要求、すなわち開始要求、選択要求、情報要求、および案内モードの選択を受け取り、ユーザー・コマンド・インターフェース・マネジャー・サブユニット34に送信するように構成された手段からなる。
【0303】
ユーザー・コマンド・インタフェース5の非限定的な例は、以下の通りである：
- ユーザーは、触覚手段51、例えば、頻度の高い所定の関心点PIに対応する簡単なリクエストに使用されるボタンを指示する。例えば、第1のボタンは、視覚障害者が家の入り口のドアに対応する「家」と名付けることができ、第2のボタンは「浴室」と名付けることができ、第3のボタンは「台所」と名付けることができる、等である。ボタンは、アナログでもデジタルでもよい
- ユーザーコマンド聴覚手段52は、例えば、頻度の高くない関心点PIのためのマイクロフォンである。ユーザーコマンド聴覚手段は、音声認識手段と、視覚障害者の言葉をユーザー・コマンド・インターフェース・マネジャー・サブユニット34に送信する指示に変換する手段を含む。4つの窓がある部屋と同じ例であり、視覚障害者はマイク52に向かって「窓」と言い、部屋の4つの窓がすべて音で表現される
- ユーザーは、触覚手段51、例えば、頻度の高い所定の関心点PIに対応する簡単なリクエストに使用されるボタンを指示する。例えば、第1のボタンは、視覚障害者が家の入り口のドアに対応する「家」と名付けることができ、第2のボタンは「浴室」と名付けることができ、第3のボタンは「台所」と名付けることができる、等である。ボタンは、アナログでもデジタルでもよい
- ユーザーコマンド聴覚手段52は、例えば、頻度の高くない関心点PIのためのマイクロフォンである。ユーザーコマンド聴覚手段は、音声認識手段と、視覚障害者の言葉をユーザー・コマンド・インターフェース・マネジャー・サブユニット34に送信する指示に変換する手段を含む。4つの窓がある部屋と同じ例であり、視覚障害者はマイク52に向かって「窓」と言い、部屋の4つの窓がすべて音で表現される
【0304】
ユーザー・コマンド・インターフェース5と視覚障害者、およびユーザー・コマンド・インターフェース・マネージャー・サブユニット34との通信は、先行技術によるものである。
【0305】
蓄電ユニット６
用語「蓄電ユニット6」は、ウェアラブルデバイス1の他のハードウェアユニットに電力を供給するように構成された1つまたは複数の電池を指定するものとして理解されるものとする。蓄電ユニット6がウェアラブルデバイス1の他のハードウェアユニットに電力を供給する方法は、先行技術に従って実施される。
用語「蓄電ユニット6」は、ウェアラブルデバイス1の他のハードウェアユニットに電力を供給するように構成された1つまたは複数の電池を指定するものとして理解されるものとする。蓄電ユニット6がウェアラブルデバイス1の他のハードウェアユニットに電力を供給する方法は、先行技術に従って実施される。
【0306】
通信ユニット７は、インターネットから地図をダウンロードするように構成された手段で構成されるが、これに限定されるものではない。
【0307】
本発明の第３の様相では、コンピュータプログラムを符号化した非一過性のコンピュータ可読記憶媒体が提供され、コンピュータプログラムは、1つまたは複数のプロセッサーによって実行可能な命令を含み、その実行により、1つまたは複数のプロセッサーに、その組み合わせを含む好ましい実施形態のいずれかにおいて、視覚障害ユーザの動作を支援するために適合されたコンピュータ実装方法の動作を実行させる。
【0308】
本発明の第４の様相では、本発明のいずれかの実施形態に従って、ウェアラブルデバイスによってプログラムが実行されると、その組み合わせを含む好ましい実施形態のいずれかにおいて、視覚障害者の動作を支援するために適合されたコンピュータ実装方法のステップをウェアラブルデバイスに実行させる指示を含むコンピュータプログラムが提供される。
【0309】
本発明の第５の様相では、1つ以上のプロセッサーと、1つ以上の非一過性のコンピュータ可読記憶装置とを含むシステムであり、非一過性のコンピュータ可読記憶装置は、その組み合わせを含む好ましい実施形態のいずれかにおいて、視覚障害ユーザの動作を支援するために適合されたコンピュータ実装方法の動作を実行するために1つ以上のプロセッサーによって実行可能である指示を含む記憶媒体を含むシステムを提供する。
【0310】
用語「コンピュータ」とは、少なくとも1つのプロセッサーと少なくとも1つの不揮発性メモリーからなるコンピューティングユニットを指し、マイクロコントローラ、コンピュータ、スーパーコンピュータなどが挙げられるが、これらに限定されない。用語「コンピューティング・ユニット」は、コンピュータ通信システム内で通信する互いに遠隔に位置する単一のコンピューティング・ユニット、または複数のコンピューティング・ユニットを含む。
【0311】
例1
本方法の詳細な説明は、図14、15、16、17を参照して、実際のシナリオで例示される。当業者は、本発明の教示がこの実施例に限定されないことを理解するものとする。
本方法の詳細な説明は、図14、15、16、17を参照して、実際のシナリオで例示される。当業者は、本発明の教示がこの実施例に限定されないことを理解するものとする。
【0312】
実際のシナリオでは、視覚障害者1がビルの入り口に近い道路の歩道にいる。彼は、ビルの中に入りたいので、自分の立場からビルの入り口のドアまで移動し、入り口のドアベルも見つけなければならない。
【0313】
これは、視覚障害者がビルの入口ドアまで誘導するために開始要求を送信する場合の非限定的な例である。
【0314】
図14と図 15では、ライブマップ310の一部が含まれていることが示されている：
- 部品：各ステップ、フェンス、2つの手すりのそれぞれを有するビル、最初の関心点として考えられる入口ドア84、ドアロック、ドアノブ、ドアベル841などの構成部品、ドアベル841はさらなる関心点として考えられる。
- 犬83が生き物Lnとして確認された。
- 歩行可能エリアWA942は、歩道とビル内の入口までの階段が含まれる。
- 非歩行可能エリアNA941は、道路を含む。
- 条件付き歩行可能エリア943：2つの 歩行者用横断歩道832 それぞれに対応する信号831が設けられている。
- 部品：各ステップ、フェンス、2つの手すりのそれぞれを有するビル、最初の関心点として考えられる入口ドア84、ドアロック、ドアノブ、ドアベル841などの構成部品、ドアベル841はさらなる関心点として考えられる。
- 犬83が生き物Lnとして確認された。
- 歩行可能エリアWA942は、歩道とビル内の入口までの階段が含まれる。
- 非歩行可能エリアNA941は、道路を含む。
- 条件付き歩行可能エリア943：2つの 歩行者用横断歩道832 それぞれに対応する信号831が設けられている。
【0315】
歩道の高さは7cm以下、フェンスまでの距離は0.5m以下、歩道の余白までの距離は0.5m以下、仮想立方体の高さは2.20mで、視覚障害者の身長1.80mより40cm高いなど、幾何学的に所定の歩行可能エリア要件の一例である。
【0316】
静的および動的な物理的関係Rnの例は、信号831の色を条件付き歩行可能エリア943の条件付き状態に関連付けることに関して、処理・制御ユニット3 のリレーションシップ・マネージャー・サブユニット32 によってライブマップ310に作成された関係である：色が緑であれば、エリア943は歩行可能であるが、色が赤なら、エリア943は非歩行可能になる。
【0317】
条件付き歩行可能エリアCWAについての非限定的な例は、信号831を備える2つの歩行者の横断歩道832によって表される。この道路は、永久的な所定の歩行可能エリア要件において、非歩行可能エリアNAとして定義される。歩行者用横断歩道832に関しては、信号がない場合は歩行可能エリア942として予め定義され、信号がある場合は条件付き歩行可能エリア943、つまり信号831の色が緑のときだけ歩行可能であるとして予め定義される。これは、交通信号の色が赤から緑へ、緑から赤へと予測可能に変化することから、少なくとも一つの予測可能な条件付き歩行可能エリア要件の一例である。
【0318】
視覚障害者1は、開始要求を送信するとき、ビルの歩道にいる。
【0319】
本発明のいくつかの実施形態では、入口ドア84は、過去に方法のステップ2で追加されたので、ライブマップ310に既にある。
【0320】
視覚障害者がタクシーから全く新しい場所に降りたばかりで、その結果、入口ドア84がライブマップ310に以前追加されなかったため、開始要求を送信した瞬間に前記入口ドア84がライブマップ310にまだない本発明の実施形態では、ナビゲーションマネージャーサブユニット33が視野20を繰り返し注力するためにワンダリングパスWPを決定し、前記方法S1及びS2が入口ドア84を見つけてライブマップ310に格納するまで繰り返される。
【0321】
入口ドア84が視覚障害者によって知られていない本発明の実施形態では、視覚障害者がタクシーから降りたばかりの全く新しい場所に2つの入口ドア84-01と84-02が1つずつ近くにあるため、視覚障害者は「入口ドア」を見つけるための情報要求をナビゲーション・マネージャー・サブユニット33に送信する。そして、ナビゲーション・マネージャー・サブユニット33は、視覚障害者の近傍から関心領域の入口ドアをライブマップ310に照会し、2つの入口ドア84-01とそれぞれ84-02があることを発見する。
【0322】
２つの入口ドア84-01及び84-02がライブマップ310に既に格納されていない場合、ナビゲーションマネージャーサブユニット33は、当該入口ドア84-01及び84-02が発見されてライブマップ310に格納されるまで、ワンダリングパスWPを決定する。
【0323】
２つの入口ドア84-01および84-02が発見され、ライブマップ310に格納されると、ナビゲーションマネージャーサブユニット33は、それぞれを対応する空間化音として表現し、フィードバックマネージャーサブユニット35を介してフィードバックユニット4に同じものを送信する。そして、視覚障害者は、入口ドア84-01と84-02のうちの1つを、自分の最初の関心点を構成する入口ドア84として選択する。
【0324】
ナビゲーション・マネージャー・サブユニット33は、ステップ３において、単一のナビゲーションパスPnを決定し、すなわち視覚障害者が自分の立ち位置から入口ドア84まで誘導するための初期ナビゲーションパス911である。したがって、優先ナビゲーションパスSPは、初期ナビゲーションパス911である。
【0325】
視覚障害者1が初期ナビゲーションパス911に沿って誘導すると、犬83が感覚ユニット2によって感知される。
【0326】
犬の攻撃性は、次のように感知される：
- 犬が吠えれば、これをオブジェクト音特性融合モジュール308が感知する
- 犬が攻撃的な表情をしている場合、これはオブジェクト2D特性抽出モジュール306によって感知される
- 犬が怒っているために動いている、または震えている場合、それをオブジェクト3D特性融合モジュール307が感知する
- 犬が吠えれば、これをオブジェクト音特性融合モジュール308が感知する
- 犬が攻撃的な表情をしている場合、これはオブジェクト2D特性抽出モジュール306によって感知される
- 犬が怒っているために動いている、または震えている場合、それをオブジェクト3D特性融合モジュール307が感知する
【0327】
基本的なセンサーによって感知されたデータ及び該当する場合には追加センサーによって感知されたデータは、融合され、その後、ライブマップ310に含まれるようにライブマップサブユニット31に送られるので、ナビゲーションマネージャーサブユニット33は、ライブマップ310を照会するとき、少なくとも2つのナビゲーションパス要件をチェックし、非攻撃性要件が満たされないことを検出する。このため、ナビゲーション・マネージャー・サブユニット33は、それが同じ初期関心点PI 84に向かう二次ナビゲーションパス912を決定する。これで、優先ナビゲーションパスSPが二次ナビゲーションパス912となり、犬83が不利な反応をすることが回避される。
【0328】
【0329】
視覚障害者1が第1横断歩道832に近づいたとき、リレーションシップ・マネージャー・サブユニット32は、第1信号831の色によって条件領域943が条件化されていると判断する。
【0330】
そこで、ライブマップ310において、リレーションシップ・マネージャー・サブユニット32により、第1信号831の色と第1横断歩道832の状態とを関係付ける条件関係が構築される。
【0331】
信号831が緑色になると、条件付き歩行可能エリア943が歩行可能とみなされ、視覚障害者1は、二次パス912でナビゲーションを継続するための関連ナビゲーション案内指示を受ける。
【0332】
第2横断歩道832でも同様なことが繰り返される。
【0333】
図16は、二次パス912を誘導する視覚障害者1が、第2横断歩道832で第2信号831の色が青になるのを待っている様子を描く。
【0334】
図17を参照すると、視覚障害者は、既に両方の横断歩道832を渡り、最初の関心点すなわち入口ドア84に近づいている。リレーションシップ・マネージャー・サブユニット32は、最初の関心点すなわちドア84と、さらなる関心点すなわちドアベル841との間の新しい親子関係を決定する。したがって、ドアベル841に対応する新しいアイテム841がライブマップ310に作成され、ドア84とドアベル841との間の新しい親子関係がリレーションシップ・マネージャー・サブユニット32によって作成されてライブマップ310に更新される。ドアベル841は、関心点PI としてドア84を置き換えた。
【0335】
【0336】
優先ナビゲーションパスSPがマンションなどの屋内空間を通過する場合、断面は通常より小さく、例えば当該優先ナビゲーションパスSPの左側に0.25m程度、右側に0.25m程度である0,5程度とする。
【0337】
歩行可能トンネル922を通して視覚障害者を案内する詳細は、図15及び図16との関連で以下に例示される。この例では、ウェアラブルデバイス1は、左触覚フィードバックアクチュエータ411、右触覚フィードバックアクチュエータ412及び中央触覚フィードバックアクチュエータ413を備え、それらの各々は1以上のリニア共振アクチュエータからなる。
【0338】
この例では、関連ナビゲーション案内指示を受信するために、3次元歩行可能トンネルTが選択される。
【0339】
視覚障害者は、最初の触覚キューによる開始コマンドを受け取り、これは時間的なもので、視覚障害者はナビゲーションを開始する。
【0340】
フィードバック・マネージャー・サブユニット35は、方向性のある触覚キューを与えることによって、視覚障害者を優先ナビゲーションパスSP上に、かつ歩行可能トンネル922の制限内に維持しようとする。
【0341】
視覚障害者が、誘導する際に、歩行可能なトンネル922の左側に近すぎる場合、時空間的な第2の触覚キューは、左フィードバックアクチュエータ411によって受信される。左のフィードバックアクチュエータ411のリニア共振アクチュエータは、視覚障害者が向きを変えなければならない方向、つまり右方向に、1つのリニア共振アクチュエータが次々と振動して出力するので、視覚障害者は右側の人に額を引きずられる触覚があるように感じる。第2の触覚キューの振動の持続時間、周期性、強度又は周波数の変化は、歩行可能なトンネル922の左側への接近の程度に比例する。
【0342】
視覚障害者が誘導する際に、歩行可能トンネル922の右側に近すぎる場合、第3の触覚キューは、右フィードバックアクチュエータ412によって受信される。これは、時空間的なものであり、方向転換の方向として右ではなく左を示すことを除いて第2の触覚キューの１つと同一の構成を有する。第3の触覚キューの振動の持続時間、周期性、強度又は周波数の変化は、歩行可能トンネル922の右側への接近の程度に比例する。
【0343】
ユーザーを前方に誘導するのは、時空間的な第4の触覚キューによるのである。第4の触覚キューは、中央フィードバックアクチュエータ413によって受信される。第4の触覚キューの振動の持続時間、周期性、強度または周波数の変化は、視覚障害者が誘導するときに持つべき速度に比例する。
【0344】
視覚障害者が誘導する際に、移動方向を水平面上で方向転換しなければならない場合、例えば、図16に示す横断歩道943に到着したときに右折する場合、中央フィードバックアクチュエータ413によって、時空間的な第5の触覚パターンキューは受信される。第5の触覚キューの振動の持続時間、周期性、強度または周波数の変化は、旋回の程度に比例する。
【0345】
視覚障害者が誘導する際に、垂直面上で移動方向を再指向しなければならない場合、例えば、視覚障害者が既に横断歩道943を横断し、ビルの階段に近づき、いくつかの階段を登らなければならない場合、時空間的な第6の触覚キューは、中央フィードバックアクチュエータ413によって、受信される。第6の触覚キューの振動の持続時間、周期性、強度又は周波数の変化は、視覚障害者に必要な移動の量に比例する。
【0346】
視覚障害者が、図15及び図16に示す横断歩道832に到着すると、交通道路831の色が赤であれば、第7の触覚キューが受信される。これは、センターフィードバックアクチュエータ413による一時停止の関連ナビゲーション案内命令に対応する時間的である。その後、交通信号831が青になると、第7の触覚キューが再び受信され、この時間はナビゲーションの再開に対応する。
【0347】
第8の触覚パターンキューは、時間的なものであり、関心点PIに到達するとナビゲーションの終了を知らせ、中央フィードバックアクチュエータ413から受信される。
【0348】
ユーザーのナビゲーション状況又は要件に対応するために、さらなるタイプの触覚パターンキューを定義することができる。例えば、視覚障害者が、誘導するときに、二次ナビゲーションパス912の歩行可能トンネル922内の中心にいる場合、右触覚フィードバックアクチュエータ412及び左触覚フィードバックアクチュエータ411は、視覚障害者が歩行可能トンネル922内の中心にいることをナビゲートしていると視覚障害者に信号を送るために、いかなるタイプの触覚パターンキューを提示しないか、額の両側に第9タイプの触覚パターンキューを提示し、視覚障害者に知らせることができる。
【0349】
例2
視覚障害者が、第1窓85-1、第2窓85-2、第3窓85-3、第4窓85-4の4つの窓85を有する新しい部屋に入り、4つの窓85のうちの1つを開けたい場合を説明する例として、潜在的関心点PPIは、複数のオブジェクトOnから選ばれた少なくとも一つのオブジェクトOnとして4つの窓のグループとする。
視覚障害者が、第1窓85-1、第2窓85-2、第3窓85-3、第4窓85-4の4つの窓85を有する新しい部屋に入り、4つの窓85のうちの1つを開けたい場合を説明する例として、潜在的関心点PPIは、複数のオブジェクトOnから選ばれた少なくとも一つのオブジェクトOnとして4つの窓のグループとする。
【0350】
用語「潜在的」は、部屋の窓85のいずれかが初期関心点PIとして選択されることを意味する。
【0351】
図18から図28を参照すると、視覚障害者は、サブステップS.3-0.1において、初期関心点PIを選択するために、部屋から窓に関する詳細を調べることに興味があるので、潜在的関心点PPIとして「窓」という名前の情報要求を送信する。
【0352】
当業者は、記載された実施例が、あらゆる種類のオブジェクトOnに適用され、生物Lnのカテゴリーに準用されることを理解するものとする。
【0353】
サブステップS.3.-0.2において、音声表現サブユニット36が前記フィードバックマネージャーサブユニット35の一部でない場合、音声表現サブユニット36は、4つの窓85のそれぞれを、 対応する空間化サウンド：第1空間化サウンドS86-1、第2空間化サウンドS86-2、第3空間化サウンドS86-3、および第4空間化サウンドS86-4 として表現して、フィードバック・マネジャー・サブユニット５を通じてフィードバックユニット4にこの4つの空間化サウンドを伝達する 。
【0354】
サブステップS.3-0.3において、視覚障害者は、4つの窓85-1、85-2、85-3、85-4から1つを初期関心点PIとして選択し、他の選択要求と同様に、対応する選択要求を送信する。
【0355】
サブステップ S.3-0.2 の音による表現は、単一のウィンドウ、または4つの窓85-1、85-2、85-3、85-4のグループからの2つの窓について、図18から28を参照して以下に例証される。当業者は、本発明の教示がこの実施例のグループに限定されず、窓85への言及が4つの窓85-1、85-2、85-3、85-4のいずれかを意味することを理解するものとする。同様に、空間化音S86への言及は、対応する空間化音S86-1、S86-2、S86-3、S86-4のそれぞれを意味する。
【0356】
図18を参照した例2-1において、好ましい実施形態では、音声表現モジュール36は、ライブマップ310から潜在的関心点PPIである窓85に関する特定の情報を抽出し、それらを、窓85の位置から発せられるものとして視覚障害者が知覚する空間化音S86 に符号化し、聴覚フィードバックアクチュエータ42によって視覚障害者へ空間化音S86を送信する。
【0357】
前記潜在的関心点PPIを表す窓85の寸法、または材料の密度などの付加的な特徴を説明するために、ナビゲーション・マネージャー33は、空間化音S86を、グラフィカルに表現されない特定の周波数S86f 、特定の時間帯S86tおよび／または特定のパルスS86p 、前記周波数S86f、特定の時間帯S86tおよび／またはパルスS86pは前記付加的特徴に対応している空間化音にさらに符号化する。
【0358】
図19Aおよびそれぞれ図19Bを参照した例2-2および2-3において、別の好ましい実施形態では、音声表現サブユニット36は、選択された窓85に関する特定の情報を、潜在的関心点85の位置に関して誇張または「ズーム」された表現を有する空間化音S86に符号化する。例えば、潜在的関心点85が10メートルの範囲にある場合、それは、例えば、1メートルの範囲で空間化音S861に表現されることになる。このズームまたは誇張効果は、図19Aに示すように仰角上、および図19Bに示すように方位角上の両方で視覚障害者に提示される。
【0359】
例2-4において、図20を参照すると、別の好ましい実施形態では、視覚障害者は、視覚障害者から非等距離に配置された2つの窓85-1、および85-2のサウンド表現の要求を送信する。
【0360】
音声表現サブユニット36は、ライブマップ310から選択された窓85-1、85-2の特定情報を、窓85-1、85-2と視覚障害者の距離に応じて異なる周波数特徴を有する空間化音S86f-1、S86f-2に符号化し、符号化した空間化音S86f-1、S86f-2を視覚障害者に送信する。
したがって、例えば、視覚障害者に送信される窓85の追加機能に対応する空間化音S86f-1、およびS86f-2の対応する聴覚キューは、周波数が異なる：キューは、視覚障害者に近い窓85-1よりも窓85-2の方がそれぞれ長く続くおよび／または繰り返しの程度が高くなる。
したがって、例えば、視覚障害者に送信される窓85の追加機能に対応する空間化音S86f-1、およびS86f-2の対応する聴覚キューは、周波数が異なる：キューは、視覚障害者に近い窓85-1よりも窓85-2の方がそれぞれ長く続くおよび／または繰り返しの程度が高くなる。
【0361】
図21を参照した例2-5では、別の好ましい実施形態において、視覚障害者は、窓85の余白を音で表現する要求を送信する。簡単のために、それぞれ85-E1と85-E2という2つの余白のみを表現することにしたが、当業者は、窓の形状に応じて、同じ表現が窓のすべての余白に適用されることを理解する。
【0362】
音声表現サブユニット36は、ライブマップ310から選択された窓85の特定情報を抽出し、窓の端85-1E、85-E2に対応する空間化音S86P-E1、S86P-E2に符号化し、空間化音S86P-E1、S86P-E2は視覚障害者に対する2つの選択極端のそれぞれの距離によって異なる符号化特性を有する。距離は、窓85の方位、仰角、または範囲のいずれか、または前記のいずれかの組み合わせで測定することができる。
【0363】
図22を参照した例2-6では、別の好ましい実施形態において、視覚障害者は、潜在的関心点PPIとしての窓85の寸法の表現のために、ユーザー・コマンド・インターフェース5によって、ユーザー・コマンド・インターフェース・サブユニット34を通じて音声表現サブユニット36に要求を送信する。
【0364】
音声表現サブユニット36は、ライブマップ310から抽出された選択された窓85の寸法の特定情報を、窓85の選択された両端間の3つの空間次元のうちの1つに沿った点状音sまたは両端 85-E1 から両端 85-E2 へ直線経路で動くリニア音S86Lに表す時間空間化音S86Pに符号化して、聴覚フィードバックアクチュエータ42によって視覚障害者に送信する。同様の操作は、窓85の他の四肢、具体的には85-E3、窓85が長方形の場合は85-E4についても行われる（グラフィカルに表示されない）。
【0365】
窓85の寸法は、先行技術からの手段により、対応する空間寸法に沿って窓85の四肢85-E1と、85-E2、85-E3、85-E4との間で測定される。
【0366】
図23～図26を参照した2-7～2-10の例では、別の好ましい実施形態において、視覚障害者は、窓85または窓部分の形状の表現の要求を送信する。2-7から2-10までの例では、窓85は、長方形でない装飾窓、または鏡、またはドアの装飾部分とすることができる。簡単のため、窓85として参照する。
【0367】
音声表現サブユニット36は、ライブマップ310から特定情報を抽出し、窓85の形状を表す時間空間化音S86に符号化する。
【0368】
例2-7では、図23を参照して、窓85の形状が、2つの空間化された点状音S86P1、およびS86P2 、それぞれが窓85の垂直対称軸上に置かれた開始点t0 から終了点tfinal まで窓85の輪郭半分上を同時に仮想移動することによって表現される。
【0369】
例2-8では、図24を参照して、窓部85の形状は、2つの空間化音S86f1、およびS86f2 によって表現され、開始点to から終了点tfinal まで窓部の輪郭上を仮想的に移動し、空間化音S86f1、およびS86f2は、空間化音によって移動した窓部85の輪郭のユーザーに対する距離に応じて、異なる周波数で符号化される。
【0370】
例2-9では、図25を参照して、窓部85の輪郭上を出発点t0 から出発点t0 に戻るまで仮想的に移動する単一の空間化音S86によって窓部85の形状が表現される。
【0371】
例2-10では、図26を参照して、窓85の形状は、窓85の内側の輪郭、および外側の輪郭の間の空間内で、角度付きパターンで仮想的に移動する単一の空間化音S86によって表現される。
【0372】
図27、図28を参照した例2.11、2.12では、別の好ましい実施形態において、選択された窓は、窓またはドアのために立つことができる。この2つの例では、窓は、装飾目的または技術的な機能を有する少なくとも1つの内部フレームがある。内枠の輪郭は、これらの好ましい実施形態において、例えば、怪我の危険性のため、又はドア又は窓のハンドルが内枠にあるため、重要である。
【0373】
図27を参照した例2.11では、視覚障害者に対して異なる距離に置かれた、潜在的関心点として一緒に立っている2つの窓85-1、および85-2がある。窓でもドアでもよい。視覚障害者が取るべき行動が両方に関係するため、潜在的関心点として一緒に立っている。例えば、2つの窓があり、両方とも開ける必要がある場合や、2つのドアがある廊下があり、そこを視覚障害者が通過する必要がある場合などである。
【0374】
２つの窓85-1、85-2は、様々な寸法（例えば：窓の場合は5～10cm、ドアの場合は1～2m）のオープンスペースによって分離される。視覚障害者は、窓851に近い位置に配置される。
【0375】
視覚障害者は、2つの窓85-1、85-2の間の開放空間の距離のサウンド表現と、2つの窓85-1、85-2の内枠の形状の要求を送信する。
【0376】
音声表現サブユニット36は、2つの窓85-1、85-2のライブマップ310から特定情報を抽出し、2つの窓85-1、85-2の内枠の形状を表現するための異なる時間特性を有する空間化音S86t-1、S86t-2にエンコードする。
【0377】
図27に示すように、視覚障害者により近い位置に置かれた窓85-1は、2つの空間化音S86t1-1、S86t2-1で表され、一方の空間化音S86t1-1は窓85-1の外側輪郭を、他方の空間化音S86t2-1は窓85-1の内側輪郭を表す。空間化音S86t1-1、S86t2-1のそれぞれは、同時に開始する2つの他の空間化音からなり、S86t11-1はS86t12-1が窓85-1の外側輪郭を表し、S86t21-1はS86t21-1がウィンドウ85-1の内側輪郭を表す。
【0378】
２つの窓85-1、85-2の間には空間が開いているため、視覚障害者に近い位置に置かれた窓85-1は、第2の窓85-2に関する詳細情報を検出するための障壁のように働き、その結果、音声表現サブユニット36は、窓85-2の3次元位置とその上下寸法に対応する簡素な空間化音S86t-2を出力するにとどまることができる。
【0379】
図28を参照して、例2-12では、別の好ましい実施形態において、視覚障害者は、窓85の内枠の形状の詳細の音表現の要求を送信する。
【0380】
簡単のため、図28では矩形を例示しているが、いずれかの幾何学的形状でよい。
【0381】
音声表現サブユニット36は、ライブマップ310から特定の情報を抽出し、同時に開始する2つの空間化された音S861、S862に符号化し、室内枠の輪郭、および窓85の外郭の間の空間内で、仮想的に角度をつけて移動する。
【0382】
方法およびシステムの説明は、好ましい実施形態に関連して詳細に開示されたが、当業者は、本発明の教示に対する本質的な範囲から逸脱することなく、特定の状況に適応するために修正がなされ得ることを理解する。
【0383】
特許請求の範囲に記載された参照数字は、例示のためのものであり、特許請求の範囲を限定する効果がない。
【0384】
参考文献一覧
[1] - US 3594823
[2] - US 9915545
[3] - US 9 629 774
[4], Xiaochen Zhang他 “Wearable Indoor Navigation System with Context Based Decision Making for Visually Impairred（視覚障害者のためのコンテキストに基づく意思決定を行うウェアラブル屋内ナビゲーションシステム）” [4] International Journal of Advanced Robotics and Automation
[5] US 2016/0033280 A1
[1] - US 3594823
[2] - US 9915545
[3] - US 9 629 774
[4], Xiaochen Zhang他 “Wearable Indoor Navigation System with Context Based Decision Making for Visually Impairred（視覚障害者のためのコンテキストに基づく意思決定を行うウェアラブル屋内ナビゲーションシステム）” [4] International Journal of Advanced Robotics and Automation
[5] US 2016/0033280 A1
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【国際調査報告】