(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-26
(54)【発明の名称】盲人及び視覚障害者用の立体音響装置
(51)【国際特許分類】
G09B 21/00 20060101AFI20220519BHJP
G06F 3/16 20060101ALI20220519BHJP
G10L 21/0208 20130101ALI20220519BHJP
G10L 13/00 20060101ALI20220519BHJP
G10K 15/04 20060101ALI20220519BHJP
G06F 3/01 20060101ALI20220519BHJP
【ＦＩ】
G09B21/00 D
G06F3/16 690
G06F3/16 610
G06F3/16 680
G10L21/0208 100Z
G10L13/00 100Z
G10K15/04 302A
G06F3/01 510
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021547324
(86)(22)【出願日】2020-02-11
(85)【翻訳文提出日】2021-10-11
(86)【国際出願番号】 IL2020050162
(87)【国際公開番号】W WO2020165899
(87)【国際公開日】2020-08-20
(31)【優先権主張番号】62/804,568
(32)【優先日】2019-02-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
２．ＭＡＴＬＡＢ
(71)【出願人】
【識別番号】521355809
【氏名又は名称】キャン － ユー － シー リミテッド
(74)【代理人】
【識別番号】110000855
【氏名又は名称】特許業務法人浅村特許事務所
(72)【発明者】
【氏名】ソロモン、リーロイ
(72)【発明者】
【氏名】ソロモン、ドロン
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA10
5E555AA71
5E555DD05
5E555DD06
5E555EA00
(57)【要約】
距離センサ、カメラ、及びヘッドセットを含む方法及びウェアラブル・システムであって、距離センサ、カメラ、及びヘッドセットが全て、盲人又は視覚障害者の周囲に関するデータを収集し、ポータブル・パーソナル通信デバイスに接続され、デバイスが、シナリオベースのアルゴリズム及びＡＩを使用して、データを処理し、盲人又は視覚障害者に音声指示を送信して、物体の識別及びローカル・テキストの読み上げを提供することにより、盲人又は視覚障害者が独立して行動し、環境に対処できるようにするためのアルゴリズム及びＡＩを使用するように構成される、方法及びウェアラブル・システム。
【特許請求の範囲】
【請求項1】
視覚障害のあるユーザの環境に関するシナリオベースの情報を処理するためのシステムであって、ａ．前記情報を収集し、前記情報に関連する環境データをプロセッサに転送するように構成された複数のセンサと、
ｂ．前記環境データを受信し、サウンド・データを出力するように適合されたプロセッサと、
ｃ．前記視覚障害のあるユーザに関連付けられたポータブル通信デバイスであって、前記環境データに関連付けられた前記プロセッサからの前記サウンド・データを受信するように適合され、前記サウンド・データを前記視覚障害のあるユーザのために脳で解釈可能な音に変換するように適合されて、前記ユーザが前記環境をリアルタイムで理解できるようにする、ポータブル通信デバイスと、
を備えるシステム。
【請求項2】
前記ポータブル通信デバイスが、前記ユーザの近傍にある物体からの距離及び方向を表すためにシナリオベースの立体音響サウンドを出力し、それによって前記ユーザが環境内を移動することを可能にする、請求項１に記載のシステム。
【請求項3】
前記立体音響サウンドが、前記ユーザの右耳と左耳との間の音の遅延に基づいて、前記物体からの距離及び方向に関する情報を前記ユーザに提供する、請求項２に記載のシステム。
【請求項4】
前記デバイスが、前記距離に応答して、前記立体音響サウンドの音量を調整するように構成される、請求項２に記載のシステム。
【請求項5】
視覚障害者の環境に関するシナリオベースの情報を処理するための方法であって、ａ．ユーザ・デバイスのセンサから情報及び環境データを収集するステップであって、前記データが、前記ユーザの近傍にある物体に関連付けられる、ステップと、
ｂ．シナリオベースのアルゴリズム及びデータを使用して前記情報を処理して、関連のサウンド・データを出力するステップと、
ｃ．前記環境データに関連する前記サウンド・データを、前記視覚障害のあるユーザのためのシナリオベースの脳で解釈可能な音に変換して、前記ユーザが前記環境をリアルタイムで理解できるようにするステップと、
を含む方法。
【請求項6】
前記変換ステップが、前記ユーザの近傍にある物体からの距離及び方向を表すために立体音響サウンドを出力し、それによって前記ユーザが環境内を移動することを可能にする、請求項５に記載の方法。
【請求項7】
前記立体音響サウンドが、前記ユーザの右耳と左耳との間の音の遅延に基づいて、前記物体の少なくとも１つからの距離及び方向に関するシナリオベースの情報を前記ユーザに提供する、請求項６に記載の方法。
【請求項8】
前記デバイスが、前記距離に応答して、前記シナリオベースの立体音響サウンドの音量を調整するように構成される、請求項７に記載の方法。
【請求項9】
前記シナリオベースの立体音響サウンドが、前記ユーザの右耳と左耳との間の音の遅延に基づいて前記少なくとも１つの物体への方向を提供し、周期音の周期性によって距離の標示を提供し、より近い物体が、より短い周期の周期音によって表される、請求項８に記載の方法。
【請求項10】
前記シナリオベースの立体音響サウンドが、右耳と左耳との間の音の遅延に基づいて前記少なくとも１つの物体への方向を提供し、音の周波数によって距離を提供し、より近い物体が、より高い周波数の音によって表される、請求項９に記載の方法。
【請求項11】
前記シナリオベースのアルゴリズムが、光学文字認識（ＯＣＲ）アルゴリズムを実装することによって、音声読み上げテキストをさらに出力する、請求項５に記載の方法。
【請求項12】
前記ＯＣＲ情報が、前記ユーザのパーソナル・デバイスのカメラからのものであり、前記カメラが、ＯＣＲのために、さらには前記ユーザの近傍でのテキストの再生のために使用される、請求項１１に記載の方法。
【請求項13】
前記シナリオベースのアルゴリズムが、前記パーソナル・デバイスに配設された人工知能（ＡＩ）アルゴリズムを使用することによって物体の音声識別を組み合わせる、請求項１２に記載の方法。
【請求項14】
前記カメラからの前記情報が、前記ＡＩによって物体を識別し、前記近傍にある前記物体の名前を再生するために使用される、請求項１３に記載の方法。
【請求項15】
前記ＡＩシナリオベースのアルゴリズムが、前記カメラによってキャプチャされた画像を処理するように適合された顔認識アルゴリズムを含む、請求項１４に記載の方法。
【請求項16】
異なる方向又は目的からの前記情報が、異なる音声及び音によって出力され、前記ユーザが、異なる方向及び／又は情報源からの情報を識別及び区別することができるようにする、請求項５に記載の方法。
【請求項17】
前記センサ・データを処理する前記シナリオベースのアルゴリズムが、向きに依存する、請求項１６に記載の方法。
【請求項18】
前記収集ステップが、異なるカバレッジ・エリアからデータを収集すること、機械的に又はデジタルでスキャンするスキャン・センサを採用すること、及び広角のセンサを使用してデータを収集し、前記データを分割して部分ごとに処理することができることの少なくとも１つを含む、請求項７に記載の方法。
【請求項19】
各センサからの前記情報が、シナリオ及び前記センサの方向又は配置に基づいて、別の方法で処理される、請求項５に記載の方法。
【請求項20】
前記近傍に穴又は障害物がある場合に前記ユーザに警告を提供するステップをさらに含む、請求項１９に記載の方法。
【請求項21】
前記システムがウェアラブルであり、ワイヤレス・センサを含み、それによって、前記システムをユーザが快適に着用できるようにする、請求項１に記載のシステム。
【請求項22】
前記全てのセンサがメイン・コンピュータ又はデバイスに接続される、請求項２１に記載のシステム。
【請求項23】
前記システムがワイヤレス・ヘッドセットを備え、ユーザが快適に着用できるような設計にする、請求項２１に記載のシステム。
【請求項24】
前記ワイヤレス・ヘッドセットが、ユーザが携帯するメイン・コンピュータ又はデバイスに接続される、請求項２３に記載のシステム。
【請求項25】
前記シナリオベースのアルゴリズムが、全てのセンサ（方向センサ、カメラ、ＧＰＳ、ナビゲーションセンサ（加速度計、磁気センサ））から収集された全てのデータを融合し、それを立体音響サウンドとして前記ユーザに送信し、様々な音や音声で物体までの距離及び方向を表す、請求項５に記載の方法。
【請求項26】
前記センサが、前記ユーザの動き情報、及び周囲環境内での前記ユーザの向きを解釈するための加速度センサを備える、請求項５に記載の方法。
【請求項27】
前記動き情報がナビゲーション目的で使用される、請求項２６に記載の方法。
【請求項28】
前記ユーザを屋外でナビゲートし、前記ユーザの目的地への方向を前記ユーザに与えるためのＧＰＳを備える、請求項１に記載のシステム。
【請求項29】
建物内でナビゲートするためのナビゲーション・アプリケーションをさらに備え、前記ナビゲーション・アプリケーションが、カメラを使用して画像間のシナリオベースの相違を識別し、機械学習によって、前記システムが、前記建物の内部をマッピングして前記ユーザに指示するように構成される、請求項２８に記載のシステム。
【請求項30】
前記カメラから撮影された前記写真が、人が屋内にいるか屋外にいるかを理解するために前記ＡＩによってシナリオベースで分析され、前記ＡＩがカメラの写真から、通常は屋内にある１組の光源及びアイテムを認識する場合、前記システムが、前記人が屋内にいることを理解して、建物内をナビゲートする前記アプリケーションを適用し、カメラが太陽及び街灯などのアイテムをキャプチャする場合、ＧＰＳの使用によって、前記システムが、前記人が屋外を移動していることを理解して、ＧＰＳ又は他の屋外ナビゲーション・アプリケーションを使用して、前記ユーザをナビゲートする、請求項２９に記載のシステム。
【請求項31】
エコー及びノイズ・キャンセレーションを使用し、ノイズとして識別された音を除去し、前記ユーザが周囲サウンド情報を明瞭に得ることができるようにする、実施例２９に記載のシステム。
【請求項32】
少なくとも１つのハードウェア・プロセッサと、シナリオベースのプログラム・コードを具現化する非一時的なコンピュータ可読記憶媒体とを備えるシステムであって、前記プログラム・コードが、前記少なくとも１つのハードウェア・プロセッサによって実行可能であり、請求項５から２０まで又は２５から２７までのいずれか一項に記載のシナリオベースの方法を実施する、システム。
【請求項33】
少なくとも１つのハードウェア・プロセッサと、ａ．シナリオ識別の選択であって、
ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出された選択、及び
ｉｉｉ．センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
を含む任意の方法によって前記シナリオを表すことができる、シナリオ識別の選択と、
ｂ．シナリオベースのプログラムの実装を行うアルゴリズム又はアプリケーションの実装構成要素であって、前記プログラム・コードが、実施例５から２０まで又は２５から２７までのいずれか一項に記載のシナリオベースの方法を実施するために、前記少なくとも１つのハードウェア・プロセッサによって実行可能である、実装構成要素と
の少なくとも２部分のソフトウェアを有する非一時的なコンピュータ可読記憶媒体とを備えるシステム。
【請求項34】
シナリオベースのプログラム・コードを具現化する非一時的なコンピュータ可読記憶媒体とを備えるコンピュータ・プログラム製品であって、前記プログラム・コードが、前記少なくとも１つのハードウェア・プロセッサによって実行可能であり、請求項５から２０まで又は２５から２７までのいずれか一項に記載のシナリオベースの方法を実施する、コンピュータ・プログラム製品。
【請求項35】
ａ．シナリオ識別の選択であって、ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出された選択、及び
ｉｉｉ．センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
を含む任意の方法によって前記シナリオを表すことができる、シナリオ識別の選択と、
ｂ．シナリオベースのプログラムの実装を行うアルゴリズム又はアプリケーションの実装構成要素であって、前記プログラム・コードが、実施例５から２０まで又は２５から２７までのいずれか１つのシナリオベースの方法を実施するために、前記少なくとも１つのハードウェア・プロセッサによって実行可能である、実装構成要素と
の少なくとも２つの部分を有するソフトウェアを備えるコンピュータ・プログラム製品。
【請求項36】
各センサからの前記情報が、シナリオ及び前記センサの方向又は配置に基づいて、別の方法で処理される、請求項５に記載の方法。
【請求項37】
前記アルゴリズムがノイズとして識別された音を除去し、前記ユーザが前記周囲サウンド情報を明瞭に得られるように、エコー及びノイズ・キャンセレーションを使用する、請求項３６に記載の方法。
【請求項38】
ａ．シナリオ識別を選択するためのソフトウェアを構成する第１のソフトウェア部分であって、ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出される選択、及び
ｉｉｉ．センサから収集された前記データに基づくＡＩ決定によって導出されるコンテキスト
から選択される任意の方法によって前記シナリオを表現することができる、第１のソフトウェア部分と、
ｂ．シナリオベースのプログラムの実装を行うアルゴリズム又はアプリケーションを実装するように構成された第２のソフトウェア部分であって、前記プログラム・コードが、前記シナリオベースの方法を実施するために前記少なくとも１つのハードウェア・プロセッサによって実行可能である、第２のソフトウェア部分と
の少なくとも２つのソフトウェア部分を実装するステップを含む、請求項５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概してデジタル医療の分野に関連し、より詳細には、視覚障害者を支援するための方法及び装置に関する。
【背景技術】
【0002】
科学の黎明期から、人類は、失明や視覚障害のための解決策に直面して模索してきた。盲人及び視覚障害者が、環境が及ぼす多くの危険に対処して生きることは常に困難であったが、今日、道路の増加や交通の高速化などにより、かつてないほどに環境が危険になっている。今日、盲人及び視覚障害者は、社会への統合が非常に困難である。
【0003】
世界の統計によれば、３億４０００万人を超える視覚障害者及び３９００万人を超える盲人がいる。
【0004】
医学誌「Ｌａｎｃｅｔ Ｇｌｏｂａｌ Ｈｅａｌｔｈ」に掲載された新しい記事によれば、世界の盲人の数は２０５０年までに１億１５００万人に増えると英国のＡｎｇｌｉａ Ｒｕｓｋｉｎ大学の研究者らは主張している。研究者らは、１８８カ国からデータを収集した。研究責任者のＲｕｐｅｒｔ Ｂｏｕｒｎｅ教授は、２０５０年までに視覚障害者の数が５億５０００万人にまで増える可能性が高いと主張している。「軽い視覚障害でさえ、人の生活に大きな影響を与える可能性があります。その影響は、運転の禁止など、その人が独立して行える行動の減少として現れることがあります。」とＢｏｕｒｎｅ教授は言う。
【0005】
盲人及び視覚障害者のための今日の解決策は、歩行補助杖、盲導犬、スマートフォンでのアプリケーション、並びにテキストを読み上げる及び視覚障害者の視覚を改良する最近の高価なデバイスである。
【0006】
現在市場に出ているシステムは、大抵は視覚障害者専用のものであり、価格帯は、３，０５５ユーロ（３５００ドル）から１３０，９４４ユーロ（１５０，０００ドル）で、ほとんどの人は手に入れることができない。
【0007】
上述したことから、独立して歩く、テキストを読む、物体を識別するといった能力を盲人及び視覚障害者に妥当な価格で与えるシステムが必要である。そのような解決策は存在していない。この種の解決策を購入できる価格で必要としている人は多く、この傾向は高まっている。
【0008】
コウモリは視力のない生物であり、音を使ってエコーロケーションにより移動することができる数少ない哺乳類の１つであり、エコーロケーションに依拠して、障害物を検出し、進路を見つけ、餌を探す。エコーロケーションとは、音波及びエコーを使用して、物体が空間内のどこにあるかを判断するものである。コウモリは、エコーロケーションを使用して、暗闇でナビゲートして餌を見つける。コウモリは、エコーロケーションを行うために、口又は鼻から音波を送出する。音波が物体に当たると、物体はエコーを発生する。エコーは物体から跳ね返り、コウモリの耳に戻る。コウモリは、エコーを聞いて、物体の位置、大きさ、形状を把握する。
【0009】
エコーロケーションを使用して、コウモリは、完全な暗闇の中で、人間の髪の毛ほどの細い物体を検出することができる。エコーロケーションにより、コウモリは、多くのコウモリが好んで食べる蚊と同じ程度の大きさの虫を見つけることができる。コウモリは、あらゆる環境的状況、シナリオ、イベントに適応し、特定のシナリオに応じてエコーロケーション能力を様々に使用することができる。
【0010】
エコーロケーション・コールは通常、２０～２００キロヘルツの周波数範囲の超音波である。ピッチに関しては、コウモリは、一定の周波数（ＣＦコール）と、頻繁に変調される可変周波数（ＦＭコール）との両方でエコーロケーション・コールを生成する。ほとんどのコウモリは、ＣＦ成分とＦＭ成分とを組み合わせて、複雑な一連のコールを生成する。低周波数の音は高周波数の音よりも遠くまで伝播するが、高周波数でのコールは、獲物のサイズ、範囲、位置、飛行速度、飛行方向など、より詳細な情報をコウモリに提供する。ラウドネスに関しては、コウモリは、最低５０ｄＢから最高１２０ｄＢのコールを発する。コウモリは、リアルタイムでの実際のシナリオに従ってエコーロケーション・スキームを使用し、これは、環境の状況、及びコウモリの望み又は目的に従って変化する。
【0011】
コウモリの耳及び脳細胞は、コウモリが発する音の周波数と、得られるエコーとに特に適合されている。内耳に受容体細胞が集中していることで、コウモリは周波数の変化に非常に敏感である。
【0012】
ヒトの聴覚は立体音響式であり、様々な周波数及び音量（１０～１５０ｄＢの範囲）の音を検出することができる。ヒトの聴覚は、２０Ｈｚから、大人での２０ＫＨｚ及び子供での４０ＫＨｚまでの範囲の周波数を検出することができる。
【0013】
聴覚機能により、ヒトは音源の方向及び距離を検出することができ、異なる音／音声の相違を識別することができる。それにより、ヒトは、音によって環境について理解できる能力を備えることができる。ヒトは２つの耳を有するので、ヒトは、２０，０００×２×１０ビット／秒＝４００，０００ビット／秒のサウンド・データを得ることができる。これは、低ビデオ解像度に相当し、機能するのに十分である。したがって、ヒトは、コウモリのように聴覚に基づいて、見えているかのように行動することができる。
【0014】
したがって、視覚障害者を支援するためのシステム及び方法を提供するという満たされていないニーズが残っている。
【発明の概要】
【発明が解決しようとする課題】
【0015】
本発明のいくつかの態様の目的は、盲人及び視覚障害者の生活の質を改善するためのシステム、方法、デバイス、及びソフトウェアを提供することである。
【課題を解決するための手段】
【0016】
本発明は、センサから収集された情報及びデータを処理し、データを、ユーザの頭／脳が処理できるように半生データとして音声でユーザに送信するシステム及び方法を提供し、それにより、ユーザが「耳で見る」ことで周囲環境を理解できるようにする。本発明のいくつかの実施例では、視覚障害者又はユーザの生活の質を改善して健常者と同じ機会を与えるための改良された方法及び装置が提供される。
【0017】
本発明は、距離センサ、カメラ、及びヘッドセットを含む方法及びウェアラブル・システムを提供し、距離センサ、カメラ、及びヘッドセットは全て、盲人又は視覚障害者の周囲に関するデータを収集し、ポータブル・パーソナル通信デバイスに接続され、デバイスは、データを処理し、盲人又は視覚障害者に音声指示を送信して、物体の識別及びローカル・テキストの読み上げを提供することにより、独立して行動し、環境に対処できるようにするためのアルゴリズム及びＡＩを使用するように構成される。
【0018】
本発明のいくつかの実施例によれば、システムは、エコーロケーションを使用する。本明細書において、エコーロケーションは、音波を使用して、物体が３次元空間のどこにあるかを決定するものである。
【0019】
本発明のいくつかの実施例によれば、システムは、任意の専用コンピューティング・プラットフォーム、又は商用オフザシェルフ（ＣＯＴＳ：Ｃｏｍｍｅｒｃｉａｌ ｏｆｆ－ｔｈｅ－ｓｈｅｌｆ）コンピューティング・プラットフォーム、例えばセルラ電話、Ｒａｓｐｂｅｒｒｙ Ｐｉプラットフォームなどのシングル・ボード・コンピュータ（ＳＢＣ：ｓｉｎｇｌｅ－ｂｏａｒｄ ｃｏｍｐｕｔｅｒ）、ＰＣ１０４コンピュータ、及び他のコンピューティング・プラットフォーム、例えばネットブック／ラップトップ・コンピュータなどを使用する。
【0020】
本発明のいくつかの実施例によれば、システムは、センサから収集されたデータを処理するシナリオに基づくアルゴリズム又はアプリケーションを使用する。シナリオは、ユーザの介入若しくはコマンドによって、ポリシーによって、又はセンサから収集されたデータに基づくＡＩ決定により導出されたコンテキストによって表現されることがある。
【0021】
本発明のいくつかの実施例によれば、シナリオとは、盲目のユーザ又は視覚障害のあるユーザが直面する適切な状況及び目的である。例えば、盲目のユーザ又は視覚障害のあるユーザの意図が、通りを歩いて特定の終点目的地まで安全にたどり着くことである場合、ＧＰＳモジュールからのデータを用いた音声指示コマンドを備えたＧＰＳナビゲーションＳＷが、Ｌｉｄａｒ又は超音波距離センサなどの距離センサと共に動作して、カメラからのデータを組み合わせて、ＡＩ ＳＷによって歩道の道筋を識別し、盲人又は視覚障害者が歩道の道筋に従って確実に歩けるようにする。
【0022】
道路の交差点に達すると、ＡＩは、前方の道路を検出して、盲人又は視覚障害者に通知する。シナリオは道路横断シナリオに変更され、ＡＩが車及び信号機を検出し、信号機の色を言葉で示し、車の交通の開始及び停止、並びに車の応答及び停止を通知する。これら全てに、経路を検証するため、さらには道路標識を読み取るためのコンパス及び加速度メータが付随する。別のシナリオは、盲目のユーザ又は視覚障害のあるユーザが建物内に入った状況であり、ＧＰＳによるナビゲーションが終了してＡＩに引き継がれ、ＡＩは、ランプの光及び他の動かない基準点を検出し、それらをコンパス、高度計、加速度センサからのデータと融合して、位置を測定する。ＡＩにより、盲目のユーザ又は視覚障害のあるユーザを建物内の目的地に案内するために、ドア、エレベータ、及び壁の識別が行われる。
【0023】
エレベータに乗ると、システムはそれを識別してエレベータ・シナリオに進む必要があり、ＡＩカメラは、例えば、エレベータのドアが開いているか閉じているか、エレベータのコマンド・パネルがどこにあるかを識別し、ユーザが押そうとするボタンに書いてある数字を読み上げ、フロア番号を識別し、言葉で通知する必要がある。状況の別の実例は、盲目のユーザ又は視覚障害のあるユーザがプールの近くを歩いているときである。水面は、Ｌｉｄａｒや超音波センサなどの距離センサには床として認識されてしまうが、ＡＩカメラは、プールの縁部を検出することができ、危険を通知することができる。
【0024】
シナリオの別の実例は、盲人又は視覚障害者がシチューを調理するときである。盲人又は視覚障害者がいくつかの食材をテーブルに置き、システムは、各素材の識別及びテーブル上での位置について盲人又は視覚障害者に指示を与える。
【0025】
本発明のいくつかの実施例によれば、システムは、エコー及びノイズ・キャンセレーションを使用し、ノイズとして識別された音を除去し、ユーザが周囲サウンド情報を明瞭に得ることができるようにする。
【0026】
盲人に健常者のように行動できる能力を与えることによって、社会及び国家はこの変化から利益を得るであろう。盲人及び視覚障害者のための福祉や介護に社会がお金をかける必要がなくなり、また、盲人及び視覚障害者が一般の労働サイクルに容易に入ることができ、それにより生産性が向上するため、盲人及び視覚障害者は社会の負担にはならない。本発明による画期的なシステムはウェアラブルであり、そのセンサによって環境に関するデータを収集し、見えているかのように人が認識、読み取り、及び歩行することができるような独自の様式で情報を人に送信する。この製品は大量生産用に設計されている。本発明による革新的なシステムは、競合システムに比べて低コストで手頃な価格である。
【0027】
エコーロケーションとは、音を使用して、物体が空間内のどこにあるかを判断するものである。聴覚機能により、ヒトは音源の方向及び距離を検出することができ、異なる音／音声の相違を識別することができる。本発明によるシステムは、いくつかの異なるタイプの距離センサ（超音波、ＬＩＤＡＲなど）、カメラ、物体を識別してテキストを読み上げるためのニューラル・ネットワーク、及びＣａｎ－Ｕ－Ｃのアルゴリズムを含む。本発明によるシステムは、数十ＭＢＰＳの中帯域幅でビデオ、長さ、場所としてセンサからデータを収集する。本発明によるシステムは、データを処理し、それを最大４００ＫＢＰＳのレートでアナログ・オーディオで送信する。これは、低解像度ビデオに相当するが、環境を理解するのに十分である。５０ＫＢＰＳ程度のより小さい帯域幅でも機能を実施することが可能である。システムは、場所、速度、方向などの情報を符号化し、盲人又は視覚障害者が置かれているシナリオに基づいて頭で迅速に直感的に処理できる形で情報を送信する。
【0028】
本発明の他の実施例では、システムのシナリオベースの動作を管理及び統括するプロセスを提供するための方法及びシステムが述べられている。この管理は、ＯＳ及びデバイス管理構成要素のタスクを取り扱うためのアルゴリズムでよく、センサ及びデバイスから収集されたデータを取り扱うことができ、盲人又は視覚障害者が置かれているシナリオに従って、処理された聴覚データが送達される。
【0029】
本発明のさらなる実施例では、この方法は、少なくとも２つの部分を有するシナリオ管理構成要素（アルゴリズム）を含む。第１の部分は、ポリシー、若しくはセンサから収集されたデータに基づくコンテキストによって、又はユーザの介入若しくはコマンドによって、特定の状況で動作させるべきシナリオ識別子を決定することを目的とするソフトウェアであるシナリオ識別構成要素である。
【0030】
このソフトウェアは、システムのＯＳの一部でよく、又はシステムのメイン・アプリケーションの一部としてのものでよい。そのシナリオに基づいて、第２の部分は、シナリオへの適切なアプリケーションの実装構成要素；アプリケーション構成であり、アルゴリズム又はサブシナリオ・アプリケーションの構成を完全な構成として実行する。アプリケーション及びアルゴリズムの構成はシナリオに従って機能し、センサがデータを収集し、ＯＳ、及びシナリオ構成の実装として実行されているアプリケーションによってデータが融合される。
【0031】
本発明のさらなる実施例では、システムは、システムの一部として使用される又はシステムの一体部品として使用されることがある、任意選択の外部システム・リモート・センサ及び周辺デバイスを動作させる又は含むことがある。
【0032】
以下の実施例及びその態様は、範囲を限定するものではなく例示及び図示として意図されたシステム、ツール、及び方法と共に説明及び図示される。
【0033】
一実施例では、盲人及び視覚障害者を支援する装置を利用する方法が提供される。一実施例では、システムの全てのセンサ（距離、カメラ、又は他の手段）から収集された結果データ全体を組み合わせ、それらを分析し、処理されたデータ結果を立体音響サウンド（物体までの距離及び方向を表す）として送信すると、システムを使用する人が自分の周囲を理解することができる。
【0034】
いくつかの実施例では、右耳と左耳との間の音の遅延に基づいて物体への方向を与える目的で、及び、いくつかの実施例では音量の強さとして（より近い物体はより高い音量の音によって表される）、又はいくつかの実施例では周期音の周期性として（より近い物体はより短い周期の周期音によって表される）、又はいくつかの実施例では音の周波数として（より近い物体はより高い周波数の音によって表される）距離を与える目的で立体音響サウンドを使用する方法が提供される。
【0035】
また、一実施例では、システムは、システムのカメラがキャプチャしたものを分析して、その分析をユーザに音声で伝送するＡＩアルゴリズムを含み、ユーザは、物体を識別し、テキストを読み取ることができる。カメラがテキストをキャプチャする場合、ＯＣＲアルゴリズムがテキストを分析して、音でユーザに伝送することができ、又はカメラが物体をキャプチャする場合、ＡＩは、物体が何かを分析し、音声で物体の名前をユーザに伝送する。ＡＩは、いくつかの実施例では、カメラ写真を処理する顔認識アルゴリズムを有することがある。
【0036】
また、一実施例では、いくつかの距離センサ、カメラ、パーソナル・コンピュータ、又はデバイスを含むウェアラブル・システムが提供され、これらは、小さな単一のボード又は１組のボード及びヘッドセットである。システムはワイヤレスでよく、ユーザが着用するのにより快適な設計になる。
【0037】
一実施例では、目的、人から物体までの距離、及び向きに応じて、異なる音及び音声であらゆる結果データを区別する方法が提供される。
【0038】
いくつかの実施例では、異なるカバレッジ・エリアからデータをスキャンして収集するために、システムは、１組の距離センサを含み、又は機械的に若しくはデジタルでスキャンするスキャン・センサを使用する。最も理想的なのは、広角で収集するセンサを使用し、データを分割して部分ごとに処理することである。
【0039】
一実施例では、センサ・データを処理するアルゴリズムが向きに依存することがさらに提供される。特に距離検知を扱うとき、向きが重要である。いくつかの実施例では、水平方向を向いている人の顔に装着された長距離センサは、距離自体のみを警告し、地面を向いているセンサは、穴及び障害物のみを警告する。
【0040】
いくつかの実施例では、システムは、ユーザがいる場所、向き、及び向いている方向をユーザに警告する目的で、慣性及び加速度センサ並びに磁場センサを含むこともできる。さらに、一実施例では、システム・アルゴリズムは、距離及びカメラから来た処理情報をより良くカバーするために、慣性、加速度計、及び磁気センサからの向きを使用することができる。システム・アルゴリズムは、いくつかの実施例では、距離測定用のステップ・カウンタのために、慣性、加速度計、及び磁気センサを使用することができる。
【0041】
また、一実施例では、センサの照準方向情報は、正しい解釈を与えるために、及びセンサからの情報をより良く処理するために重要である。
【0042】
上述した例示的な態様及び実施例に加えて、以下の詳細な説明を検討することにより、さらなる態様及び実施例が明らかになろう。
【実施例】
【0043】
「実施例１」
視覚障害のあるユーザの環境に関するシナリオベースの情報を処理するためのシステムであって、
ａ．情報を収集し、上記情報に関連する環境データをプロセッサに転送するように構成された複数のセンサと、
ｂ．上記環境データを受信し、サウンド・データを出力するように適合されたプロセッサと、
ｃ．視覚障害のあるユーザに関連付けられたポータブル通信デバイスであって、上記環境データに関連付けられた上記プロセッサからの上記サウンド・データを受信するように適合され、サウンド・データを視覚障害のあるユーザのために脳で解釈可能な音に変換するように適合されて、ユーザが上記環境をリアルタイムで理解できるようにする、ポータブル通信デバイスと、
を備えるシステム。
視覚障害のあるユーザの環境に関するシナリオベースの情報を処理するためのシステムであって、
ａ．情報を収集し、上記情報に関連する環境データをプロセッサに転送するように構成された複数のセンサと、
ｂ．上記環境データを受信し、サウンド・データを出力するように適合されたプロセッサと、
ｃ．視覚障害のあるユーザに関連付けられたポータブル通信デバイスであって、上記環境データに関連付けられた上記プロセッサからの上記サウンド・データを受信するように適合され、サウンド・データを視覚障害のあるユーザのために脳で解釈可能な音に変換するように適合されて、ユーザが上記環境をリアルタイムで理解できるようにする、ポータブル通信デバイスと、
を備えるシステム。
【0044】
「実施例２」
上記ポータブル通信デバイスが、上記ユーザの近傍にある物体からの距離及び方向を表すためにシナリオベースの立体音響サウンドを出力し、それによってユーザが環境内を移動することを可能にする、実施例１に記載のシステム。
上記ポータブル通信デバイスが、上記ユーザの近傍にある物体からの距離及び方向を表すためにシナリオベースの立体音響サウンドを出力し、それによってユーザが環境内を移動することを可能にする、実施例１に記載のシステム。
【0045】
「実施例３」
上記立体音響サウンドが、上記ユーザの右耳と左耳との間の音の遅延に基づいて、物体からの距離及び方向に関する情報を上記ユーザに提供する、実施例２に記載のシステム。
上記立体音響サウンドが、上記ユーザの右耳と左耳との間の音の遅延に基づいて、物体からの距離及び方向に関する情報を上記ユーザに提供する、実施例２に記載のシステム。
【0046】
「実施例４」
上記デバイスが、上記距離に応答して、上記立体音響サウンドの音量を調整するように構成される、実施例２に記載のシステム。
上記デバイスが、上記距離に応答して、上記立体音響サウンドの音量を調整するように構成される、実施例２に記載のシステム。
【0047】
「実施例５」
視覚障害者の環境に関するシナリオベースの情報を処理するための方法であって、
ａ．ユーザ・デバイスのセンサから情報及び環境データを収集するステップであって、上記データが、ユーザの近傍にある物体に関連付けられる、ステップと、
ｂ．シナリオベースのアルゴリズム及びデータを使用して上記情報を処理して、関連のサウンド・データを出力するステップと、
ｃ．上記環境データに関連する上記サウンド・データを、視覚障害のあるユーザのためのシナリオベースの脳で解釈可能な音に変換して、ユーザが上記環境をリアルタイムで理解できるようにするステップと、
を含む方法。
視覚障害者の環境に関するシナリオベースの情報を処理するための方法であって、
ａ．ユーザ・デバイスのセンサから情報及び環境データを収集するステップであって、上記データが、ユーザの近傍にある物体に関連付けられる、ステップと、
ｂ．シナリオベースのアルゴリズム及びデータを使用して上記情報を処理して、関連のサウンド・データを出力するステップと、
ｃ．上記環境データに関連する上記サウンド・データを、視覚障害のあるユーザのためのシナリオベースの脳で解釈可能な音に変換して、ユーザが上記環境をリアルタイムで理解できるようにするステップと、
を含む方法。
【0048】
「実施例６」
上記変換ステップが、上記ユーザの近傍にある物体からの距離及び方向を表すために立体音響サウンドを出力し、それによってユーザが環境内を移動することを可能にする、実施例５に記載の方法。
上記変換ステップが、上記ユーザの近傍にある物体からの距離及び方向を表すために立体音響サウンドを出力し、それによってユーザが環境内を移動することを可能にする、実施例５に記載の方法。
【0049】
「実施例７」
上記立体音響サウンドが、上記ユーザの右耳と左耳との間の音の遅延に基づいて、物体の少なくとも１つからの距離及び方向に関するシナリオベースの情報をユーザに提供する、実施例６に記載の方法。
上記立体音響サウンドが、上記ユーザの右耳と左耳との間の音の遅延に基づいて、物体の少なくとも１つからの距離及び方向に関するシナリオベースの情報をユーザに提供する、実施例６に記載の方法。
【0050】
「実施例８」
上記デバイスが、上記距離に応答して、上記シナリオベースの立体音響サウンドの音量を調整するように構成される、実施例７に記載の方法。
上記デバイスが、上記距離に応答して、上記シナリオベースの立体音響サウンドの音量を調整するように構成される、実施例７に記載の方法。
【0051】
「実施例９」
上記シナリオベースの立体音響サウンドが、上記ユーザの右耳と左耳との間の音の遅延に基づいて少なくとも１つの物体への方向を提供し、周期音の周期性によって距離の標示を提供し、より近い物体が、より短い周期の周期音によって表される、実施例８に記載の方法。
上記シナリオベースの立体音響サウンドが、上記ユーザの右耳と左耳との間の音の遅延に基づいて少なくとも１つの物体への方向を提供し、周期音の周期性によって距離の標示を提供し、より近い物体が、より短い周期の周期音によって表される、実施例８に記載の方法。
【0052】
「実施例１０」
上記シナリオベースの立体音響サウンドが、右耳と左耳との間の音の遅延に基づいて少なくとも１つの物体への方向を提供し、音の周波数によって距離を提供し、より近い物体が、より高い周波数の音によって表される、実施例９に記載の方法。
上記シナリオベースの立体音響サウンドが、右耳と左耳との間の音の遅延に基づいて少なくとも１つの物体への方向を提供し、音の周波数によって距離を提供し、より近い物体が、より高い周波数の音によって表される、実施例９に記載の方法。
【0053】
「実施例１１」
上記シナリオベースのアルゴリズムが、光学文字認識（ＯＣＲ）アルゴリズムを実装することによって、音声読み上げテキストをさらに出力する、実施例５に記載の方法。
上記シナリオベースのアルゴリズムが、光学文字認識（ＯＣＲ）アルゴリズムを実装することによって、音声読み上げテキストをさらに出力する、実施例５に記載の方法。
【0054】
「実施例１２」
上記ＯＣＲ情報が、ユーザのパーソナル・デバイスのカメラからのものであり、上記カメラが、ＯＣＲのために、さらには上記ユーザの近傍でのテキストの再生のために使用される、実施例１１に記載の方法。
上記ＯＣＲ情報が、ユーザのパーソナル・デバイスのカメラからのものであり、上記カメラが、ＯＣＲのために、さらには上記ユーザの近傍でのテキストの再生のために使用される、実施例１１に記載の方法。
【0055】
「実施例１３」
上記シナリオベースのアルゴリズムが、パーソナル・デバイスに配設された人工知能（ＡＩ）アルゴリズムを使用することによって物体の音声識別を組み合わせる、実施例１２に記載の方法。
上記シナリオベースのアルゴリズムが、パーソナル・デバイスに配設された人工知能（ＡＩ）アルゴリズムを使用することによって物体の音声識別を組み合わせる、実施例１２に記載の方法。
【0056】
「実施例１４」
カメラからの上記情報が、ＡＩによって物体を識別し、上記近傍にある物体の名前を再生するために使用される、実施例１３に記載の方法。
カメラからの上記情報が、ＡＩによって物体を識別し、上記近傍にある物体の名前を再生するために使用される、実施例１３に記載の方法。
【0057】
「実施例１５」
上記ＡＩシナリオベースのアルゴリズムが、上記カメラによってキャプチャされた画像を処理するように適合された顔認識アルゴリズムを含む、実施例１４に記載の方法。
上記ＡＩシナリオベースのアルゴリズムが、上記カメラによってキャプチャされた画像を処理するように適合された顔認識アルゴリズムを含む、実施例１４に記載の方法。
【0058】
「実施例１６」
異なる方向又は目的からの上記情報が、異なる音声及び音によって出力され、ユーザが、異なる方向及び／又は情報源からの情報を識別及び区別することができるようにする、実施例５に記載の方法。
異なる方向又は目的からの上記情報が、異なる音声及び音によって出力され、ユーザが、異なる方向及び／又は情報源からの情報を識別及び区別することができるようにする、実施例５に記載の方法。
【0059】
「実施例１７」
センサ・データを処理する上記シナリオベースのアルゴリズムが、向きに依存する、実施例１６に記載の方法。
センサ・データを処理する上記シナリオベースのアルゴリズムが、向きに依存する、実施例１６に記載の方法。
【0060】
「実施例１８」
上記収集ステップが、
ａ．異なるカバレッジ・エリアからデータを収集すること、
ｂ．機械的に又はデジタルでスキャンするスキャン・センサを採用すること、及び
ｃ．広角のセンサを使用してデータを収集し、データを分割して部分ごとに処理することができること
の少なくとも１つを含む、実施例７に記載の方法。
上記収集ステップが、
ａ．異なるカバレッジ・エリアからデータを収集すること、
ｂ．機械的に又はデジタルでスキャンするスキャン・センサを採用すること、及び
ｃ．広角のセンサを使用してデータを収集し、データを分割して部分ごとに処理することができること
の少なくとも１つを含む、実施例７に記載の方法。
【0061】
「実施例１９」
各センサからの上記情報が、シナリオ及びセンサの方向又は配置に基づいて、別の方法で処理される、実施例５に記載の方法。
各センサからの上記情報が、シナリオ及びセンサの方向又は配置に基づいて、別の方法で処理される、実施例５に記載の方法。
【0062】
「実施例２０」
上記近傍に穴又は障害物がある場合に上記ユーザに警告を提供するステップをさらに含む、実施例１９に記載の方法。
上記近傍に穴又は障害物がある場合に上記ユーザに警告を提供するステップをさらに含む、実施例１９に記載の方法。
【0063】
「実施例２１」
ウェアラブルであり、ワイヤレス・センサを含み、それによって、システムをユーザが快適に着用できるようにする、実施例１に記載のシステム。
ウェアラブルであり、ワイヤレス・センサを含み、それによって、システムをユーザが快適に着用できるようにする、実施例１に記載のシステム。
【0064】
「実施例２２」
上記全てのセンサがメイン・コンピュータ又はデバイスに接続される、実施例２１に記載のシステム。
上記全てのセンサがメイン・コンピュータ又はデバイスに接続される、実施例２１に記載のシステム。
【0065】
「実施例２３」
ワイヤレス・ヘッドセットを備え、ユーザが快適に着用できるような設計にする、実施例２１に記載のシステム。
ワイヤレス・ヘッドセットを備え、ユーザが快適に着用できるような設計にする、実施例２１に記載のシステム。
【0066】
「実施例２４」
上記ワイヤレス・ヘッドセットが、ユーザが携帯するメイン・コンピュータ又はデバイスに接続される、実施例２３に記載のシステム。
上記ワイヤレス・ヘッドセットが、ユーザが携帯するメイン・コンピュータ又はデバイスに接続される、実施例２３に記載のシステム。
【0067】
「実施例２５」
上記シナリオベースのアルゴリズムが、全てのセンサ（方向センサ、カメラ、ＧＰＳ、ナビゲーションセンサ（加速度計、磁気センサ））から収集された全てのデータを融合し、それを立体音響サウンドとして上記ユーザに送信し、様々な音や音声で物体までの距離及び方向を表す、実施例５に記載の方法。
上記シナリオベースのアルゴリズムが、全てのセンサ（方向センサ、カメラ、ＧＰＳ、ナビゲーションセンサ（加速度計、磁気センサ））から収集された全てのデータを融合し、それを立体音響サウンドとして上記ユーザに送信し、様々な音や音声で物体までの距離及び方向を表す、実施例５に記載の方法。
【0068】
「実施例２６」
上記センサが、ユーザの動き情報、及び周囲環境内でのユーザの向きを解釈するための加速度センサを備える、実施例５に記載の方法。
上記センサが、ユーザの動き情報、及び周囲環境内でのユーザの向きを解釈するための加速度センサを備える、実施例５に記載の方法。
【0069】
「実施例２７」
上記動き情報がナビゲーション目的で使用される、実施例２６に記載の方法。
上記動き情報がナビゲーション目的で使用される、実施例２６に記載の方法。
【0070】
「実施例２８」
ユーザを屋外でナビゲートし、ユーザの目的地への方向をユーザに与えるためのＧＰＳを備える、実施例１に記載のシステム。
ユーザを屋外でナビゲートし、ユーザの目的地への方向をユーザに与えるためのＧＰＳを備える、実施例１に記載のシステム。
【0071】
「実施例２９」
建物内でナビゲートするためのナビゲーション・アプリケーションをさらに備え、ナビゲーション・アプリケーションが、カメラを使用して画像間のシナリオベースの相違を識別し、機械学習によって、システムが、建物の内部をマッピングしてユーザに指示するように構成される、実施例２８に記載のシステム。
建物内でナビゲートするためのナビゲーション・アプリケーションをさらに備え、ナビゲーション・アプリケーションが、カメラを使用して画像間のシナリオベースの相違を識別し、機械学習によって、システムが、建物の内部をマッピングしてユーザに指示するように構成される、実施例２８に記載のシステム。
【0072】
「実施例３０」
カメラから撮影された上記写真が、人が屋内にいるか屋外にいるかを理解するためにＡＩによってシナリオベースで分析され、ＡＩがカメラの写真から、通常は屋内にある１組の光源及びアイテムを認識する場合、システムが、人が屋内にいることを理解して、建物内をナビゲートするアプリケーションを適用し、カメラが太陽及び街灯などのアイテムをキャプチャする場合、ＧＰＳの使用によって、システムが、人が屋外を移動していることを理解して、ＧＰＳ又は他の屋外ナビゲーション・アプリケーションを使用して、ユーザをナビゲートする、実施例２９に記載のシステム。
カメラから撮影された上記写真が、人が屋内にいるか屋外にいるかを理解するためにＡＩによってシナリオベースで分析され、ＡＩがカメラの写真から、通常は屋内にある１組の光源及びアイテムを認識する場合、システムが、人が屋内にいることを理解して、建物内をナビゲートするアプリケーションを適用し、カメラが太陽及び街灯などのアイテムをキャプチャする場合、ＧＰＳの使用によって、システムが、人が屋外を移動していることを理解して、ＧＰＳ又は他の屋外ナビゲーション・アプリケーションを使用して、ユーザをナビゲートする、実施例２９に記載のシステム。
【0073】
「実施例３１」
エコー及びノイズ・キャンセレーションを使用し、ノイズとして識別された音を除去し、ユーザが周囲サウンド情報を明瞭に得ることができるようにする、実施例２９に記載のシステム。
エコー及びノイズ・キャンセレーションを使用し、ノイズとして識別された音を除去し、ユーザが周囲サウンド情報を明瞭に得ることができるようにする、実施例２９に記載のシステム。
【0074】
「実施例３２」
少なくとも１つのハードウェア・プロセッサと、シナリオベースのプログラム・コードを具現化する非一時的なコンピュータ可読記憶媒体とを備えるシステムであって、プログラム・コードが、上記少なくとも１つのハードウェア・プロセッサによって実行可能であり、実施例５から２０まで又は２５から２７までのいずれか１つに記載のシナリオベースの方法を実施する、システム。
少なくとも１つのハードウェア・プロセッサと、シナリオベースのプログラム・コードを具現化する非一時的なコンピュータ可読記憶媒体とを備えるシステムであって、プログラム・コードが、上記少なくとも１つのハードウェア・プロセッサによって実行可能であり、実施例５から２０まで又は２５から２７までのいずれか１つに記載のシナリオベースの方法を実施する、システム。
【0075】
「実施例３３」
少なくとも１つのハードウェア・プロセッサと、
ａ．シナリオ識別の選択であって、
ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出された選択、及び
ｉｉｉ．センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
を含む任意の方法によってシナリオを表すことができる、シナリオ識別の選択と、
シナリオベースのプログラムの実装を行うアルゴリズム又はアプリケーションの実装構成要素であって、プログラム・コードが、実施例５から２０まで又は２５から２７までのいずれか１つに記載のシナリオベースの方法を実施するために、上記少なくとも１つのハードウェア・プロセッサによって実行可能である、実装構成要素と
の少なくとも２部分のソフトウェアを有する非一時的なコンピュータ可読記憶媒体とを備えるシステム。
少なくとも１つのハードウェア・プロセッサと、
ａ．シナリオ識別の選択であって、
ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出された選択、及び
ｉｉｉ．センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
を含む任意の方法によってシナリオを表すことができる、シナリオ識別の選択と、
シナリオベースのプログラムの実装を行うアルゴリズム又はアプリケーションの実装構成要素であって、プログラム・コードが、実施例５から２０まで又は２５から２７までのいずれか１つに記載のシナリオベースの方法を実施するために、上記少なくとも１つのハードウェア・プロセッサによって実行可能である、実装構成要素と
の少なくとも２部分のソフトウェアを有する非一時的なコンピュータ可読記憶媒体とを備えるシステム。
【0076】
「実施例３４」
シナリオベースのプログラム・コードを具現化する非一時的なコンピュータ可読記憶媒体とを備えるコンピュータ・プログラム製品であって、プログラム・コードが、上記少なくとも１つのハードウェア・プロセッサによって実行可能であり、実施例５から２０まで又は２５から２７までのいずれか１つに記載のシナリオベースの方法を実施する、コンピュータ・プログラム製品。
シナリオベースのプログラム・コードを具現化する非一時的なコンピュータ可読記憶媒体とを備えるコンピュータ・プログラム製品であって、プログラム・コードが、上記少なくとも１つのハードウェア・プロセッサによって実行可能であり、実施例５から２０まで又は２５から２７までのいずれか１つに記載のシナリオベースの方法を実施する、コンピュータ・プログラム製品。
【0077】
「実施例３５」
ａ．シナリオ識別の選択であって、
ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出された選択、及び
ｉｉｉ．センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
を含む任意の方法によってシナリオを表すことができる、シナリオ識別の選択と、
シナリオベースのプログラムの実装を行うアルゴリズム又はアプリケーションの実装構成要素であって、プログラム・コードが、実施例５から２０まで又は２５から２７までのいずれか１つのシナリオベースの方法を実施するために、上記少なくとも１つのハードウェア・プロセッサによって実行可能である、実装構成要素と
の少なくとも２つの部分を有するソフトウェアを備えるコンピュータ・プログラム製品。
ａ．シナリオ識別の選択であって、
ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出された選択、及び
ｉｉｉ．センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
を含む任意の方法によってシナリオを表すことができる、シナリオ識別の選択と、
シナリオベースのプログラムの実装を行うアルゴリズム又はアプリケーションの実装構成要素であって、プログラム・コードが、実施例５から２０まで又は２５から２７までのいずれか１つのシナリオベースの方法を実施するために、上記少なくとも１つのハードウェア・プロセッサによって実行可能である、実装構成要素と
の少なくとも２つの部分を有するソフトウェアを備えるコンピュータ・プログラム製品。
【0078】
本発明は、図面と共に、本発明の好ましい実施例の以下の詳細な説明から、より完全に理解されよう。
【0079】
ここで、本発明を、より完全に理解できるように、以下の例示的な図を参照して特定の好ましい実施例に関連して述べる。
【0080】
ここで図を特に詳細に参照すると、図示されている詳細は、単に例として、本発明の好ましい実施例の例示的な論述を目的としており、本発明の原理及び概念的態様の最も有用で容易に理解できる説明であると考えられる内容を提供するために表される。これに関して、本発明の基本的な理解に必要な以上に本発明の構造的詳細をより詳細に示す試みはされていないが、図面と共に成される説明により、本発明のいくつかの形態が実際にどのように具現化されるかが当業者には明らかになろう。
【図面の簡単な説明】
【0081】
【図1】本発明の一実施例による、物体の３次元位置データを処理して、シナリオベースの脳で解釈可能な音にするためのシステムを示す簡略概略図である。
【図2】本発明の一実施例によるシナリオ管理構成要素方法の簡略概略図である。
【図3A】本発明の一実施例によるシナリオ識別構成要素方法の簡略概略図である。
【図3B】本発明の一実施例による、実装構成要素方法の簡略概略図である。
【図4】本発明の一実施例による、物体の３次元位置データを処理して、シナリオベースの脳で解釈可能な音にするためのモバイル通信デバイスを示す簡略概略図である。
【図5】本発明の一実施例による、物体の３次元位置データをシナリオベースの脳で解釈可能な音に処理するための方法の簡略化された流れ図である。
【図6】本発明の一実施例による、脳で解釈可能な音としてシナリオ関連情報を提供するための方法の簡略化された流れ図である。
【発明を実施するための形態】
【0082】
全ての図において、同様の参照番号は同様の部分を示す。
【0083】
詳細な説明では、本発明を完全に理解できるように、多くの具体的な詳細を述べる。しかし、これらは特定の実施例であり、本発明は、本明細書に記載されて特許請求される本発明の特徴を具現化する別の様式でも実施することができることを当業者は理解されよう。
【0084】
【0085】
システム（１００）は、任意の専用コンピューティング・プラットフォーム、又は商用オフザシェルフ（ＣＯＴＳ）コンピューティング・プラットフォーム、例えばセルラ電話、Ｒａｓｐｂｅｒｒｙ Ｐｉプラットフォームなどのシングル・ボード・コンピュータ（ＳＢＣ）、ＰＣ１０４コンピュータ、及び他のコンピューティング・プラットフォーム、例えばネットブック／ラップトップ・コンピュータなどでよい。図に示されているシステムは、システム（１００）の一部として使用することができ、さらにはシステム（１００）の一体部品として使用することもできるリモート・デバイス（１０２）に接続するための任意選択の接続部を含む。リモート・デバイスは、ケーブルなどのワイヤを介して又はワイヤレス接続を介してシステムに接続することができる（破線）。そのような場合、接続は、他のデバイスがシステムに接続するためのポートとして機能する通信デバイス（１３０）を介するものである。
【0086】
リモート・デバイスは、リモート・ヘッドホン、スピーカ、マイクロフォン、キーボードなどのリモート入力デバイス、超音波距離計測や三角測量距離測定などの距離測定センサなどのリモート・センサ、例えばステレオ・カメラやＬｉｄａｒ、コンパス・センサなどの向きセンサ、加速度センサ、カメラ、及びＧＰＳなどの測位デバイスでよい。
【0087】
システムは、システムに統合された又はリモート・デバイスの一部としてのサウンド・デバイス（１０４）を備える。このようなサウンド・デバイスは、スピーカ又はヘッドホンでよい。サウンド・デバイスは、ステレオ・サウンド・デバイスでよい。サウンド・デバイスは、ユーザに、その周囲に関する情報を音によって提供する働きをする。システムは、システムに統合された又はリモート・デバイスの一部としてのマイク・デバイス（１０６）を備える。マイク・デバイスは、ユーザからのサウンド・コマンド及び他のサウンド・データの入力デバイスとして使用することができる。そのようなサウンド・コマンド及び他のサウンド・データは、ＯＳ又はアプリケーションに挿入又は記録して、加工する又はさらに処理することができる。マイク・デバイスによってキャプチャされたサウンドは、エコー及びノイズ・キャンセレーションとして使用することができ、システムは、ノイズとして識別されたサウンドを除去し、ユーザは周囲サウンド情報を明瞭に得ることができる。マイク・デバイスは、ユーザが関与しているシナリオを理解するために、ＯＳ又はシナリオ識別構成要素ＳＷによって使用されることもある。
【0088】
システムは、システムに統合された又はリモート・デバイスの一部としてのユーザ入力デバイス／ミニ・キーボード（１０８）を備える。入力デバイス／ミニ・キーボードは、ＯＳ、又はシステム上で実行されるアプリケーションにユーザが提供したいコマンド又は他のデータを入力するための入力デバイスとして働くことがある。入力デバイスは、入力コマンドのユーザ・ジェスチャを抽出して処理することができるカメラでもよい。
【0089】
システムは、システムに統合された又はリモート・デバイスの一部としてのカメラ（１１０）を備える。カメラは、ＯＳ又はアプリケーションが視覚情報を抽出して処理し、システムによって処理されるシナリオに従ってデータ当てはめを行うように、視覚データをシステムに挿入する入力デバイスとして働く。シナリオの一部として、入力コマンドのためのユーザ・ジェスチャが処理されることがある。シナリオの一部として、シナリオ識別構成要素ＳＷは、カメラからの情報を使用して、特定の瞬間又は状況に適したシナリオを決定することがある。
【0090】
システムは、システムに統合された又はリモート・デバイスの一部としてのセンサ、向き決定、及び測位デバイス（１１２）を備える。センサ、向き決定、及び測位デバイスは、超音波距離計測や三角測量距離測定などの距離測定センサ、例えばステレオ・カメラやＬｉｄａｒ、コンパス・センサなどの向きセンサ、加速度センサ、カメラ、及びＧＰＳなどの測位デバイスなどのセンサである。これらのセンサはデータを収集し、ＯＳと、シナリオ構成の実装として実行されるアプリケーションとによってデータが融合される。システムは、システムがスタンドアロンのモバイル・デバイスとして動作できるようにするためにシステムに統合された電源／バッテリ（１１４）を備える。システムは、システムに統合され、全ての必要なアルゴリズムを実行するために使用されるプロセッサ（１２０）を備える。プロセッサは、ｘ８６タイプ、ＡＲＭベース、又は任意のＲＩＳＫプロセッサでよく、ＦＰＧＡ又はシステムオンチップ（ＳＯＣ：ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）でよい。ハードウェア、ＦＰＧＡ、ＧＰＵなどの追加のアクセラレータに接続されることもある。プロセッサは、データ記憶装置（１５０）に記憶されているソフトウェア（ＳＷ：ｓｏｆｔｗａｒｅ）を起動し、例えばアプリケーションとして又はアプリケーションを実行するオペレーティング・システム（ＯＳ：ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）としてアルゴリズムを実行する。
【0091】
プロセッサは、シナリオ識別構成要素ＳＷであるソフトウェア部分と、シナリオへの適切なアプリケーションの実装構成要素；アプリケーション構成ＳＷであるソフトウェア部分とを実行するように構成される。システムは、他のデバイスがシステムに接続して、他のモジュールからデータをインポート又はエクスポートするためのポートとして働くようにシステムに統合された通信デバイス（１３０）を備える。他のモジュールからデータをインポート又はエクスポートする必要があるのは、ＯＳ及びアプリケーションをその要件に従って動作させるためである。これは、ＯＳを含むソフトウェア・アプリケーションの更新、新たなストア・アプリケーションの取得、又は必要なデータの転送を含む。システムは、他のデバイスがシステムに接続して、他の場所からデータをインポート又はエクスポートするためのポートとして働くようにシステムに統合された、セルラ・モジュールやＷｉＦｉモジュールなどの標準的なワイヤレス通信デバイス（１４０）を有することがある。
【0092】
これらのモジュールは、上記の通信デバイスの拡張であり、一般的でない又は標準的でないことがある。標準的なワイヤレス通信デバイスは、アンテナ（１４６）、送信モジュール（ＴＸ）（１４４）、及び受信モジュール（ＲＸ）（１４２）を有する。システムは、システムに統合され、アルゴリズムを例えばアプリケーションとして、又はＯＳ、及びシステムの操作に必要とされるアプリケーション・ソフトウェアとして記憶するために使用されるデータ記憶装置（１５０）を備える。
【0093】
データ記憶装置は、シナリオ識別構成要素ＳＷ（１５４）であるソフトウェア部分と、シナリオへの適切なアプリケーションの実装構成要素；アプリケーション構成ＳＷ（１５２）であるソフトウェア部分とを保存する。これは、シナリオベースの状況に適切なようにシステムを実行するために必要とされる。シナリオ識別構成要素ＳＷ（１５４）は、センサから収集されたデータに基づくポリシーによって、又はユーザの介入若しくはコマンドによって、特定の状況で動作させるべきシナリオ識別子を決定することを目的としたソフトウェアである。このソフトウェアは、システムのＯＳの一部でよく、又はシステムのメイン・アプリケーションの一部としてのものでよい。
【0094】
シナリオとは、盲目のユーザ又は視覚障害のあるユーザが直面する適切な状況及び目的である。例えば、盲目のユーザ又は視覚障害のあるユーザの意図が、通りを歩いて特定の終点目的地まで安全にたどり着くことである場合、ＧＰＳモジュールからのデータを用いた音声指示コマンドを備えたＧＰＳナビゲーションＳＷが、Ｌｉｄａｒ又は超音波距離センサなどの距離センサと共に動作して、カメラからのデータを組み合わせて、ＡＩ ＳＷによって歩道の道筋を識別し、盲人又は視覚障害者が歩道の道筋に従って確実に歩けるようにする。道路の交差点に達すると、ＡＩは、前方の道路を検出して、盲人又は視覚障害者に通知する。シナリオは道路横断シナリオに変更され、ＡＩが車及び信号機を検出し、信号機の色を言葉で示し、車の交通の開始及び停止、並びに車の応答及び停止を通知する。これら全てに、経路を検証するため、さらには道路標識を読み取るためのコンパス及び加速度メータが付随する。別のシナリオは、盲目のユーザ又は視覚障害のあるユーザが建物内に入った状況であり、ＧＰＳによるナビゲーションが終了してＡＩに引き継がれ、ＡＩは、ランプの光及び他の動かない基準点を検出し、それらをコンパス、高度計、加速度センサからのデータと融合して、位置を測定する。
【0095】
ＡＩにより、盲目のユーザ又は視覚障害のあるユーザを建物内の目的地に案内するために、ドア、エレベータ、及び壁の識別が行われる。エレベータに乗ると、システムはそれを識別してエレベータ・シナリオに進む必要があり、ＡＩカメラは、例えば、エレベータのドアが開いているか閉じているか、エレベータのコマンド・パネルがどこにあるかを識別し、ユーザが押そうとするボタンに書いてある数字を読み上げ、フロア番号を識別し、言葉で通知する必要がある。状況の別の実例は、盲目のユーザ又は視覚障害のあるユーザがプールの近くを歩いているときである。水面は、Ｌｉｄａｒや超音波センサなどの距離センサには床として認識されてしまうが、ＡＩカメラは、プールの縁部を検出することができ、危険を通知することができる。
【0096】
シナリオの別の実例は、盲人又は視覚障害者がシチューを調理するときである。盲人又は視覚障害者がいくつかの食材をテーブルに置き、システムは、各素材の識別及びテーブル上での位置について盲人又は視覚障害者に指示を与える。
【0097】
そのシナリオに基づいて、シナリオへの適切なアプリケーションの実装構成要素；アプリケーション構成ＳＷ（１５２）であるソフトウェア部分は、アルゴリズム又はサブシナリオ・アプリケーションの構成を完全な構成として実行する。アプリケーション及びアルゴリズムの構成はシナリオに従って機能し、センサがデータを収集し、ＯＳ、及びシナリオ構成の実装として実行されているアプリケーションによってデータが融合される。
【0098】
図２を見ると、本発明の一実施例によるシナリオ管理構成要素方法（２００）の簡略概略図が見られる。
【0099】
この方法は、シナリオ識別構成要素（２０２）からのシナリオ識別情報／データによる繰り返しの更新をユーザに提供し、ユーザの現在の特定のシナリオに従って、アプリケーション選択構成要素（２０４）からの特定のアプリケーションをユーザに提供するためのアルゴリズムを含む。
【0100】
この方法は、システムのシナリオベース動作を管理及び統括するように機能する。
【0101】
シナリオとは、盲目のユーザ又は視覚障害のあるユーザが直面する適切な状況及び目的である。例えば、盲目のユーザ又は視覚障害のあるユーザの意図が、通りを歩いて特定の終点目的地まで安全にたどり着くことである場合、ＧＰＳモジュールからのデータを用いた音声指示コマンドを備えたＧＰＳナビゲーションＳＷが、Ｌｉｄａｒ又は超音波距離センサなどの距離センサと共に動作して、カメラからのデータを組み合わせて、ＡＩ ＳＷによって歩道の道筋を識別し、盲人又は視覚障害者が歩道の道筋に従って確実に歩けるようにする。
【0102】
道路の交差点に達すると、ＡＩは、前方の道路を検出して、盲人又は視覚障害者に通知する。シナリオは道路横断シナリオに変更され、ＡＩが車及び信号機を検出し、信号機の色を言葉で示し、車の交通の開始及び停止、並びに車の応答及び停止を通知する。これら全てに、経路を検証するため、さらには道路標識を読み取るためのコンパス及び加速度メータが付随する。
【0103】
別のシナリオは、盲目のユーザ又は視覚障害のあるユーザが建物内に入った状況であり、ＧＰＳによるナビゲーションが終了してＡＩに引き継がれ、ＡＩは、ランプの光及び他の動かない基準点を検出し、それらをコンパス、高度計、加速度センサからのデータと融合して、位置を測定する。
【0104】
ＡＩにより、盲目のユーザ又は視覚障害のあるユーザを建物内の目的地に案内するために、ドア、エレベータ、及び壁の識別が行われる。エレベータに乗ると、システムはそれを識別してエレベータ・シナリオに進む必要があり、ＡＩカメラは、例えば、エレベータのドアが開いているか閉じているか、エレベータのコマンド・パネルがどこにあるかを識別し、ユーザが押そうとするボタンに書いてある数字を読み上げ、フロア番号を識別し、言葉で通知する必要がある。状況の別の実例は、盲目のユーザ又は視覚障害のあるユーザがプールの近くを歩いているときである。水面は、Ｌｉｄａｒや超音波センサなどの距離センサには床として認識されてしまうが、ＡＩカメラは、プールの縁部を検出することができ、危険を通知することができる。
【0105】
シナリオの別の実例は、盲人又は視覚障害者がシチューを調理するときである。盲人又は視覚障害者がいくつかの食材をテーブルに置き、システムは、各素材の識別及びテーブル上での位置について盲人又は視覚障害者に指示を与える。
【0106】
シナリオ管理構成要素は、最小で２つの部分（アルゴリズム）を有する。第１の部分は、シナリオ識別構成要素（２０２）であり、センサから収集されたデータに基づくポリシーによって、又はユーザの介入若しくはコマンドによって、特定の状況で動作させるべきシナリオ識別子を決定することを目的としたソフトウェアである。このソフトウェアは、システムのＯＳの一部でよく、又はシステムのメイン・アプリケーションの一部としてのものでよい。そのシナリオに基づいて、第２の部分は、シナリオに適切なアプリケーションの実装構成要素；アプリケーション構成（２０４）であり、アルゴリズム又はサブシナリオ・アプリケーションの構成を完全な構成として実行する。アプリケーション及びアルゴリズムの構成はシナリオに従って機能し、センサがデータを収集し、ＯＳ、及びシナリオ構成の実装として実行されているアプリケーションによってデータが融合される。シナリオ識別構成要素（２０２）が優勢であり、シナリオへの適切なアプリケーションの実装構成要素；アプリケーション構成（２０４）に関して、アプリケーション構成の作成に使用するシナリオを決定するが、それらの間の接続は双方向性（２０６）である。これは、特定の構成で収集され、実装されるシナリオに従って融合されてＡＩ分析されたセンサ・データに基づく次のシナリオ状況での推奨が、指定された状況にシナリオを適合させるためにシナリオ識別構成要素に返されるからである。
【0107】
【0108】
この方法は、ユーザの識別子に基づいて、コンテキスト・シナリオ識別（３０４）用のアルゴリズム又は構成要素と、シナリオ決定用のアルゴリズム又は構成要素（３０２）との両方を含む。２つの構成要素／アルゴリズムは相互に更新して、ユーザの識別子と特定のリアルタイム・シナリオのコンテキストとを反映する基準に基づいて、特定のユーザのために複数のアプリケーション又はただ１つのアプリケーションの最適化された選択を出力する。
【0109】
図３Ａ：シナリオ識別構成要素（３００）のオプション部分の詳細な説明。
【0110】
シナリオ識別構成要素は、識別子シナリオベースの識別構成要素（３０２）に基づいて動作することがある。この場合、キーボードなどの入力デバイスを介して挿入されるユーザからのコマンド、又はカメラによってキャプチャされるジェスチャ、若しくは音声コマンドに基づいて、動作時に従う特定のシナリオ識別子が提供される。
【0111】
シナリオ識別構成要素は、コンテキスト・シナリオベースの識別構成要素（３０４）に基づいて動作可能である。この場合、特定の構成で収集され、実装されるシナリオに従って融合されてＡＩ分析されたセンサ・データに基づく次のシナリオ状況での推奨が、指定された状況にシナリオを適合させるために、シナリオへの適切なアプリケーションの実装構成要素；アプリケーション構成（３５０）からコンテキスト・シナリオベース識別構成要素（３０４）に返される。
【0112】
シナリオ識別の２つの方法が、シナリオ管理構成要素アプリケーション・アルゴリズムに従って互いに並行して又は任意の組合せで動作することがあることは明らかである。
【0113】
図３Ｂは、本発明の一実施例による実装構成要素方法（３５０）の簡略概略図を示す。
【0114】
図３Ｂ：シナリオへの適切なアプリケーションの実装構成要素；アプリケーション構成（３５０）のオプション部分のより詳細な説明。
【0115】
この部分は２つのサブパートを含む。第１の部分は、シナリオへの適切なアプリケーションのマッピング；アプリケーション構成（３５４）のためのアルゴリズムである。この部分では、特定のシナリオ構成を実行するために一緒に実行する必要があるアルゴリズム／アプリケーションのリストを作成する。第２の部分は、適切なシナリオのアプリケーション構成の起動（３５６）であり、シナリオへの適切なアプリケーションのマッピング；アプリケーション構成（３５４）が作成したリストに従って必要とされるアプリケーション／アルゴリズムを実行し、それらを接続して、エンベロープ・アルゴリズム／アプリケーションを介して一緒に動作させ、所望のシナリオに従って機能する。
【0116】
ここで図４を参照すると、図４は、本発明の一実施例による、物体の３次元位置データを処理して、シナリオベースの脳で解釈可能な音にするためのモバイル通信デバイス（４００）を示す簡略概略図である。モバイル・デバイスは、システム（（１００）、図示せず）から及び／又はリモート・センサ及び周辺デバイス（１０２）（本明細書で上述した）からデータを受信する。
【0117】
モバイル・デバイス（１３０）は、データを受信してデータ記憶ユニット（４１６）に提供するように構築及び構成された、オペレーティング・システム及びデバイス管理ユニット（４１２）を備える。管理ユニット（４１２）は、リモート・センサ及び周辺デバイス（４１４）、例えばステレオ・カメラやＬｉｄａｒ、コンパス・センサなどの向きセンサ、加速度センサ、カメラ、ＧＰＳなどの測位デバイスにデータを提供する及びそこからデータを受信するようにさらに構成される。例えば、モバイル・デバイスは、ユーザの周囲の物体に関するデータを受信し、そのデータを一連の異なる音、楽音、又はノイズに変換するように動作可能であり、これらをユーザの脳が解釈して、周囲の物体の様子をユーザに提供することができる。
【0118】
【0119】
このモバイル・デバイス（４１０）は、任意の専用コンピューティング・プラットフォーム、又は商用オフザシェルフ（ＣＯＴＳ）コンピューティング・プラットフォーム、例えばセルラ電話、Ｒａｓｐｂｅｒｒｙ Ｐｉプラットフォームなどのシングル・ボード・コンピュータ（ＳＢＣ）、ＰＣ１０４コンピュータ、及び他のコンピューティング・プラットフォーム、例えばネットブック／ラップトップ・コンピュータなどでよい。図に示されているシステムは、任意選択の外部システムであるリモート・センサ及び周辺デバイス（１０２）を含み、リモート・センサ及び周辺デバイス（１０２）は、システム（４００）の一部として使用することもでき、さらにはシステム（４００）の一体部品として使用することもできる。
【0120】
リモート・センサ及び周辺デバイスは、ケーブルなどのワイヤを介して又はワイヤレス接続を介してシステムに接続することができる（破線）。モバイル・デバイス（４１０）は、デバイス自体の一部である一体型リモート・センサ及び周辺デバイス（４１４）を使用することができる。リモート・センサ及び周辺デバイスは、リモート・ヘッドホン、スピーカ、マイクロフォン、キーボードなどのリモート入力デバイス、超音波距離計測や三角測量距離測定などの距離測定センサなどのリモート・センサ、例えばステレオ・カメラやＬｉｄａｒ、コンパス・センサなどの向きセンサ、加速度センサ、カメラ、及びＧＰＳなどの測位デバイスでよい。
【0121】
データ記憶装置（４１６）は、システムを実行するのに必要なソフトウェア部分を記憶する。ＯＳ及びデバイス管理（４１２）は、デバイスを実行し、センサ及び周辺デバイスからのデータを使用し、データ記憶装置（４１６）に記憶されているアプリケーション及びアルゴリズムも使用して、シナリオベースの状況に適するようにシステムを実行する管理アルゴリズムである。
【0122】
シナリオとは、盲目のユーザ又は視覚障害のあるユーザが直面する適切な状況及び目的である。例えば、盲目のユーザ又は視覚障害のあるユーザの意図が、通りを歩いて特定の終点目的地まで安全にたどり着くことである場合、ＧＰＳモジュールからのデータを用いた音声指示コマンドを備えたＧＰＳナビゲーションＳＷが、Ｌｉｄａｒ又は超音波距離センサなどの距離センサと共に動作して、カメラからのデータを組み合わせて、ＡＩ ＳＷによって歩道の道筋を識別し、盲人又は視覚障害者が歩道の道筋に従って確実に歩けるようにする。
【0123】
道路の交差点に達すると、ＡＩは、前方の道路を検出して、盲人又は視覚障害者に通知する。シナリオは道路横断シナリオに変更され、ＡＩが車及び信号機を検出し、信号機の色を言葉で示し、車の交通の開始及び停止、並びに車の応答及び停止を通知する。これら全てに、経路を検証するため、さらには道路標識を読み取るためのコンパス及び加速度メータが付随する。
【0124】
別のシナリオは、盲目のユーザ又は視覚障害のあるユーザが建物内に入った状況であり、ＧＰＳによるナビゲーションが終了してＡＩに引き継がれ、ＡＩは、ランプの光及び他の動かない基準点を検出し、それらをコンパス、高度計、加速度センサからのデータと融合して、位置を測定する。ＡＩにより、盲目のユーザ又は視覚障害のあるユーザを建物内の目的地に案内するために、ドア、エレベータ、及び壁の識別が行われる。
【0125】
エレベータに乗ると、システムはそれを識別してエレベータ・シナリオに進む必要があり、ＡＩカメラは、例えば、エレベータのドアが開いているか閉じているか、エレベータのコマンド・パネルがどこにあるかを識別し、ユーザが押そうとするボタンに書いてある数字を読み上げ、フロア番号を識別し、言葉で通知する必要がある。状況の別の実例は、盲目のユーザ又は視覚障害のあるユーザがプールの近くを歩いているときである。水面は、Ｌｉｄａｒや超音波センサなどの距離センサには床として認識されてしまうが、ＡＩカメラは、プールの縁部を検出することができ、危険を通知することができる。
【0126】
シナリオの別の実例は、盲人又は視覚障害者がシチューを調理するときである。盲人又は視覚障害者がいくつかの食材をテーブルに置き、システムは、各素材の識別及びテーブル上での位置について盲人又は視覚障害者に指示を与える。
【0127】
【0128】
一般性を失うことなく、この図は、図４（４００）に述べたモバイル・デバイス（４１０）でのＯＳ及びデバイス管理構成要素（４１２）のタスクを取り扱うための可能なアルゴリズムをより詳細に述べる。
【0129】
この図は、ＯＳ及びデバイス管理構成要素（５００）のタスクを取り扱うための可能なアルゴリズムをより詳細に述べる。
【0130】
アルゴリズムは、スタート（５０２）の開始ステップから始まり、ユーザがデバイスの電源を入れる。次いで、アルゴリズムは、センサ及び周辺デバイス識別（５０４）のステップに進み、デバイスに取り付けられている又はデバイスに埋め込まれている全てのセンサ及び周辺デバイスをチェックして認識する。次のステップは、センサ及び周辺デバイスからのデータの取得（５０６）であり、アルゴリズムは、分析すべきセンサ及び周辺デバイスからデータを受信する。次いで、ユーザ要求シナリオ決定ステップ（５０８）を含む決定タスクがあり、選択されたシナリオがコンテキスト又はポリシーに基づいているかどうかを決定する。質問に対する回答が「はい」であり、音声コマンド若しくはジェスチャによって又はキーボード若しくは他の手段から特定のコマンドが受信された場合、適切なアプリケーションの検索ステップ（５１８）に進み、特定のシナリオを実行するために必要とされるアプリケーション又はアルゴリズムのリストを作成する。
【0131】
次のステップは、適切な構成／アプリケーションの組合せの起動ステップ（５２０）のステップを実行することであり、適切なアプリケーションの検索ステップ（５１８）が作成したリストに従って必要とされるアプリケーション／アルゴリズムを実行し、それらを接続して、エンベロープ・アルゴリズム／アプリケーションを介して一緒に動作させ、所望のシナリオに従って機能する。
【0132】
シナリオとは、盲目のユーザ又は視覚障害のあるユーザが直面する適切な状況及び目的である。例えば、盲目のユーザ又は視覚障害のあるユーザの意図が、通りを歩いて特定の終点目的地まで安全にたどり着くことである場合、ＧＰＳモジュールからのデータを用いた音声指示コマンドを備えたＧＰＳナビゲーションＳＷが、Ｌｉｄａｒ又は超音波距離センサなどの距離センサと共に動作して、カメラからのデータを組み合わせて、ＡＩ ＳＷによって歩道の道筋を識別し、盲人又は視覚障害者が歩道の道筋に従って確実に歩けるようにする。道路の交差点に達すると、ＡＩは、前方の道路を検出して、盲人又は視覚障害者に通知する。シナリオは道路横断シナリオに変更され、ＡＩが車及び信号機を検出し、信号機の色を言葉で示し、車の交通の開始及び停止、並びに車の応答及び停止を通知する。これら全てに、経路を検証するため、さらには道路標識を読み取るためのコンパス及び加速度メータが付随する。
【0133】
別のシナリオは、盲目のユーザ又は視覚障害のあるユーザが建物内に入った状況であり、ＧＰＳによるナビゲーションが終了してＡＩに引き継がれ、ＡＩは、ランプの光及び他の動かない基準点を検出し、それらをコンパス、高度計、加速度センサからのデータと融合して、位置を測定する。
【0134】
ＡＩにより、盲目のユーザ又は視覚障害のあるユーザを建物内の目的地に案内するために、ドア、エレベータ、及び壁の識別が行われる。エレベータに乗ると、システムはそれを識別してエレベータ・シナリオに進む必要があり、ＡＩカメラは、例えば、エレベータのドアが開いているか閉じているか、エレベータのコマンド・パネルがどこにあるかを識別し、ユーザが押そうとするボタンに書いてある数字を読み上げ、フロア番号を識別し、言葉で通知する必要がある。状況の別の実例は、盲目のユーザ又は視覚障害のあるユーザがプールの近くを歩いているときである。水面は、Ｌｉｄａｒや超音波センサなどの距離センサには床として認識されてしまうが、ＡＩカメラは、プールの縁部を検出することができ、危険を通知することができる。
【0135】
シナリオの別の実例は、盲人又は視覚障害者がシチューを調理するときである。盲人又は視覚障害者がいくつかの食材をテーブルに置き、システムは、各素材の識別及びテーブル上での位置について盲人又は視覚障害者に指示を与える。
【0136】
所望のシナリオ構成を起動した後、システムは、センサ及び周辺デバイスからのデータ取得（５０６）のステップに戻り（破線）、又は停止（５２２）のステップに進み、ユーザがデバイスの電源を切断して停止する。
【0137】
ユーザ要求シナリオ？（５０８）の「はい／いいえ」の質問への回答が「いいえ」の場合、どのシナリオを選択して表現するかを決定する方法のプロセスに進む。一般性を失うことなく、コンテキスト・シナリオベース？（５１０）などのいくつかの「はい／いいえ」の質問をパスすることができ、この場合には回答が「はい」の場合、ＡＩシナリオ選択（５１２）のステップに進み、センサ及び周辺デバイスからのデータの取得（５０６）のステップから収集され、指定された状況にシナリオを適合させるために融合されてＡＩ分析されたセンサ・データに基づいて、次のシナリオ状況に対する推奨を作成する。
【0138】
次いで、選択されたシナリオが、適切なアプリケーションの検索（５１８）のステップに送られる。回答が「いいえ」の場合、シナリオ表現プロセスにおける次の判断ステップの「はい／いいえ」の質問に送るループを行うことができる。この図のスキームでは、一般性を失うことなく、適切な構成／アプリケーションの組合せの起動（５２０）のステップから、すでに述べたセンサ及び周辺デバイスからのデータの取得（５０６）のステップへのループバック（破線）を使用することを選択し、したがって、適切なアプリケーションの検索（５１８）のステップの決定はパスしており、この場合、適切なアプリケーションの検索（５１８）のステップに対して「ヌル（Ｎｕｌｌ）」シナリオを渡し、すなわち、「ヌル」（何もしない）で、ループに戻る。
【0139】
「はい／いいえ」の質問が、ポリシー・シナリオベース？（５１４）に基づいており、回答が「はい」の場合、ポリシー・シナリオ選択（５１６）のステップに進み、ポリシー・スキームに応じてシナリオが選択され、適切なアプリケーションの検索（５１８）のステップに転送される。「はい／いいえ」の質問に「いいえ」が与えられた場合、「Ｎｕｌｌ」シナリオを、適切なアプリケーションの検索（５１８）のステップに渡し、「はい／いいえ」プロセスを通る全ての可能なシナリオを網羅するまでループを継続する（破線）。
【0140】
【0141】
この図は、ＯＳ及びデバイス管理構成要素（６００）のタスクを取り扱うための可能なアルゴリズムをより詳細に述べる。
【0142】
アルゴリズムは、スタート（６０２）の開始ステップから始まり、ユーザがデバイスの電源を入れる。
【0143】
次いで、アルゴリズムは、センサ及び周辺デバイス識別（６０４）のステップに進み、デバイスに取り付けられている又はデバイスに埋め込まれている全てのセンサ及び周辺デバイスをチェックして認識する。次に、センサ／デバイスに応じたアプリケーションの更新又は新たなストア・アプリケーション？（６０６）の「はい／いいえ」機能があり、これは、ＯＳ及びデバイス管理構成要素（６００）が使用することができる、盲目のユーザ又は視覚障害のあるユーザに有益な新たなアルゴリズム／アプリケーションがあるかどうかをチェックする。
【0144】
回答が「はい」の場合、ソフトウェア・パッケージを更新するプロセスを開始する。このプロセスでは、ストアからのアプリケーションの取得（６０８）の操作から開始して、インストールする必要のあるＳＷパッケージをダウンロードする。次に、アプリケーションの更新／インストール（６１０）が実行され、新たなＳＷパッケージがインストールされる。
【0145】
ＳＷパッケージをインストールした後の次のステップは、シナリオデータベースの更新（６１２）であり、シナリオの識別（６１６）及びシナリオへの適切なアプリケーションのマッピング；アプリケーション構成（６１８）の命令を更新し、それにより、ＯＳ及びデバイス管理構成要素（６００）全体がアップグレードされる。ＯＳ及びデバイス管理構成要素（６００）全体を更新した後、ＯＳ及びデバイス管理構成要素（６００）全体の通常の／標準的な操作ステップに進む。
【0146】
この通常の／標準的な操作ステップは、センサ及び周辺デバイスからのデータの取得（６１４）から始まり、アルゴリズムは、分析すべきセンサ及び周辺デバイスからデータを受信する。センサ／デバイスによるアプリケーション更新又は新たなストア・アプリケーション？（６０６）での「はい／いいえ」の質問に対する回答が「いいえ」である場合、センサ及び周辺デバイスからのデータの取得（６１４）での通常の／標準的な操作ステップの開始に直接進む。次に、シナリオの識別（６１６）のステップに進み、センサや周辺デバイスから受信したデータ（６１４）、データベースにあるシナリオ識別に関する命令、及びＡＩ処理に基づいて、状況に対して適切なシナリオを識別する。
【0147】
シナリオとは、盲目のユーザ又は視覚障害のあるユーザが直面する適切な状況及び目的である。例えば、盲目のユーザ又は視覚障害のあるユーザの意図が、通りを歩いて特定の終点目的地まで安全にたどり着くことである場合、ＧＰＳモジュールからのデータを用いた音声指示コマンドを備えたＧＰＳナビゲーションＳＷが、Ｌｉｄａｒ又は超音波距離センサなどの距離センサと共に動作して、カメラからのデータを組み合わせて、ＡＩ ＳＷによって歩道の道筋を識別し、盲人又は視覚障害者が歩道の道筋に従って確実に歩けるようにする。
【0148】
道路の交差点に達すると、ＡＩは、前方の道路を検出して、盲人又は視覚障害者に通知する。シナリオは道路横断シナリオに変更され、ＡＩが車及び信号機を検出し、信号機の色を言葉で示し、車の交通の開始及び停止、並びに車の応答及び停止を通知する。これら全てに、経路を検証するため、さらには道路標識を読み取るためのコンパス及び加速度メータが付随する。
【0149】
別のシナリオは、盲目のユーザ又は視覚障害のあるユーザが建物内に入った状況であり、ＧＰＳによるナビゲーションが終了してＡＩに引き継がれ、ＡＩは、ランプの光及び他の動かない基準点を検出し、それらをコンパス、高度計、加速度センサからのデータと融合して、位置を測定する。
【0150】
ＡＩにより、盲目のユーザ又は視覚障害のあるユーザを建物内の目的地に案内するために、ドア、エレベータ、及び壁の識別が行われる。エレベータに乗ると、システムはそれを識別してエレベータ・シナリオに進む必要があり、ＡＩカメラは、例えば、エレベータのドアが開いているか閉じているか、エレベータのコマンド・パネルがどこにあるかを識別し、ユーザが押そうとするボタンに書いてある数字を読み上げ、フロア番号を識別し、言葉で通知する必要がある。状況の別の実例は、盲目のユーザ又は視覚障害のあるユーザがプールの近くを歩いているときである。水面は、Ｌｉｄａｒや超音波センサなどの距離センサには床として認識されてしまうが、ＡＩカメラは、プールの縁部を検出することができ、危険を通知することができる。
【0151】
シナリオの別の実例は、盲人又は視覚障害者がシチューを調理するときである。盲人又は視覚障害者がいくつかの食材をテーブルに置き、システムは、各素材の識別及びテーブル上での位置について盲人又は視覚障害者に指示を与える。
【0152】
次のステップは、シナリオへの適切なアプリケーションのマッピング；アプリケーション構成（６１８）であり、特定のシナリオを実行するために必要とされるアプリケーション又はアルゴリズムのリストを作成する。次のステップは、適切なシナリオのアプリケーション構成の起動（６２０）のステップを実行することであり、シナリオへの適切なアプリケーションのマッピング；アプリケーション構成（６１８）のステップで作成されたリストに従って必要とされるアプリケーション／アルゴリズムを実行し、それらを接続して、エンベロープ・アルゴリズム／アプリケーションを介して一緒に動作させ、所望のシナリオに従って機能する。
【0153】
所望のシナリオ構成を起動した後、システムは、センサ及び周辺デバイスからのデータ取得（６１４）のステップに戻り（破線）、又は停止（６２２）のステップに進み、ユーザがデバイスの電源を切断して停止する。
【0154】
本明細書には、本発明のシステムを着用した盲人及び視覚障害者がシステム自体の補助のみによって環境に対処する、テキストを読む、及び物体を識別するのを助ける、システム、方法、コンピュータ・プログラム製品又はハードウェア製品、及びＡＩが開示されている。
【0155】
上述したように、人間の聴覚は立体音響型であり、異なる周波数及び音量を区別することができ、これらの機能が音による環境の理解に利用され、盲人及び視覚障害者が環境に対処するためのウェアラブル技術システムを構築することができる。
【0156】
したがって、いくつかの実施例では、そのようなシステムは、いくつかの距離センサ、専用の高度なアルゴリズム、及びＡＩを含み、センサから収集されたデータをシナリオベースで融合し、そのデータを立体音響サウンドによって（物体までの距離及び方向を表すように）システムの着用者に送信し、着用者が環境を理解してそれに従って行動できるようにする。いくつかの実施例では、立体音響サウンドは、右耳と左耳との間の音の遅延に基づいて物体への方向を与え、また、いくつかの実施例では音量の強さとして（より近い物体はより高い音量の音によって表される）、又はいくつかの実施例では周期音の周期性として（より近い物体はより短い周期の周期音によって表される）、又はいくつかの実施例では音の周波数として（より近い物体はより高い周波数の音によって表される）距離を与える。
【0157】
いくつかの実施例では、環境を網羅するために、異なるカバレッジ・エリアからデータを収集するために多数のセンサを使用する、又は機械的に若しくはデジタルでスキャンするスキャン・センサ（盲人が使う歩行補助杖と同様の使用法）を使用する必要がある。最も理想的なのは、広い角度から収集するセンサを使用し、データを分割して部分ごとに処理することができることである（カメラで写真を撮影し、写真を、個別に処理される複数の部分に分割することができるのと同様に）。
【0158】
いくつかの実施例では、方法は、所与の時間に各センサからの情報を個別にシナリオベースで分析し、全てのデータを結合して立体音響サウンドにする（それにより、物体までの距離及び方向を表す）ことである。あらゆる結果データは、目的、人から物体までの距離、及び向きに応じて、異なる音及び音声によって区別される。カメラの場合、システムはあらゆる写真を個別に捕捉し、独自の音声及び音を用いた適切なシナリオベースの表現を提供する。
【0159】
いくつかの実施例では、センサ・データを処理するシナリオベースのアルゴリズムは、向きに依存する。特に距離検知を扱うとき、向きが重要である。例えば、障害物又は穴を見つけるためのセンサは、障害物又は穴がない場合は警告すべきではなく、何かを検出した瞬間に、それに応じて警告する。それを行うために、特定の距離がゼロ点として較正され、それよりも長い又は短い距離では、センサは、それぞれ負又は正の距離として警告する。しかし、いくつかの実施例では、水平方向を向いている人の顔に装着された長距離センサは、距離自体のみを警告し、無限の距離がゼロとして較正され、障害物が人に近づくにつれて警告が強くなる。
【0160】
いくつかの実施例では、システムはカメラを備える。例えば水で満たされたプールがあるとき、距離センサは、穴を警告することもしないこともあるが、カメラからの写真を処理するＡＩは、水面がプールであることを検出し、プールに落ちないように人に警告する。
【0161】
いくつかの実施例では、システムはワイヤレス・センサを含むことがあり、ユーザが着用するのにより快適な設計になる。全てのセンサは、人が携帯するメイン・コンピュータ又はハードウェアデバイスに接続される。パーソナル・コンピュータ又はデバイスは、小さな単一のボード又は１組のボードであるが、全てのアプリケーション、アルゴリズム、及びＡＩを実行することができる十分な処理ハードウェアを備える。システムは、ワイヤレス・センサ及びパーソナル・コンピュータ又は処理デバイスを含む眼鏡及びベルトとして着用可能である。
【0162】
いくつかの実施例では、ヘッドセットはワイヤレスでよい。
【0163】
いくつかの実施例では、シナリオベースのアルゴリズムはいくつかの部分を含み、各部分が異なるものを分析し、例えばフロント・カメラでは、テキストのＯＣＲ分析が行われ、特定の音声でそれが読み上げられる。１つのアルゴリズムは、センサが何を検出しているかを分析するＡＩであり、例えばカメラがカップやコンピュータのマウスの写真を撮影した場合、ＡＩは、その物体を検出し、何であるかを分析し、特定の音声でユーザに警告する。いくつかの実施例では、ＡＩは、カメラの写真を処理する顔認識アルゴリズムを有することもある。
【0164】
いくつかの実施例では、シナリオに応じて、異なるセンサの異なる距離が、立体音響方式で警報として発出され（物体までの距離と方向を表すように）、周囲にあるものをユーザに通知し、ユーザが独立して歩いて環境に対処できるようにする。
【0165】
いくつかの実施例では、本発明は、全ての距離センサ及びカメラからの全てのデータを融合し、ユーザに立体音響方式で（物体までの距離及び方向を表すように）シナリオベースで送信される。いくつかの実施例では、システムは、ユーザがいる場所、向き、及び向いている方向をユーザに警告する目的で、慣性及び加速度センサ並びに磁場センサ（ホール効果及びデジタルコンパス）を含むこともできる。
【0166】
いくつかの実施例では、本発明によるシステムのシナリオベースのアルゴリズムは、距離及びカメラから来た処理情報をより良くカバーするために、慣性、加速度計、及び磁気センサからの向きを使用することができる。システム・アルゴリズムは、距離測定用のステップ・カウンタのために慣性、加速度計、及び磁気センサを使用することがある。上記の全ての情報は、いくつかの実施例では、ＧＰＳ情報又は他のナビゲーション手順（ソフトウェア又はハードウェア）とシナリオベースで融合されることがあり、その結果、システムは、音声情報をＧＰＳナビゲーション又は他のナビゲーション手順に追加する。システムは、全てのセンサを、建物内でのナビゲーションを行うアプリケーションに使用することもできる。例えば、シナリオベースのアルゴリズムは、連続カメラ写真を撮影することができ、連続写真間の相違及び変化を検出して動きを検出し、それを走行距離計からの情報と融合してステップをカウントし、またそれを慣性センサ及び加速度センサなどと融合して（太陽の認識、及び時間に応じた太陽の位置によるナビゲーションなど）、より良いナビゲーション及びマッピングを得る。いくつかの実施例では、センサの照準方向情報は、正しい解釈を与えるために、及びセンサからの情報をより良く処理するために重要である。例えばセンサが下を向いている場合、センサは、穴や障害物を検出するためのものであり、センサが水平方向に向いている場合は、人や標識などユーザの前にあるものを検出するためのものである。
【0167】
いくつかの実施例では、システムは、ソフトウェアの少なくとも１つの２つの部分を含む。１つは、シナリオ識別の選択である。シナリオは、以下のものを含む任意の方法で表すことができる。
１．ユーザからの介入又はコマンド
２．ポリシーから導出される選択
３．センサから収集されたデータに基づくＡＩ決定により導出されたコンテキスト
１．ユーザからの介入又はコマンド
２．ポリシーから導出される選択
３．センサから収集されたデータに基づくＡＩ決定により導出されたコンテキスト
【0168】
ソフトウェアの第２の部分は、シナリオベースのプログラムの実装を成すアルゴリズム又はアプリケーションの実装構成要素である。
【0169】
本発明は、盲人及び視覚障害者の生活の質を改善するためのシステム、方法、デバイス、及びソフトウェアを提供する。
【0170】
本発明のシステムは、システムのデバイス自体の助けのみによって、盲人及び視覚障害者が、テキストを読むこと、物体及び色を認識すること、並びにあらゆる環境（屋内及び屋外）において見えているかのように自由に歩いて行動することの全てを一度に可能にするように構築及び構成される。
【0171】
このデバイスは、盲人及び視覚障害者が自分の能力を十分に発揮し、経済的及び社会的に社会に貢献できるようにする。盲人及び視覚障害者のための福祉や介護に社会がお金をかける必要がなくなり、また、盲人及び視覚障害者が一般の労働サイクルに容易に入ることができ、それにより生産性が向上するため、盲人及び視覚障害者は社会の負担にはならない。
【0172】
本発明は、センサから収集された情報及びデータを処理するための新規のシナリオベースの方法を備えたシステムに関し、データを音声によって半生データとしてユーザに送信し、ユーザの頭／脳が処理し、それにより、ユーザは、「耳で見る」ことで周囲環境を理解ができるようになる。この技法により、システムは、コンピュータ・リソースをそれほど使用しない。
【0173】
本発明のいくつかの実施例によれば、システムは、エコーロケーションを使用する。エコーロケーションは、音波を使用して、物体が３次元空間のどこにあるかを決定するものである。聴覚機能により、人間は音源から方向や距離を検出することができ、異なる音／音声の違いを識別することが可能である。このシステムは、いくつかの異なるタイプの距離センサ（超音波、ＬＩＤＡＲなど）、カメラ、物体を識別してテキストを読み上げるためのニューラル・ネットワーク、及びＣａｎ－Ｕ－Ｃのシナリオベースのアルゴリズムを含む。システムは、数十ＭＢＰＳの中帯域幅でビデオ、長さ、場所としてセンサからデータを収集する。
【0174】
いくつかの実施例によれば、本発明のシステムは、データを処理し、それを最大４００ＫＢＰＳのレートでアナログ・オーディオで送信する。これは、低解像度ビデオに相当するが、環境を理解するのに十分である。５０ＫＢＰＳ程度のより小さい帯域幅でも機能を実施することが可能である。システムは、情報、すなわち場所、速度、方向などを符号化し、それを、人の頭がそれを迅速且つ直感的に処理できる形で人にシナリオベースで送信する。
【0175】
本発明は、システム、方法、及び／又はコンピュータ・プログラム製品でよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことがある。
【0176】
コンピュータ可読記憶媒体は、命令実行デバイスが使用するための命令を保持及び記憶することができる有形のデバイスでよい。コンピュータ可読記憶媒体は、限定はしないが例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、及び電磁記憶デバイス、半導体記憶デバイス、又は上記デバイスの任意の適切な組合せでよい。非網羅的なリストは、より多くのコンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能なプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ又はフラッシュメモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ポータブル・コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、メモリスティック、命令が記録された機械的に符号化されたデバイス、及び上記のものの任意の適切な組合せである。本明細書で使用されるコンピュータ可読記憶媒体は、電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体を通って伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、又はワイヤを介して送信される電気信号などの一時的な信号自体であると解釈すべきではない。そうではなく、コンピュータ可読記憶媒体は、非一時的な（すなわち不揮発性の）媒体である。
【0177】
本明細書で述べるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードすることができ、又はネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、及び／又はワイヤレス・ネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイア・ウォール、スイッチ、ゲートウェイ・コンピュータ、及び／又はエッジサーバを備える。各コンピューティング／処理デバイスでのネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶する。
【0178】
本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、１つ若しくは複数のプログラミング言語の任意の組合せで書かれたソース・コード若しくはオブジェクト・コードでよく、そのようなプログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｍａｔｌａｂ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行される、ユーザのコンピュータ上で一部実行される、スタンドアロン・ソフトウェア・パッケージとして実行される、一部はユーザのコンピュータ上で一部はリモート・コンピュータ上で実行される、又はリモート・コンピュータ若しくはサーバ上で完全に実行されることがある。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）若しくはワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されることがあり、又は（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータへの接続が行われることがある。いくつかの実施例では、例えばプログラマブルロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プログラマブル・ロジック・アレイ（ＰＬＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。
【0179】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供されて機械を生成し、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサによって実行される命令が、機能／作用を実装するための手段を作り出す。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、及び／又は他のデバイスに特定の様式で機能するように指示することができるコンピュータ可読記憶媒体に記憶することもでき、それにより、命令が記憶されているコンピュータ可読記憶媒体は、機能／作用の態様を実装する命令を含む製造物を含む。
【0180】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイスにロードすることもでき、コンピュータ、他のプログラム可能な装置、又は他のデバイスにおいて一連の操作ステップを実施させて、コンピュータ実装プロセスを生成し、それにより、コンピュータ、他のプログラム可能な装置、又は他のデバイスで実行される命令が機能／作用を実現する。
【0181】
本発明の様々な実施例の説明は、例示の目的で提示されているが、包括的であること又は開示する実施例に限定されることを意図されてはいない。説明した実施例の範囲及び精神から逸脱することなく、多くの修正及び変形が当業者には明らかであろう。本明細書で使用した用語は、実施例の原理、市場で見られる技術に勝る実用上の適用若しくは技術的改良を最良に説明するために、又は本明細書に開示する実施例を当業者が理解できるようにするために選択した。
【0182】
本明細書に引用する参考文献は、本発明に適用可能な多くの原理を教示する。したがって、追加又は代替の詳細、特徴、及び／又は技術的背景の教示に適切な場合には、これらの刊行物の全内容を参照により本明細書に組み込む。
【0183】
本発明は、本明細書に含まれる又は図面に示される説明に記載される詳細に適用を限定されないことを理解されたい。本発明は、他の実施例が可能であり、様々な形で実践及び実施することができる。添付の特許請求の範囲において定義される及びそれによって定義される本発明の範囲から逸脱することなく、本明細書において前述した本発明の実施例に様々な修正及び変更を適用することができることを当業者は容易に理解されよう。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2020-06-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザの環境に関するシナリオベースの情報を処理するためのシステムであって、ａ．前記情報を収集し、前記情報に関連する環境データをプロセッサに転送するように構成された複数のセンサと、
ｂ．前記環境データを受信し、データを出力するように適合されたプロセッサであって、当該プロセッサは、
ｉ）第１のソフトウェア部分であって、
１）ユーザからの介入又はコマンド、
２）ポリシーから導出された選択、及び
３）前記センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
から選択された任意の方法によって前記シナリオを表すことができる、シナリオ識別を選択するためのソフトウェアを含む第１のソフトウェア部分と、
ｉｉ）第２のソフトウェア部分であって、シナリオベースのプログラムの実施を行うアルゴリズム又はアプリケーションを実施するように構成され、プログラム・コードが、前記シナリオベースの方法を実行するための前記少なくとも1つのハードウェア・プロセッサによって実行可能である、第２のソフトウェア部分と、
の少なくとも２つのソフトウェア部分で実施されるように適合された、プロセッサと、
ｃ．前記ユーザに関連付けられたポータブル通信デバイスであって、前記環境データに関連付けられた前記プロセッサからの前記データを受信するように適合され、前記データを前記ユーザのために脳で解釈可能な音に変換するように適合されて、前記ユーザが前記環境をリアルタイムで理解できるようにする、ポータブル通信デバイスと、
を備えるシステム。
【請求項2】
前記ポータブル通信デバイスが、前記ユーザの近傍にある物体からの距離及び方向を表すためにシナリオベースの立体音響サウンドを出力し、それによって前記ユーザが環境内を移動することを可能にする、請求項１に記載のシステム。
【請求項3】
前記立体音響サウンドが、前記ユーザの右耳と左耳との間の音の遅延に基づいて、前記物体からの距離及び方向に関する情報を前記ユーザに提供する、請求項２に記載のシステム。
【請求項4】
前記デバイスが、前記距離に応答して、前記立体音響サウンドの音量を調整するように構成される、請求項２に記載のシステム。
【請求項5】
ユーザの環境に関するシナリオベースの情報を処理するための方法であって、ａ．ユーザ・デバイスのセンサから情報及び環境データを収集するステップであって、前記データが、前記ユーザの近傍にある物体に関連付けられる、ステップと、
ｂ．シナリオベースのアルゴリズム及びデータを使用して前記情報を処理して、関連のサウンド・データを出力するためのステップであって、前記処理は、
ｉ）第１のソフトウェア部分であって、
１）ユーザからの介入又はコマンド、
２）ポリシーから導出された選択、及び
３）前記センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
から選択された任意の方法によって前記シナリオを表すことができる、シナリオ識別を選択するためのソフトウェアを含む第１のソフトウェア部分と、
ｉｉ）シナリオベースのプログラムの実施を行うアルゴリズム又はアプリケーションを実施するように構成された第２のソフトウェア部分であって、プログラム・コードが、シナリオベースの方法を実行するための前記少なくとも1つのハードウェア・プロセッサによって実行可能である、第２のソフトウェア部分と、
の少なくとも２つのソフトウェア部分で実施する、処理と、
ｃ．前記環境データに関連する前記サウンド・データを、前記ユーザのためのシナリオベースの脳で解釈可能な音に変換して、前記ユーザが前記環境をリアルタイムで理解できるようにするステップと、
を含む方法。
【請求項6】
前記変換ステップが、前記ユーザの近傍にある物体からの距離及び方向を表すために立体音響サウンドを出力し、それによって前記ユーザが環境内を移動することを可能にする、請求項５に記載の方法。
【請求項7】
前記立体音響サウンドが、前記ユーザの右耳と左耳との間の音の遅延に基づいて、前記物体の少なくとも１つからの距離及び方向に関するシナリオベースの情報を前記ユーザに提供する、請求項６に記載の方法。
【請求項8】
前記デバイスが、前記距離に応答して、前記シナリオベースの立体音響サウンドの音量を調整するように構成される、請求項７に記載の方法。
【請求項9】
前記シナリオベースの立体音響サウンドが、前記ユーザの右耳と左耳との間の音の遅延に基づいて前記少なくとも１つの物体への方向を提供し、周期音の周期性によって距離の標示を提供し、より近い物体が、より短い周期の周期音によって表される、請求項８に記載の方法。
【請求項10】
前記シナリオベースの立体音響サウンドが、右耳と左耳との間の音の遅延に基づいて前記少なくとも１つの物体への方向を提供し、音の周波数によって距離を提供し、より近い物体が、より高い周波数の音によって表される、請求項９に記載の方法。
【請求項11】
前記シナリオベースのアルゴリズムが、光学文字認識（ＯＣＲ）アルゴリズムを実施することによって、音声読み上げテキストをさらに出力する、請求項５に記載の方法。
【請求項12】
前記ＯＣＲ情報が、前記ユーザのパーソナル・デバイスのカメラからのものであり、前記カメラが、ＯＣＲのために、さらには前記ユーザの近傍でのテキストの再生のために使用される、請求項１１に記載の方法。
【請求項13】
前記シナリオベースのアルゴリズムが、前記パーソナル・デバイスに配設された人工知能（ＡＩ）アルゴリズムを使用することによって物体の音声識別を組み合わせる、請求項１２に記載の方法。
【請求項14】
前記カメラからの前記情報が、前記ＡＩによって物体を識別し、前記近傍にある前記物体の名前を再生するために使用される、請求項１３に記載の方法。
【請求項15】
前記ＡＩシナリオベースのアルゴリズムが、前記カメラによってキャプチャされた画像を処理するように適合された顔認識アルゴリズムを含む、請求項１４に記載の方法。
【請求項16】
異なる方向又は目的からの前記情報が、異なる音声及び音によって出力され、前記ユーザが、異なる方向及び／又は情報源からの情報を識別及び区別することができるようにする、請求項５に記載の方法。
【請求項17】
前記センサ・データを処理する前記シナリオベースのアルゴリズムが、向きに依存する、請求項１６に記載の方法。
【請求項18】
前記収集ステップが、異なるカバレッジ・エリアからデータを収集すること、
機械的に又はデジタルでスキャンするスキャン・センサを採用すること、及び
広角のセンサを使用してデータを収集し、前記データを分割して部分ごとに処理することができること、
の少なくとも１つを含む、請求項７に記載の方法。
【請求項19】
各センサからの前記情報が、シナリオ及び前記センサの方向又は配置に基づいて、別の方法で処理される、請求項５に記載の方法。
【請求項20】
前記近傍に穴又は障害物がある場合に前記ユーザに警告を提供するステップをさらに含む、請求項１９に記載の方法。
【請求項21】
前記システムがウェアラブルであり、ワイヤレス・センサを含み、それによって、前記システムをユーザが快適に着用できるようにする、請求項１に記載のシステム。
【請求項22】
前記全てのセンサがメイン・コンピュータ又はデバイスに接続される、請求項２１に記載のシステム。
【請求項23】
前記システムがワイヤレス・ヘッドセットを備え、ユーザが快適に着用できるような設計にする、請求項２１に記載のシステム。
【請求項24】
前記ワイヤレス・ヘッドセットが、ユーザが携帯するメイン・コンピュータ又はデバイスに接続される、請求項２３に記載のシステム。
【請求項25】
前記シナリオベースのアルゴリズムが、全てのセンサ（方向センサ、カメラ、ＧＰＳ、ナビゲーションセンサ（加速度計、磁気センサ））から収集された全てのデータを融合し、それを立体音響サウンドとして前記ユーザに送信し、様々な音や音声で物体までの距離及び方向を表す、請求項５に記載の方法。
【請求項26】
前記センサが、前記ユーザの動き情報、及び周囲環境内での前記ユーザの向きを解釈するための加速度センサを備える、請求項５に記載の方法。
【請求項27】
前記動き情報がナビゲーション目的で使用される、請求項２６に記載の方法。
【請求項28】
前記ユーザを屋外でナビゲートし、前記ユーザの目的地への方向を前記ユーザに与えるためのＧＰＳを備える、請求項１に記載のシステム。
【請求項29】
建物内でナビゲートするためのナビゲーション・アプリケーションをさらに備え、前記ナビゲーション・アプリケーションが、カメラを使用して画像間のシナリオベースの相違を識別し、機械学習によって、前記システムが、前記建物の内部をマッピングして前記ユーザに指示するように構成される、請求項２８に記載のシステム。
【請求項30】
前記カメラから撮影された前記写真が、人が屋内にいるか屋外にいるかを理解するために前記ＡＩによってシナリオベースで分析され、前記ＡＩがカメラの写真から、通常は屋内にある１組の光源及びアイテムを認識する場合、前記システムが、前記人が屋内にいることを理解して、建物内をナビゲートする前記アプリケーションを適用し、カメラが太陽及び街灯などのアイテムをキャプチャする場合、ＧＰＳの使用によって、前記システムが、前記人が屋外を移動していることを理解して、ＧＰＳ又は他の屋外ナビゲーション・アプリケーションを使用して、前記ユーザをナビゲートする、請求項２９に記載のシステム。
【請求項31】
エコー及びノイズ・キャンセレーションを使用し、ノイズとして識別された音を除去し、前記ユーザが周囲サウンド情報を明瞭に得ることができるようにする、実施例２９に記載のシステム。
【請求項32】
少なくとも１つのハードウェア・プロセッサと、シナリオベースのプログラム・コードを具現化する非一時的なコンピュータ可読記憶媒体とを備えるシステムであって、前記プログラム・コードが、前記少なくとも１つのハードウェア・プロセッサによって実行可能であり、請求項５から２０まで又は２５から２７までのいずれか一項に記載のシナリオベースの方法を実施する、システム。
【請求項33】
少なくとも１つのハードウェア・プロセッサと、ａ．シナリオ識別の選択であって、
ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出された選択、及び
ｉｉｉ．センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
から選択された任意の方法によって前記シナリオを表すことができる、シナリオ識別の選択と、
ｂ．シナリオベースのプログラムの実施を行うアルゴリズム又はアプリケーションの実施構成要素であって、前記プログラム・コードが、実施例５から２０まで又は２５から２７までのいずれか一つに記載のシナリオベースの方法を実施するために、前記少なくとも１つのハードウェア・プロセッサによって実行可能である、実施構成要素と
の少なくとも２つの部分のソフトウェアを有する非一時的なコンピュータ可読記憶媒体とを備えるシステム。
【請求項34】
シナリオベースのプログラム・コードを具現化する非一時的なコンピュータ可読記憶媒体とを備えるコンピュータ・プログラム製品であって、前記プログラム・コードが、請求項５から２０まで又は２５から２７までのいずれか一項に記載のシナリオベースの方法を実施するために、少なくとも１つのハードウェア・プロセッサによって実行可能である、コンピュータ・プログラム製品。
【請求項35】
ａ．シナリオ識別の選択であって、ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出された選択、及び
ｉｉｉ．センサから収集されたデータに基づくＡＩ決定によって導出されたコンテキスト
の少なくとも1つを含む任意の方法によってシナリオを表すことができる、シナリオ識別の選択と、
ｂ．シナリオベースのプログラムの実施を行うアルゴリズム又はアプリケーションの実施構成要素であって、前記プログラム・コードが、請求項５から２０まで又は２５から２７までのいずれか１つのシナリオベースの方法を実施するために、前記少なくとも１つのハードウェア・プロセッサによって実行可能である、実施構成要素と
の少なくとも２つの部分を有するソフトウェアを備えるコンピュータ・プログラム製品。
【請求項36】
各センサからの前記情報が、シナリオ及び前記センサの方向又は配置に基づいて、異なって処理される、請求項５に記載の方法。
【請求項37】
前記アルゴリズムがノイズとして識別された音を除去し、前記ユーザが前記周囲サウンド情報を明瞭に得られるように、エコー及びノイズ・キャンセレーションを使用する、請求項３６に記載の方法。
【請求項38】
ａ．シナリオ識別を選択するためのソフトウェアを構成する第１のソフトウェア部分であって、ｉ．ユーザからの介入又はコマンド、
ｉｉ．ポリシーから導出される選択、及び
ｉｉｉ．センサから収集された前記データに基づくＡＩ決定によって導出されるコンテキスト
によって前記シナリオを表現することができる、第１のソフトウェア部分と、
ｂ．シナリオベースのプログラムの実施を行うアルゴリズム又はアプリケーションを実施するように構成された第２のソフトウェア部分であって、前記プログラム・コードが、前記シナリオベースの方法を実施するために前記少なくとも１つのハードウェア・プロセッサによって実行可能である、第２のソフトウェア部分と
の少なくとも２つのソフトウェア部分を実施するステップを含む、請求項５に記載の方法。
【請求項39】
前記ユーザは視覚障害ユーザである、請求項５に記載の方法。
【請求項40】
前記データはサウンド・データである、請求項１に記載の方法。
【国際調査報告】