IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オフェル,モシェの特許一覧

特表2024-525203聴神経信号変換のための方法およびシステム
<>
  • 特表-聴神経信号変換のための方法およびシステム 図1
  • 特表-聴神経信号変換のための方法およびシステム 図2
  • 特表-聴神経信号変換のための方法およびシステム 図3
  • 特表-聴神経信号変換のための方法およびシステム 図4
  • 特表-聴神経信号変換のための方法およびシステム 図5
  • 特表-聴神経信号変換のための方法およびシステム 図6
  • 特表-聴神経信号変換のための方法およびシステム 図7
  • 特表-聴神経信号変換のための方法およびシステム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-10
(54)【発明の名称】聴神経信号変換のための方法およびシステム
(51)【国際特許分類】
   A61B 5/37 20210101AFI20240703BHJP
   A61B 5/38 20210101ALN20240703BHJP
【FI】
A61B5/37
A61B5/38
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023579087
(86)(22)【出願日】2022-06-21
(85)【翻訳文提出日】2024-02-16
(86)【国際出願番号】 IB2022055761
(87)【国際公開番号】W WO2023275671
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】63/215,569
(32)【優先日】2021-06-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/728,013
(32)【優先日】2022-04-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】523455127
【氏名又は名称】オフェル,モシェ
(74)【代理人】
【識別番号】110003797
【氏名又は名称】弁理士法人清原国際特許事務所
(72)【発明者】
【氏名】オフェル,モシェ
【テーマコード(参考)】
4C127
【Fターム(参考)】
4C127AA03
4C127DD02
4C127GG00
(57)【要約】
処理デバイスが、聴覚知覚を担う被検体の脳の聴覚領域とインターフェースされる。処理デバイスは、被検体の耳によって収集される音声に応答して、被検体の脳の聴覚領域に伝送される神経インパルスと関連付けられる信号を受信する。処理デバイスは、受信した信号を処理し、耳によって収集される音声の、被検体による聴覚知覚を表す少なくとも1つの音響信号を生成する。特定の実施形態において、処理デバイスは、少なくとも1つの音声を表す少なくとも1つの音響信号を処理して、少なくとも1つの音響信号を神経インパルスのシーケンスに変換し、被検体が少なくとも1つの音声を聴覚的に知覚するように、神経インパルスのシーケンスを被検体の脳の聴覚領域に選択的に提供する。
【選択図】図1
【特許請求の範囲】
【請求項1】
聴覚知覚を担う聴覚領域を含む脳を有する動物被検体とともに使用するための方法であって、
処理デバイスを前記脳の前記聴覚領域とインターフェースさせることと、
前記処理デバイスによって、前記被検体の少なくとも1つの耳によって収集される音声に応答して前記脳の前記聴覚領域に伝送される神経インパルスと関連付けられる信号を受信することと、
前記処理デバイスによって、前記被検体の前記少なくとも1つの耳によって収集される前記音声の、前記被検体による聴覚知覚を表す少なくとも1つの音響信号を生成するために、受信した前記信号を処理することと
を含む、方法。
【請求項2】
前記インターフェースさせることは、前記処理デバイスと前記脳の前記聴覚領域との間に通信を提供するように、機械-被検体インターフェースの少なくとも一部分を、前記脳の前記聴覚領域と関連付けて前記被検体内に埋め込むことを含む、請求項1に記載の方法。
【請求項3】
1つまたは複数の規則に従って、生成されている前記少なくとも1つの音響信号に対して少なくとも1つの動作を実施することをさらに含む、請求項1に記載の方法。
【請求項4】
前記少なくとも1つの動作は、生成されている前記少なくとも1つの音響信号を表すデータを、前記処理デバイスと通信可能に結合されているコンピュータ化記憶デバイスに記憶することを含む、請求項3に記載の方法。
【請求項5】
前記少なくとも1つの動作は、生成されている前記少なくとも1つの音響信号を表すデータを、1つまたは複数の通信ネットワークを介して前記処理デバイスと通信可能に結合されているコンピュータ化サーバ・システムに送信することを含む、請求項3に記載の方法。
【請求項6】
前記少なくとも1つの動作は、生成されている前記少なくとも1つの音響信号を修正して、少なくとも1つの修正音響信号を発生させることを含む、請求項3に記載の方法。
【請求項7】
前記少なくとも1つの修正音響信号を1つまたは複数の神経インパルスに変換することと、
前記被検体の前記少なくとも1つの耳によって収集される前記音声の、前記被検体による聴覚知覚を増強するように、前記1つまたは複数の神経インパルスを前記脳の前記聴覚領域に提供することと
をさらに含む、請求項6に記載の方法。
【請求項8】
前記1つまたは複数の神経インパルスを前記脳の前記聴覚領域に提供することは、前記1つまたは複数の神経インパルスを、前記脳の前記聴覚領域と接続されている1つまたは複数の神経に沿って伝送することを含む、請求項7に記載の方法。
【請求項9】
受信した前記信号を処理することは、神経インパルスと音響信号との間でマッピングする少なくとも1つのマッピングを、受信した前記信号に適用することを含む、請求項1に記載の方法。
【請求項10】
前記少なくとも1つのマッピングは、前記処理デバイスと通信可能に結合されている少なくとも1つのメモリ・デバイスに記憶される、請求項9に記載の方法。
【請求項11】
前記処理デバイスを前記被検体に埋め込むことをさらに含む、請求項1に記載の方法。
【請求項12】
前記処理デバイスは、前記被検体の外部にある、請求項1に記載の方法。
【請求項13】
聴覚知覚を担う聴覚領域を含む脳を有する動物被検体とともに使用するためのシステムであって、
処理デバイスと、
前記処理デバイスを前記脳の前記聴覚領域とインターフェースさせるための機械-被検体インターフェースと
を備え、
前記処理デバイスは、
前記被検体の少なくとも1つの耳によって収集される音声に応答して前記脳の前記聴覚領域に伝送される神経インパルスと関連付けられる信号を受信することと、
前記被検体の前記少なくとも1つの耳によって収集される前記音声の、前記被検体による聴覚知覚を表す少なくとも1つの音響信号を生成するために、受信した前記信号を処理することと
を行うように構成されている、システム。
【請求項14】
前記機械-被検体インターフェースの少なくとも一部分は、前記処理デバイスと前記脳の前記聴覚領域との間に通信を提供するように、前記脳の前記聴覚領域と関連付けて前記被検体内に埋め込まれるように構成されている、請求項13に記載のシステム。
【請求項15】
前記処理デバイスは、生成されている前記少なくとも1つの音響信号を表すデータを、
i)前記処理デバイスと通信可能に結合されている少なくとも1つのコンピュータ化記憶デバイス、および
ii)1つまたは複数の通信ネットワークを介して前記処理デバイスと通信可能に結合されている少なくとも1つのリモート・サーバ・システム
のうちの1つまたは複数に送信するようにさらに構成されている、請求項13に記載のシステム。
【請求項16】
前記処理デバイスは、生成されている前記少なくとも1つの音響信号を修正して、少なくとも1つの修正音響信号を発生させるようにさらに構成されている、請求項13に記載のシステム。
【請求項17】
前記処理デバイスは、前記少なくとも1つの修正音響信号を1つまたは複数の神経インパルスに変換することと、前記被検体の前記少なくとも1つの耳によって収集される前記音声の、前記被検体による聴覚知覚を増強するように、前記1つまたは複数の神経インパルスを前記脳の前記聴覚領域に提供することとを行うようにさらに構成されている、請求項16に記載のシステム。
【請求項18】
前記処理デバイスは、前記1つまたは複数の神経インパルスを、前記脳の前記聴覚領域と接続されている1つまたは複数の神経に沿って伝送することによって、前記1つまたは複数の神経インパルスを前記脳の前記聴覚領域に提供するように構成されている、請求項17に記載のシステム。
【請求項19】
受信した前記信号を処理することは、神経インパルスと音響信号との間でマッピングする少なくとも1つのマッピングを、受信した前記信号に適用することを含む、請求項13に記載のシステム。
【請求項20】
聴覚知覚を担う聴覚領域を含む脳を有する動物被検体とともに使用するための方法であって、
処理デバイスを前記脳の前記聴覚領域とインターフェースさせることと、
前記処理デバイスによって、少なくとも1つの音声を表す少なくとも1つの音響信号を処理して、前記少なくとも1つの音響信号を神経インパルスのシーケンスに変換することと、
前記被検体が前記少なくとも1つの音声を聴覚的に知覚するように、前記神経インパルスのシーケンスを前記脳の前記聴覚領域に選択的に提供することと
を含む、方法。
【請求項21】
前記少なくとも1つの音響信号は、前記少なくとも1つの音響信号を表すデータを記憶する、前記処理デバイスと通信可能に結合されている少なくとも1つのメモリ・デバイス、または、前記少なくとも1つの音響信号を発生させるために音声を取り込む音声取込みデバイスのうちの少なくとも一方によって、前記処理デバイスに提供される、請求項20に記載の方法。
【請求項22】
音声取込みデバイスによって、前記少なくとも1つの音響信号を発生させるために前記少なくとも1つの音声を取り込むことと、
前記少なくとも1つの音響信号を前記処理デバイスに提供することと
をさらに含む、請求項20に記載の方法。
【請求項23】
前記神経インパルスが前記脳の前記聴覚領域に提供されたときに前記被検体が無音を知覚するように、前記少なくとも1つの音声は、前記被検体にとって不可聴である、請求項20に記載の方法。
【請求項24】
聴覚知覚を担う聴覚領域を含む脳を有する動物被検体とともに使用するためのシステムであって、
処理デバイスと、
前記処理デバイスを前記脳の前記聴覚領域とインターフェースさせるための機械-被検体インターフェースと
を備え、
前記処理デバイスは、
少なくとも1つの音声を表す少なくとも1つの音響信号を処理して、前記少なくとも1つの音響信号を神経インパルスのシーケンスに変換することと、
前記被検体が前記少なくとも1つの音声を聴覚的に知覚するように、前記神経インパルスのシーケンスを、前記機械-被検体インターフェースを介して前記脳の前記聴覚領域に選択的に提供することと
を行うように構成されている、システム。
【請求項25】
前記少なくとも1つの音響信号を発生させるために前記少なくとも1つの音声を取り込むことと、前記少なくとも1つの音響信号を前記処理デバイスに提供することとを行うための音声取込みデバイスをさらに備える、請求項23に記載のシステム。
【請求項26】
前記システムは、1つまたは複数の音響信号を表すデータを記憶するための、前記処理デバイスと通信可能に結合されているメモリ・デバイスをさらに備え、前記処理デバイスは、前記メモリ・デバイスから前記データを受信するように構成されている、請求項23に記載のシステム。
【請求項27】
前記神経インパルスが前記脳の前記聴覚領域に提供されたときに前記被検体が無音を知覚するように、前記少なくとも1つの音声は、前記被検体にとって不可聴である、請求項23に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本出願は、2021年6月28日に出願された米国仮特許出願第63/215,569号からの優先権を主張し、その開示全体が参照により本明細書に組み込まれる。
【0002】
本発明は、音声知覚に関し、より詳細には、脳へのおよび脳からの音声のルーティングに関する。
【背景技術】
【0003】
ヒト聴覚系は、耳、脳、および神経系の部分を含む。概して、力学的な波(振動)が、耳によって検出され、神経パルスに転換(変換)され、神経パルスは、1つまたは複数の神経によって脳に伝送されて、脳によって音声として解釈および知覚される。
【発明の概要】
【課題を解決するための手段】
【0004】
本発明の実施形態は、聴神経によって伝送される神経インパルスを表す信号を取得し、それらの信号を音響信号(アナログまたはデジタル信号であってもよい)に変換する方法およびシステムを提供することによって、ならびに、音響信号(アナログ信号またはデジタル信号であってもよい)を対応する神経インパルスに変換し、それらの神経インパルスを、例えば、伝送のための聴覚神経を介して脳の聴覚領域に提供する方法およびシステムを提供することによって、脳への経路をトラバースする音声(発声を含む)および関連データの修正を可能にする。
【0005】
本発明の一実施形態の教示によれば、聴覚知覚を担う聴覚領域を含む脳を有する動物被検体とともに使用するための方法が提供される。方法は、処理デバイスを脳の聴覚領域とインターフェースさせることと、処理デバイスによって、被検体の少なくとも1つの耳によって収集される音声に応答して脳の聴覚領域に伝送される神経インパルスと関連付けられる信号を受信することと、処理デバイスによって、被検体の少なくとも1つの耳によって収集される音声の、被検体による聴覚知覚を表す少なくとも1つの音響信号を生成するために、受信した信号を処理することを含む。
【0006】
任意選択で、インターフェースさせることは、処理デバイスと脳の聴覚領域との間に通信を提供するように、機械-被検体インターフェースの少なくとも一部分を、脳の聴覚領域と関連付けて被検体内に埋め込むことを含む。
【0007】
任意選択で、方法は、1つまたは複数の規則に従って、生成されている少なくとも1つの音響信号に対して少なくとも1つの動作を実施することをさらに含む。
【0008】
任意選択で、少なくとも1つの動作は、生成されている少なくとも1つの音響信号を表すデータを、処理デバイスと通信可能に結合されているコンピュータ化記憶デバイスに記憶することを含む。
【0009】
任意選択で、少なくとも1つの動作は、生成されている少なくとも1つの音響信号を表すデータを、1つまたは複数の通信ネットワークを介して処理デバイスと通信可能に結合されているコンピュータ化サーバ・システムに送信することを含む。
【0010】
任意選択で、少なくとも1つの動作は、生成されている少なくとも1つの音響信号を修正して、少なくとも1つの修正音響信号を発生させることを含む。
【0011】
任意選択で、方法は、少なくとも1つの修正音響信号を1つまたは複数の神経インパルスに変換することと、被検体の少なくとも1つの耳によって収集される音声の、被検体による聴覚知覚を増強するように、1つまたは複数の神経インパルスを脳の聴覚領域に提供することとをさらに含む。
【0012】
任意選択で、1つまたは複数の神経インパルスを脳の聴覚領域に提供することは、1つまたは複数の神経インパルスを、脳の聴覚領域と接続されている1つまたは複数の神経に沿って伝送することを含む。
【0013】
任意選択で、受信した信号を処理することは、神経インパルスと音響信号との間でマッピングする少なくとも1つのマッピングを、受信した信号に適用することを含む。
【0014】
任意選択で、少なくとも1つのマッピングは、処理デバイスと通信可能に結合されている少なくとも1つのメモリ・デバイスに記憶される。
【0015】
任意選択で、方法は、処理デバイスを被検体に埋め込むことをさらに含む。
【0016】
任意選択で、処理デバイスは、被検体の外部にある。
【0017】
本発明の教示の一実施形態によれば、聴覚知覚を担う聴覚領域を含む脳を有する動物被検体とともに使用するためのシステムも提供される。システムは、処理デバイスと、処理デバイスを脳の聴覚領域とインターフェースさせるための機械-被検体インターフェースとを備える。処理デバイスは、被検体の少なくとも1つの耳によって収集される音声に応答して脳の聴覚領域に伝送される神経インパルスと関連付けられる信号を受信することと、被検体の少なくとも1つの耳によって収集される音声の、被検体による聴覚知覚を表す少なくとも1つの音響信号を生成するために、受信した信号を処理することとを行うように構成されている。
【0018】
任意選択で、機械-被検体インターフェースの少なくとも一部分は、処理デバイスと脳の聴覚領域との間に通信を提供するように、脳の聴覚領域と関連付けて被検体内に埋め込まれるように構成されている。
【0019】
任意選択で、処理デバイスは、生成されている少なくとも1つの音響信号を表すデータを、i)処理デバイスと通信可能に結合されている少なくとも1つのコンピュータ化記憶デバイス、およびii)1つまたは複数の通信ネットワークを介して処理デバイスと通信可能に結合されている少なくとも1つのリモート・サーバ・システムのうちの1つまたは複数に送信するようにさらに構成されている。
【0020】
任意選択で、処理デバイスは、生成されている少なくとも1つの音響信号を修正して、少なくとも1つの修正音響信号を発生させるようにさらに構成されている。
【0021】
任意選択で、処理デバイスは、少なくとも1つの修正音響信号を1つまたは複数の神経インパルスに変換することと、被検体の少なくとも1つの耳によって収集される音声の、被検体による聴覚知覚を増強するように、1つまたは複数の神経インパルスを脳の聴覚領域に提供することとを行うようにさらに構成されている。
【0022】
任意選択で、処理デバイスは、1つまたは複数の神経インパルスを、脳の聴覚領域と接続されている1つまたは複数の神経に沿って伝送することによって、1つまたは複数の神経インパルスを脳の聴覚領域に提供するように構成されている。
【0023】
任意選択で、受信した信号を処理することは、神経インパルスと音響信号との間でマッピングする少なくとも1つのマッピングを、受信した信号に適用することを含む。
【0024】
本発明の教示の一実施形態によれば、聴覚知覚を担う聴覚領域を含む脳を有する動物被検体とともに使用するための方法も提供される。方法は、処理デバイスを脳の聴覚領域とインターフェースさせることと、処理デバイスによって、少なくとも1つの音声を表す少なくとも1つの音響信号を処理して、少なくとも1つの音響信号を神経インパルスのシーケンスに変換することと、被検体が少なくとも1つの音声を聴覚的に知覚するように、神経インパルスのシーケンスを脳の聴覚領域に選択的に提供することとを含む。
【0025】
任意選択で、少なくとも1つの音響信号は、少なくとも1つの音響信号を表すデータを記憶する、処理デバイスと通信可能に結合されている少なくとも1つのメモリ・デバイス、または、少なくとも1つの音響信号を発生させるために音声を取り込む音声取込みデバイスのうちの少なくとも一方によって、処理デバイスに提供される。
【0026】
任意選択で、方法は、音声取込みデバイスによって、少なくとも1つの音響信号を発生させるために少なくとも1つの音声を取り込むことと、少なくとも1つの音響信号を処理デバイスに提供することとをさらに含む。
【0027】
任意選択で、神経インパルスが脳の聴覚領域に提供されたときに被検体が無音を知覚するように、少なくとも1つの音声は、被検体にとって不可聴である。
【0028】
本発明の教示の一実施形態によれば、聴覚知覚を担う聴覚領域を含む脳を有する動物被検体とともに使用するためのシステムも提供される。システムは、処理デバイスと、処理デバイスを脳の聴覚領域とインターフェースさせるための機械-被検体インターフェースとを備える。処理デバイスは、少なくとも1つの音声を表す少なくとも1つの音響信号を処理して、少なくとも1つの音響信号を神経インパルスのシーケンスに変換することと、被検体が少なくとも1つの音声を聴覚的に知覚するように、神経インパルスのシーケンスを、機械-被検体インターフェースを介して脳の聴覚領域に選択的に提供することとを行うように構成されている。
【0029】
任意選択で、システムは、少なくとも1つの音響信号を発生させるために少なくとも1つの音声を取り込むことと、少なくとも1つの音響信号を処理デバイスに提供することとを行うための音声取込みデバイスをさらに備える。
【0030】
任意選択で、システムは、1つまたは複数の音響信号を表すデータを記憶するための、処理デバイスと通信可能に結合されているメモリ・デバイスをさらに備え、処理デバイスは、メモリ・デバイスからデータを受信するように構成されている。
【0031】
任意選択で、神経インパルスが脳の聴覚領域に提供されたときに被検体が無音を知覚するように、少なくとも1つの音声は、被検体にとって不可聴である。
【0032】
本明細書において別途定義されない限り、本明細書において使用されるすべての技術用語および/または科学用語は、本発明が関連する技術分野の当業者によって一般的に理解されているものと同じ意味を有する。本明細書に記載のものと類似または均等な方法および材料は、本発明の実施形態を実践または試験するのに使用することができるが、下記においては例示的な方法および/または材料を記載する。矛盾が生じた場合、定義を含め、本明細書が統制する。加えて、材料、方法、および実施例は例示に過ぎず、必ずしも限定であるようには意図されていない。
【0033】
例示のみを目的として、添付の図面を参照して本発明のいくつかの実施形態をここで説明する。特に図面を詳細に参照して、図示されている詳細は例としてのものであり、本発明の実施形態の例示的な説明を目的としたものであることを強調しておく。これに関連して、図面とともに取り上げられる記載は、本発明の実施形態をどのように実践することができるかを当業者に明らかにする。
【0034】
ここで、図面に注目されたい。図面において、同様の参照番号または文字は、対応するまたは同様の構成要素を示す。
【図面の簡単な説明】
【0035】
図1】本発明の一実施形態による、被験者の脳の聴覚領域とインターフェースし、神経インパルスを音響信号に変換し、および、その逆を行うための処理デバイスを有し、音声を取り込むための音声取込みデバイスと、処理デバイスおよび音声取込みデバイスと関連付けられる制御ユニットとを有するシステムの概略図である。
図2】本発明の一実施形態による、処理デバイスが、聴覚神経における埋め込みを介して脳の聴覚領域とインターフェースする図1の処理デバイスの例示的な配置の概略図である。
図3】本発明の一実施形態による、例示的な処理デバイスのブロック図である。
図4】本発明の一実施形態による、図1の音声取込みデバイスの、身体装着マイクロフォン・デバイスとしての例示的な配置の概略図である。
図5】本発明の一実施形態による、処理デバイスと被検体の脳の聴覚領域との間のインターフェースのために使用することができる電極アレイを含む例示的な有線インターフェースの概略図である。
図6】本発明の一実施形態による、処理デバイスに接続されている送信機ユニット、および、受信機ユニットに接続されている電極アレイを示す、処理デバイスと被検体の脳の聴覚領域との間のインターフェースのために使用することができる例示的な無線インターフェースの概略図である。
図7】処理デバイスから受信されるデータを記憶するためのメモリ、および、通信ネットワークを介してリモート・サーバとデータを交換するための、処理デバイスに接続されているトランシーバ・ユニットを示す、本発明の実施形態による処理デバイスが動作することができるシステム環境の概略図である。
図8】本発明の一実施形態による、図1に示すシステムと同様であるが、被検体の脳の異なるそれぞれの領域とインターフェースする一対の処理デバイスが配置される、システムの概略図である。
【発明を実施するための形態】
【0036】
本発明の実施形態は、聴神経によって伝送される神経インパルスを表す信号を取得し、それらの信号を音響信号(アナログまたはデジタル信号であってもよい)に変換し、音響信号(アナログ信号またはデジタル信号であってもよい)を対応する神経インパルスに変換し、それらの神経インパルスを、例えば、伝送のための聴覚神経を介して脳の聴覚領域に提供するための方法およびシステムを提供する。
【0037】
本発明による方法およびシステムの原理および動作は、説明を伴う図面を参照することによってより理解することができる。
【0038】
本発明の少なくとも1つの実施形態を詳細に説明する前に、本発明はその応用形態において必ずしも、以下の説明に記載されており、および/または、図面および/または実施例に示されている構成要素および/または方法の構造および構成の詳細には限定されないことを理解されたい。本発明は、他の実施形態、または、様々な方法で実践もしくは実行されることが可能である。
【0039】
ここで図面を参照すると、図1は、本発明の一実施形態による、全体的に10で指定されているシステムの概略図である。一般的に言えば、システム10は、被検体の聴覚知覚を担う被検体40の脳42の領域43にインターフェースする(通信可能に結合する)ためのコンピュータ化処理デバイス12(以降、相互交換可能に「処理デバイス」として参照される)を含む。この領域43は、以降、「聴覚領域」として参照される。ヒト被検体および多くの他の種類の動物(例えば、イヌ種、ネコ種、非ヒト霊長類種、齧歯類種)において、この聴覚領域43は、一般的に、聴覚皮質として参照される。ヒト被検体および多くの他の脊椎動物において、聴覚皮質は、聴覚情報を処理する側頭葉の一部である。大脳皮質または聴覚皮質を有しない動物種(例えば、爬虫類種、鳥類種、非哺乳類海産種/水生動物種)において、「聴覚領域」という用語は、聴覚処理を実施する脳の1つまたは複数の同等の部分を指す。
【0040】
図示されている実施形態において、処理デバイス12は、ここでは一対の神経46として示されている、各々がそれぞれの耳44と脳42との間の経路としての役割を果たす少なくとも1つの神経46を介して、聴覚領域43とインターフェースされている。本開示の文脈において、神経46は、相互交換可能に聴覚神経または聴神経として参照される。本明細書において使用されるものとしての「聴覚神経」または「聴神経」という用語は、概して、脳によって(したがって、被検体によって)音声として解釈および知覚されるように、1つまたは複数の耳44によって検出される力学的な波(例えば、振動)から変換されるパルス(すなわち、神経インパルス)を脳42(特に、脳の聴覚領域43)に伝送することができる任意の神経または神経節を指す。典型的には、各耳について、耳から脳への経路を提供する、関連付けられる聴覚神経が存在する。
【0041】
ヒト被検体において、聴覚神経46は、前庭神経の蝸牛神経を含む、内耳神経(聴覚前庭神経としても参照される)のうちの1つまたは複数の神経を典型的に含む、生理的聴覚神経である。これはまた、例えば、霊長類種、イヌ種、ネコ種、および他の脊椎動物を含む、特定の他の動物種にも当てはまり得る。
【0042】
特定の好ましいが非限定的な配置構成において、処理デバイス12は、蝸牛神経のうちのいずれかまたは両方(すなわち、耳44のうちの一方と関連付けられる単一の蝸牛神経、または、各々がそれぞれの耳44と関連付けられる2つの蝸牛神経)を介して聴覚領域43に通信可能に結合される。
【0043】
下記にさらに詳細に論じるように、処理デバイス12は、音声情報を担持し、脳42の聴覚領域43に伝送される神経インパルスと関連付けられる信号を受信するように動作可能である。処理デバイス12によって信号を受信するこのプロセスは、概して、本明細書において、「神経インパルスを収集すること」または「神経インパルスの収集」として参照される。神経インパルスは、典型的には、被検体の聴覚感覚システムの聴覚刺激に応答して、神経46によって、耳44から脳42の聴覚領域43までの神経路に沿って伝送される。
【0044】
この聴覚刺激は、いくつかの形態のものとすることができ、被検体(「ユーザ」としても参照される)40が、自然音響源および/または電子音響源を含む1つまたは複数の音響源からの音声に晒されたときに行われる。一般的に言えば、聴覚刺激は、一方または両方の耳44が、例えば、被検体と話している人々、被検体の周辺で演奏されている音楽(生演奏の器楽および/もしくは歌唱、または、例えば、ラジオ、ステレオ・システムなどの音響出力デバイス上で再生されている録音の器楽および/もしくは歌唱)、電話機から出力されている音響、ビデオ・ディスプレイ・デバイス(例えば、テレビ、スマートフォンなど)から出力されている音響などの、被検体の環境内のソースによって放出されている音声を収集/感知したときに行われる。
【0045】
聴覚刺激(音声)に対応する力学的な波(振動)は、耳44によって検出/感知され、神経インパルスに変換され、神経インパルスは、聴覚神経46によって脳42の聴覚領域43に伝送されて、脳42によって音声として解釈される。脳42による神経インパルスのこの解釈は、本明細書においては「聴覚知覚」として参照される。
【0046】
補足的に、健常に機能する聴覚系を有するヒト被検体において、音声収集のプロセスは、典型的には、外耳によって音声振動を鼓膜へと集めることを含み、それにより、中周波数範囲内の音声/振動圧力が増大する。次いで、中耳の小骨が圧力をさらに増幅し(約20倍程度)、次いで、振動/圧力波形が内耳の蝸牛において神経インパルスに変換される。
【0047】
処理デバイス12は、聴覚刺激の聴覚知覚(被検体40による)を表す少なくとも1つの音響信号(デジタル信号またはアナログ信号とすることができる)を生成する(発生させる)ように、受信した信号(収集された神経インパルス)を処理するようにさらに動作可能である。言い換えれば、生成されている1つまたは複数の音響信号は、耳44が聴覚刺激に晒されているときに(すなわち、耳が音声を収集するときに)被検体40が自身の耳44で聞くもののアナログまたはデジタル表現である。好ましくは、生成されている少なくとも1つの音響信号のコンピュータ可読かつコンピュータ記憶可能なバージョンが発生し得る。生成されている少なくとも1つの音響信号が1つまたは複数のデジタル信号である実施形態において、デジタル信号は、本質的にコンピュータ可読かつコンピュータ記憶可能である。生成されている少なくとも1つの音響信号が1つまたは複数のアナログ信号である実施形態において、アナログ信号は、信号および音響処理の分野の当業者にとって周知である任意の数の信号変換方法を使用して、コンピュータ可読かつコンピュータ記憶可能であるように、デジタル形態に容易に変換することができる。
【0048】
特定の実施形態において、処理デバイス12は、1つまたは複数の音声を表す1つまたは複数の受信音響信号(アナログ信号またはデジタル音声データ、すなわち、デジタル・データ信号とすることができる)を処理して、1つまたは複数の音響信号を神経インパルスのシーケンス(ここでは1つまたは複数の神経インパルスとして定義される)に変換し、被検体40が音声を自身の耳44で聞いたかのように、被検体40が音声を聴覚的に知覚するように、神経インパルスを聴覚領域43に選択的に提供または伝送するようにさらに動作可能である。変換された音響信号のこの音響/聴覚知覚は、被検体が自身の耳44で音声を聞いたときに被検体40が知覚することになるものの忠実な表現である。
【0049】
特定の事例において、1つまたは複数の音声は、被検体40にとって可聴である音声(すなわち、可聴音または「被検体可聴音」)である。ヒトは、典型的には、約20Hz~約20kHzの周波数範囲内の音声を検出するが、脳の聴覚領域は、この範囲の外側であっても、音声情報を担持する神経入力を処理することが可能であり得る。したがって、ヒト被検体について、被検体可聴音は、約20Hz~約20kHzの範囲内の周波数、および、依然として脳によって音声として解釈することができる、この範囲外の周波数にある音声を含む。
【0050】
他の事例において、1つまたは複数の音声は、被検体にとって実質的/実効的に不可聴であり、したがって、実効的に、被検体の知覚からの無音を表す。これらの不可聴音は、被検体が聞くことができないか、または、被検体が音声として知覚することができない音声である。これは、時間ドメインにおいて非常に低い振幅(例えば、ゼロ振幅)にあり、および/または、被検体の可聴周波数範囲外の周波数にある音声であり得る。ヒト被検体について、例えば、不可聴音は、20Hzを下回るかもしくは20kHzを上回る周波数および/または脳が音声として解釈することができない周波数にある音声を含むことができる。1つまたは複数の音声が被検体にとって不可聴である事例において(すなわち、不可聴音または「被検体不可聴音」)、1つまたは複数の音声を表す1つまたは複数の音響信号は、実効的に「無音」を表し、例えば、時間ドメインにおいて、振幅が非常に短い(例えば、ゼロ振幅またはゼロ振幅に非常に近い)有限持続時間信号および/または被検体の可聴範囲外の周波数の周波数成分のみを有する有限持続時間信号として表すことができる。ここで、処理デバイス12が1つまたは複数の音響信号(1つまたは複数の不可聴音を表す)を神経インパルスに変換し、それらの神経インパルスを聴覚領域43に提供するとき、被検体40は、実効的に、無音を知覚する。
【0051】
特定の実施形態において、処理デバイス12は、神経46を信号伝送媒体/チャネルとして使用して、神経インパルスを聴覚領域43に伝送するように構成されている。処理デバイス12は、神経インパルスの神経伝送を誘導することによって、神経46を介して神経インパルスを聴覚領域43に提供(伝送)することができる。特定の実施形態において、処理デバイス12は、音響信号を、神経インパルスに対応する信号(例えば、電気信号)に変換し、変換された信号に対応する神経インパルスの伝送を誘導する、被検体40内に埋め込まれた(例えば、神経46または脳42の一部分にあるかまたはその上にある)、例えば1つまたは複数の微小電極またはマイクロ・トランスデューサなどの、微小デバイスに、変換された信号を送信することによって、神経インパルスを神経46に提供する。
【0052】
下記にさらに詳細に論じるように、神経インパルスに変換するために処理デバイス12によって受信および処理される音響信号は、様々なソースから提供することができる音声を表す。例えば、音響信号は、処理デバイス12と電気的に関連付けられる音声取込みデバイス(例えば、マイクロフォン)28によって取り込まれる音声を表すことができる。別の例として、音響信号は、処理デバイス12に連結、接続、または他の様態で電気的に関連付けられるコンピュータ化記憶装置(すなわち、メモリ)から取り出されるデジタル音声データのアナログ表現であり得る。したがって、処理デバイス12は、好ましくは、アナログとデジタルの両方の入力を処理するように動作可能である。
【0053】
引き続き、図1を参照すると、聴覚領域43に対する処理デバイス12の通信結合は、処理デバイス12を脳42の聴覚領域43と通信させる機械-被検体インターフェース装置18(以降、相互交換可能に「機械-被検体インターフェース」または単純に「インターフェース」として参照される)によって達成することができる。特定の実施形態において、インターフェース18は、2つのインターフェース部分、すなわち、第1のインターフェース部分18aおよび第2のインターフェース部分18bを含むことができる。電子機器インターフェース部分18aとしても参照される第1のインターフェース部分18aは、処理デバイス12に接続される。被検体インターフェース部分18bとしても参照される第2のインターフェース部分18bは、脳42の聴覚領域43に接続または結合することができる。2つの部分18a、18bは、連結部分20を介して相互接続され、連結部分は、特定の実施形態においては、2つの部分18a、18bの間の有線接続を提供することができ、他の実施形態においては、2つの部分18a、18bの間の無線接続を提供することができる。
【0054】
聴覚領域43への処理デバイス12の通信結合を達成するための様々な配置構成が、本明細書において企図され、いくつかの例示的な配置構成を、下記にさらに詳細に説明する。本明細書に記載されている配置構成は、侵襲的または半侵襲的技法を利用し得る、ある種の埋め込みを必要とする。例えば、侵襲的技法は、被検体の頭蓋骨を通じて被検体の聴覚神経および/または聴覚領域(例えば、聴覚皮質)に外科的にアクセスすること(すなわち、頭蓋骨を外科的に切開すること)による埋め込みを含むことができる。脳、特に聴覚皮質および聴覚神経に対して実施される外科処置は、ここ数年にわたって一般的になってきており、訓練を受けた人間の執刀医および/またはロボット執刀医(米国サン・フランシスコのNeuralink Corporationによって使用されているものなど)が必要な埋め込みを実施することができると主張されている。いくつかの配置構成を説明する前に、本明細書に記載されている配置構成は、例示に過ぎず、処理デバイス12の可能な配置選択肢の非排他的な小集合のみを表すことに留意されたい。当業者には明らかになるように、他の配置選択肢が可能であり得る。
【0055】
特定の非限定的な実施形態による1つの例示的な配置構成において、処理デバイス12は、インターフェース18を介して聴覚神経46をタップすることによって、聴覚神経46と通信する。そのような配置構成において、被検体インターフェース部分18bは、聴覚神経46の節(切片、部分)にまたはその上に埋め込むことができ、これは、特定の非限定的な実施態様においては、最初に、聴覚神経46を外科的に切離して聴覚神経46の切離端を発生させ、次いで、被検体インターフェース部分18bを切離端に接続することによって達成することができる。そのような配置構成において、処理デバイス12は、好ましくは、被写体40の脳42の外部に留まり、最も好ましくは、被検体の頭部を見るときに少なくとも部分的に見えるように、頭蓋骨の外部に留まる。処理デバイス12が被検体40の外部にあるとき、被検体インターフェース部分18bは、連結部分20の全体または被検体インターフェース部分18bに接続する連結部分20の節のいずれかとともに、聴覚神経46にまたはその上に埋め込まれる。被検体インターフェース部分18bに接続する連結部分20の節のみが埋め込まれる場合、電子機器インターフェース部分18aに接続する連結部分20の残りの節は、被検体40の外部にある。好ましくは、被検体インターフェース部分18bがそこにまたはその上に埋め込まれる聴覚神経46の節は、(耳44の各々からの)聴覚神経46が互いに近接する領域(図1に48として指定する)内にある。
【0056】
別の例示的な配置構成において、処理デバイス12は被検体40の外部に配置され、被検体インターフェース部分18bは、連結部分20の全体または被検体インターフェース部分18bに接続する連結部分20の節のいずれかとともに、聴覚領域43にまたはその上に埋め込まれる。被検体インターフェース部分18bに接続する連結部分20の節のみが埋め込まれる場合、電子機器インターフェース部分18aに接続する連結部分20の残りの節は、被検体40の外部にある。そのような例示的な配置構成は、図1に概略的に示されている。
【0057】
特定の非限定的な実施形態によるさらに別の例示的な配置構成において、処理デバイス12自体を、インターフェース18の全体とともに、聴覚領域43にまたはその上に埋め込むことができる。非限定的な実施形態による別の例示的な配置構成において、処理デバイス12は、聴覚神経46の一節にまたはその上に埋め込まれる。図2は、そのような配置構成を概略的に示す。ここでは、埋め込みは、例えば、最初に、聴覚神経46を外科的に切離して聴覚神経46の切離端50a、50bを発生させ、次いで、外科的切離を見て処理デバイス12を配置し、インターフェース18を介して聴覚神経46の切離端50a、50bを処理デバイス12に(外科的に)接続することによって達成することができる。そのような配置構成において、処理デバイス12がそこにまたはその上に埋め込まれる聴覚神経46の節は、好ましくは、ただし必須ではないが、領域48(すなわち、2つの聴覚神経46が互いに近接する場所)内にあり、それにより、聴覚神経46が、領域48においてまたはその中で(切離端50a、50bを発生させるために)外科的に切離される。処理デバイス12またはインターフェース18が聴覚神経46に埋め込まれる実施形態において、処理デバイス12がインターフェースされる切離端50a、50bが同じ神経に対応することを保障するために注意を払う必要があり、そうでなければ、例えば、一方に耳によって収集された音声と関連付けられる神経インパルスが、他方の耳に対応する聴覚領域43の部分に伝送され、および、その逆もあるクロスマッチングが発生し得ることに留意されたい。
【0058】
上記で言及したように、処理デバイス12は、耳44が聴覚刺激に晒されることに応答して神経46のうちの1つまたは複数によって伝送される神経インパルスに対応する受信された信号を処理するように機能する。処理デバイス12によって処理される受信された信号は、神経インパルス自体であり得、または、処理デバイス12と関連付けられる、例えば、微小電極またはマイクロ・トランスデューサを有する微小デバイスなどの、ある種の微小デバイスによる神経インパルスの測定またはサンプリングに応答して発生する(すなわち、生成される)信号を表すことができる。処理デバイス12は、1つまたは複数のマッピング関数(マッピングデータを含む)を信号に適用することによって信号(収集された神経インパルス)を処理する。マッピング関数は、神経インパルスと音響信号との間でマッピングする、すなわち、神経インパルスから音響信号への、およびその逆の変質を提供し、結果、処理デバイス12によるマッピング関数の適用の結果として、受信された信号(神経インパルスを表す)が音響信号に変換(変質)される。この神経インパルス-音響信号マッピング関数は、好ましくは、1対1マッピングであり、以降、相互交換可能に「インパルス-音声マッピング」として参照される。1対1マッピングとは、単一の神経インパルス信号が単一の音響信号にマッピングすること、および、単一の音響信号が単一の神経インパルスにマッピングすることを意味する。特定の実施形態において、神経インパルスと音響信号との間のマッピングはまた、神経インパルスとデジタル・データとの間のマッピングも構成する(音響/信号処理技法を使用して任意のマッピングされた音響信号を容易にデジタル化(例えば、サンプリングおよび量子化)することができ、逆も可能であるため)。
【0059】
インパルス-音声マッピング関数を生成するための様々な例示的な方法が、本開示の後続の節において詳細に説明される。
【0060】
1つまたは複数のマッピング関数は、下記にさらに論じられるように、処理デバイス12と関連付けられるメモリ・デバイスに記憶することができる。特定の実施形態において、マッピング関数は、例えば、マッピング・パラメータおよび構成を記憶するデータ・テーブルの形態のデータ項目またはデータ構造として記憶することができる。他の実施形態においては、マッピング関数は、音響信号と神経インパルスとの間の関数関係を提供する式または式のセットとして記憶することができる。上述のフォーマットは例示に過ぎず、他のマッピング関数フォーマットが本明細書において企図される。
【0061】
引き続き図1および図2を参照し、本発明の非限定的な実施形態による処理デバイス12の例示的なブロック図を示す図3も参照する。処理デバイス12は、コンピュータ化メモリなどのような、コンピュータ化記憶媒体16に結合されている1つまたは複数のプロセッサ14を含む。1つまたは複数のプロセッサ14は、限定ではないが、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、デジタル信号プロセッサ(DSP)、フィールド・プログラマブル論理アレイ(FPLA)などを含む、任意の数のコンピュータ化プロセッサとして実装することができる。マイクロプロセッサ実施態様において、マイクロプロセッサは、例えば、サーバ、コンピュータ、および他のコンピュータ化デバイスに使用されているものなどの、従来のプロセッサとすることができる。例えば、マイクロプロセッサは、AMDおよびIntelからのx86プロセッサ、IntelからのXeon(登録商標)およびPentium(登録商標)プロセッサ、ならびにそれらの任意の組合せを含んでもよい。量子コンピュータ・プロセッサとしての1つまたは複数のプロセッサ14の実施態様も、本明細書において企図されている。前述のコンピュータ化プロセッサは、コンピュータ化プロセッサによって実行されると、コンピュータ化プロセッサに動作を実施させるプログラム・コードまたは命令セットを含み、または、それを記憶するコンピュータ可読媒体と電気的に通信してもよい。コンピュータ可読媒体のタイプは、限定ではないが、電子、光、磁気、または、コンピュータ化プロセッサにコンピュータ可読命令を提供することが可能な他の記憶もしくは伝送デバイスを含む。1つまたは複数のプロセッサ14の上記で言及した実施態様は、例示的な実施態様の非排他的なリストを表すことに留意されたい。処理デバイスの他の実施態様が本明細書において企図されていること、および、例えば、生物学的コンピューティング技術を含む、本明細書に記載されていないかまたはまだ十分に開発されていない処理技術が、本明細書において論じられている処理デバイスのいずれかを実装するのに適している場合があることが、当業者には諒解されよう。
【0062】
記憶装置/メモリ16は、任意の従来の記憶媒体または特定用途向け記憶媒体とすることができ、これは、例示を目的として単一の構成要素として示されているが、複数の構成要素であってもよい。記憶装置/メモリ16は、例えば、1つまたは複数の揮発性または不揮発性メモリ、フラッシュ・メモリ、読み出し専用メモリ、ランダム・アクセス・メモリなど、またはそれらの任意の組合せを含む、様々な様式で実装することができる。特定の実施形態において、記憶装置/メモリ16は、インパルス-音声マッピングを記憶および維持するための1つまたは複数の構成要素、および、1つまたは複数のプロセッサ16によって実行することができる機械実行可能命令を記憶するように構成されている少なくとも1つの構成要素を含むことができる。
【0063】
特定の実施形態において、処理デバイス12は、1つまたは複数の規則または取り扱い基準に従って、生成されている音響信号(インパルス-音声マッピングの適用を介して神経インパルスを処理することによって処理デバイス12によって生成されている音響信号を含む)に対して少なくとも1つの動作を実施するようにさらに動作可能である。例えば、処理デバイス12は、処理デバイス12が、生成されている音響信号を表すデジタル・データの一部または全部を、処理デバイス12と関連付けられる1つまたは複数のコンピュータ化記憶装置/メモリ・デバイスに送信するように、データ記憶規則または基準のセットに従って、生成されている音響信号に対して動作を実施するように構成することができる。そのような関連付けられる記憶装置/メモリ・デバイスは、例えば、記憶装置/メモリ16、または、これより論じられるような処理デバイス12に連結もしくは接続されている他の記憶装置/メモリ・デバイスを含むことができる。
【0064】
加えて図7を参照すると、処理デバイス12に連結または接続することができる他の記憶装置/メモリ・デバイスの例は、例えば、外部記憶装置/メモリ32、およびサーバ・システム34(メモリを有する)を含む。処理デバイス12が、生成されている音響信号を表すデジタル・データの一部または全部をサーバ・システム34に送信する実施形態において、サーバ・システムは、リモート・サーバ・システムであってもよく、それにより、処理デバイス12は、通信ネットワーク36(セルラ・ネットワーク、ローカル・エリア・ネットワーク、インターネットなどのような1つまたは複数の通信ネットワークとすることができる)を介して、音響信号を表すデータをサーバ・システム34に送信する。そのような実施形態において、処理デバイス12は、ネットワーク36へと/からデータを送信/受信する(すなわち、ネットワークとデータを交換する)ための通信/ネットワーク・インターフェースを提供するトランシーバ(Tx/Rx)ユニット30に連結することができる。
【0065】
別の非限定的な例において、処理デバイス12は、1つまたは複数の修正音響信号を発生させるために、信号修正または操作規則または基準のセットに従って、生成されている音響信号に対して動作を実施するように構成することができる。例えば、処理デバイス12は、追加の音声(例えば、音声取込みデバイス28からの、もしくは、例えば、記憶装置/メモリ16、外部記憶装置/メモリ32、サーバ・システム34などの、処理デバイス12と関連付けられるメモリからの)を加えること、および/または、生成されている音響信号のデジタル・バージョンのデータ要素(例えば、ビット)を変更もしくは削除すること、および/または、例えば、音量、ピッチ、トーン等を含む、音響信号の音響パラメータを調整することによって、生成されている音響信号を修正することができる。例えば、処理デバイス12は、音響信号がそこから生成された音声と関連付けられる音量を増減させるように、音響信号を修正することができる。別の例として、処理デバイス12は、音声の1つまたは複数の周波数(トーン)を変化させるように、音響信号を修正することができる。追加の例として、処理デバイス12は、生成されている音響信号に対して雑音消去または干渉低減信号処理を実施し、それにより、背景雑音または干渉を低減することによって、生成されている音響信号を修正することができる。さらなる例において、処理デバイス12は、被検体に無音の知覚を提供するために、生成されている音響信号に対して消去処理を実施することによって、生成されている音響信号を修正することができる。例えば、処理デバイス12は、生成されている音響信号を、生成されている音響信号の負変位バージョンと組み合わせて、相殺的干渉を誘導することができ、結果、2つの信号がともに組み合わさって、実効的に互いを打ち消し合い、それにより、ゼロ振幅の(またはゼロ振幅に非常に近い)有限持続時間信号がもたらされる。
【0066】
特定の実施形態において、処理デバイス12は、次いで、修正音響信号を神経インパルスに変換し戻し(インパルス-音声マッピングを使用して)、それらの神経インパルスを、聴覚神経46を介して脳42に伝送する。特定の実施形態において、これは、被検体40によって知覚される音声を増強するために使用することができ、それにより、脳42は、受信神経インパルスを、追加の音声によって増強された、耳44が感知した元の音声として解釈する。例えば、一曲の音楽を傾聴している人は、その楽曲の様々な態様(例えば、作曲者/歌唱者情報、曲のインスピレーション、歴史的背景など)を説明するボイスオーバ(例えば、記憶装置/メモリ16などのメモリに記憶されている、および、メモリからアップロードされるボイスオーバ・デジタル音声データ)を含むように増強された音楽的音声を、自身の耳44によって感知することができる。他の実施形態において、例えば、処理デバイス12が、相殺的干渉を誘導するように、生成されている音響信号を修正して、ゼロ振幅信号である修正音響信号を発生させるとき、神経インパルスに変換される修正音響信号は、不可聴音を表し、結果、修正音響信号から生成される神経インパルスが脳の聴覚領域43に提供されるとき、被検体は、神経インパルスを無音として知覚する。
【0067】
修正音響信号はまた、デジタル形態でメモリ(例えば、記憶装置/メモリ16および/または外部記憶装置/メモリ32および/またはサーバ・システム34)に記憶することもできる。
【0068】
特定の実施形態において、処理デバイス12は、音響信号(アナログ信号またはデジタル音声データ信号とすることができる)を、神経46によって伝送される神経インパルス(または神経インパルスを表す電気信号)に変換するようにさらに動作可能である。音響信号の神経インパルスへの変換は、上述したインパルス-音声マッピング関数を適用することによって達成される。各被検体が音声を別様に知覚または解釈する可能性があるため、各被検体のためのマッピングは、被検体特有のマッピングとすることができる(すなわち、ある被検体のためのマッピングは、別の被検体のためのマッピングとは異なることができる)。しかしながら、所与のインパルス-音声マッピングの特異性にかかわらず、マッピングは、好ましくは、インパルス-音声マッピング関数を使用して音響信号から変換される神経インパルスが被検体40にとっての真の音声の聴覚知覚を忠実に作成するようなものである。
【0069】
神経インパルスに変換される音響信号は、例えば、i)音声を補足し、取り込まれた音声からアナログ音響信号を発生させ、アナログ音響信号を処理のために処理デバイス12に提供する音声取込みデバイス(例えば、図1および図2の音声取込みデバイス28)などの外部ソースから取得されるアナログ音響信号、ii)アナログ音声を取り込み、アナログ音声をデジタル音声データに変換するかまたは取り込まれたアナログ音声をデジタル化(すなわち、デジタル音声データへの変換)のために処理デバイス12に提供する音声取込みデバイスなどの外部ソースから取得されるデジタル音声データ、iii)音声をデジタル形態で記憶するメモリなどの外部ソースから取得されるデジタル音声データ、iv)収集された神経インパルスから処理デバイス12によって生成される音響信号、v)上述した処理デバイス12によって適用される修正からもたらされる修正音響信号、vi)任意の他の音響信号源、および/または上記i)、ii)、iii)、iv)、およびv)の任意の組合せとすることができる。
【0070】
音声取込みデバイス28が音響信号をデジタル信号(すなわち、デジタル・データ)として処理デバイス12に提供する実施形態において、デジタル信号は、例えば、Moving Picture Experts Group(MPEG)-1 Audio Layer III(MP3として一般的に知られている)、Advanced Audio Coding(AAC)などの非可逆フォーマット、および、例えば、Free Lossless Audio Codec(FLAC)、Waveform Audio File(WAV)などの可逆または非圧縮フォーマットなどを含む、任意の適切なデータ・フォーマットまたは規格において提供することができる。処理デバイス12は、特定の実施形態において、デジタル信号をアナログ形態に変換し、次いで、インパルス-音声マッピングをアナログ信号に適用することができる。
【0071】
音声取込みデバイス28が、取り込まれた音声を表すアナログ音響信号を処理デバイス12に提供する実施形態において、処理デバイス12は、アナログ信号を処理して、アナログ信号を、上記で列挙したフォーマットおよび規格のいずれかなどの、任意の適切な音声データ・フォーマットまたは規格に準拠するデジタル・データに変換するようにさらに構成することができる。
【0072】
さらに、デジタル・データ(音響信号を表す)は、例えば、リアルタイム・ストリーミング・プロトコル(RTSP)、伝送制御プロトコル(TCP)、ユーザ・データグラム・プロトコル(UDP)等を含む任意の適切な伝送フォーマットまたは規格、ならびに、セルラ規格(例えば、3G、4G/LTE、5Gなど)、無線通信規格(例えば、Wi-Fi、Bluetoothなど)などのような無線データ伝送規格、および、有線通信規格を含む、データ伝送のための任意の一般的に使用されている他の規格を使用して、処理デバイス12へと、および、処理デバイス12から伝送することができる。
【0073】
別の非限定的な例において、処理デバイス12は、再生規則または基準のセットに従って、生成されている音響信号に対して動作を実施するように構成することができる。例えば、処理デバイス12は、処理デバイス12に接続または連結されているデジタル音響再生デバイス(例えば、MP3、デジタル・ステレオなど)に、生成されている音響信号をデジタル形態で提供するように構成することができ、結果、音響再生デバイスは、生成されている音響信号によって表される音声を可聴再生する。処理デバイス12は、任意の適切な音響伝送フォーマットもしくは規格、または、上述したフォーマットおよび規格のいずれかを含む、データ伝送のための任意の一般的に使用されている規格を使用して、そのような音響再生デバイスにデジタル・データを伝送または送信することができる。代替として、処理デバイス12は、アナログ音響再生デバイスに、生成されている音響信号をアナログ形態で提供するように構成することができる。
【0074】
図1および図2に示す例示的な実施形態において、システム10は、被検体40が現在位置する環境または被検体の現在のロケーションから遠隔している環境を含む環境から音声を取り込むように動作可能である音声取込みデバイス28(本明細書において相互交換可能に「音響取込みデバイス」として参照される)をさらに含む。特定の実施形態において、音声取込みデバイス28は、被検体40が音声取込みデバイス28によって取り込まれる音声を聞くことを可能にするための(聴力損失を患う被検体にとって有利であり得る)、または、音声取込みデバイス28によって取り込まれる音声を有する環境の、被検体の自然な音響/聴覚知覚を増強するための、被検体40の人工の/電子的な耳として使用することができる。
【0075】
特定の実施形態において、音声取込みデバイス28は、音声を取り込んで1つまたは複数のアナログ音響信号を発生させ、1つまたは複数のアナログ音響信号をデジタル・データに変換し、デジタル・データを処理デバイス12に送信する。処理デバイス12は、インパルス-音声マッピングのデジタル・バージョンを使用してデジタル・データを直接的に処理してもよく、または、デジタル・データをアナログ形態に変換し、次いで、インパルス-音声マッピングを適用してもよい。他の実施形態において、音声取込みデバイス28は、音響アナログ信号を処理のために処理デバイス12に提供する。処理デバイスは、インパルス-音声マッピングを使用してアナログ音響信号を処理してもよく、または、アナログ音響信号をデジタル化して、デジタル・データを生成し、次いで、インパルス-音声マッピングのデジタル・バージョンを使用してデジタル・データを処理してもよい。
【0076】
アナログ音響信号のデジタル形態への変換は、好ましくは、信号および音響処理の分野の当業者に周知されている信号変換方法に依拠する、上述した規格のいずれかを含む、任意の適切なフォーマットまたは規格に従って(音声取込みデバイス28によって、または、処理デバイス12によって)実施されることに留意されたい。さらに、特定の実施形態において、音声取込みデバイス28が、任意の適切な伝送フォーマットもしくは規格、または、上述したフォーマットおよび規格のいずれかを含む、データ伝送のための任意の一般的に使用されている規格を使用して、処理デバイス12にデジタル・データを伝送することができる。
【0077】
引き続き図1図3を参照し、音声取込みデバイス28の非限定的な配置構成を示す図4も参照する。ここで、音声取込みデバイス28は、被検体の胴の上側部分(例えば、胸部)を覆う衣料品(例えば、シャツ、ブラウスなど)上で、被検体40に(好ましくは、間接的に)装着される。これは例示に過ぎず、音声取込みデバイス28は、胴の他の部分(例えば、背中、中央部、腰)、腕、脚、頭部などのような、被検体の身体の別の部分に容易に(好ましくは、間接的に)装着または付着することができる。代替として、音声取込みデバイス28は、被検体が携持してもよく、または、他の様態で被検体と関連付けられてもよい。例えば、被検体は、単純に、音声取込みデバイスを自身の手で保持することができ、または、自身が着用している衣料品のポケット内に音声取込みデバイスを入れておくことができる。1つの非限定的な例において、被検体のモバイル通信デバイス(例えば、携帯電話、スマートフォン、タブレットなど)が、例えば、モバイル通信デバイスのプロセッサによって実行される1つまたは複数のソフトウェア・アプリケーションを介して音声取込み機能を提供することができる。単純な例において、音響取込み(例えば、記録)機能を有するスマートフォンが、音声取込みデバイスとして機能することができ、スマートフォンによって実行されるソフトウェア・アプリケーションを介して処理デバイス12に接続することができる。
【0078】
加えて、単一のデバイスとして示されているが、被検体40の空間的位置付けまたは方位に対して異なる複数の方向またはロケーションから発する音声を取り込むために、2つ以上の音声取込みデバイス28を配置することができる。例えば、第1の方向または領域から発する音声を取り込むために、第1の空間方位を有する1つのマイクロフォンを配置することができ、第1の方向または領域とは異なる(ただし、場合によっては部分的に重複する)第2の方向または領域から発する音声を取り込むために、第2の空間方位(第1の空間方位とは異なる)を有する別のマイクロフォンを配置することができる。処理デバイス12は、神経インパルス(複数の異なる音声に対応する)を聴覚領域43に、個々にまたは組み合わせて(好ましくは被検体が選択する選好に従って)提供することができる。例えば、被検体は、処理デバイス12が、複数の異なる音声に対応する神経インパルスのすべてをともに聴覚領域43に提供し、結果、すべての音声がともに被検体によって聞かれることを選択してもよい。別の例において、被検体は、処理デバイス12が、複数の異なる音声に対応する神経インパルスを聴覚領域43に逐次的に提供し、結果、個々の音声が別個に被検体によって聞かれることを選択してもよい。
【0079】
他の配置構成において、音声取込みデバイス28は、被検体40から遠隔することができ、例えば、被検体40は、第1の地理的ロケーション内の環境に位置付けることができ、音声取込みデバイス28は、第1の地理的ロケーションから遠隔した第2の地理的ロケーションに位置することができる。そのような構成において、音声取込みデバイス28は、好ましくは、1つまたは複数の通信ネットワークを介して処理デバイス12に接続されているトランシーバ(例えば、図7のTx/Rxユニット30)に、音響信号(音声取込みデバイス28によって取り込まれる)を伝送するように動作可能であるトランシーバ・デバイスを含むか、または、それに接続される。
【0080】
上にも示唆したように、特定の実施形態において、音声取込みデバイス28は、処理デバイス12とともに使用して、被検体40に電子的な耳を提供することができる。被検体40が健常に機能する聴覚系を有する状況において、被検体は、任意選択で、システム10が電子的な耳として機能している間に、自身の自然な聴覚を(例えば、ノイズ・キャンセリング・ヘッドフォンを装着することによって)妨げることができる。概して、音声取込みデバイス28は、環境から音声を取り込み、取り込まれた音声を表す音響信号(アナログまたはデジタル形態)を神経インパルス変換のために処理デバイス12に提供する。音声取込みデバイス28によって取り込まれる音声は、被検体の聴覚が妨げられなかった場合に被検体が聞くものと同じ音声とすることができるか、または、異なる音声とすることができる(例えば、被検体および音声取込みデバイス28が異なる地理的ロケーションにある場合)。
【0081】
処理デバイス12は、インパルス-音声マッピングを使用して音響信号(音声取込みデバイス28によって提供される)を神経インパルス信号に変換する。このとき、処理デバイス12は、聴覚神経46を介して神経インパルスを脳42に伝送し、脳42は、受信した神経インパルスを聴覚/音声として解釈し、結果、被検体は、被検体が自身で音声を聞いていたかのように、マイクロフォン28によって取り込まれた音声を聴覚的に知覚する(マッピングは、好ましくは、音響/聴覚知覚が音声の忠実な表現であるようなものである)。他の実施形態において、処理デバイス12と電気的に関連付けられるメモリ(例えば、記憶装置/メモリ16および/または外部記憶装置/メモリ32および/またはサーバ・システム34)に記憶されているデジタル音声データを、処理デバイス12にアップロードすることができる。処理デバイス12は、音声データを神経インパルスに変換するために、アップロードされた音声データを、インパルス-音声マッピングを使用して処理することができる。次いで、処理デバイス12は、神経インパルスを脳42に伝送することができ、結果、神経インパルスは、脳42によって聴覚/音声として解釈される。例えば、一曲の音楽またはオーディオ・ブックなどの一連の音声を、そのようなメモリに記憶し、被検体にアップロード/ストリーミングすることができる。
【0082】
本発明の特定の実施形態によれば、システム10は、被検体40が聞くことができる環境音を1つまたは複数の追加の音声と融合することによって、被検体40に混合現実体験を提供するために使用することができる。非限定的な例の1つのセットにおいて、融合は、被検体40が実世界の音声を自身の耳44で傾聴している(すなわち、聞く)ときに実施することができる。第1の例において、融合は、処理デバイス12を使用して、実世界の音声を聞くことに応答して被検体40によって生成される神経インパルスを1つまたは複数の音響信号(好ましくはデジタル形態)に変換することによって、遂行することができる。次いで、処理デバイス12は、音声取込みデバイス28によって取り込まれる音声の部分を含むように音響信号を修正することができる。次いで、処理デバイス12は、修正音響信号を神経インパルスに変換し、それらの神経インパルスを聴覚領域43に提供することができ、結果、被検体は、環境音、および、音声取込みデバイスの音声の部分を単一の音声として知覚する。第2の例において、融合は、処理デバイス12を使用して、音響信号(例えば、音声取込みデバイス28またはコンピュータ・メモリ・デバイスから取得される)を神経インパルス(または神経インパルスを表す電気信号)に変換し、神経インパルスが聴覚領域43に伝送されるように、それらの神経インパルスを聴覚神経46に提供することによって、遂行することができる。このとき、脳42は、(処理デバイス12によって生成される神経インパルスによって担持される)音声情報を、(実世界の音声を聞くことに応答して被検体40によって生成される神経インパルスによって担持される)音声情報と、単一の音声として組み合わせる。
【0083】
別の非限定的な例において、音声取込みデバイス28は、音声を取り込んで音響信号を発生させるために使用することができ、処理デバイス12は、音響信号(音声取込みデバイス28によって生成される)を、異なる音声を表す追加の音響信号(例えば、メモリからの、または、別の音響源からの)を含むように修正することができる。処理デバイス12は、任意選択で、修正音響信号を神経インパルス(実世界の音声を聞くことに応答して被検体40によって生成される)から生成される音響信号と(例えば、重ね合わせを介して)組み合わせ、次いで、組み合わされた信号を神経インパルスに変換し、それらの神経インパルスを脳42に(例えば、聴覚神経46を介して)提供することができ、これを受けて、脳42は、神経インパルスを単一の音声として解釈する。
【0084】
補足的に、本明細書においては、処理デバイス12によって音響信号から変換される神経インパルスは、被検体が対応する音声を適切に知覚する機会を有するような適切な速度で、被検体の聴覚領域43に提供するものとすることに留意されたい。具体的には、神経インパルスが過度に迅速に聴覚領域43に提供された場合、被検体は、対応する音声を知覚することができない場合がある(すなわち、音声は、過度に急速に変化して被検体が気付かない場合があり、被検体が混乱することになる場合がある)。同様に、神経インパルスが過度に低速に聴覚領域43に提供された場合、被検体は、被検体が自身の耳で傾聴もしくは観測している実世界環境にもはや関連していないか、または、被検体の眼が見る実世界環境における対応する作用ともはや一致もしくは同期しない、対応する音声を知覚する場合がある(ドップラー効果に晒されたときに被検体が音声を知覚する様態と同様に)。したがって、処理デバイス12は、被検体が対応する音声を適切に知覚することが可能であることを保証するために、好ましくは、任意のそのような神経インパルスが聴覚領域43に提供されるタイミングを制御する。一部のユーザは他のユーザよりも速い速度または遅い速度で音声を知覚することが可能であり得るため、神経インパルス(音響信号から変換される)が聴覚領域43に提供される速度は、ユーザ(すなわち、被検体)特異的であり得る。したがって、神経インパルスが聴覚領域43に提供されるタイミング(速度)の制御は、好ましくは、システム10のユーザによって調整可能である。
【0085】
上述した電子的な耳および/または混合現実の実施形態において、処理デバイス12は、神経インパルスを音響信号に変換し、1つまたは複数の規則または基準に従って、音響信号に対して少なくとも1つの動作を実施するようにさらに動作可能であり得る。例えば、処理デバイス12は、上述したものと同様に、データ記憶規則または基準のセットに従って、音響信号に対して動作するように構成することができ、および/または、信号修正または操作規則または基準のセットに従って、音響信号に対して動作するように構成することができる。
【0086】
本明細書においては、処理デバイス12は、被検体の神経46から神経インパルス(およびそれらが表す電気信号)を取得し、神経インパルス(音響信号から変換される)を神経46に提供して、提供される神経インパルスの伝送(神経46による)を誘導するために、様々な技法を利用することができることに留意されたい。そのような技法は、典型的には、神経インパルスを測定(受信)し、それに応答して電気信号を発生させるために、および/または、対応する神経インパルスの伝送を誘導するように神経46を電気信号によって刺激するために、微小電極またはマイクロ・トランスデューサなどの、微小デバイスに依拠し得る。様々な団体が、埋め込みまたは他の侵襲的もしくは半侵襲的手段を介した脳、組織、および神経へのコンピュータ処理デバイスの接続およびインターフェースに関して研究、開発、および実験を行っている。そのような研究の1つの例は、「CONNECT-Developing nervous system-on-a-chip」と題する、2019におけるルクセンブルク大学による発表(https://wwwfr.uni.lu/lcsb/research/developmental_and_cellular_biology/news/connect_developing_nervous_system_on_a_chipにおいて利用可能)に見出すことができ、これは、個々の神経系構成要素の培養およびその構成要素の微小流体チップ(集積回路)における接続を説明している。
【0087】
脳-機械インターフェースの分野の研究および実験の例は、イタリアのパドヴァ大学のNeuroChip LaboratoryのStefano Vassanelliによる、「Brain-Chip Interfaces:The Present and The Future」と題する、2011にProcedia Computer Scienceにおいて発表された論文に記載されている。1つの例において、コンピュータ化処理デバイスは、ニューロン電気活性を記録(すなわち、測定)または刺激するために、金属微小電極または酸化物絶縁電気マイクロ・トランスデューサ(例えば、電解質-酸化物-半導体電界効果トランジスタ(EOSFET)または電解質-酸化物-半導体-キャパシタ(EOSC)を用いてニューロンとインターフェースされる。別の例において、個々のニューロンからの大規模高分解能記録(すなわち、測定)が、大型マルチ・トランジスタ・アレイ(MTA)を特徴とするマイクロチップを利用するかまたはそれに結合されている処理デバイスを使用して得られる。なおさらなる例において、大型MTAを特徴とするマイクロチップが、MTAを脳組織と接触させて配置することによって、in vitroで細胞とインターフェースするために使用され、ここで、神経インパルスに対応する信号は、1つの例においては、局所電場電位(LFP)の形態にある。
【0088】
脳-機械インターフェース・デバイスの一例は、米国サン・フランシスコのNeuralink Corporationによって開発されているNeuralinkデバイスである。Neuralinkデバイスは、微小電極を介してニューロンから得られる情報をデジタル化するASICを含む。
【0089】
上記を念頭に置いて、以下の段落は、本発明の非限定的な例示的実施形態による、機械-脳インターフェースを提供するように処理デバイス12を被検体40に接続/インターフェースするために使用することができるインターフェース18の高レベルの記述を提供する。
【0090】
引き続き図1図4を参照し、本発明の非限定的な実施形態によるインターフェース18の概略表現を示す図5も参照する。ここで、被検体インターフェース部分18bは、聴覚神経46にまたはその上に配置される、複数の電極23を有する電極アレイ22を含む。電極23は、好ましくは、EOSFETまたはEOSCなどの微小電極である。処理デバイス12が神経インパルスを音響信号に変換するように動作可能である実施形態において、電極アレイ22は、聴覚神経46によって伝送される神経インパルスを測定し、神経インパルスと関連付けられる(神経インパルスを表す)電気信号を(測定に応答して)発生させ、処理デバイス12が神経インパルスを収集し、神経インパルスに対応する(すなわち、それを表す)電気信号を処理することを可能にするために、それらの信号を処理デバイス12に提供するように動作可能である。図示されている実施形態において、連結部分20は、電気信号がそれに沿って処理デバイス12へと伝播することができる物理伝送媒体を提供するワイヤまたはケーブルとして実装することができる。特定の実施形態において、インターフェース18は、電極アレイ22の代わりにまたはそれに加えて、トランスデューサ(好ましくは上述したようなマイクロ・トランスデューサ)を被検体インターフェース部分18bの一部として利用することができる。トランスデューサは、神経インパルスを音響信号に変換するために、処理デバイス12とともに使用することができる。例えば、トランスデューサは、聴覚神経46によって伝送される神経インパルスの受信(測定)に応答して、電気信号を生成することができる。生成された電気信号は、神経インパルスに対応し(すなわち、それを表し)、インパルス-音声マッピングを使用した処理のために処理デバイス12に提供される。
【0091】
処理デバイス12が、音響信号を神経インパルスに変換し、神経インパルスを、聴覚神経46を介して脳42に伝送するように動作可能で、結果、神経インパルスが脳42によって聴覚/音声として解釈される実施形態において、神経インパルスの伝送は、例えば、電極アレイ22(またはトランスデューサ)などの微小デバイスによって聴覚神経46の1つまたは複数のニューロンを刺激することによって達成されてもよい。一般的に言えば、そのような実施形態において、処理デバイス12は、音響信号を、神経46によって伝送される神経インパルス(または神経インパルスを表す電気信号)に(インパルス-音声マッピングを使用して)変換することができる。このとき、処理デバイス12は、神経インパルスを神経46に提供して、神経インパルスの神経伝送を誘導する(または、電気インパルスを神経46に提供して、電気インパルスによって表される神経インパルスの神経伝送を誘導する)。特定の実施形態において、神経伝送の誘導は、処理デバイス12が、電気信号を電極アレイ22(またはトランスデューサ)に提供することによって達成することができ、電極アレイが、対応する神経インパルスの伝送を誘導するように、電気信号に従って聴覚神経46のニューロンを刺激する。
【0092】
図6は、ここでは電極アレイ22として表されている、微小デバイスに電気信号を提供するために無線信号伝送を利用する別の実施形態を示す。ここで、処理デバイス12は、ワイヤまたはケーブル25を介して送信機(Tx)ユニット24に接続されており、電極アレイ22は、ワイヤまたはケーブル27を介して受信機(Rx)ユニット26に接続されている。Txユニット24は、処理デバイス12によって発生する電気信号を、無線インターフェースを介してRxユニット26に伝送するための送信機回路および構成要素を含む。Rxユニット26は、電気信号を受信し、受信した信号を電極アレイ22に提供する受信機回路および構成要素を含み、電極アレイ22は、神経46を刺激して、電気信号に対応する神経インパルスを伝送するように神経46を誘導する。
【0093】
特定の実施形態において、無線伝送は、RF信号伝送とすることができる。そのような実施形態において、Txユニット24の送信機回路および構成要素は、例えば、1つまたは複数のアンテナ、デジタル-アナログ変換回路、信号変調器、フィルタ、増幅器などのような信号伝送電子回路および構成要素を含むことができ、Rxユニット26の受信機回路および構成要素は、例えば、1つまたは複数のアンテナ、フィルタ、増幅器、復調器などのような信号受信電子回路および構成要素を含むことができる。他の実施形態において、無線伝送は、Txユニット24およびRxユニット26が誘導信号伝送手段を使用してそれぞれ伝送および受信するように動作可能である誘導信号伝送とすることができる。そのような実施形態において、例えば、Txユニット24は、誘導コイルを含むことができ、Rxユニット26は、誘導受信機を含むことができる。
【0094】
特定の実施形態において、インターフェース装置18は、複数のインターフェースを含むことができることに留意されたい。例えば、第1のインターフェースは、音響信号の神経インパルスへの変換を達成するために使用することができる。第1のインターフェースは、有線接続(例えば、図5に示すような)または無線接続(例えば、図6に示すような)を介して処理デバイス12に接続または連結されている電極アレイ22またはマイクロ・トランスデューサ(例えば、EOSCとして実装される)を利用することができる。第2のインターフェースは、神経インパルスの音響信号への変換を達成するために使用することができる。第2のインターフェースは、有線接続(例えば、図5に示すような)を介して処理デバイス12に接続または連結されている電極アレイ22および/またはマイクロ・トランスデューサ(例えば、EOSFETとして実装される)を利用することができる。
【0095】
以下の段落は、インパルス-音声マッピング関数を生成するための様々な方法および技法、ならびに、マッピング関数を適用するための例示的なプロセスを説明する。インパルス-音声マッピングを利用することによって、本発明の実施形態によるシステム10は、耳44によって知覚される音声(すなわち、聴覚)を音響信号(アナログ信号および/またはデジタル音声データの形態の)に変換することができ、アナログ音響信号および/またはデジタル音声データ(例えば、音声取込みデバイス(例えば、マイクロフォン)、コンピュータ化デバイス(例えば、コンピュータ・メモリ、デジタル・オーディオ・プレーヤ、デジタル・ビデオ・プレーヤなどから得られる)を、神経インパルスに変換することができ、神経インパルスは、音響/聴覚知覚を誘導し、および/または、聴覚を増強するために、脳にルーティングすることができる。
【0096】
特定の実施形態によれば、インパルス-音声マッピングの生成は、機械学習(ML)またはニューラル・ネットワーク(NN)アルゴリズムによって補助することができる。例えば、処理デバイス12は、1つまたは複数のMLまたはNNアルゴリズムを利用して、神経インパルス(耳44の聴覚刺激に応答した)の信号フォーマットを学習し、例えば、処理デバイス12と関連付けられるメモリに記憶されているデジタル・データおよび/または音声の取込みに応答して音声取込みデバイス28によって生成されるアナログ音響信号を含む音響信号と、神経インパルス・フォーマットを比較することによって、マッピングを決定することができる。
【0097】
1つの非限定的な例として、何らかの固定持続時間にわたって振幅が変動する信号である、音響サンプル信号を生成することができる。音響サンプル信号は、例えば、高速フーリエ変換(FFT)を含むフーリエ分析などの周波数分析技法を使用して分離することができる、様々な音声(周波数トーン)に対応する複数の周波数成分からなり得るアナログ信号である。音響サンプル信号からの音声振動は、耳44によって取り込まれ、処理デバイス12が、サンプル音響を聞くことに応答して耳44から(聴覚神経46に沿って)脳42の聴覚領域43へと送信される神経インパルスを収集する。その後、同じ音響サンプルを再生することができ、結果、サンプルは、処理デバイス12に接続されている音声取込みデバイス(例えば、音声取込みデバイス28)によって取り込まれる。処理デバイス12は、音声取込みデバイスから処理デバイス12へと伝送される音響信号を収集し、音響サンプル信号を分析/処理する。分析/処理は、例えば、デジタル化(サンプリングおよび量子化)および/または周波数分析(例えば、FFT)を含むことができる。その後、例えば、音響サンプル信号の周波数成分または振幅値のうちの1つまたは複数を変更して、新たな音響サンプル信号を発生させることによって、信号特性のうちの1つまたは複数に対するわずかな変更を音響サンプル信号に行うことができる。新たな音響サンプル信号からの音声振動は、耳44によって取り込まれ、処理デバイス12が、新たな音響サンプル信号を聞くことに応答して耳44から(聴覚神経46に沿って)脳42の聴覚領域43へと送信される神経インパルスを収集する。次いで、同じ新たな音響サンプル信号を再生することができ、結果、サンプルは、音声取込みデバイスによって取り込まれ、処理デバイス12は、音声取込みデバイスから処理デバイス12へと伝送される音響信号を収集する。処理デバイス12は、新たな音響サンプル信号を(例えば、デジタル化および/またはFFTを介して)分析/処理する。このプロセスは、音響サンプル信号の特性を一度に1つ個々に変更すること(例えば、単一の周波数成分を変更すること、または瞬間振幅値を変更すること)によって、または、信号特性の増分的により大きいグループを変更すること(例えば、複数の周波数成分を変更することおよび/または複数の瞬間振幅値を変更すること)によって、継続することができる。音響サンプル信号への各変更について、耳44からの神経インパルスの変化(以前のサンプルと比較した)は、処理デバイス12によって音声取込みデバイスから収集された音響信号の変化と比較される。このプロセスは、耳44からの各神経インパルスが音声取込みデバイスによって伝送される対応する音響信号成分(例えば、音声)に一致し得るまで継続することができる。各神経インパルスと対応する音響信号成分との間のこの一致は、神経インパルスと音声との間のマッピング(すなわち、インパルス-音声マッピング)を構成する。音響サンプル信号への変更は、好ましくは、音声(周波数トーン)の複数の組合せ、より好ましくは、任意の所与の振幅および/または周波数範囲にわたる音声をカバーすべきであることに留意されたい。
【0098】
典型的には、インパルス-音声マッピングを生成するためのプロセスは、1度だけ実施される必要があり、その後、生成されたインパルス-音声マッピングを使用することができる。しかしながら、必要または所望に応じて、マッピングの改変および/または調整および/または精緻化を実施することができる。
【0099】
再び図1を参照すると、好ましい実施形態において、システム10はまた、処理デバイス12および音声取込みデバイス28に接続または連結(電子的に)されており、処理デバイス12および音声取込みデバイス28の動作を制御するように構成されている制御ユニット15も含む。制御ユニット15は、好ましくは、ユーザが制御ユニット15に入力を提供することを可能にする1つまたは複数のユーザ入力インターフェース(例えば、タッチスクリーン、押しボタン、ダイヤル、ノブ、電子キーパッド、(電子)キーボードなど)を含む。ユーザ入力インターフェースを介した入力の受信に応答して、制御ユニット15は、好ましくは、処理デバイス12および/または音声取込みデバイス28の動作を制御または変更する制御コマンドを処理デバイス12および/または音声取込みデバイス28に提供するように動作可能である。
【0100】
1つの例において、制御ユニット15は、ユーザが、処理デバイス12によって、生成されている音響信号に対して実施される少なくとも1つの動作を決定する規則または取り扱い基準を定義することを可能にし、取り扱い規則を選択し、および/または、選択された規則から別の規則へと変更することを可能にする。例えば、ユーザは、それに従って処理デバイス12が動作する規則のセットを定義することができる。追加の例として、ユーザは、既存の規則/規則のセット(例えば、データ記憶規則、信号修正規則、再生規則)または新たに定義された規則/規則のセットを選択することができ、結果、処理デバイス12は、選択された規則(例えば、データ記憶規則(基準)のセット、信号修正(操作)規則のセット、または、再生規則(基準)のセット)に従って動作する。加えて、ユーザは、制御ユニット15を介して、定義された規則に関連するパラメータを選択することができる。例えば、処理デバイス12が信号修正(操作)規則のセットに従って動作することをユーザが選択する場合、ユーザは、生成されている音響信号の修正に使用される任意の追加の音声の選択を含め、生成されている音響信号がどのように修正されるべきかを選択することができる。これらの追加の音声は、例えば、音声をデジタル形態で記憶する、処理デバイス12と関連付けられるコンピュータ・メモリ、マイクロフォンまたはオーディオ・プレーヤなどの音響取込みまたは入力デバイスなどを含む、様々なソースから受信することができる。
【0101】
別の例として、処理デバイス12がデータ記憶規則のセットに従って動作することをユーザが選択する場合、ユーザは、生成されている音響信号を表すデータを記憶するためのメモリ・デバイス(例えば、記憶装置/メモリ16、外部記憶装置/メモリ32、サーバ・システム34)を選択することができ、また、データのいずれの部分(節またはサブ・サンプル)がいずれのメモリ・デバイスに記憶されるべきであるかも選択してもよい(例えば、ユーザは、記憶装置/メモリ16にローカルに記憶されるデータの一部を選択し、サーバ・システム34にリモートに記憶されるデータの他の部分を選択することができる)。
【0102】
制御ユニット15はまた、好ましくは、ユーザが、処理デバイス12によって神経インパルスに変換される音響信号を選択することも可能にする。選択は、制御ユニット15のユーザ入力インターフェースの一部であるメニューを介して適用することができる。メニューは、処理デバイス12と関連付けられるメモリに記憶されているデジタル音響トラックまたは音声のリストを含んでもよい。加えて、制御ユニット15は、好ましくは、ユーザが、処理デバイス12によって音響信号から変換されている神経インパルスが聴覚領域43に提供される速度を調整および設定することを可能にする。速度設定は、制御ユニット15のユーザ入力インターフェースを介して適用することができる。
【0103】
特定の好ましい実施形態において、制御ユニット15は、ユーザ入力に応答してシステム10の異なる動作モード間での選択的切り替えを提供する。例えば、制御ユニット15は、音声取込みデバイス28をオンまたはオフに選択的に切り替えることができ、および/または、音声を取り込むために音声取込みデバイス28を作動させることができ、および/または、音声取込みデバイス28もしくはメモリ(例えば、記憶装置/メモリ16、記憶装置/メモリ32、サーバ・システム34)から音響信号を取り出すために処理デバイス12を作動させることができる。したがって、制御ユニット15は、ユーザが、メモリ(例えば、記憶装置/メモリ16、記憶装置/メモリ32、サーバ・システム34)からのもしくは音声取込みデバイス28によって取り込まれる音声(例えば、デジタル音響信号)が、神経インパルスに変換されるか否か、および、いつ変換されるか、ならびに/または、そのような変換された神経インパルスが神経46を介して伝送されるか否か、および、いつ伝送されるかを制御することを可能にすることができる。このように、ユーザは、電子的な/人工の耳のオンおよびオフの選択的切り替えと同様に、ユーザが音声を知覚するか否か、および、いつ知覚するかを制御することができる。
【0104】
加えて、制御ユニット15は、好ましくは、処理デバイス12と関連付けられるメモリに記憶されている、取り込まれた音声の音響パラメータ(音量、ピッチ、速度、トーンを含む)を調整し、および/または、神経インパルスに変換される音響信号の音声パラメータを調整するために、処理デバイス12を作動させるように動作可能である。この特徴は、雑音の多い音響信号を強化および/または清浄化するのに特に有利であり得る。例えば、被検体40は、制御ユニット15を利用して、1つまたは複数の音響フィルタを適用して干渉または雑音を除去または低減するために、処理デバイス12を作動させることができる。別の例として、被検体40は、音量を増大させること、および/または、メモリに記憶されているかもしくは音声取込みデバイス28から受信されるデジタル音響データの再生速度を低速化または加速することを選択してもよい。例えば、被検体40は、制御ユニット15を使用して、音響信号を増幅もしくは減衰させ、および/または、再生タイミングを制御するために、処理デバイス12を作動させることができる。
【0105】
制御ユニット15は、コンピュータ化記憶媒体(例えば、メモリ)に結合されている1つまたは複数のコンピュータ・プロセッサを含むコンピュータ化制御ユニットである。1つまたは複数のプロセッサは、限定ではないが、マイクロプロセッサ、マイクロコントローラ、ASIC、FPGA、DSP、FPLA、状態機械、バイオプロセッサなどを含む、任意の数のコンピュータ化プロセッサとして実装することができる。マイクロプロセッサ実施態様において、マイクロプロセッサは、例えば、サーバ、コンピュータ、および他のコンピュータ化デバイスに使用されているものなどの、従来のプロセッサとすることができる。例えば、マイクロプロセッサは、AMDおよびIntelからのx86プロセッサ、IntelからのXeon(登録商標)およびPentium(登録商標)プロセッサを含んでもよい。前述のコンピュータ化プロセッサは、コンピュータ化プロセッサによって実行されると、コンピュータ化プロセッサに動作を実施させるプログラム・コードまたは命令セットを含み、または、それを記憶するコンピュータ可読媒体と電気的に通信してもよい。コンピュータ可読媒体のタイプは、限定ではないが、電子、光、磁気、または、コンピュータ化プロセッサにコンピュータ可読命令を提供することが可能な他の記憶もしくは伝送デバイスを含む。制御ユニット15の記憶装置/メモリは、任意の従来の記憶媒体とすることができ、例えば、1つまたは複数の揮発性または不揮発性メモリ、フラッシュ・メモリ、読み出し専用メモリ、ランダム・アクセス・メモリなど、またはそれらの任意の組合せを含む、様々な様式で実装することができる。特定の実施形態において、制御ユニット15の記憶装置/メモリは、制御ユニット15の1つまたは複数のプロセッサによって実行することができる機械実行可能命令を記憶することができる。
【0106】
特定の実施形態において、処理デバイス12および制御ユニット15は、1つまたは複数の共通のプロセッサを共有し、結果、処理デバイス12は、処理と制御の両方の機能を実施するように動作可能である。他の、時としてより好ましい実施形態において、制御ユニット15および処理デバイス12は、有線または無線接続を介して電子的に接続される別個の電子デバイスである。そのような実施形態において、制御ユニット15は、例えば、限定ではないがラップトップ、スマートフォン、およびタブレットを含むモバイル・コンピューティング・デバイス、ならびに、限定ではないがデスクトップ・コンピュータを含む固定コンピューティング・デバイスを含む、ユーザ・コンピュータ・デバイスとして実装することができる。
【0107】
他の実施形態において、制御ユニット15は、モバイル通信デバイス(例えば、スマートフォン、タブレットなど)またはコンピュータ・デバイス(例えば、ラップトップ、デスクトップなど)のような電子デバイス上で実行されるアプリケーション・ソフトウェアを介して実装される。制御ユニット15がスマートフォン、タブレット、ラップトップなどの上で実装される実施形態において、ソフトウェア・アプリケーションが、ユーザ入力インターフェースを提供することができる。特定の実施形態において、制御ユニット15は、直接有線接続または間接無線接続を介して、処理デバイス12に対する制御を提供する。
【0108】
これまで説明した実施形態は、耳の聴覚刺激に応答して受信される神経インパルスを音響信号に変換するように動作可能であり、音響信号を神経インパルスに変換し、それらの神経インパルスを聴覚領域43に提供するようにさらに動作可能である単一の処理デバイス12の使用に関係しているが、神経インパルスの音響信号への変換および音響信号の神経インパルスへの変換のタスクが2つ(以上)の処理デバイス12の間で分割される他の実施形態が可能である。そのような実施形態は、例えば、変性疾患、または、疾患の治療のための外科手技の結果として、耳と聴覚領域43との間の聴覚神経のうちの1つまたは複数の大きい節が切離もしくは除去されているか、または、もはや適切に機能しない状況において特に価値があり得る。2つの処理デバイスを利用することによって、聴覚の復元を被検体に提供することができる。
【0109】
図8は、処理デバイス12-1、12-2として指定されている第1の処理デバイスおよび第2の処理デバイスを利用する非限定的な実施形態を概略的に示す。図示されている実施形態において、耳44と聴覚領域43との間の経路が切断されており、これはここでは、耳と聴覚領域43との間を接続する聴覚神経の大部分が存在しないことによって表されている。これは、例えば、聴覚神経46が適切に機能しない生理的欠陥、または、神経節が物理的に存在しないことに起因し得る(例えば、神経節が見失われている生理的欠陥に起因するか、または、疾患の治療に起因する)。処理デバイス12-1、12-2は、組み合わさって、特定の実施形態において、耳と聴覚領域43との間の橋(または聴覚神経バイパス)として作用するように、処理デバイス12と同様に動作し、それにより、耳44の聴覚刺激に応答して生成される神経インパルスが、処理デバイス12-1、12-2を介して聴覚領域43に達することができる。
【0110】
第1の処理デバイス12-1は、耳44に近接する聴覚神経46の一部分47(例えば、蝸牛にあるかまたはその付近にある)において、インターフェース18-1(上述したインターフェース18のいずれかの同様の構造および動作であり得る)を介して、聴覚神経46に通信可能に結合されている。第1の処理デバイス12-1は、聴覚神経46を介して聴覚領域43に伝送される、耳44の聴覚刺激に応答して生成される神経インパルスを受信し、それらの神経インパルスを音響信号に(上述したものと同様に)変換するように動作可能である。特定の実施形態において、処理デバイス12-1は、神経インパルスを測定またはサンプリングし、それに応答して電気信号を発生させるための、インターフェース18-1の被検体インターフェース部分にある1つまたは複数のEOSFETを含んでもよいインターフェース18-1を介して神経インパルスを表す信号を取得することができる。処理デバイス12-1は、次いで、上述した技法を使用して、それらの信号を音響信号に変換することができる。
【0111】
第2の処理デバイス12-2は、例えば、聴覚領域43におけるかまたはその上でのインターフェース18-2の被検体インターフェース部分の埋め込みを介して、または、聴覚領域43におけるかまたはその上での第2の処理デバイス12の埋め込みを介して、聴覚領域43に通信可能に結合することができる。インターフェース18-2は、上述したインターフェース18のいずれかと同様の構造および動作とすることができる。2つの処理デバイス12-1、12-2は、例えば、図示されているような制御ユニット15を介して間接的に、または、任意の適切なデータ接続手段(例えば、データ・バスなど)を介して直接的に、互いに連結または接続される。第2の処理デバイス12-2は、第1の処理デバイス12-1によって生成される音響信号を受信し、受信音響信号を神経インパルスに変換し、それらの神経インパルスを聴覚領域43に(上述した技法を含む任意の適切な技法に従ってインターフェース18-2を介して)提供するように動作可能であり、結果、被検体40は、耳44によって取り込まれる音声(すなわち、外耳によって鼓膜へと集められる振動)を知覚する。特定の実施形態において、処理デバイス12-2は、生成されている音響信号を対応する電気信号に変換し、処理デバイス12-2は、1つまたは複数のEOSCを含んでもよいインターフェース18-2の被検体インターフェース部分にそれらの電気信号を提供して、電気信号に従って聴覚領域43を刺激する。
【0112】
処理デバイス12-1および12-2の各々は、上述した処理デバイス12と同様の構造であり、すなわち、処理デバイス12-1および12-2の各々は、コンピュータ化記憶媒体に結合されている1つまたは複数のプロセッサを含む。特定の実施形態において、処理デバイス12-1、12-2のうちのいずれかまたは両方は、上述した処理デバイス12によって実施される信号修正と同様にして音響信号を修正するようにさらに動作可能である。例えば、第1の処理デバイス12-1は、生成されている音響信号(第1の処理デバイス12-1によって神経インパルスから変換された)を修正し、次いで、修正音響信号を第2の処理デバイス12-2に送信することができる。第1の処理デバイス12-1が、生成されている音響信号を修正するのとは代替として、または、それに加えて、第2の処理デバイス12-2が、第1の処理デバイス12-2から受信される、生成されている音響信号を修正し、次いで、修正音響信号を神経インパルスに変換してもよい。
【0113】
特定の実施形態において、処理デバイス12-1、12-2のうちのいずれかまたは両方は、外部記憶装置/メモリに連結することができる(図7の外部記憶装置/メモリ32と同様に)。他の実施形態において、処理デバイス12-1、12-2のうちのいずれかまたは両方は、通信ネットワークへと/からデータを送信/受信する(すなわち、通信ネットワークとデータを交換する)ための通信/ネットワーク・インターフェースを提供する、図7のTx/Rxユニット30と同様のTx/Rxユニットを含むかまたはそれに連結することができる。そのような実施形態において、処理デバイス12-1、12-2のうちのいずれかまたは両方は、通信ネットワークを介してリモート・サーバ・システム(サーバ・システム34など)と通信(すなわち、データを交換)することができる。
【0114】
図8を参照して説明した実施形態は、耳と脳との間の聴覚経路が依然として損傷を受けていない、すなわち、耳44の各々と聴覚領域43との間の神経46が依然として損傷を受けていない状況にも適用可能であることに留意されたい。そのような状況において、神経46のいずれかまたは両方は、2つのロケーション/領域において処理デバイス12-1および12-2によってインターフェース(例えば、タップ)することができる。例えば、第1のデバイス12-1は、神経46のうちの一方の、耳44のうちの一方に近接する第1の部分(例えば、蝸牛にあるかまたはその付近にある)とインターフェースすることができ、第2のデバイス12-2は、その神経46の、聴覚領域43に接続する第2の部分とインターフェースすることができる。次いで、任意選択で、神経の介在する1つまたは複数の節(神経の第1の部分と第2の部分との間を接続する)を無効化または減衰させて、2つの部分の間の伝送を制約することができる。
【0115】
特定の実施形態において、聴覚領域43から至る神経46のうちの一方または両方の一方の側のみが、処理デバイス12(または配置構成に応じて12-1もしくは12-2)とインターフェースされることにも留意されたい。例えば、図8の構成において、1つの処理デバイス(処理デバイス12-2)のみが配置され、聴神経46の、聴覚部分43に接続する部分とインターフェースする実施形態が企図されている。そのような実施形態において、処理デバイスは、音声として解釈されるように、神経インパルスを脳に供給するように構成されている。
【0116】
処理デバイス12(または配置構成に応じて12-1もしくは12-2)は、概して、例えば信号修正(操作)規則のセットに従って信号修正を実施するコンピューティング・デバイスとしてこれまで説明してきたが、そのような信号修正は、実際には、処理デバイス12(または12-1もしくは12-2)と接続されている任意のコンピューティング・デバイスによって実施されてもよいことに留意されたい。例えば、サーバ・システム34は、処理デバイス12から信号を受信し、信号修正(操作)規則のセットに従ってそれらの信号を修正し、次いで、修正信号を、さらなる処理または神経伝送のために処理デバイス12に送信し戻すように構成することができる。
【0117】
これまで説明してきた本発明の実施形態のいくつかは、処理デバイスを利用して1つまたは複数の音響信号(1つまたは複数の音声を表す)を神経インパルスのシーケンスに変換し、次いで、被検体が1つまたは複数の音声を聴覚的に知覚するように、処理デバイスを利用して神経インパルスのシーケンスを脳の聴覚領域に提供することに関係してきたが、被検体が無音を知覚することを所望し得る状況が生じ得る。上記で言及したように、特定のシナリオにおいて、1つまたは複数の音声は不可聴音であり、結果、被検体は、不可聴音を表す音響信号から生成される神経インパルスを無音として知覚する。しかしながら、音声が可聴音である事例において、被検体が依然として無音を知覚することを所望する場合がある。したがって、被検体40が神経インパルスのシーケンスを脳の聴覚領域に選択的に提供するために、処理デバイス12を制御可能に作動させることができることが好ましく、被検体が1つまたは複数の音声を聴覚的に知覚せず、代わりに、無音を知覚するように、神経インパルスのシーケンスを脳の聴覚領域に提供することを控えるために、被検体40が処理デバイス12を制御可能に作動させることができることがさらに好ましい。したがって、特定の実施形態において、被検体は、処理デバイス12が生成されている神経インパルスを聴覚領域43に提供するか否かを制御することができる。この制御機能は、例えば、制御ユニット15を介して提供することができる。
【0118】
本発明の実施形態は、ヒト聴覚の文脈内で適用されるときに特に役立つが、本開示の実施形態は、限定ではないが、他の霊長類種(例えば、サル、ゴリラなど)、イヌ種、ネコ種、爬虫類種、鳥類種、海産種/水生動物種等を含む非ヒト動物被検体における聴覚にも等しく適用可能であり得る。そのような非ヒト適用において、神経インパルスは、上述したものと同じまたは同様のインターフェース方法を介して収集することができ、処理デバイス12によって、種特有のインパルス-音声マッピングを使用してデジタル音性に変換することができる。例えば、任意の結果生じる音響信号を、さらなる処理または使用のために別のシステムに出力することができる。例えば、イヌ被検体において神経インパルスから生成される音響信号を、ヒト被検体が聞く再生のために提供することができるか、または、ヒトインパルス-音声マッピング関数を使用して神経インパルスに変換し、ヒト被検体がイヌ被検体によって知覚されたものとしての音声を聞くことができるように、ヒト被検体の聴覚神経に提供することができる。
【0119】
本発明の実施形態の方法および/またはシステムの実施態様は、選択されたタスクを手動、自動、またはそれらの組合せで実施または達成することを含んでもよい。その上、本発明の方法および/またはシステムの実施形態の実際の機器および設備に従って、いくつかの選択されたタスクは、オペレーティング・システムを使用する、ハードウェア、ソフトェアもしくはファームウェアまたはそれらの組合せによって実施されてもよい。
【0120】
例えば、本発明の実施形態による選択されたタスクを実施するためのハードウェアは、チップまたは回路として実装されてもよい。ソフトェアとして、本発明の実施形態による選択されたタスクは、任意の適切なオペレーティング・システムを使用してコンピュータによって実行される複数のソフトウェア命令として実装されてもよい。本発明の例示的な実施形態において、本明細書に記載されているような方法および/またはシステムの例示的な実施形態による1つまたは複数のタスクは、複数の命令を実行するためのコンピューティング・プラットフォームのようなデータ・プロセッサによって実施される。任意選択で、データ・プロセッサは、命令および/もしくはデータを記憶するための揮発性メモリ、ならびに/または、命令および/もしくはデータを記憶するための不揮発性記憶装置、例えば、磁気ハード・ディスクおよび/もしくは可読媒体などの非一時的記憶媒体を含む。任意選択で、ネットワーク接続も提供される。ディスプレイおよび/またはキーボードもしくはマウスのようなユーザ入力デバイスも任意選択で提供される。
【0121】
例えば、1つまたは複数の非一時的コンピュータ可読(記憶)媒体の任意の組合せが、本発明の上記に列挙した実施形態に従って利用されてもよい。非一時的コンピュータ可読(記憶)媒体は例えば、限定ではないが、電子、磁気、光学、電磁、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または上記の任意の適切な組合せとすることができる。コンピュータ可読記憶媒体のより具体的な例(非排他的なリスト)は、1つまたは複数のワイヤを有する電気接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュ・メモリ)、光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組合せを含む。本明細書の文脈においては、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによって、またはそれらと関連して使用するためのプログラムを含むか、または記憶することができる任意の有形媒体とすることができる。
【0122】
上記で提供された段落および参照図面を参照して理解されるように、コンピュータ実装方法の様々な実施形態が本明細書において提供され、そのうちのいくつかは、本明細書に記載されている装置およびシステムの様々な実施形態によって実施することができ、そのうちのいくつかは、本明細書に記載されている非一時的コンピュータ可読記憶媒体に記憶されている命令に従って実施することができる。また、本明細書に記載されている実施形態を参照して当業者には明らかになるように、本明細書において提供されているコンピュータ実装方法のいくつかの実施形態は、他の装置またはシステムによって実施することができ、本明細書に記載されている以外のコンピュータ可読記憶媒体に記憶されている命令に従って実施することができる。以下のコンピュータ実装方法に関連するシステムおよびコンピュータ可読記憶媒体への任意の参照は、例示を目的として与えられており、そのようなシステムのいずれかおよびそのような非一時的コンピュータ可読記憶媒体のいずれかを上述したコンピュータ実装方法の実施形態に関して限定するようには意図されていない。同様に、システムおよびコンピュータ可読記憶媒体に関連する以下のコンピュータ実装方法への任意の参照は、例示を目的として与えられており、本明細書において開示されているそのようなコンピュータ実装方法のいずれかを限定するようには意図されていない。
【0123】
図面内の流れ図およびブロック図は本発明の様々な実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を例示する。これに関連して、流れ図およびブロック図内の各ブロックは、指定の論理機能(複数可)を実施するための1つまたは複数の実行可能命令を含む、モジュール、セグメント、またはコードの一部分を表すことができる。また、いくつかの代替的な実施態様において、ブロックに記載されている機能は、図面に記載されている順序と一致せずに行われてもよいことにも留意されたい。例えば、連続して示されている2つのブロックは実際には、関与する機能に応じて、実質的に同時に実行されてもよく、または、これらのブロックは、時として逆順に実行されてもよい。また、ブロック図および/または流れ図の図解の各ブロック、ならびにブロック図および/または流れ図の図解のブロックの組合せは、指定の機能もしくは動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令との組合せによって実施することができることも留意されよう。
【0124】
本発明の様々な実施形態の説明は、例示の目的のために提示されているが、網羅的であることも、開示されている実施形態に限定されることも意図されていない。説明されている実施形態の範囲および思想から逸脱することなく、多くの修正形態および変形形態が当業者には明らかであろう。本明細書において使用されている用語は、実施形態の原理、実際の適用または市場に見出される技術にまさる技術的改善を最良に説明するため、または、当業者が本明細書において開示されている実施形態を理解することを可能にするために選択されている。
【0125】
本明細書において使用される場合、単数形「a」「an」および「the」は、別途文脈が明確に指示していない限り、複数の参照を含む。例えば、単一の神経への参照はまた、神経対の両方の神経を参照することもできる。さらに、別途文脈が明確に指示していない限り、神経対の両方の神経への参照はまた、単一の神経を参照することもできる。
【0126】
「例示的な」という語は本明細書においては、「例、事例、または実例としての役割を果たす」ことを意味するように使用される。「例示的」として記載されている任意の実施形態は必ずしも、他の実施形態よりも好ましいまたは有利であるとして解釈されるべきではなく、かつ/または、他の実施形態からの特徴の組み込みを除外するものではない。
【0127】
明瞭にするために、別個の実施形態の文脈において記載されている本発明の特定の特徴はまた、単一の実施形態において組み合わせて提供されてもよいことが諒解される。逆に、簡潔にするために、単一の実施形態の文脈において記載されている本発明の様々な特徴はまた、別個にもしくは任意の適切な部分組合せにおいて、または、適切な場合は本発明の任意の他の記載されている実施形態において提供されてもよい。様々な実施形態の文脈において記載されている特定の特徴は、実施形態がそれらの要素なしに動作不能でない限り、それらの実施形態の基本的な特徴と考えられるべきではない。
【0128】
その部分を含め、上述したプロセスは、ソフトウェア、ハードウェアおよびそれらの組合せによって実施することができる。これらのプロセスおよびその部分は、コンピュータ、コンピュータ型デバイス、ワークステーション、プロセッサ、マイクロプロセッサ、他の電子探索ツール、および、それと関連付けられるメモリならびに他の非一時的記憶装置型デバイスによって実施することができる。プロセスおよびその部分はまた、例えば、コンパクト・ディスク(CD)もしくは機械などによって可読の磁気、光などを含む他のディスク、または、磁気、光、もしくは半導体記憶装置を含む他のコンピュータ使用可能記憶媒体、または他の電子信号源などの、プログラム可能非一時的記憶媒体において具現化することもできる。
【0129】
本明細書における、その構成要素を含む、プロセス(方法)およびシステムは、例示的に特定のハードウェアおよびソフトウェアを参照して説明されてきた。プロセス(方法)は例示として説明されており、それにより、特定のステップおよびそれらの順序は、これらの実施形態を過度の実験なしに実践するために縮約するために、当業者によって省略および/または変更することができる。プロセス(方法)およびシステムは、当業者が、過度の実験なしに、かつ、従来の技法を使用して実践するために実施形態のいずれかを縮約するのに必要であり得るように、他のハードウェアおよびソフトウェアを容易に適合させることを可能にするのに十分であるように説明されている。
【0130】
添付の特許請求項が多項従属なしに起稿されている範囲において、これは、そのような多項従属を許容しない司法権内の書式要件に対応するためにのみ、行われている。特許請求項を多項従属させることによって暗示される特徴のすべての可能な組合せが、明示的に想定されており、本発明の一部と考えられるべきであることに留意されたい。
【0131】
その特定の実施形態とともに本発明が記載されてきたが、多くの代替形態、修正形態および変形形態が、当業者には明らかである。したがって、添付の特許請求項の精神および広い範囲内に入る、すべてのそのような代替形態、修正形態および変形形態を包含することが意図される。
図1
図2
図3
図4
図5
図6
図7
図8
【国際調査報告】