知財求人 - 知財ポータルサイト「IP Force」
特表2024-521942目によるイメージとデジタル・イメージとの間の変換のための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-04
(54)【発明の名称】目によるイメージとデジタル・イメージとの間の変換のための方法およびシステム
(51)【国際特許分類】
A61B 5/388 20210101AFI20240528BHJP
【ＦＩ】
A61B5/388
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023574875
(86)(22)【出願日】2022-05-22
(85)【翻訳文提出日】2024-02-01
(86)【国際出願番号】 IB2022054777
(87)【国際公開番号】W WO2022254281
(87)【国際公開日】2022-12-08
(31)【優先権主張番号】63/196,274
(32)【優先日】2021-06-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/534,622
(32)【優先日】2021-11-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】523455127
【氏名又は名称】オフェル，モシェ
(74)【代理人】
【識別番号】110003797
【氏名又は名称】弁理士法人清原国際特許事務所
(72)【発明者】
【氏名】オフェル，モシェ
【テーマコード（参考）】
4C127
【Ｆターム（参考）】
4C127AA04
4C127DD02
4C127GG15
4C127HH13
(57)【要約】
処理デバイスは、１つまたは複数の視覚刺激が被験者の少なくとも１つの目に提供されることに応答して、被験者の視覚野に送信される神経インパルスに関連付けられた信号を受信する。処理デバイスは、受信された信号を処理し、１つまたは複数の視覚刺激の、被験者による視覚的認知を表す処理された受信された信号からデジタル・イメージ・データを生成する。ある種の実施形態では、処理デバイスは、シーンを表すデジタル・イメージ・データを処理し、デジタル・イメージ・データを神経インパルスのシーケンスに変換し、被験者がシーンを視覚的に認めるように、神経インパルスのシーケンスを被験者の視覚野に提供する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
１つまたは複数の視覚刺激が被験者の少なくとも１つの目に提供されることに応答して、処理デバイスによって、前記被験者の視覚野に送信される神経インパルスに関連付けられた信号を受信することと、前記処理デバイスによって、受信された前記信号を処理し、前記１つまたは複数の視覚刺激の、前記被験者による視覚的認知を表すデジタル・イメージ・データを生成することと、
を含む、方法。
【請求項2】
１つまたは複数のルールに従って、生成された前記デジタル・イメージ・データ上で少なくとも１つの動作を実行することをさらに含む、請求項１に記載の方法。
【請求項3】
前記少なくとも１つの動作は、生成された前記デジタル・イメージ・データの一部または全部を、前記処理デバイスに関連付けられたコンピュータ化されたストレージ・デバイス内に格納することを含む、
請求項２に記載の方法。
【請求項4】
前記少なくとも１つの動作は、生成された前記デジタル・イメージ・データの一部または全部を、１つまたは複数の通信回路ネットワーク上でコンピュータ化されたサーバ・システムに送信することを含む、
請求項２に記載の方法。
【請求項5】
前記少なくとも１つの動作は、生成された前記デジタル・イメージ・データを修正し、修正されたデジタル・イメージ・データを生成することを含む、
請求項２に記載の方法。
【請求項6】
修正することは、ｉ）追加のデジタル・イメージ・データを生成された前記デジタル・イメージ・データに組み込むことによって、生成された前記デジタル・イメージ・データを増やすこと、または、ｉｉ）生成された前記デジタル・イメージ・データの少なくとも１つの画素値を変更すること、のうちの少なくとも１つを含む、請求項５に記載の方法。
【請求項7】
前記修正されたデジタル・イメージ・データを１つまたは複数の神経インパルスに変換することと、前記１つまたは複数の視覚刺激の、前記被験者による前記視覚的認知を増やすために、前記１つまたは複数の神経インパルスを前記視覚野に提供することと、をさらに含む、
請求項５に記載の方法。
【請求項8】
前記１つまたは複数の神経インパルスを前記視覚野に提供することは、１つまたは複数の神経の１つまたは複数のニューロンを刺激し、前記１つまたは複数の神経インパルスを生成することによって、前記視覚野に関連付けられた前記１つまたは複数の神経を誘発し、前記１つまたは複数の神経インパルスを送信することを含む、請求項７に記載の方法。
【請求項9】
受信された前記信号を処理することは、神経インパルスとデジタル・イメージ・データとの間をマップする少なくとも１つのマッピングを、受信された前記信号に適用することを含む、
請求項１に記載の方法。
【請求項10】
前記少なくとも１つのマッピングを生成することをさらに含む、請求項９に記載の方法。
【請求項11】
前記被験者の前記視覚野と通信する前記処理デバイスを配置することをさらに含み、前記配置することは、
ｉ）前記処理デバイスを、前記視覚野に関連付けられた少なくとも１つの神経のセグメントにまたはその上に外科的に移植すること、
ｉｉ）前記処理デバイスを、前記視覚野にまたはその上に外科的に移植すること、
ｉｉｉ）前記視覚野と通信する前記処理デバイスを配置する機械－被験者インタフェースの少なくとも一部を、前記視覚野に関連付けられた少なくとも１つの神経のセグメントにまたはその上に外科的に移植すること、および、
ｉｖ）前記視覚野と通信する前記処理デバイスを配置する機械－被験者インタフェースの少なくとも一部を、前記視覚野にまたはその上に外科的に移植すること、からなる群から選択される動作を含む、
請求項１に記載の方法。
【請求項12】
前記被験者の前記視覚野に関連して、前記被験者内に外科的に移植されたマイクロデバイスによって、前記視覚野に関連付けられた少なくとも１つの神経によって送信される前記神経インパルスを測定し、前記視覚野に送信される前記神経インパルスに関連付けられた前記信号を生ずることをさらに含む、請求項１に記載の方法。
【請求項13】
被験者の視覚野に相互接続するための処理デバイスを備えるシステムであって、前記処理デバイスは、１つまたは複数の視覚刺激が前記被験者の少なくとも１つの目に提供されることに応答して、前記視覚野に送信される神経インパルスに関連付けられた信号を受信することと、
受信された前記信号を処理し、前記１つまたは複数の視覚刺激の、前記被験者による視覚的認知を表すデジタル・イメージ・データを生成することとをするように構成される、
システム。
【請求項14】
前記処理デバイスは、生成された前記デジタル・イメージ・データを修正し、修正されたデジタル・イメージ・データを生成することと、
前記修正されたデジタル・イメージ・データを１つまたは複数の神経インパルスに変換することとをするようにさらに構成される、
請求項１３に記載のシステム。
【請求項15】
前記処理デバイスは、前記１つまたは複数の視覚刺激の、前記被験者による前記視覚的認知を増やすために、前記１つまたは複数の神経インパルスを前記被験者の前記視覚野に提供するようにさらに構成される、
請求項１４に記載のシステム。
【請求項16】
前記処理デバイスは、前記視覚野と通信する前記処理デバイスを配置するインタフェースを通して、前記１つまたは複数の神経インパルスを前記視覚野に提供するように構成され、それによって、前記インタフェースは、前記視覚野に関連付けられた１つまたは複数の神経を誘発し、前記１つまたは複数の神経インパルスを前記視覚野に送信するように構成される、請求項１５に記載のシステム。
【請求項17】
前記処理デバイスは、神経インパルスとデジタル・イメージ・データとの間をマップする少なくとも１つのマッピングを適用することによって、受信された前記信号を処理するように構成される、請求項１３に記載のシステム。
【請求項18】
前記処理デバイスは、前記少なくとも１つのマッピングを生成するようにさらに構成される、請求項１７に記載のシステム。
【請求項19】
少なくとも１つのイメージを表すデジタル・イメージ・データを格納するための、前記処理デバイスに関連付けられた少なくとも１つのメモリ・デバイスをさらに備え、前記処理デバイスは、前記少なくとも１つのメモリ・デバイス内に格納される前記デジタル・イメージ・データに少なくとも部分的に基づいて、前記少なくとも１つのマッピングを生成するように構成される、請求項１８に記載のシステム。
【請求項20】
前記視覚野と通信する前記処理デバイスを配置するため、および１つまたは複数の視覚刺激が前記被験者の少なくとも１つの目に提供されることに応答して、前記視覚野に送信される神経インパルスを取得するためのインタフェースをさらに備える、請求項１３に記載のシステム。
【請求項21】
処理デバイスを用いて、シーンを表すデジタル・イメージ・データを処理し、前記デジタル・イメージ・データを神経インパルスのシーケンスに変換することと、被験者が前記シーンを視覚的に認めるように、神経インパルスの前記シーケンスを前記被験者の視覚野に提供することと、
を含む、方法。
【請求項22】
前記デジタル・イメージ・データの少なくとも一部は、前記デジタル・イメージ・データを格納するメモリ・デバイスまたは前記デジタル・イメージ・データを生成するイメージング・デバイスのうちの少なくとも１つによって、前記処理デバイスに提供される、請求項２１に記載の方法。
【請求項23】
被験者の視覚野に相互接続するための処理デバイスを備えるシステムであって、前記処理デバイスは、シーンを表すデジタル・イメージ・データを処理し、前記デジタル・イメージ・データを神経インパルスのシーケンスに変換することと、
前記被験者が前記シーンを視覚的に認めるように、神経インパルスの前記シーケンスを前記視覚野に提供することとをするように構成される、
システム。
【請求項24】
イメージをキャプチャするためのイメージング・デバイスをさらに備え、前記デジタル・イメージ・データの少なくとも一部は、前記イメージング・デバイスが前記シーンの少なくとも１つのイメージをキャプチャすることに応答して、前記イメージング・デバイスによって生成される、請求項２３に記載のシステム。
【請求項25】
視覚野を有する被験者とともに用いるための方法であって、インタフェースを介して前記被験者の前記視覚野と通信するように処理デバイスを配置することであって、前記被験者の前記視覚野に関連して、前記インタフェースの少なくとも一部を前記被験者内に外科的に移植することを含む、配置することと、
前記被験者によって、１つまたは複数の視覚刺激を前記被験者の少なくとも１つの目に提供するシーンを見ることに応答して、前記処理デバイスによって、前記被験者の前記視覚野に送信される神経インパルスに関連付けられた信号を受信することと、
神経インパルスとデジタル・イメージ・データとの間をマップするデータを有する少なくとも１つのマッピングを、受信された前記信号に適用することによって、前記処理デバイスによって、受信された前記信号を処理し、前記１つまたは複数の視覚刺激の、前記被験者による視覚的認知を表すデジタル・イメージ・データを生成することと、
を含む方法。
【請求項26】
視覚野を有する被験者とともに用いるためのシステムであって、前記システムは、前記被験者によって、１つまたは複数の視覚刺激を前記被験者の少なくとも１つの目に提供するシーンを見ることに応答して、前記被験者の前記視覚野に送信される神経インパルスを取得するためのインタフェースと、
前記インタフェースを介して前記被験者の前記視覚野と通信するための処理デバイスと、を備え、
前記インタフェースの少なくとも一部は、前記被験者の前記視覚野に関連して、前記被験者内に外科的に移植されるように構成され、
前記処理デバイスは、
前記１つまたは複数の視覚刺激が前記被験者の少なくとも１つの目に提供されることに応答して、前記視覚野に送信される神経インパルスに関連付けられた信号を受信することと、
神経インパルスとデジタル・イメージ・データとの間をマップするデータを有する少なくとも１つのマッピングを、受信された前記信号に適用することによって、受信された前記信号を処理し、前記１つまたは複数の視覚刺激の、前記被験者による視覚的認知を表すデジタル・イメージ・データを生成することとをするように構成される、
システム。
【請求項27】
視覚野を有する被験者とともに用いるための方法であって、処理デバイスによって、シーンを表すデジタル・イメージ・データを処理し、前記デジタル・イメージ・データを神経インパルスのシーケンスに変換することであって、神経インパルスとデジタル・イメージ・データとの間をマップするデータを有する少なくとも１つのマッピングを前記デジタル・イメージ・データに適用することを含む、処理することと、
前記被験者が前記シーンを視覚的に認めるように、神経インパルスの前記シーケンスを前記被験者の前記視覚野に提供することと、
を含む、方法。
【請求項28】
視覚野を有する被験者とともに用いるためのシステムであって、前記システムは、前記被験者の前記視覚野に相互接続するための処理デバイスを備え、前記処理デバイスは、
神経インパルスとデジタル・イメージ・データとの間をマップするデータを有する少なくとも１つのマッピングをデジタル・イメージ・データに適用することによって、シーンを表すデジタル・イメージ・データを処理し、前記デジタル・イメージ・データを神経インパルスのシーケンスに変換することと、
前記被験者が前記シーンを視覚的に認めるように、神経インパルスの前記シーケンスを前記被験者の前記視覚野に提供することとをするように構成される、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
この出願は、２０２１年６月３日に出願された米国仮特許出願第６３／１９６，２７４号および２０２１年１１月２４日に出願された米国出願第１７／５３４，６２２号の優先権を主張し、これらの開示は、完全に本願明細書において参照によって組み込まれる。
この出願は、２０２１年６月３日に出願された米国仮特許出願第６３／１９６，２７４号および２０２１年１１月２４日に出願された米国出願第１７／５３４，６２２号の優先権を主張し、これらの開示は、完全に本願明細書において参照によって組み込まれる。
【0002】
本発明は、ビジョンに関し、特には、脳へのおよび脳からのデジタル・イメージのルーティングに関する。
【背景技術】
【0003】
人間のビジョン・システムは、目、脳および神経系の部分を備える。一般に、光は、目内の光受容体（桿体細胞および錐体細胞）によって検知され、視神経によって脳に送信される神経インパルスに変換され、脳によってサイトおよびビジョンと解釈される。
【発明の概要】
【課題を解決するための手段】
【0004】
本発明の一実施形態の教示によれば、方法が提供され、方法は、１つまたは複数の視覚刺激が被験者の少なくとも１つの目に提供されることに応答して、処理デバイスによって、被験者の視覚野に送信される神経インパルスに関連付けられた信号を受信することと、処理デバイスによって、受信された信号を処理し、１つまたは複数の視覚刺激の、被験者による視覚的認知を表すデジタル・イメージ・データを生成することと、を含む。
【0005】
オプションで、方法は、１つまたは複数のルールに従って、生成されたデジタル・イメージ・データ上で少なくとも１つの動作を実行することをさらに含む。
【0006】
オプションで、少なくとも１つの動作は、生成されたデジタル・イメージ・データの一部または全部を、処理デバイスに関連付けられたコンピュータ化されたストレージ・デバイス内に格納することを含む。
【0007】
オプションで、少なくとも１つの動作は、生成されたデジタル・イメージ・データの一部または全部を、１つまたは複数の通信回路ネットワーク上でコンピュータ化されたサーバ・システムに送信することを含む。
【0008】
オプションで、少なくとも１つの動作は、生成されたデジタル・イメージ・データを修正し、修正されたデジタル・イメージ・データを生成することを含む。
【0009】
オプションで、修正することは、ｉ）追加のデジタル・イメージ・データを生成されたデジタル・イメージ・データに組み込むことによって、生成されたデジタル・イメージ・データを増やすこと、または、ｉｉ）生成されたデジタル・イメージ・データの少なくとも１つの画素値を変更すること、のうちの少なくとも１つを含む。
【0010】
オプションで、方法は、修正されたデジタル・イメージ・データを１つまたは複数の神経インパルスに変換することと、１つまたは複数の視覚刺激の、被験者による視覚的認知を増やすために、１つまたは複数の神経インパルスを視覚野に提供することと、をさらに含む。
【0011】
オプションで、１つまたは複数の神経インパルスを視覚野に提供することは、１つまたは複数の神経の１つまたは複数のニューロンを刺激し、神経インパルスを生成することによって、視覚野に関連付けられた１つまたは複数の神経を誘発し、１つまたは複数の神経インパルスを送信することを含む。
【0012】
オプションで、受信された信号を処理することは、神経インパルスとデジタル・イメージ・データとの間をマップする少なくとも１つのマッピングを、受信された信号に適用することを含む。
【0013】
オプションで、方法は、少なくとも１つのマッピングを生成することをさらに含む。
【0014】
オプションで、方法は、被験者の視覚野と通信する処理デバイスを配置することをさらに含み、配置することは、ｉ）処理デバイスを、視覚野に関連付けられた少なくとも１つの神経のセグメントにまたはその上に外科的に移植すること、ｉｉ）処理デバイスを、視覚野にまたはその上に外科的に移植すること、ｉｉｉ）視覚野と通信する処理デバイスを配置する機械－被験者インタフェースの少なくとも一部を、視覚野に関連付けられた少なくとも１つの神経のセグメントにまたはその上に外科的に移植すること、および、ｉｖ）視覚野と通信する処理デバイスを配置する機械－被験者インタフェースの少なくとも一部を、視覚野にまたはその上に外科的に移植すること、からなる群から選択される動作を含む。
【0015】
オプションで、方法は、被験者の視覚野に関連して、被験者内に外科的に移植されたマイクロデバイスによって、視覚野に関連付けられた少なくとも１つの神経によって送信される神経インパルスを測定し、視覚野に送信される神経インパルスに関連付けられた信号を生成することをさらに含む。
【0016】
本発明の教示の一実施形態によれば、システムも提供され、システムは、被験者の視覚野に相互接続するための処理デバイスを備え、処理デバイスは、１つまたは複数の視覚刺激が被験者の少なくとも１つの目に提供されることに応答して、視覚野に送信される神経インパルスに関連付けられた信号を受信することと、受信された信号を処理し、１つまたは複数の視覚刺激の、被験者による視覚的認知を表すデジタル・イメージ・データを生成することとをするように構成される。
【0017】
オプションで、処理デバイスは、生成されたデジタル・イメージ・データを修正し、修正されたデジタル・イメージ・データを生成することと、修正されたデジタル・イメージ・データを１つまたは複数の神経インパルスに変換することとをするようにさらに構成される。
【0018】
オプションで、処理デバイスは、１つまたは複数の視覚刺激の、被験者による視覚的認知を増やすために、１つまたは複数の神経インパルスを被験者の視覚野に提供するようにさらに構成される。
【0019】
オプションで、処理デバイスは、視覚野と通信する処理デバイスを配置するインタフェースを通して、１つまたは複数の神経インパルスを視覚野に提供するように構成され、インタフェースは、視覚野に関連付けられた１つまたは複数の神経を誘発し、１つまたは複数の神経インパルスを視覚野に送信するように構成される。
【0020】
オプションで、処理デバイスは、神経インパルスとデジタル・イメージ・データとの間をマップする少なくとも１つのマッピングを適用することによって、受信された信号を処理するように構成される。
【0021】
オプションで、処理デバイスは、少なくとも１つのマッピングを生成するようにさらに構成される。
【0022】
オプションで、システムは、少なくとも１つのイメージを表すデジタル・イメージ・データを格納するための、処理デバイスに関連付けられた少なくとも１つのメモリ・デバイスをさらに備え、処理デバイスは、少なくとも１つのメモリ・デバイス内に格納されるデジタル・イメージ・データに少なくとも部分的に基づいて、少なくとも１つのマッピングを生成するように構成される。
【0023】
オプションで、システムは、視覚野と通信する処理デバイスを配置するため、および１つまたは複数の視覚刺激が被験者の少なくとも１つの目に提供されることに応答して、視覚野に送信される神経インパルスを取得するためのインタフェースをさらに備える。
【0024】
本発明の教示の一実施形態によれば、方法も提供され、方法は、処理デバイスを用いて、シーンを表すデジタル・イメージ・データを処理し、デジタル・イメージ・データを神経インパルスのシーケンスに変換することと、被験者がシーンを視覚的に認めるように、神経インパルスのシーケンスを被験者の視覚野に提供することと、を含む。
【0025】
オプションで、デジタル・イメージ・データの少なくとも一部は、デジタル・イメージ・データを格納するメモリ・デバイスまたはデジタル・イメージ・データを生成するイメージング・デバイスのうちの少なくとも１つによって、処理デバイスに提供される。
【0026】
本発明の教示の一実施形態によれば、システムも提供され、システムは、被験者の視覚野に相互接続するための処理デバイスを備え、処理デバイスは、シーンを表すデジタル・イメージ・データを処理し、デジタル・イメージ・データを神経インパルスのシーケンスに変換することと、被験者がシーンを視覚的に認めるように、神経インパルスのシーケンスを視覚野に提供することとをするように構成される。
【0027】
オプションで、システムは、イメージをキャプチャするためのイメージング・デバイスをさらに備え、デジタル・イメージ・データの少なくとも一部は、イメージング・デバイスがシーンの少なくとも１つのイメージをキャプチャすることに応答して、イメージング・デバイスによって生成される。
【0028】
本発明の教示の一実施形態によれば、環境内の被験者による視覚的認知を増やすためのビジョン・システムも提供され、ビジョン・システムは、環境のイメージをキャプチャするために配置される少なくとも１つの被験者に取り付けられたイメージング・デバイスおよび被験者の視覚野に相互接続するための処理デバイスを備え、各イメージは、環境を表すデジタル・イメージ・データを含み、処理デバイスは、デジタル・イメージ・データを処理し、デジタル・イメージ・データを神経インパルスのシーケンスに変換することと、神経インパルスのシーケンスを、視覚野に関連付けられた少なくとも１つの神経に提供し、被験者が環境を視覚的に認めるように、少なくとも１つの神経によって神経インパルスのシーケンスの送信を誘発することとをする。
【0029】
本願明細書において他に定義されない限り、本願明細書において用いられるすべての技術的および／または科学用語は、本発明が関係する当業者によって一般に理解されるのと同じ意味を有する。本願明細書において記載されているものに類似か等しい方法および材料は、本発明の実施形態の実行またはテストにおいて用いられてもよいが、例示的な方法および／または材料は後述される。コンフリクトの場合、定義を含む特許明細書は、コントロールする。加えて、材料、方法および例は、説明のためのみであり、必ずしも限定することを意図するものではない。
【0030】
本発明のいくつかの実施形態は、単なる例として、添付の図面を参照して本願明細書に記載される。図面を詳細に参照して、示される詳細が例であり、本発明の実施形態を図示しながら議論するためであるということが強調される。この点に関して、図面とともにある説明は、本発明の実施形態がどのように実践されうるかを当業者に明らかにする。
【0031】
以下、図面を参照し、類似の参照符号または文字は、対応するかまたは類似の構成要素を示す。
【図面の簡単な説明】
【0032】
【図1】本発明の一実施形態に従う、被験者の視覚野に相互接続するため、および神経インパルスをデジタル・イメージ・データにおよびその逆に変換するための処理デバイスを有し、かつ、シーンのイメージをキャプチャするためのイメージング・デバイスならびに処理デバイスおよびイメージング・デバイスに関連付けられた制御装置を有するシステムの概略図である。
【図3】本発明の一実施形態に従う例示的な処理デバイスのブロック図である。
【図5】本発明の一実施形態に従う、処理デバイスと被験者の視覚野との間を相互接続するために用いることができる電極アレイを含む例示的な有線インタフェースの概略図である。
【図6】本発明の一実施形態に従う、処理デバイスと被験者の視覚野との間を相互接続するために用いることができる例示的な無線インタフェースの概略図であり、処理デバイスに接続された送信機ユニットおよび受信機ユニットに接続された電極アレイを示す。
【図7】本発明の実施形態に従う処理デバイスが動作することができるシステム環境の概略図であり、処理デバイスから受信したデータを格納するためのメモリ、および、通信ネットワークを介して遠隔サーバとデータを交換するために処理デバイスに接続された送受信ユニットを示す。
【発明を実施するための形態】
【0033】
本発明の実施形態は、視神経によって送信される神経インパルスを表す信号を取得し、それらの信号をデジタル・イメージ・データに変換するための、かつ、デジタル・イメージ・データを対応する神経インパルスに変換し、それらの神経インパルスを送信のために視神経に提供するための方法およびシステムを提供する。
【0034】
本発明によるシステムおよび方法の原理および動作は、説明を伴う図面を参照して、より良く理解されうる。
【0035】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明が、必ずしも、その適用において、構造の詳細および構成要素の構成ならびに／あるいは以下の説明に記載されおよび／または図面および／もしくは例に示される方法に限定されるものではないことを理解されたい。本発明は、他の実施形態も可能であり、または、さまざまな方法で実施もしくは実行可能である。
【0036】
以下、図面を参照すると、図１は、本発明の一実施形態に従う、全体的に１０と示されるシステムの概略図である。全体的に言うと、システム１０は、例えば、一対の神経４６としてここで示される少なくとも１つの神経４６を介して、被験者（「ユーザ」とも称される）４０の脳４２の視覚野４３に相互接続（通信結合）するためのコンピュータ化された処理デバイス１２（以下「処理デバイス」と交換可能に称される）を含む。図示の実施形態では、処理デバイス１２は、視神経４６のうちの少なくとも１つに結合され、視神経４６は、被験者４０の目４４と脳４２との間の経路として機能する対をなす脳神経である。
【0037】
さらに詳細に後述されるように、処理デバイス１２は、神経インパルスに関連付けられた信号を受信するように動作し、神経インパルスは、イメージ情報を運び、脳４２の視覚野４３に送信される。処理デバイス１２により信号を受信するこのプロセスは、本願明細書において全体的に「神経インパルスを収集すること」と称される。神経インパルスは、典型的には、目４４から脳４２の視覚野４３への経路に沿って、目４４に提供される１つまたは複数の視覚刺激（光）に応答して、神経４６によって送信される。背景において述べられたように、視覚刺激に対応する光は、目４４内の光受容体によって検出され、視神経４６によって脳４２に送信される神経インパルスに変換され、脳４２によってサイトおよびビジョンとして解釈される。脳４２による神経インパルスのこの解釈は、本願明細書において、「視覚的認知」または「知覚」と称される。
【0038】
処理デバイス１２は、受信された信号（収集した神経インパルス）を処理するようにさらに動作し、視覚刺激の（被験者４０による）知覚を表すデジタル・イメージ・データを生成する（生ずる）。換言すれば、生成されたデジタル・イメージ・データは、目４４が視覚刺激を見るとき（すなわち視覚刺激にさらされたとき）、被験者４０が彼／彼女の目４４で見るものを表す。
【0039】
ある種の実施形態では、処理デバイス１２は、シーンを表す受信したデジタル・イメージ・データを処理し、イメージ・データを神経インパルスのシーケンスに変換し、あたかも被験者４０が彼／彼女の目４４でそのシーンを見たかのように被験者４０がシーンを視覚的に認めるように、神経インパルスを視覚野４３に提供するようにさらに動作する。ある種の実施形態では、処理デバイス１２は、神経インパルスの神経伝達を誘発することによって、神経４６を介して神経インパルスを視覚野４３に提供する。ある種の実施形態では、処理デバイス１２は、イメージ・データを、神経インパルスに対応する信号（例えば、電気信号）に変換し、変換した信号をマイクロデバイス、例えば、１つまたは複数の微小電極または微小トランスデューサに送ることによって、神経インパルスを神経４６に提供し、マイクロデバイスは、被験者４０内に（例えば、神経４６または脳４２の部分にまたはその上に）移植され、変換信号に対応する神経インパルスの送信を誘発する。
【0040】
さらに詳細に後述されるように、神経インパルスへの変換のために処理デバイス１２によって受信および処理されるイメージ・データは、処理デバイス１２に電気的に関連付けられたイメージング・デバイス（例えば、カメラ）２８によってキャプチャされるイメージ・データとすることができるか、または、処理デバイス１２に連結、接続または関連付けられたコンピュータ化されたストレージ（すなわち、メモリ）から読み出されるイメージ・データとすることができる。
【0041】
図１を引き続き参照し、視覚野４３に対する処理デバイス１２の通信結合は、処理デバイス１２を脳４２の視覚野４３と通信させる、機械－被験者インタフェースとなる構成１８（以下「インタフェース」と交換可能に称される）によって達成可能である。ある種の実施形態では、インタフェース１８は、２つのインタフェース部、すなわち、第１のインタフェース部１８ａおよび第２のインタフェース部１８ｂを含むことができる。電子部品とのインタフェース部１８ａとも称される第１のインタフェース部１８ａは、処理デバイス１２に接続される。被験者とのインタフェース部１８ｂとも称される第２のインタフェース部１８ｂは、脳４２の視覚野４３に接続可能または結合可能である。２つの部分１８ａ、１８ｂは、連結部２０を介して相互接続され、ある種の実施形態では、連結部２０は、２つの部分１８ａ、１８ｂの間に有線接続を提供することができ、他の実施形態では、連結部２０は、２つの部分１８ａ、１８ｂの間に無線接続を提供することができる。
【0042】
処理デバイス１２を視覚野４３に通信結合するのを達成するためのさまざまな配置構成が本願明細書において考察され、これらの配置構成のいくつかは、以下に詳述される。本願明細書において記載されている配置構成は、侵襲的技術または半侵襲的技術を使用可能な外科移植のいくつかのタイプを必要とする。例えば、侵襲的技術は、被験者の頭蓋骨を通して被験者の視神経および／または視覚野に外科的にアクセスすることによる（すなわち、頭蓋骨を外科的に開くことによる）移植を含むことができる。脳、特に視覚野および視神経に対して行われる手術は、長年にわたって一般的になり、訓練された人間の外科医および／またはロボットの外科医（例えば、米国サンフランシスコのＮｅｕｒａｌｉｎｋ Ｃｏｒｐｏｒａｔｉｏｎにより用いられる）が必要な移植を実行することができると言われている。半侵襲的技術は、例えば、蝶形骨洞を介して鼻腔を通り視神経または視交叉にアクセスする移植を含むことができる。いくつかの配置構成を記載する前に、本願明細書において記載されている配置構成が単に例示的であり、処理デバイス１２のための考えられる配置オプションの非包括的なサブセットのみを表すことに留意されたい。当業者にとって明らかであるように、他の配置オプションが可能でもよい。
【0043】
特定の非限定的な実施形態に従う一例の配置構成において、処理デバイス１２は、インタフェース１８を介して視神経４６をタップすることによって、視神経４６と通信する。この種の配置構成において、被験者とのインタフェース部１８ｂは、視神経４６のセグメント（セクション、部分）にまたはその上に外科的に移植可能であり、それは、特定の非限定的な実施態様では、最初に、視神経４６を外科的に切断し、視神経４６の切断端を生じ、次に、被験者とのインタフェース部１８ｂを切断端に接続することによって達成可能である。この種の配置構成において、処理デバイス１２は、好ましくは、被験者４０の脳４２の外部にあるままである。処理デバイス１２が被験者４０の外部にあるとき、被験者とのインタフェース部１８ｂは、被験者とのインタフェース部１８ｂと接続する連結部２０の全部または連結部２０のセグメントとともに、視神経４６にまたはその上に外科的に移植される。被験者とのインタフェース部１８ｂに接続される連結部２０のセグメントのみが外科的に移植されるならば、電子部品とのインタフェース部１８ａに接続される連結部２０の残りのセグメントは、被験者４０の外部にある。好ましくは、視交叉４８である視神経４６のセグメントにまたはその上に被験者とのインタフェース部１８ｂが外科的に移植され、視交叉４８は、視神経４６が互いに交差する脳４２の部分である。
【0044】
他の例の配置構成において、処理デバイス１２は、被験者の外部に配置され、被験者とのインタフェース部１８ｂは、被験者とのインタフェース部１８ｂを接続する連結部２０の全部または連結部２０のセグメントとともに、視覚野４３にまたはその上に外科的に移植される。被験者とのインタフェース部１８ｂに接続される連結部２０のセグメントのみが外科的に移植されるならば、電子部品とのインタフェース部１８ａに接続される連結部２０の残りのセグメントは、被験者４０の外部にある。この種の一例の配置構成は、図１において概略的に示される。
【0045】
特定の非限定的な実施形態に従うさらに他の例の配置構成では、処理デバイス１２自体は、インタフェース１８の全部とともに、視覚野４３にまたはその上に外科的に移植可能である。非限定的な実施形態に従う他の例の配置構成では、処理デバイス１２は、視神経４６のセグメントにまたはその上に外科的に移植される。図２は、この種の配置構成を概略的に示す。ここで、外科移植は、例えば、最初に、視神経４６を外科的に切断し、視神経４６の切断端５０ａ、５０ｂを生じ、次に、外科的切断を見て処理デバイス１２を配置し、インタフェース１８を介して視神経４６の切断端５０ａ、５０ｂを処理デバイス１２に接続することによって達成可能である。この種の配置構成では、必然的ではないが好ましくは視交叉４８である視神経４６のセグメントにまたはその上に処理デバイス１２が移植され、それによって、視神経４６は、視交叉４８で外科的に切断され（切断端５０ａ、５０ｂを生じる）。処理デバイス１２またはインタフェース１８が視神経４６で外科的に移植される実施形態では、処理デバイス１２が相互接続される切断端５０ａ、５０ｂが同じ神経に対応することを確実にするために注意すべきであることに留意されたい。
【0046】
上述したように、１つまたは複数の視覚刺激が被験者４０の目４４の一方または両方に提供されることに応答して、処理デバイス１２は、神経４６の１つまたは複数によって送信される神経インパルスに対応する受信された信号を処理するように機能する。受信された信号は、神経インパルス自体とすることができるか、または、例えば、処理デバイス１２に関連付けられた微小電極または微小トランスデューサを有するいくつかのマイクロデバイスによる神経インパルスの測定またはサンプリングに応答して生じる（すなわち、生成される）信号とすることができる。処理デバイス１２は、１つまたは複数のマッピング機能を信号に適用することによって、信号（収集した神経インパルス）を処理する。マッピング機能は、神経インパルスとデジタル・イメージ・データとの間をマップし、すなわち、神経インパルスからデジタル・イメージ・データまでの変換およびその逆を提供するので、（神経インパルスを表す）受信された信号は、処理デバイス１２によるマッピング機能の適用の結果として、デジタル・イメージ・データに変換される（変えられる）。神経インパルスをデジタル・イメージ・データにマッピングする機能は、好ましくは１対１のマッピングであり、以下「インパルス・イメージ・マッピング」と交換可能に称される。１対１のマッピングは、単一の神経インパルス信号が単一のイメージ・データ信号にマップすることおよびその逆を意味する。インパルス・イメージ・マッピング機能を生成するためのさまざまな例の方法は、本開示の次のセクションで詳述される。
【0047】
図１および図２を引き続き参照し、また、本発明の非限定的な実施形態に従って、処理デバイス１２の一例のブロック図を示す図３も参照する。処理デバイス１２は、コンピュータ化された記憶媒体１６、例えば、コンピュータ化されたメモリなどに結合された１つまたは複数のプロセッサ１４を含む。１つまたは複数のプロセッサ１４は、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ロジック・アレイ（ＦＰＬＡ）などを含むがこれらに限定されない任意の数のコンピュータ化されたプロセッサとして実施可能である。マイクロプロセッサの実施態様において、マイクロプロセッサは、例えば、従来のプロセッサ、例えば、サーバ、コンピュータおよび他のコンピュータ化されたデバイスにおいて用いられるプロセッサとすることができる。例えば、マイクロプロセッサは、ＡＭＤおよびインテルのｘ８６プロセッサ、インテルのＸｅｏｎ（登録商標）およびＰｅｎｔｉｕｍ（登録商標）プロセッサならびにこれらの任意の組み合わせを含んでもよい。量子コンピュータ・プロセッサとしての１つまたは複数のプロセッサ１４の実施態様もまた、本願明細書において考察される。上述したコンピュータ化されたプロセッサは、コンピュータ化されたプロセッサによって実行されるとき、コンピュータ化されたプロセッサにアクションを実行させるプログラム・コードまたは命令セットを格納するコンピュータ可読媒体を含むか、または、コンピュータ可読媒体と電子通信してもよい。コンピュータ可読媒体のタイプは、コンピュータ化されたプロセッサにコンピュータ可読命令を提供することができる電子的、光学的、磁気的、または、他のストレージもしくは送信デバイスを含むが、これらに限定されるものではない。１つまたは複数のプロセッサ１４の上述した実施態様が、例示的な実施態様の非包括的なリストを表すことに留意されたい。処理デバイスの他の実施態様が本願明細書において考察され、例えば、生物学的コンピューティング技術を含む、本願明細書において記載されていないかまたは完全にはまだ開発されていない処理技術が、本願明細書において述べられる処理デバイスのいずれかを実施するのに適していてもよいことは当業者にとって明らかである。
【0048】
ストレージ／メモリ１６は、任意の従来の記憶媒体とすることができ、説明の目的のために単一の構成要素として示されるが、複数の構成要素でもよい。ストレージ／メモリ１６は、例えば、１つまたは複数の揮発性または不揮発性メモリ、フラッシュ・メモリ、読み取り専用メモリ、ランダム・アクセス・メモリなどまたはそれらの任意の組み合わせを含み、さまざまな方法で実施可能である。ある種の実施形態では、ストレージ／メモリ１６は、インパルス・イメージ・マッピングを格納および維持するための１つまたは複数の構成要素および１つまたは複数のプロセッサ１６によって実行可能な機械実行可能な命令を格納するように構成される少なくとも１つの構成要素を含むことができる。
【0049】
ある種の実施形態では、処理デバイス１２は、１つまたは複数のルールまたはハンドリング基準に従って、生成されたイメージ・データ（インパルス・イメージ・マッピングの適用を介して神経インパルスを処理することによって処理デバイス１２によって生成されるイメージ・データを含む）に対する少なくとも１つの動作を実行するようにさらに動作する。例えば、処理デバイス１２は、データ・ストレージ・ルールまたは基準のセットに従って、生成されたイメージ・データに対して動作するように構成可能であり、処理デバイス１２は、生成されたデジタル・イメージ・データの一部または全部を、処理デバイス１２に関連付けられた１つまたは複数のコンピュータ化されたストレージ／メモリ・デバイスに送る。この種の関連付けられたストレージ／メモリ・デバイスは、例えば、ストレージ／メモリ１６または処理デバイス１２に連結もしくは接続された他のストレージ／メモリ・デバイス、例えば、外部ストレージ／メモリ３２またはメモリ（図７）を有するサーバ・システム３４を含むことができる。
【0050】
処理デバイス１２が、生成されたイメージ・データの一部または全部をサーバ・システム３４に送る実施形態において、サーバ・システムは、遠隔サーバ・システムでもよく、それによって、処理デバイス１２は、（１つまたは複数の通信ネットワーク、例えば、携帯電話ネットワーク、ローカル・エリア・ネットワーク、インターネットなどとすることができる）通信ネットワーク３６を介してサーバ・システム３４にイメージ・データを送る。この種の実施形態では、処理デバイス１２は、トランシーバ（Ｔｘ／Ｒｘ）ユニット３０に連結可能であり、トランシーバ（Ｔｘ／Ｒｘ）ユニット３０は、ネットワーク３６に／からデータを送信／受信する（すなわち、データを交換する）ための通信／ネットワーク・インタフェースを提供する。
【0051】
他の非限定的な例において、処理デバイス１２は、データ修正または操作ルールまたは基準のセットに従って、生成されたイメージ・データに対して動作するように構成可能である。例えば、処理デバイス１２は、イメージ・データの特定のセグメント（例えば、画素）を削除することによって、ならびに／あるいは、イメージ・データの特定の要素を変更する、例えば、イメージ・データ内の画素値を変更し、イメージ・データの色、コントラスト、形状または他の特徴の１つまたは複数を修正することによって、および／または、生成されたイメージ・データに追加のイメージ・データを追加することでもしくは追加のイメージ・データを組み込むことでイメージ・データを増やすことによって、生成されたイメージ・データを修正することができる。修正されたイメージ・データはまた、メモリ（例えば、ストレージ／メモリ１６および／または外部ストレージ／メモリ３２および／またはサーバ・システム３４）内に格納可能である。
【0052】
ある種の実施形態では、処理デバイス１２は、デジタル・イメージ・データを、神経４６によって送信される神経インパルス（または神経インパルスを表す電気信号）に変換するようにさらに動作する。イメージ・データを神経インパルスに変換することは、上述したインパルス・イメージ・マッピング機能を適用することによって達成される。神経インパルスに変換されるイメージ・データは、例えば、ｉ）外部ソース、例えば、イメージ・データを生成するイメージング・デバイスまたはイメージ・データを格納するメモリから取得されたイメージ・データ、ｉｉ）収集した神経インパルスから生成されるイメージ・データ、ｉｉｉ）上述した処理デバイス１２によって適用される修正からの修正されたイメージ・データ結果、あるいは、ｉｖ）ｉ）、ｉｉ）およびｉｉｉ）のいくつかの組み合わせとすることができる。
【0053】
処理デバイス１２に提供されるイメージ・データは、例えば、ＪＰＧ、ＰＮＧ、ＧＩＦ、ＴＩＦ、ＡＶＩ、ＭＰＥＧなどを含む任意の適切なイメージまたはビデオ・フォーマットまたは標準とすることができる。さらに、イメージ・データは、例えば、ＲＴＳＰ、ＴＣＰ、ＵＤＰなどを含む任意の適切なイメージ／ビデオ送信フォーマットまたは標準を用いて、ならびに無線データ送信標準、例えば、携帯電話標準（例えば、３Ｇ、４Ｇ／ＬＴＥ、５Ｇなど）、無線通信標準（例えば、Ｗｉ－Ｆｉ、ブルートゥースなど）などおよび有線通信標準を含むデータ送信のための他の任意の一般に用いられる標準を用いて、処理デバイス１２に送信または送ることができる。
【0054】
他の非限定的な例において、処理デバイス１２は、ディスプレイ・ルールまたは基準のセットに従って、生成されたイメージ・データに対して動作するように構成可能である。例えば、処理デバイス１２は、生成されたデジタル・イメージ・データを、処理デバイス１２に接続または連結されたディスプレイ・デバイスに提供するように構成可能であるので、ディスプレイ・デバイスは、デジタル・イメージ・データによって表されるイメージまたはビデオを表示する。処理デバイス１２は、任意の適切なイメージ／ビデオ送信フォーマットもしくは標準、または、上述したフォーマットおよび標準のいずれかを含む、データ送信のための任意の一般に用いられる標準を用いて、この種のディスプレイ・デバイスにデジタル・イメージ・データを送信または送ることができる。
【0055】
図１および図２において示される例示的な実施形態では、システム１０は、シーンのイメージ（ビデオを含むことができる）をキャプチャするように動作するイメージング・デバイス２８（本願明細書においてカメラ２８と交換可能に称される）をさらに含む。ある種の実施形態では、イメージング・デバイス２８を被験者４０の生体工学的／電子工学的な目として用いて、被験者４０がイメージング・デバイス２８によってキャプチャされるシーンを見ることができるか、または、イメージング・デバイス２８によってキャプチャされるシーン・イメージによって環境を被験者が自然に見るのを増強することができる。イメージング・デバイス２８は、キャプチャしたイメージをイメージ・データとして処理デバイス１２に送るようにさらに動作する。イメージング・デバイス２８によってキャプチャされるイメージのイメージ・データは、上述した標準のいずれかを含む任意の適切なイメージまたはビデオ・フォーマットまたは標準で提供可能である。さらに、イメージング・デバイス２８は、任意の適切なイメージ／ビデオ送信フォーマットまたは標準あるいは、上述したフォーマットおよび標準のいずれかを含む、データ送信のための任意の一般に用いられる標準を用いて、処理デバイス１２にキャプチャしたイメージ／ビデオを送信することができる。
【0056】
図１から図３を引き続き参照し、また、イメージング・デバイス２８の非限定的な配置構成を示す図４も参照する。ここで、イメージング・デバイス２８は、シーン５２を含む環境内に位置決めされる被験者４０に取り付けられる。イメージング・デバイス２８によって撮像される環境のシーンまたはセクションがイメージング・デバイス２８の視野（ＦＯＶ）内にあるように、イメージング・デバイス２８は、被験者４０に取り付けられる。図４において示される例の配置構成において、イメージング・デバイス２８は、被験者４０の前のシーンのイメージをキャプチャするように、前面カメラとして、例えば、ストラップまたはバンド５４を介して被験者４０の頭に取り付けられる。しかしながら、イメージング・デバイス２８は、他の方法で、例えば、被験者の後ろのシーンのイメージをキャプチャするために配置される後面カメラとして配置可能である。さらに、イメージング・デバイス２８は、非ヘッドマウント式デバイスとして、例えば、被験者によって持ち運ばれるか、または、被験者の体の他の部分、例えば、胴の部分（胸部、胴中、ウエスト）、腕、脚などに取り付けられるものとして配置可能である。
【0057】
単一のデバイスとして示されるが、イメージング・デバイス２８は、複数のカメラを含むことができ、各カメラは、シーンの同じ領域またはシーンの異なる領域を撮像するために配置される。例えば、１つのカメラは、シーンの第１の領域のイメージをキャプチャするために配置可能であり、他のカメラは、第１の領域と異なるシーンの第２の領域のイメージをキャプチャするために配置可能である。例えば、１つのカメラは、被験者の前のシーンの領域を撮像する前面カメラとして配置可能であり、他のカメラは、被験者の後ろのシーンの領域を撮像する後面カメラとして配置可能である。他の例では、両方のカメラは、シーンの同じ領域または重なる領域のイメージをキャプチャするために配置可能であり、例えば、同じＦＯＶまたは重なるＦＯＶを有する一対の前面カメラが配置可能であるか、または、同じＦＯＶまたは重なるＦＯＶを有する一対の後面カメラが配置可能である。
【0058】
他の配置構成において、イメージング・デバイス２８は、被験者４０から離れていることができ、例えば、被験者４０は、第１の地理的な位置の環境内に位置決め可能であり、イメージング・デバイス２８は、第１の地理的な位置から離れた第２の地理的な位置に位置することができる。この種の構成において、イメージング・デバイス２８は、好ましくは、イメージング・デバイス２８によってキャプチャされたイメージ・データを、１つまたは複数の通信ネットワークを介して処理デバイス１２に接続されたトランシーバ（例えば、図７のＴｘ／Ｒｘユニット３０）に送信するように動作するトランシーバデバイスを含むかまたはトランシーバデバイスに接続されている。
【0059】
ある種の実施形態では、イメージング・デバイス２８は、処理デバイス１２とともに用いられ、電子工学的な目を被験者に提供することができる。イメージング・デバイス２８が（被験者が目を開けて見るであろうものと同じシーンとすることができるか、または、異なるシーンとすることができる）シーンからイメージをキャプチャする間、被験者は、自分の目を閉じたまま保つことができる。イメージング・デバイス２８によってキャプチャされるイメージは、イメージ・データとして処理デバイス１２に送られ、処理デバイス１２は、インパルス・イメージ・マッピングを用いて、イメージ・データを神経インパルス信号に変換する。処理デバイス１２は、次に、視神経４６を介して神経インパルスを脳４２に送信し、あたかも被験者が開いた目でそのシーンを見ているかのように、被験者がカメラ２８によってキャプチャされたイメージを視覚的に認めるようなサイト／ビジョンとして、脳４２は、受信した神経インパルスを解釈する。他の実施形態では、処理デバイス１２に関連付けられたメモリ（例えば、ストレージ／メモリ１６および／または外部ストレージ／メモリ３２および／またはサーバ・システム３４）内に格納されるデジタル・イメージ・データは、処理デバイス１２にアップロード可能である。処理デバイス１２は、インパルス・イメージ・マッピングを用いて、アップロードされたイメージ・データを処理し、イメージ・データを神経インパルスに変換することができる。次に、処理デバイス１２は、神経インパルスを脳４２に送信するので、神経インパルスは、脳４２によってサイト／ビジョンと解釈可能である。例えば、一連のイメージ、例えば、映画は、この種のメモリ内に格納し、被験者にアップロード／ストリーミングすることができる。
【0060】
本発明のある種の実施形態によれば、システム１０を用いて、１つ（または複数の）シーン・イメージを１つまたは複数の追加のイメージと融合することによって、複合現実経験を被験者４０に提供することができる。非限定的な例の１つのセットにおいて、被験者４０が彼／彼女の目４４で現実世界のシーンを見るとき、融合を実行することができる。第１の例において、融合は、処理デバイス１２を用いて達成され、現実世界のシーンを見ることに応答して被験者４０によって生成される神経インパルスをデジタル・イメージ・データに変換することができる。次に、処理デバイス１２は、シーンのイメージをキャプチャするとき、カメラ２８によって生成されるイメージ・データの部分を含むようにデジタル・イメージ・データを修正することができる。次に、処理デバイス１２は、修正したイメージ・データを神経インパルスに変換し、それらの神経インパルスを視覚野に提供することができるので、被験者は、見たシーンおよびカメライメージの部分を単一のイメージとして認める。第２の例において、融合は、処理デバイス１２を用いて達成され、（例えば、カメラ２８またはコンピュータ・メモリ・デバイスから取得された）デジタル・イメージ・データを神経インパルス（または神経インパルスを表す電気信号）に変換し、それらの神経インパルスを視神経４６に提供することができるので、神経インパルスは、脳４２の視覚野４３に送信される。次に、脳４２は、（処理デバイス１２によって生成される神経インパルスによってもたらされる）イメージ情報と（現実世界のシーンを見ることに応答して被験者４０によって生成される神経インパルスによってもたらされる）イメージ情報とを単一のイメージとして結合する。
【0061】
他の非限定的な例において、カメラ２８を用いて、シーンのイメージをキャプチャすることができ、処理デバイス１２は、異なるイメージを表す追加のイメージ・データを含むように、（カメラ２８によって生成される）イメージ・データを修正することができる。処理デバイス１２は、この修正したイメージと（現実世界のシーンを見ることに応答して被験者４０によって生成される）神経インパルスから生成されるイメージ・データとを結合し、次に、結合したイメージ・データを神経インパルスに変換し、それらの神経インパルスを（例えば、視神経４６を介して）脳４２に提供することができ、脳４２は、（シーン・イメージおよび異なるイメージに対応するイメージ情報をもたらす）神経インパルスを単一のイメージと解釈する。
【0062】
補足的に、処理デバイス１２によってデジタル・イメージ・データから変換される神経インパルスが、被験者が対応するイメージ・データを認めることができるように、適切な速度で被験者の視覚野に提供されなければならないことに本願明細書において留意されたい。具体的には、神経インパルスがあまりに高速で視覚野に提供される場合、被験者は、対応するイメージを認めることができない（すなわち、イメージは、被験者が気付くのにあまりに高速に変化するので、被験者を混乱させうる）。同様に、神経インパルスがあまりに低速で視覚野に提供される場合、被験者は、被験者が彼／彼女の目で見ている現実世界のシーンにもはや関連しない対応するイメージを認めるかもしれない。したがって、処理デバイス１２は、好ましくは、任意のこの種の神経インパルスが視覚野４３に提供されるタイミングを制御し、被験者が対応するイメージを適切に認めることができることを確実にする。何人かのユーザは、他のユーザより高速または低速でイメージを認めることがありうるかもしれないので、（イメージ・データから変換された）神経インパルスが視覚野に提供される速度は、ユーザ（すなわち、被験者）に特有でもよい。したがって、神経インパルスが視覚野に提供されるタイミング（速度）の制御は、好ましくは、システム１０のユーザによって調節可能である。
【0063】
上述した電子工学的な目および／または複合現実の実施形態では、処理デバイス１２は、神経インパルスをデジタル・イメージ・データに変換し、１つまたは複数のルールまたは基準に従って、デジタル・イメージ・データに対する少なくとも１つの動作を実行するようにさらに動作してもよい。上述したのと同様に、例えば、処理デバイス１２は、データ・ストレージ・ルールまたは基準のセットに従って、デジタル・イメージ・データに対して動作するように構成可能であり、および／あるいは、データ修正または操作ルールまたは基準のセットに従って、デジタル・イメージ・データに対して動作するように構成される。
【0064】
処理デバイス１２が、被験者の神経４６から神経インパルス（およびそれらを表す電気信号）を取得するために、ならびに、（デジタル・イメージ・データから変換された）神経インパルスを神経４６に提供し、提供された神経インパルスの（神経４６による）送信を誘発するために、さまざまな技術を使用することができることに本願明細書において留意されたい。この種の技術は、典型的には、神経インパルスを測定（受信）し、それに応答して電気信号を生じるために、および／または、電気信号によって神経４６を刺激し、対応する神経インパルスの送信を誘発するために、マイクロデバイス、例えば、微小電極または微小トランスデューサを使用することに依存してもよい。さまざまなエンティティは、移植もしくは他の侵襲的または半侵襲的手段を介して、コンピュータ処理デバイスを、脳、組織および神経に接続および相互接続することに関する研究、開発および実験を行った。この種の研究の一例は、「ＣＯＮＮＥＣＴ－Ｄｅｖｅｌｏｐｉｎｇ ｎｅｒｖｏｕｓ ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ」というタイトルの、２０１９年にルクセンブルク大学による刊行物において見つけることができ（ｈｔｔｐｓ：／／ｗｗｗｆｒ．ｕｎｉ．ｌｕ／ｌｃｓｂ／ｒｅｓｅａｒｃｈ／ｄｅｖｅｌｏｐｍｅｎｔａｌ＿ａｎｄ＿ｃｅｌｌｕｌａｒ＿ｂｉｏｌｏｇｙ／ｎｅｗｓ／ｃｏｎｎｅｃｔ＿ｄｅｖｅｌｏｐｉｎｇ＿ｎｅｒｖｏｕｓ＿ｓｙｓｔｅｍ＿ｏｎ＿ａ＿ｃｈｉｐにおいて入手可能）、この刊行物には、個々の神経系の構成要素を培養し、構成要素をマイクロ流体チップ（集積回路）内で接続することが記載されている。
【0065】
ブレイン・マシン・インタフェースの分野の研究および実験の例は、「Ｂｒａｉｎ－Ｃｈｉｐ Ｉｎｔｅｒｆａｃｅｓ：Ｔｈｅ Ｐｒｅｓｅｎｔ ａｎｄ Ｔｈｅ Ｆｕｔｕｒｅ」というタイトルの、２０１１年にＰｒｏｃｅｄｉａ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅに公開された、イタリアのパドヴァ大学のＮｅｕｒｏＣｈｉｐ ＬａｂｏｒａｔｏｒｙのＳｔｅｆａｎｏ Ｖａｓｓａｎｅｌｌｉによる論文に記載されている。一例では、コンピュータ化された処理デバイスは、金属微小電極または酸化物絶縁電気微小トランスデューサ（例えば、電解質－酸化物－半導体電界効果トランジスタ（ＥＯＳＦＥＴ）または電解質－酸化物－半導体－キャパシタ（ＥＯＳＣ））によりニューロンに相互接続し、ニューロン電気的活動を記録（すなわち、測定）または刺激する。他の例では、個々のニューロンからの大規模な高分解能記録（すなわち、測定値）は、大きいマルチ・トランジスタ・アレイ（ＭＴＡ）を用いたマイクロチップを使用するかまたこれに結合される処理デバイスを用いて取得される。さらに他の例では、大きいＭＴＡを用いたマイクロチップは、脳組織に接触するようにＭＴＡを配置することによって生体外で細胞に相互接続するように用いられ、神経インパルスに対応する信号は、一例では、局所電場電位（ＬＦＰ）の形である。
【0066】
ブレイン・マシン・インタフェース・デバイスの例は、米国サンフランシスコのＮｅｕｒａｌｉｎｋ Ｃｏｒｐｏｒａｔｉｏｎによって開発されるＮｅｕｒａｌｉｎｋデバイスである。Ｎｅｕｒａｌｉｎｋデバイスは、微小電極を介してニューロンから取得された情報をデジタル化するＡＳＩＣを含む。
【0067】
上記を念頭に置き、以下の段落は、本発明の非限定的な例の実施形態に従って、マシン・ブレイン・インタフェースを提供するために、処理デバイス１２を被験者４０に接続／相互接続するために用いることができるインタフェース１８の高レベルな説明を提供する。
【0068】
図１から図４を引き続き参照し、また、本発明の非限定的な実施形態に従ってインタフェース１８の概略図を示す図５も参照する。ここで、被験者とのインタフェース部１８ｂは、複数の電極２３を有する電極アレイ２２を含み、電極アレイ２２は、視神経４６にまたはその上に（例えば、視交叉４８にまたはその上に）配置される。電極２３は、好ましくは、微小電極、例えば、ＥＯＳＦＥＴまたはＥＯＳＣである。処理デバイス１２が神経インパルスをデジタル・イメージ・データに変換するように動作する実施形態において、電極アレイ２２は、視神経４６によって送信される神経インパルスを測定し、（測定値に応答して）神経インパルスに関連付けられ（かつ神経インパルスを表す）電気信号を生じ、それらの信号を処理デバイス１２に提供し、処理デバイスが神経インパルスを収集し、神経インパルスに対応する（すなわち、神経インパルスを表す）電気信号を処理することを可能にするように動作する。図示の実施形態では、連結部２０は、電気信号が処理デバイス１２に伝播可能な物理的送信媒体を提供するワイヤまたはケーブルとして実施可能である。ある種の実施形態では、インタフェース１８は、電極アレイ２２の代わりにまたは電極アレイ２２に加えて、被験者とのインタフェース部１８ｂの一部として、トランスデューサ（好ましくは、上述したような微小トランスデューサ）を使用することができる。トランスデューサは、神経インパルスをデジタル・イメージ・データに変換するために処理デバイス１２とともに使用可能である。例えば、トランスデューサは、視神経４６によって送信される神経インパルスを受信（測定）することに応答して、電気信号を生成することができる。生成された電気信号は、神経インパルスに対応し（すなわち、神経インパルスを表し）、インパルス・イメージ・マッピングを用いて、処理のために処理デバイス１２に提供される。
【0069】
処理デバイス１２がイメージ・データを神経インパルスに変換し、視神経４６を介して神経インパルスを脳４２に送信し、神経インパルスが脳４２によってサイト／ビジョンと解釈される実施形態において、神経インパルスの送信は、マイクロデバイス、例えば、電極アレイ２２（またはトランスデューサ）によって、視神経４６の１つまたは複数のニューロンの刺激によって達成可能である。全体的に言うと、この種の実施形態では、処理デバイス１２は、（インパルス・イメージ・マッピングを用いて）イメージ・データを、神経４６によって送信される神経インパルス（または神経インパルスを表す電気信号）に変換することができる。次に、処理デバイス１２は、神経インパルスを神経４６に提供し、神経インパルスの神経伝達を誘発する（または、電気インパルスを神経４６へ提供し、電気インパルスによって表される神経インパルスの神経伝達を誘発する）。ある種の実施形態では、神経伝達を誘発することは、電気信号を電極アレイ２２（またはトランスデューサ）に提供する処理デバイス１２によって達成可能であり、これは、電気信号に従って視神経４６のニューロンを刺激し、対応する神経インパルスの送信を誘発する。
【0070】
図６は、電気信号を、ここでは電極アレイ２２として表されるマイクロデバイスに提供するために無線信号送信を使用する他の実施形態を示す。ここで、処理デバイス１２は、ワイヤまたはケーブル２５を介して送信機（Ｔｘ）ユニット２４に接続され、電極アレイ２２は、ワイヤまたはケーブル２７を介して受信機（Ｒｘ）ユニット２６に接続されている。Ｔｘユニット２４は、処理デバイス１２によって生じる電気信号を、無線インタフェースを介してＲｘユニット２６に送信するための送信機回路および構成要素（例えば、信号送信電子部品、１つまたは複数のアンテナなど）を含む。Ｒｘユニット２６は、電気信号を受信し、受信された信号を電極アレイ２２に提供する１つまたは複数のアンテナを含み、受信された信号は、神経４６を刺激し、電気信号に対応する神経インパルスを送信するように神経４６を誘発する。
【0071】
ある種の実施形態において、インタフェース構成１８は、複数のインタフェースを含むことができる。例えば、第１のインタフェースを用いて、イメージ・データを神経インパルスに変換するのを達成することができる。第１のインタフェースは、（例えば、図５に示すような）有線接続または（例えば、図６に示すような）無線接続を介して、処理デバイス１２に接続または連結された電極アレイ２２または微小トランスデューサ（例えば、ＥＯＳＣとして実施される）を使用することができる。第２のインタフェースを用いて、神経インパルスをイメージ・データに変換するのを達成することができる。第２のインタフェースは、（例えば、図５に示すような）有線接続を介して処理デバイス１２に接続または連結された電極アレイ２２および／または微小トランスデューサ（例えば、ＥＯＳＦＥＴとして実施される）を使用することができる。
【0072】
以下の段落は、インパルス・イメージ・マッピング機能を生成するためのさまざまな方法および技術ならびにマッピング機能を適用するための例示的なプロセスを記載する。インパルス・イメージ・マッピングを使用することによって、本発明の実施形態に従うシステム１０は、目４４によって認められるイメージ（すなわち、ビジョン）をデジタル・イメージ・データに変換することができ、（コンピュータ・イメージ、イメージ・センサ、カメラなどから取得される）デジタル・イメージ・データを、脳に送られて、視覚的認知を誘発および／またはビジョンを増やすことができる神経インパルスに変換することができる。
【0073】
ある種の実施形態によれば、インパルス・イメージ・マッピングの生成は、機械学習（ＭＬ）またはニューラル・ネットワーク（ＮＮ）アルゴリズムによって支援可能である。例えば、処理デバイス１２は、１つまたは複数のＭＬまたはＮＮアルゴリズムを使用し、（目４４に提供される視覚刺激に応答して）神経インパルスの信号フォーマットを学習し、神経インパルス・フォーマットと処理デバイス１２に関連付けられたメモリ内に格納されるデジタル・イメージとを比較することによって、マッピングを決定することができる。ある種の実施形態では、格納されたデジタル・イメージは、イメージング・デバイス２８によって生成可能である。
【0074】
インパルス・イメージ・マッピングを生成するための１つの非限定的な一例のプロセスの一部として、サンプル・ピクチャ／イメージは、視覚刺激として目４４の前に位置決め可能であるので、サンプルからの光は、目４４によって収集され（キャプチャされ）、処理デバイス１２は、被験者がサンプルを見ることに応答して、目４４から脳４２まで（視神経４６に沿って）送信される神経インパルスを収集する。同じサンプルを表すイメージ・データを有するデジタル・イメージはまた、処理デバイス１２に関連付けられたメモリ（例えば、ストレージ／メモリ１６）内に格納可能である。デジタル・イメージは、例えば、イメージング・デバイス２８によって生成可能である。デジタル・イメージの解像度は、好ましくは、標準解像度、例えば、１９２０画素×１０８０画素、１２８０画素×９６０画素、８００画素×６００画素などに従う。その後、例えば、サンプル・イメージの単一の画素を変更することによって、サンプル・イメージに対して小さい変更を行い、新しいサンプル・イメージを生じることができる。次に、新しいサンプル・イメージは、目４４の前に配置され、処理デバイス１２は、新しいサンプル・イメージを見ることに応答して目４４から脳４２まで送られる神経インパルスを収集する。新しいサンプル・イメージのデジタル・バージョン、すなわち、新しいサンプルを表すデジタル・イメージ・データを有するデジタル・イメージはまた、好ましくは、処理デバイス１２に関連付けられたメモリ（例えば、ストレージ／メモリ１６）内に格納される。新しいサンプル・イメージのデジタル・バージョンは、元のデジタル・イメージ内の画素に変更を適用する処理デバイス１２によって生成可能である。このプロセスは、サンプル・イメージに逐次より大きな変更をもたらすこと（例えば、２画素を変更し、次に５画素を変更し、次に１０画素を変更するなど）によって継続可能である。各々の変更された画素のために、（以前のサンプルと比較して）目４４からの神経インパルスの変更は、新しいデジタル・イメージ・データと以前のデジタル・イメージ・データとの間の変更と比較される。目４４からの各神経インパルスが対応するイメージ画素に１対１の方法で整合することができるまで、このプロセスは、いくつかの異なるサンプル・イメージを用いて継続することができる。各神経インパルスと対応するイメージ画素との間のこの整合は、神経インパルスとイメージとの間のマッピング（すなわち、インパルス・イメージ・マッピング）を構成する。
【0075】
ある種の実施形態では、マッピング機能は、神経インパルス対イメージおよびイメージ対神経インパルスの変換パラメータを維持する構成表として、または、それとともに格納される。構成表は、色、強度、位置および神経インパルス符合化値を含む、イメージ属性／特徴のすべてを含む。表のサイズは、イメージの解像度に従ってもよいので、各画素（または画素のグループ）のために、その画素（または画素のグループ）のイメージ・データは、色、強度、位置および神経インパルス・コードのための対応する値を有する。
【0076】
マッピングを生成するためのプロセスの好適であるが非限定的な実施態様において、デジタル・イメージのアンカー点または領域は、最初に処理される。アンカー点は、デジタル・イメージの四隅の各々の画素（または典型的には少なくとも４画素から成る画素のグループ）ならびにデジタル・イメージの各エッジの中心の画素（または画素のグループ）（すなわち、上、下、左および右）を含み、結果として８つのアンカー点を生ずる。（アンカー点の決定された位置に基づいて）サンプル・ピクチャ内の対応するアンカー点が目４４によって見られるとき、８画素の各々の色および強度は、対応する神経インパルスに相関する。画素のグループが用いられるとき、各グループの画素の平均の色および強度が計算され、画素グループの色および強度として設定される。
【0077】
画素のための色および強度値は、登録された対応する神経インパルスの値とともに、表に格納される。次に、アンカー点のための画素値の一部または全部は、変更され、目４４に表示されるサンプル・イメージは、対応して変更され、サンプル・ピクチャ内の対応するアンカー点が目４４によって見られるとき、８画素の各々の色および強度は、対応する神経インパルスに相関する。アンカー点の画素（個々の画素または画素のグループ）と対応する神経インパルスとの間の相関が検証されるまで、このプロセスは、数回繰り返し可能である。次に、マッピング機能生成プロセスは、非アンカー画素である、選択された画素または画素のグループの色および強度値を変更するまで進行することができる。変更は、選択された画素のための色および強度値のシーケンスを含むことができる特定の所定のシーケンス、および次に選択された画素のシーケンスに従って行うことができる。このようにして、すべての画素にわたり色／強度値のすべての組み合わせが実施され、対応する神経インパルスが（表に）記録／格納されるまで、画素または画素のグループは、（画素選択シーケンスに従って）選択され、１つまたは複数の選択された画素の色および強度値は、色／強度シーケンスに従って変更され、次に、他の画素または画素のグループは、（画素選択シーケンスに従って）選択され、１つまたは複数の選択された画素の色および強度値は、色／強度シーケンスに従って変更されるなどである。
【0078】
補足的に、各画素または画素のグループが選択され、色／強度値が神経インパルスとそれらの画素のための色／強度値との間の相関を生じるために逐次変更された後、相関の精度は、選択された画素のための色／強度値を有する部分的な表を用いて、神経インパルスをデジタル・イメージ・データに変換することによってオプションで点検可能である。
【0079】
次に、完全な表を用いて、（目４４がサンプル・ピクチャを見ることに応答して収集される）神経インパルスをデジタル・イメージに変換し、生成されたデジタル・イメージを生ずることができる。次に、生成されたデジタル・イメージは、処理デバイス１２に関連付けられたメモリ（例えば、ストレージ／メモリ１６）内に格納されたデジタル・イメージ（ある種の実施形態では、サンプル・ピクチャのイメージをキャプチャすることに応答してカメラ２８によって生成可能である）と比較される。比較は、画素ごとに基づいて実行可能である。比較が好適な精度レベル内である画素整合を生ずる場合（例えば、２つのイメージの画素の９０％が同一である場合）、マッピング・プロセスは完了する。比較が好適な精度レベル内である画素整合を生じない場合、相関プロセスを繰り返すことができ、すなわち、アンカー点を選択し、画素の色／強度値を逐次変更することができる。
【0080】
動作において、イメージ・デジタルデータから神経インパルスに変換するとき、処理デバイス１２は、デジタル・イメージ・データの画素に対してシリアルにまたはパラレルに動作することができる。例えば、処理デバイス１２は、デジタル・イメージを画素ごとおよびラインごとに読み込むことができる。シリアル変換を実行するとき、次の画素が読み込まれて変換される前に、処理デバイス１２は、各画素を読み込み、次に、その画素を対応する神経インパルスに変換することができる。パラレル変換を実行するとき、例えば、画素は、一度に１つずつ読み込まれ、次に、読み込み画素のグループは、対応する神経インパルスに変換可能である（ある場合には、画素のすべては、一度に、すなわち、単一のグループとして変換可能である）。
【0081】
神経インパルスからデジタル・イメージ・データに変換するとき、処理デバイス１２は、特定の処理アーキテクチャで、画素データを一度に１画素生成するように先入れ先出し方式で受信した神経インパルスに対して動作してもよい。他の処理アーキテクチャにおいて、処理デバイス１２は、例えば、一時メモリ内にグループの神経インパルスに対応する信号を表すデータを格納することによって、受信した神経インパルスのグループに対してパラレルに動作し、次に、格納されたデータに対してパラレルに動作し、対応する画素データを生じてもよい。
【0082】
再び図１に関連して、好適実施形態では、システム１０はまた、処理デバイス１２およびカメラ２８に（電子的に）接続または連結された制御装置１５を含み、カメラ２８および処理デバイス１２の動作を制御するように構成される。制御装置１５は、好ましくは、ユーザが入力を制御装置１５に提供することができる１つまたは複数のユーザ入力インタフェース（例えば、タッチスクリーン、押しボタン、ダイヤル、ノブ、電子キーパッド、（電子）キーボードなど）を含む。ユーザ入力インタフェースを介して入力を受信することに応答して、制御装置１５は、好ましくは、処理デバイス１２および／またはカメラ２８の動作を制御または変更する処理デバイス１２および／またはカメラ２８に制御コマンドを提供するように動作する。
【0083】
一例において、制御装置１５によって、ユーザは、処理デバイス１２によって生成されたイメージ・データに対して実行される少なくとも１つの動作を決定するルールまたはハンドリング基準を定義することができるとともに、ハンドリング・ルールを選択し、および／または、選択されたルールから他のルールに変更することができる。例えば、ユーザは、データ・ストレージ・ルール、データ修正ルールまたはディスプレイ・ルールを選択することができるので、処理デバイス１２は、データ・ストレージ・ルール（基準）のセット、データ修正（操作）ルールのセットまたはディスプレイ・ルール（基準）のセットそれぞれに従って動作する。加えて、ユーザは、制御装置１５を介して、定義済みルールに関連したパラメータを選択することができる。例えば、処理デバイス１２がデータ修正（操作）ルールのセットに従って動作することをユーザが選択する場合、ユーザは、生成されたデジタル・イメージ・データがどのように修正されるのかを選択することができ、それは、生成されたデジタル・イメージ・データを修正するために用いられる任意のイメージ・データを選択することを含む。他の例として、処理デバイス１２がデータ・ストレージ・ルールのセットに従って動作することをユーザが選択する場合、ユーザは、生成されたイメージ・データを格納するためのメモリ・デバイス（例えば、ストレージ／メモリ１６、外部ストレージ／メモリ３２、サーバ・システム３４）を選択することができ、かつ、生成されたイメージ・データのどの部分がどのメモリ・デバイスに格納されるのかを選択することができる（例えば、生成されたイメージ・データの一部は、ストレージ／メモリ１６内にローカルに格納可能であり、一方、生成されたイメージ・データの他の部分は、サーバ・システム３４で遠隔に格納可能である）。
【0084】
制御装置１５によって、好ましくは、ユーザは、処理デバイス１２によって神経インパルスに変換されるイメージ・データを選択することもできる。選択は、制御装置１５のユーザ入力インタフェースの一部であるメニューを介して適用可能である。加えて、制御装置１５によって、好ましくは、ユーザは、処理デバイス１２によってデジタル・イメージ・データから変換された神経インパルスが視覚野に提供される速度を調節および設定することができる。速度の設定は、制御装置１５のユーザ入力インタフェースを介して適用可能である。
【0085】
ある種の好適実施形態では、制御装置１５は、ユーザ入力に応答して、システム１０の異なる動作モードの間の選択的な切り替えを提供する。例えば、制御装置１５は、カメラ２８のオンまたはオフを選択的に切り替える、および／または、カメラ２８を作動させ、シーンのイメージをキャプチャする、および／または、処理デバイス１２を作動させ、イメージ・データをカメラ２８またはメモリ（例えば、ストレージ／メモリ１６、ストレージ／メモリ３２、サーバ・システム３４）から読み出すことができる。このように、制御装置１５は、メモリ（例えば、ストレージ／メモリ１６、ストレージ／メモリ３２、サーバ・システム３４）からのまたはカメラ２８によってキャプチャされたイメージ（デジタル・イメージ・データ）が神経インパルスに変換されるかおよびいつ変換されるか、ならびに／あるいは、神経４６がこの種の変換された神経インパルスを送信するように誘発されるかおよびいつ誘発されるかを、ユーザが制御するのを可能にすることができる。このようにして、ユーザは、電子工学的／生体工学的な目のオンおよびオフを選択的に切り替えることに類似して、ユーザがデジタル・イメージを認めるかおよびいつ認めるかを制御することができる。
【0086】
加えて、制御装置１５は、好ましくは、処理デバイス１２を作動させ、処理デバイス１２に関連付けられたメモリ内に格納された、キャプチャしたイメージの（個々の画素または画素のグループの色および強度を含む）イメージ・パラメータを調節し、ならびに／あるいは、神経インパルスに変換されるデジタル・イメージ・データのイメージ・パラメータを調節するように動作する。例えば、メモリ内に格納されるかまたはカメラ２８から受信し、神経インパルス変換後に視覚野にアップロードされるデジタル・イメージ・データのイメージ・フォーマットは、フル・カラー・フォーマットでもよい。しかしながら、ユーザは、白黒イメージ・フォーマットでイメージ・データを見ることを望んでもよく、制御装置１５を使用して、処理デバイス１２を作動させ、フル・カラー・イメージを白黒イメージに変換することができるので、神経インパルスに変換されるアップロードされたイメージ・データは、白黒イメージである。
【0087】
制御装置１５は、コンピュータ化された記憶媒体（例えば、メモリ）に結合された１つまたは複数のコンピュータ・プロセッサを含むコンピュータ化された制御装置である。１つまたは複数のプロセッサは、マイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、ＦＰＬＡ、状態機械などを含むがこれらに限定されない任意の数のコンピュータ化されたプロセッサとして実施可能である。マイクロプロセッサの実施態様において、マイクロプロセッサは、例えば、従来のプロセッサ、例えば、サーバ、コンピュータおよび他のコンピュータ化されたデバイスにおいて用いられるプロセッサとすることができる。例えば、マイクロプロセッサは、ＡＭＤおよびインテルのｘ８６プロセッサ、インテルのＸｅｏｎ（登録商標）およびＰｅｎｔｉｕｍ（登録商標）プロセッサを含んでもよい。上述したコンピュータ化されたプロセッサは、コンピュータ化されたプロセッサによって実行されるとき、コンピュータ化されたプロセッサにアクションを実行させるプログラム・コードまたは命令セットを格納するコンピュータ可読媒体を含むか、または、コンピュータ可読媒体と電子通信してもよい。コンピュータ可読媒体のタイプは、コンピュータ化されたプロセッサにコンピュータ可読命令を提供することができる電子的、光学的、磁気的、または、他のストレージもしくは送信デバイスを含むが、これらに限定されるものではない。制御装置１５のストレージ／メモリは、任意の従来の記憶媒体とすることができ、例えば、１つまたは複数の揮発性または不揮発性メモリ、フラッシュ・メモリ、読み取り専用メモリ、ランダム・アクセス・メモリなどまたはそれらの任意の組み合わせを含み、さまざまな方法で実施可能である。ある種の実施形態では、制御装置１５のストレージ／メモリは、制御装置１５の１つまたは複数のプロセッサによって実行可能な機械実行可能な命令を格納することができる。
【0088】
ある種の実施形態では、処理デバイス１２および制御装置１５は、１つまたは複数の共通のプロセッサを共有するので、処理デバイス１２は、処理機能および制御機能の両方を実行するように動作する。時にはより好ましい他の実施形態では、制御装置１５および処理デバイス１２は、有線または無線接続を介して電子的に接続される別々の電子デバイスである。この種の実施形態では、制御装置１５は、ユーザ・コンピュータ・デバイスとして実施可能であり、ユーザ・コンピュータ・デバイスは、例えば、ラップトップ、スマートフォンおよびタブレットを含むがこれらに限定されないモバイル・コンピューティング・デバイスならびにデスクトップ・コンピュータを含むがこれに限定されない固定されたコンピューティング・デバイスを含む。
【0089】
これまで記載された実施形態は、目の視覚刺激に応答して受信される神経インパルスをデジタル・イメージ・データに変換するように動作し、デジタル・イメージ・データを神経インパルスに変換し、それらの神経インパルスを視覚野に提供するようにさらに動作する単一の処理デバイス１２を用いることに関係したが、神経インパルスをデジタル・イメージ・データに変換するタスクおよびデジタル・イメージ・データを神経インパルスに変換するタスクが、２つ（またはより多い）処理デバイス１２の間でさらに分割される他の実施形態が可能である。この種の実施形態は、例えば、疾病の治療のための外科処置の結果として、目と視覚野との間の視神経の大きいセグメントが切断または除去された状況で、特に有用となりうる。例えば、視神経の近くの癌性腫瘍の除去は、結果として大部分の視神経の除去になりうるし、これは、ビジョンの損失につながりうる。２つの処理デバイスを利用することによって、２つの処理デバイスは、回復されたビジョンを被験者に提供することができる。
【0090】
図８は、処理デバイス１２－１、１２－２とラベル付けされた第１および第２の処理デバイスを利用する非限定的な一実施形態を概略的に示す。図示の実施形態では、目と視覚野との間を接続する大多数の視神経が失われるように、視神経４６が切断された。ある種の実施形態では、処理デバイス１２－１、１２－２は組み合わせて、目と視覚野との間のブリッジ（または視神経バイパス）として作用する処理デバイス１２と同様に動作し、それによって、目４４の視覚刺激に応答して生成される神経インパルスは、処理デバイス１２－１、１２－２を介して、視覚野４３に到達することができる。
【0091】
第１の処理デバイス１２－１は、（上述したインタフェース１８のいずれかに構造および動作が類似しうる）インタフェース１８－１を介して、目４４に近接した視神経４６の部分４７で（例えば、視神経管でまたはその近くで）視神経４６に通信結合される。第１の処理デバイス１２－１は、目４４の視覚刺激に応答して生成され、視神経４６を介して視覚野に送信される神経インパルスを受信し、それらの神経インパルスを（上述したものと類似の）デジタル・イメージ・データに変換するように動作する。ある種の実施形態では、処理デバイス１２－１は、インタフェース１８－１を介して神経インパルスを表す信号を取得することができ、インタフェース１８－１は、神経インパルスを測定またはサンプリングし、それに応答して電気信号を生じるためのインタフェース１８－１の被験者とのインタフェース部の１つまたは複数のＥＯＳＦＥＴを含んでもよい。次に、処理デバイス１２－１は、上述した技術を用いて、それらの信号をデジタル・イメージ・データに変換することができる。
【0092】
第２の処理デバイス１２は、例えば、視覚野４３にまたはその上の、インタフェース１８－２の被験者とのインタフェース部の外科移植を介して、あるいは、視覚野４３にまたはその上の第２の処理デバイス１２の外科移植を介して、視覚野４３に通信結合可能である。インタフェース１８－２は、構造および動作が上述したインタフェース１８のいずれかに類似しうる。２つの処理デバイス１２－１、１２－２は、例えば、図示するように制御装置１５を介して間接的に、または、任意の適切なデータ接続手段（例えば、データバスなど）を介して直接的に、互いに連結または接続されている。第２の処理デバイス１２－２は、第１の処理デバイス１２－１によって生成されるデジタル・イメージ・データを受信し、受信したイメージ・データを神経インパルスに変換し、（上述した技術を含む任意の適切な技術に従うインタフェース１８－２を介して）それらの神経インパルスを視覚野４３に提供するように動作するので、被験者４０は、キャプチャされたイメージを目４４によって認める。ある種の実施形態では、処理デバイス１２－２は、デジタル・イメージ・データを電気信号に変換し、処理デバイス１２－２は、それらの電気信号を、１つまたは複数のＥＯＳＣを含んでもよく、電気信号に従って視覚野４３を刺激するインタフェース１８－２の被験者とのインタフェース部に提供する。
【0093】
処理デバイス１２－１および１２－２の各々は、構造が上述した処理デバイス１２に類似し、すなわち、各処理デバイス１２－１および１２－２は、コンピュータ化された記憶媒体に結合する１つまたは複数のプロセッサを含む。ある種の実施形態では、処理デバイス１２－１、１２－２のうちの一方または両方は、上述した処理デバイス１２によって実行されるデータ修正に類似の方法でデジタル・イメージ・データを修正するようにさらに動作する。例えば、第１の処理デバイス１２－１は、（第１の処理デバイス１２－１によって神経インパルスから変換される）デジタル・イメージ・データを修正してもよく、次に、修正したイメージ・データを第２の処理デバイス１２－２に送信してもよい。第１の処理デバイス１２－１がデジタル・イメージ・データを修正することに代えてまたはこれに加えて、第２の処理デバイス１２－２は、第１の処理デバイス１２－２から受信したデジタル・イメージ・データを修正してもよく、次に、修正したデジタル・イメージ・データを神経インパルスに変換してもよい。
【0094】
ある種の実施形態では、処理デバイス１２－１、１２－２のうちの一方または両方は、（図７の外部ストレージ／メモリ３２に類似の）外部ストレージ／メモリに連結可能である。他の実施形態では、処理デバイス１２－１、１２－２のうちの一方または両方は、通信ネットワークに／からデータを送信／受信（すなわち、データを交換）するための通信／ネットワーク・インタフェースを提供する、図７のＴｘ／Ｒｘユニット３０に類似のＴｘ／Ｒｘユニットを含むことができるかまたはこれに連結可能である。この種の実施形態では、処理デバイス１２－１、１２－２のうちの一方または両方は、通信ネットワークを介して遠隔サーバ・システム（例えば、サーバ・システム３４）と通信（すなわち、データを交換）することができる。
【0095】
人間のビジョンの文脈内で適用されるとき、本発明の実施形態は、特に有用であるが、本開示の実施形態は、これらに限定されるものではないが、他の霊長類種（例えば、サル、ゴリラなど）、犬科の種、猫科の種などを含む人間以外の動物の被験者のビジョンに等しく適用されてもよい。この種の人間以外の適用において、神経インパルスは、上述したのと同一または類似の相互接続方法を介して収集可能であり、種特異的なインパルス・イメージ・マッピングを用いて処理デバイス１２によって、デジタル・イメージに変換可能である。異なる種は、光の異なる波長に敏感な光受容細胞を有するので、いくつかの種は、他の種が認めることができない色を認めることができる。
【0096】
結果として生じるデジタル・イメージ・データは、例えば、さらなる処理または使用のために他のシステムに出力可能である。例えば、犬の被験体の神経インパルスから生成されるデジタル・イメージ・データは、表示が人間の被験者によって見られるために提供可能であり、または、人間のインパルス・イメージ・マッピング機能を用いて神経インパルスに変換され、人間の被験者の視神経に提供可能である。
【0097】
本発明の実施形態の方法および／またはシステムの実施態様は、手動で、自動でまたはそれらの組み合わせで選択されたタスクを実行または完了することを含むことができる。さらに、本発明の方法および／またはシステムの実施形態の実際の器具および器材によれば、いくつかの選択されたタスクは、ハードウェアによって、ソフトウェアによって、または、ファームウェアによって、または、動作システムを用いてそれらの組み合わせによって実施可能である。
【0098】
例えば、本発明の実施形態に従って選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施可能である。ソフトウェアとして、本発明の実施形態に従って選択されたタスクは、任意の適切な動作システムを用いて、コンピュータによって実行されている複数のソフトウェア命令として実施可能である。本発明の例示的な実施形態では、本願明細書において記載されている方法および／またはシステムの例示的な実施形態に従う１つまたは複数のタスクは、データ・プロセッサ、例えば、複数の命令を実行するためのコンピューティング・プラットフォームによって実行される。オプションで、データ・プロセッサは、命令および／またはデータを格納するための揮発性メモリおよび／または命令ならびに／あるいはデータを格納するための不揮発性記憶装置、例えば、非一時的記憶媒体、例えば、磁気ハードディスクおよび／または取り外し可能媒体を含む。オプションで、ネットワーク接続は、同様に提供される。ディスプレイおよび／またはキーボードもしくはマウスのようなユーザ入力デバイスは、同様にオプションで提供される。
【0099】
例えば、１つまたは複数の非一時的コンピュータ可読（記憶）媒体の任意の組み合わせは、本発明の上に列挙した実施形態に従って利用されてもよい。非一時的コンピュータ可読（記憶）媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体でもよい。コンピュータ可読記憶媒体は、これらに限定されるものではないが、例えば、電子的、磁気的、光学的、電磁気的、赤外線または半導体システム、装置またはデバイスあるいは上述した任意の適切な組み合わせでもよい。コンピュータ可読記憶媒体のより具体的な例（非包括的なリスト）は、以下、すなわち、１つまたは複数のワイヤを有する電気接続、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置または上述したものの任意の適切な組み合わせを含む。この文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスのための、または、これらに関連したプログラムを含むかまたは格納することができる任意の有形の媒体でもよい。
【0100】
コンピュータ可読信号媒体は、例えば、ベースバンドで、または、搬送波の一部として、その中で実施されるコンピュータ可読プログラム・コードとともに伝播されたデータ信号を含んでもよい。この種の伝播された信号は、電磁気的、光学的またはこれらの任意の適切な組み合わせを含むがこれらに限定されないさまざまな形態をとってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置またはデバイスによる使用のための、または、これらに関連したプログラムを通信、伝播または輸送することができる任意のコンピュータ可読媒体でもよい。
【0101】
上述した段落および参照された図面を参照して理解されるように、コンピュータ実施方法のさまざまな実施形態が本願明細書において提供され、そのいくつかは、本願明細書において記載されている装置およびシステムのさまざまな実施形態によって実行可能であり、そのいくつかは、本願明細書において記載されている非一時的コンピュータ可読記憶媒体内に格納されている命令に従って実行可能である。また、本願明細書において記載されている実施形態に関する技術を有する当業者にとって明らかなように、本願明細書において提供されているコンピュータ実施方法のいくつかの実施形態は、他の装置またはシステムによって、本願明細書において記載されているものとは他のコンピュータ可読記憶媒体内に格納されている命令に従って実行可能である。以下のコンピュータ実施方法に関するシステムおよびコンピュータ可読記憶媒体の任意の参照は、例示目的のために提供され、この種のシステムのいずれかおよび上述したコンピュータ実施方法の実施形態に関するこの種の非一時的コンピュータ可読記憶媒体のいずれも制限することを意図するものではない。同様に、システムおよびコンピュータ可読記憶媒体に関する以下のコンピュータ実施方法の任意の参照は、例示目的のために提供され、本願明細書において開示されるこの種のコンピュータ実施方法のいずれも制限することを意図するものではない。
【0102】
図面のフローチャートおよびブロック図は、本発明のさまざまな実施形態に従って、システム、方法およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能および動作を示す。この点に関しては、フローチャートまたはブロック図の各ブロックは、モジュール、セグメントまたはコードの部分を表してもよく、それは、指定された論理的機能を実施するための１つまたは複数の実行可能命令を備える。いくつかの代替実施態様では、ブロックに見られる機能が、図面に見られる順序とは異なって発生してもよいことにも留意されたい。例えば、連続して示される２つのブロックは、事実、実質的に並行して実行されてもよいし、または、ブロックは、関係する機能に従って、時には逆順で実行されてもよい。ブロック図の各ブロックおよび／またはフローチャート説明ならびにブロック図内のブロックおよび／またはフローチャート説明の組み合わせが、指定された機能または行為を実行する特殊目的ハードウェア・ベースのシステムまたは特殊目的ハードウェアおよびコンピュータ命令の組み合わせによって実施可能であることにも留意されたい。
【0103】
本発明のさまざまな実施形態の説明は、説明のために提示されたが、包括的なことまたは開示される実施形態に限定することを意図するものではない。多くの修正および変更は、記載されている実施形態の範囲および精神を逸脱しない範囲で、当業者にとって明らかである。本願明細書において用いられる用語は、実施形態の原則、実用的な適用または市場で見つかる技術に対する技術的な改善を最良に説明するために、または、当業者が本願明細書において開示される実施形態を理解することを可能にするために選ばれた。
【0104】
本願明細書において、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明確に他の意味を示さない限り、複数の参照を含む。例えば、単一の神経の参照は、神経対の両方の神経を参照することもできる。さらに、神経対の両方の神経の参照は、文脈が明確に他の意味を示さない限り、単一の神経を参照することもできる。
【0105】
「例示的」という用語は、「実例、例または説明として機能する」ことを意味するために、本願明細書において用いられる。「例示的」と記載される任意の実施形態は、必ずしも、他の実施形態より好適または有利であるおよび／あるいは他の実施形態からの特徴の組み込みを排除するものとして解釈されてはならない。
【0106】
明快さのために別々の実施形態の文脈に記載されている本発明の特定の特徴が単一の実施形態において組み合わせて提供されてもよいことを認識されたい。反対に、簡潔さのために単一の実施形態の文脈に記載されている本発明のさまざまな特徴は、別々に、または任意の適切なサブコンビネーションで、または本発明の他の任意の記載されている実施形態において適切なものとして提供されてもよい。実施形態がそれらの要素なしで動作不能でない限り、さまざまな実施形態の文脈に記載されている特定の特徴は、それらの実施形態の基本的特徴とみなされるべきではない。
【0107】
その部分を含む上述したプロセスは、ソフトウェア、ハードウェアおよびそれらの組み合わせによって実行可能である。これらのプロセスおよびその部分は、コンピュータ、コンピュータ・タイプ・デバイス、ワークステーション、プロセッサ、マイクロプロセッサ、他の電子検索ツールおよびメモリならびにこれらに関連付けられた他の非一時的ストレージ・タイプ・デバイスによって実行可能である。プロセスおよびその部分は、プログラム可能な非一時的記憶媒体、例えば、コンパクト・ディスク（ＣＤ）または磁気的、光学的などを含む他のディスクにおいて実施可能であり、機械など、または磁気的、光学的もしくは半導体ストレージを含む他のコンピュータが使用可能な記憶媒体、または電子信号の他のソースによって読み込み可能である。
【0108】
本願明細書において、その構成要素を含むプロセス（方法）およびシステムは、特定のハードウェアおよびソフトウェアの例示的な参照に関して記載されてきた。プロセス（方法）は、例示的なものとして記載され、それによって、特定のステップおよびそれらの順序は、必要以上の実験なしでこれらの実施形態を実行に移すために当業者によって省略および／または変更可能である。プロセス（方法）およびシステムは、当業者が、必要以上の実験なしで、かつ、従来技術を用いて実施形態のいずれかを実行に移すために必要となりうるように、他のハードウェアおよびソフトウェアを容易に適応させることができるのに十分な方法で記載されてきた。
【0109】
添付の請求の範囲が複数の従属なしで起案された程度まで、これは、この種の複数の従属を許容しない法域における形式要求に適応するのみのために行われている。請求項の複数従属によって示唆される特徴のすべての可能な組み合わせは、明確に想定され、本発明の一部とみなされるべきであることに留意されたい。
【0110】
本発明は、本発明の特定の実施形態に関連して記載されているが、多くの代替、修正および変化が当業者にとって明らかであることは明白である。したがって、添付の請求の範囲の精神および幅広い範囲に入るすべてのこの種の代替、修正および変化を包含することを意図する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】