(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-28
(54)【発明の名称】ブロックチェーンを使用した医療データの共有
(51)【国際特許分類】
G16H 10/00 20180101AFI20240621BHJP
A61B 3/10 20060101ALI20240621BHJP
A61B 3/14 20060101ALI20240621BHJP
A61B 5/00 20060101ALI20240621BHJP
A61B 3/024 20060101ALN20240621BHJP
【FI】
G16H10/00
A61B3/10
A61B3/14
A61B5/00 D
A61B3/024
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023578017
(86)(22)【出願日】2022-06-16
(85)【翻訳文提出日】2024-01-22
(86)【国際出願番号】 EP2022066472
(87)【国際公開番号】W WO2022263589
(87)【国際公開日】2022-12-22
(32)【優先日】2021-06-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】503317201
【氏名又は名称】カール ツァイス メディテック インコーポレイテッド
【氏名又は名称原語表記】Carl Zeiss Meditec Inc.
(71)【出願人】
【識別番号】502303382
【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト
(74)【代理人】
【識別番号】100105957
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】レン、フーガン
(72)【発明者】
【氏名】デスーザ、ニール
(72)【発明者】
【氏名】シュミット、ジェフリー
【テーマコード(参考)】
4C117
4C316
5L099
【Fターム(参考)】
4C117XA07
4C117XB06
4C117XF21
4C117XL03
4C117XL11
4C117XL26
4C117XQ01
4C117XQ18
4C117XQ19
4C316AA01
4C316AA03
4C316AA09
4C316AA10
4C316AA13
4C316AA18
4C316AA20
4C316AA24
4C316AA25
4C316AB03
4C316AB11
4C316AB12
4C316FC14
4C316FC15
4C316FC28
4C316FZ01
5L099AA21
(57)【要約】
異なるステークホルダー(リモートユーザまたは加入者)間で医療データをトランザクションするためのシステム/方法は、ブロックチェーンコンピュータネットワークを使用して、全てのデータトランザクションを記録し、かつデータ所有者のプライバシーを保証する。
【特許請求の範囲】
【請求項1】
医療データのトランザクションを実施するための方法であって、
前記医療データの所有者の同意を得て、管理エンティティが、前記医療データを保管のために受信し、受信した前記医療データの要約を、利用可能な医療記録の電子台帳を維持するブロックチェーンコンピュータネットワークに記録するステップと、
前記管理エンティティが、ユーザ指定基準を満たす医療データに対するリモートユーザからの電子要求に対して、前記電子台帳から少なくとも部分的に決定された、前記ユーザ指定基準を満たす利用可能な適格な医療記録のリストをリモートユーザに提供することによって、応答するステップと、
前記管理エンティティが、リモートユーザが前記適格な医療記録のうちの1つまたは複数を選択したことに対して、前記適格な医療記録の所有者によって付与された各適格な医療記録に対するアクセス承認ステータスに従って、リモートユーザが選択された前記適格な医療記録にアクセスすることを許可し、データトランザクションを前記ブロックチェーンコンピュータネットワークに記録することによって、応答するステップと、を含む方法。
【請求項2】
前記管理エンティティは、要求されるデータアクセスのタイプを示すアクセスタイプ要求をリモートユーザからさらに受信し、
前記アクセスタイプ要求は、データ閲覧、有効期限付きの一時的なデータアクセス、データダウンロードによる恒久的なデータアクセス、およびリモートユーザから遠隔で、前記管理エンティティによって管理されるデータ処理のうちの1つまたは複数を含む、請求項1に記載の方法。
【請求項3】
データダウンロードによる恒久的なアクセスは、前記電子台帳内の利用可能な医療記録のリストからアクセスされた適格な医療データを除去することを含む、請求項2に記載の方法。
【請求項4】
各アクセスタイプは、リモートユーザが支払うべき関連付けられたアクセス価格を有する、請求項2または3に記載の方法。
【請求項5】
前記管理エンティティによって管理されるデータ処理は、選択された医療記録を使用して機械学習モデルを生成することと、生成された前記機械学習モデルへのアクセスをリモートユーザに許可することとを含む、請求項2乃至4のいずれか一項に記載の方法。
【請求項6】
機械モデルが、人工ニューラルネットワーク、畳み込みニューラルネットワーク、U-Net、リカレントニューラルネットワーク、生成敵対的ネットワーク、および多層パーセプトロンのうちの1つまたは複数から選択される深層学習モデルを含む、請求項5に記載の方法。
【請求項7】
機械モデルが、分類モデル、回帰モデル、クラスタリング、および次元削減のうちの1つまたは複数に基づく機械学習モデルを含む、請求項5または6に記載の方法。
【請求項8】
前記医療データの所有者は、前記医療データによって記述された患者である、請求項1乃至7のいずれか一項に記載の方法。
【請求項9】
前記医療データは、医療装置によって取得された医療測定値または医療画像を含んでおり、前記医療装置は、患者からの同意を得て、前記医療データを前記管理エンティティに自動的に送信する、請求項1乃至8のいずれか一項に記載の方法。
【請求項10】
前記医療データの所有者は、対応する秘密鍵に関連付けられた公開鍵に基づく公開識別子によって識別され、前記公開識別子は、個人識別情報を除外しており、それによって、前記管理エンティティは、前記医療データの所有者の個人識別情報を隠された状態に維持する、請求項1乃至9のいずれか一項に記載の方法。
【請求項11】
前記ユーザ指定基準を満たす利用可能な適格な医療記録のリストは、適格な医療記録のカウントを含んでおり、
前記管理エンティティは、前記ユーザ指定基準の電子的変更に対して、変更されたユーザ指定基準を満たす利用可能な適格な医療記録の更新されたリストをリモートユーザに提供することによって、応答する、請求項1乃至10のいずれか一項に記載の方法。
【請求項12】
前記管理エンティティは、
リモートユーザが前記適格な医療記録のうちの1つまたは複数を選択することに応答して、選択された適格な医療記録の各々について既存のアクセス承認ステータスをチェックし、
既存のアクセス承認ステータスを有していない各選択された適格な医療記録について、前記適格な医療記録の所有者に承認の要求を送信し、所有者の承認応答に従って前記適格な医療記録の承認ステータスを更新する、請求項1乃至11のいずれか一項に記載の方法。
【請求項13】
前記管理エンティティは、
リモートユーザが所望の数の適格な医療記録を指定することに応答して、前記適格な医療記録の各々について既存のアクセス承認ステータスをチェックし、
既存のアクセス承認ステータスを有する十分な数の適格な医療記録に応答して、既存のアクセス承認ステータスを有するものの中から前記所望の数の適格な医療記録を選択し、
既存のアクセス承認ステータスを有する適格な医療記録の数が不十分であることに応答して、指定された所望の数を満たすために必要とされる追加の適格な医療記録の数を決定し、追加的に必要とされる適格な医療記録ごとに、前記追加的に必要とされる適格な医療記録の所有者に承認の要求を送信し、所有者の承認応答に従って前記追加的に必要とされる適格な医療記録の承認ステータスを更新する、請求項1乃至11のいずれか一項に記載の方法。
【請求項14】
前記管理エンティティは、
ユーザ指定基準を満たす医療データに対するリモートユーザからの前記電子要求に対して、利用可能な適格な医療記録のリストに関連付けられた価格リストをリモートユーザに提供することによって、応答し、
リモートユーザが前記適格な医療記録のうちの1つまたは複数を選択することに対して、リモートユーザにアクセスが許可された前記適格な医療記録に関連付けられた価格を徴収し、各選択された適格な医療記録の所有者、リモートユーザにアクセスが許可された前記適格な医療記録のいずれかを収集した医療機関、およびリモートユーザにアクセスが許可された前記適格な医療記録のいずれかをホストするデータホストのうちの1つまたは複数に支払いを分配することによって、応答する、請求項1乃至13のいずれか一項に記載の方法。
【請求項15】
前記ブロックチェーンコンピュータネットワークは、公開台帳コンピュータネットワークである、請求項1乃至14のいずれか一項に記載の方法。
【請求項16】
受信した医療データは、前記ブロックチェーンコンピュータネットワーク内にオンチェーンで、かつ前記ブロックチェーンコンピュータネットワークの外部にオフチェーンで少なくとも部分的に保管される、請求項1乃至15のいずれか一項に記載の方法。
【請求項17】
リモートユーザは患者が紹介される医師であり、前記ユーザ指定基準が患者の医療記録のみを指定することに応答して、前記管理エンティティは、前記適格な医療記録に対する自動アクセス承認ステータスを維持する、請求項1乃至16のいずれか一項に記載の方法。
【請求項18】
リモートユーザが前記医療データの所有者であり、前記ユーザ指定基準が前記医療データの所有者の医療記録のみを指定することに応答して、前記管理エンティティは、前記適格な医療記録の自動アクセス承認ステータスを維持する、請求項1乃至17のいずれか一項に記載の方法。
【請求項19】
前記管理エンティティは、前記電子台帳への妨げのない閲覧アクセスを各々が有する特権リモートユーザのグループを維持する、請求項1乃至18のいずれか一項に記載の方法。
【請求項20】
特権ユーザは、前記管理エンティティによって確立されたアクセス基準に基づいて識別され、前記アクセス基準は、以前に与えられた許可、特権ユーザが前記管理エンティティへの保管のために提出した医療記録の数、および事前に合意された加入期間のうちの1つまたは複数を含む、請求項19に記載の方法。
【請求項21】
リモートユーザによって提出された前記ユーザ指定基準は、解剖学的測定値のタイプ、身体機能測定値、データスキャンタイプ、および画像タイプのうちの1つまたは複数を含む、請求項1乃至20のいずれか一項に記載の方法。
【請求項22】
前記解剖学的測定値は、眼圧、角膜曲率計測測定値、屈折異常、または眼の大きさのうちの1つまたは複数を含んでおり、
前記身体機能測定値は、心電図、体温、脈拍数、または呼吸数のうちの1つまたは複数を含んでおり、
前記データスキャンタイプは、光干渉断層撮影装置からのAスキャン、Bスキャン、またはCスキャンのうちの1つまたは複数を含んでおり、
前記画像タイプは、眼底画像、en-face画像、または前眼部画像のうちの1つまたは複数を含んでいる、請求項21に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、医療用途のためのブロックチェーンの使用に関する。
【背景技術】
【0002】
データは、人工知能ソリューションおよびアナリティクスの開発、ならびにスマートデバイスおよびサービスの構築において重要な役割を果たしている。医師、研究者、営利団体の間でデータを共有することは、新たな発見が進み、医学においてより良い診断および治療を提供することができる。具体的には、眼科コミュニティ間でデータを共有することは、患者のためのより良い眼科診療を可能にする可能性を有する。
【0003】
臨床転帰を改善するために患者データを利用することには、1)様々な保管場所、アプリケーション、およびIT/セキュリティフレームワークにわたるデータへの技術的アクセス、および2)絶えず変化し、より影響力のある、非常に異種の規制の状況を通したグローバルな患者(消費者)のプライバシー保護の強化という2つの主要な問題がある。
【0004】
眼科データ、整形外科データ、循環器科データ、皮膚科データ、放射線科データなどの患者の医療データへのアクセスに影響を及ぼす障害がある。例えば、患者の医療データは、通常、データが最初に取得された各病院、撮影センター、または診療所(例えば、医療データを収集した医療機関)に、または最近では、場合によっては仮想マシン(VM)ホスティングサイト(クラウド)にある電子医療記録システムに保存される。ストレージインフラストラクチャ、ソフトウェア/データベース、ローカルセキュリティインフラストラクチャ(例えば、ファイアウォール、認証、暗号化など)、法的プライバシー問題、データサイズ、他の医師とデータを共有する際の管理上の問題、信頼性、およびデジタルフットプリントに対する患者の関心の高まりにおける技術的な複雑性に起因して、データアクセスを可能にするためのコストは、一般的に、データをアクセス可能にするための価格を上回っている。
【0005】
他の問題は、規制の状況が挙げられる。今日、アクセス可能な生体データは、患者の同意がない場合、「合法的に使用」することはできない。グローバルな患者/消費者プライバシーフレームワークが発展し、かつ診療/医師の同意が厳格化された時期に収集されたデータは、収集された既存のデータを使用する上での課題をもたらし、かつ新たなデータを今後使用する上での課題を生み出した。情報に基づく患者の同意が存在する場合であっても、医師、病院、およびその他の医療機関は、インセンティブがケースバイケースであり、かつ大規模に交渉することが困難であるため、依然として医療データを共有する動機が高まらない。加えて、「データの消費者」にとっては、データセットおよび法的な同意文書の両方を管理することは、管理上/法律上の大きな課題となる。例えば、「特定の期間に別の機関によって作成された同意は、現在も法的に有効であるか」などの疑問がある。
【0006】
上記の問題のうちの1つまたは複数に対処するための手法は、以前から提案されている。いくつかの例は、非特許文献1、非特許文献2、および非特許文献3を含む。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】「ブロックチェーン・コンセンサスによる医療画像データの安全かつ分散化された共有のためのフレームワーク(A Framework for Secure and Decentralized Sharing of Medical Imaging Data Via Blockchain Consensus)」、健康情報学ジャーナル(Health Informatics J)、2019年12月、第25巻、第4号、1398-1411、doi:10.1177/1460458218769699
【非特許文献2】エイ・アザリア(A.Azaria)、エイ・エクブロー(A.Ekblaw)、ティー・ヴィエイラ(T.Vieira)、エイ・リップマン(A.Lippman)著、「MedRec:医療データへのアクセスと許可管理にブロックチェーンを活用(Using Blockchain for Medical Data Access and Permission Management)」、第2回オープン・ビッグデータ国際会議(OBD)(2nd International Conference on Open and Big Data(OBD))」、ウィーン(Vienna)、2016年、25-30頁、doi:10.1109/OBD.2016.11
【非特許文献3】ファン・ケイ(Fan,K.)、ワン・エス(Wang,S.)、レン・ワイ(Ren,Y.)他著、「MedBlock:ブロックチェーンによる効率的で安全な医療データ共有(Efficient and Secure Medical Data Sharing Via Blockchain)」、ジャーナル・オブ・メディカル・システムズ(J Med Syst)、第42巻、第136号(2018年)、doi:/10.1007/s10916-018-0993-7
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、患者の医療データ/記録にアクセスするための有効なリアルタイムの患者/消費者の同意を提供するためのシステムおよび方法を提供することである。
本発明の別の目的は、法的/規制要件をリアルタイムで遵守することを保証するシステムおよび方法を提供することである。
【0009】
本発明の更なる目的は、患者/消費者および(例えば、医療)機関が、データを共有し、アーカイブ(例えば、履歴的に収集された)データへのアクセスを得ることを可能にし、かつインセンティブを与える方法およびシステムを提供することである。
【課題を解決するための手段】
【0010】
世界的な規制のフレームワークの不安定さは、早急に安定化することが予想されないため、リアルタイムで患者/消費者が確認した同意を可能にすることができる解決策が必要とされる。リアルタイムの法的要件への準拠を確実にすることに加えて、患者/消費者にデータを共有するようにインセンティブを与え、過去に収集されたデータへのアクセスを開放し、機関にデータを共有するインセンティブを与える解決策が必要である。上記の目的は、この解決策を達成するために、ブロックチェーン技術の使用に基づくフレームワークを提供する方法/システムにおいて満たされる。
【0011】
本発明では、ブロックチェーン技術を使用して、患者が、医療コミュニティ内で自身の医療データ/記録を市場価値を有して商品化することを可能にするための、データ共有のためのマーケットプレイスが確立される。例として、本発明は眼科医療分野に適用されるものとして説明されるが、本発明は他の医療分野、または他のより一般的なデータ収集分野にも適用され得ることが理解されるべきである。本発明はまた、研究者および組織が必要なデータを購入するためのプラットフォームを提供する。同時に、患者、医師、データホスト、医療機関、およびブロックチェーンサービスプロバイダ(例えば、管理エンティティまたはワークプレイスプラットフォームまたはマーケットプレイスプラットフォームまたはブロックチェーン管理者またはデータブローカ)等の全てのステークホルダー(stakeholders)は、インセンティブとして支払いの一部を得る。
【0012】
マーケットプレイスで行われるトランザクションでは、(医療データの所有者による)同意を制限するため、また必要に応じて異なる価格層(例えば、異なるデータアクセス特権)を提供するために、複数の異なるトランザクションタイプ(金銭的および非金銭的の両方)を定義することができる。そのようなトランザクションのタイプは、閲覧のみ、有効期限付きレンタル/リース、恒久的なダウンロード、(ワークプレイス/マーケットプレイス)プラットフォームにおける処理(例えば、管理エンティティは、医療データへのアクセスを要求するエンティティから遠隔に、選択された医療データの処理を制御/管理する)等を含むことができる。
【0013】
共有されるデータが元のデータと一致することを確実にするために、ブロックチェーン外に保管されているデータがブロックチェーン上のメタデータと常に一致していることを検証するデータ検証機構がネットワークに組み込まれている。例えば、ブロックチェーン上のメタデータは、電子台帳(例えば、保管された医療データ/記録の記述/要約(summary))を含み得、医療データ自体は、別個のデータホストによって(例えば、管理エンティティの制御下で)保管され、ハッシュアルゴリズム(または他の検証方法)が、ブロックチェーン上のメタデータが別個に保管されている医療データと一致することを確認するために使用され得る。同様に、本管理エンティティは、ハッシュアルゴリズムなどの検証機構を使用して、メンバーユーザ(例えば、リモートユーザ)がアクセスできるようになったデータが、最初に保管されたときのデータと同じであることを管理エンティティによってチェックし得る。
【0014】
ブロックチェーン(コンピュータ)ネットワークは、眼科撮像装置などの医療データ取得装置に直接組み込むことができ、取得された医療データ(即ち、測定値、画像など)は、患者からの同意を得て(医療データの取得の前または後のいずれか)、医療装置によって管理エンティティに自動的に送信/伝送され得る。従って、医療データは、現在の臨床ワークフローに影響を与えることなく、ブロックチェーン(および/または管理エンティティ)にシームレスに保存/記録される。
【0015】
このフレームワークに基づいて、医師間のデータを共有による医師間の紹介も、本ブロックチェーン構成によって実施することができる。患者はブロックチェーンの中心にいるので、患者はいつでも自身の医療データにアクセスすることができる。全てのメンバーがブロックチェーン台帳へのアクセスを有するため、ブロックチェーンメンバー間の本ネットワークには、透明性および信頼性が構築されている。
【0016】
この新規な手法は、全てのステークホルダーに金銭的インセンティブを提供するマーケットプレイスを使用して、(例えば、眼科コミュニティまたは他の医療コミュニティ内で)撮像データを共有する方法を提供する。本発明はまた、データ検証を含む異なるデータアクセスタイプ/フォーマット/方法を提供する。本新規なアプローチはまた、眼科患者が、自身の撮像データ(または、他の医療データ)に完全にアクセスし、かつそのデータアクセスに対する完全な制御を有することを可能にする。
【0017】
従って、本発明は、データトランザクション(例えば、医療データのトランザクション)を実施するための方法およびシステムを提供し、ここで、医療データの所有者(例えば、医療データの対象であるか、または医療データによって記述される患者)の同意を得て、管理エンティティ(ワークプレイスプラットフォーム/マーケットプレイスプラットフォーム/ブロックチェーンサービスプロバイダ/ブロックチェーン管理者)は、保管のために医療データを受信する。医療データは、電子的に(例えば、暗号化技術を使用するインターネット等のコンピュータネットワークを介して)、または電子データ記憶媒体(例えば、CD/DVD)上で受信され得る。管理エンティティは、利用可能な医療記録(例えば、管理エンティティを介してアクセス可能な医療記録)の電子台帳を少なくとも維持するブロックチェーンに、受信した医療データの要約を記録する。次いで、リモートユーザは、医療データに対する要求を管理エンティティに送信することができ、好ましくは、要求される医療データのタイプを記述する基準を指定することができる。管理エンティティは、ユーザ指定基準を満たす医療データに対するリモートユーザからの電子要求に対して、電子台帳から少なくとも部分的に決定された、ユーザ指定基準を満たす利用可能な適格な(qualifying)医療記録のリスト(例えば、カウント)をリモートユーザに提供することによって、応答し得る。リモートユーザは、リストから選択するか、または単にいくつかの所望の医療記録を指定し得る。管理エンティティは、リモートユーザが適格な医療記録のうちの1つまたは複数を選択したことに対して、適格な医療記録の所有者によって付与された各適格な医療記録に対するアクセス承認ステータスに従って、リモートユーザが選択された適格な医療記録へのアクセスすることを許可し、データトランザクションをブロックチェーンに記録することによって、応答し得る。アクセス承認ステータスは、リモートユーザがデータを要求する前に、データの所有者によって提供され得る。例えば、データの所有者は、選択された医師/研究所のために、または医師紹介のために、または医療データの特定の使用のために、事前の承認を提供し得る。
【0018】
任意選択的に、管理エンティティは、異なるタイプのアクセス許可を保管された医療データに対して提供し得る。この場合、管理エンティティは、要求されるデータアクセスのタイプを示すアクセスタイプ要求をリモートユーザから受信し得る。アクセスタイプ要求は、データ閲覧(のみ)、有効期限付きの一時的なデータアクセス、データダウンロードによる恒久的なデータアクセス、およびリモートユーザから遠隔で、管理エンティティによって管理されるデータ処理(例えば、管理エンティティによって提供されるデータ処理サービス)のうちの1つまたは複数を含み得る。データダウンロードによる恒久的なアクセスのためのオプションは、電子台帳内の利用可能な医療記録からアクセスされた適格な医療記録を除去することを含み得る(例えば、ダウンロードされたデータは、ブロックチェーン上でもはや利用可能ではなくなる)。必要に応じて、各アクセスタイプは、リモートユーザが支払うべき関連付けられたアクセス価格を有し得る。
【0019】
いくつかの実施形態では、管理エンティティによって管理されるデータ処理のためのアクセスオプションは、選択された医療記録を使用して機械学習モデルを生成することと、生成された機械学習モデルへのアクセスをリモートユーザに許可することとを含み得る。例えば、機械モデルオプションは、人工ニューラルネットワーク、畳み込みニューラルネットワーク、U-Net、リカレントニューラルネットワーク、生成敵対的ネットワーク、および多層パーセプトロンのうちの1つまたは複数から選択される深層学習モデルを含み得る。代替的に、または追加的に、機械モデルオプションは、分類モデル、回帰モデル、クラスタリング、および次元削減のうちの1つまたは複数に基づく機械学習モデルを含み得る。
【0020】
上述したように、医療データは、医療装置(例えば、放射線機器、コンピュータ断層撮影装置、光干渉断層撮影装置、眼底撮像装置、被検者の視野を検査するための視野検査器具(視野計)、またはスリット走査式眼科システム)によって取得された医療測定値または医療画像を含み得、医療装置は、被検者からの同意を得て、医療データを管理エンティティに自動的に送信する。
【0021】
医療データの所有者は、対応する秘密鍵(private key)に関連付けられた公開鍵(public key)に基づく公開識別子によって識別され得、公開識別子は個人識別情報を除外する。このようにして、管理エンティティは、医療データの所有者の任意の個人識別情報を隠された状態に維持する。言い換えれば、リモートユーザは、保管された医療データの所有者を個人的に識別することができない。
【0022】
任意選択的に、ユーザ指定基準を満たす利用可能な適格な医療記録のリストは、適格な医療記録のカウントを含み得る。その数がリモートユーザにとって十分でない場合、リモートユーザは、ユーザ指定基準の数を減らすことなどによって、ユーザ指定基準を変更することを選択し得る。次いで、管理エンティティは、ユーザ指定基準の電子的変更に対して、以前に提示されたものよりも高い、変更されたユーザ指定基準を満たす利用可能な適格な医療記録の更新されたリストをリモートユーザに提供することによって、応答し得る。
【0023】
リモートユーザは、個々の医療記録を選択し得るが、ロットまたはグループを構成し得る所望の医療記録の数を選択し得るか、または数を提供し得る。リモートユーザが適格な医療記録のうちの1つまたは複数を選択することに応答して、管理エンティティは、選択された適格な医療記録の各々(例えば、記録のロット/グループ内の適格な医療記録の各々)について既存のアクセス承認ステータスをチェックし、既存のアクセス承認ステータスを有していない選択された適格な医療記録の各々について、管理エンティティは、適格な医療記録の所有者に承認要求を送信し(アプリケーションへのメッセージ、または電子メール、またはテキストなど)、所有者の承認応答に従って適格な医療記録の承認ステータスを更新し得る。
【0024】
同様に、リモートユーザが所望の数の適格な医療記録を指定することに応答して、管理エンティティは、適格な医療記録の各々について既存のアクセス承認ステータスをチェックし得る。既存のアクセス承認ステータスを有する十分な数の適格な医療記録がある場合、管理エンティティは、既存のアクセス承認ステータスを有するものの中から所望の数の適格な医療記録を選択し得る。既存のアクセス承認ステータスを有する十分な数の適格な医療記録が存在しない場合、管理エンティティは、指定された所望の数を満たすために必要とされる追加の適格な医療記録の数を決定し、追加的に必要とされる適格な医療記録ごとに、追加的に必要とされる適格な医療記録の所有者に承認要求を送信し得る。次いで、管理エンティティは、所有者の承認応答に従って、追加的に必要とされる適格な医療記録の承認ステータスを更新し得る。
【0025】
任意選択的に、管理エンティティは、ユーザ指定基準を満たす医療データに対するリモートユーザからの電子要求に対して、利用可能な適格な医療記録のリストに関連付けられた価格リストをリモートユーザに提供することによって、応答し得る。次に、リモートユーザは、提供された価格を受け入れるか、または拒否するかを選択し得る。管理エンティティは、適格な医療記録のうちの1つまたは複数を選択するリモートユーザに対して、リモートユーザにアクセスが許可された適格な医療記録に関連付けられた価格を徴収し、各選択された適格な医療記録の所有者、リモートユーザにアクセスが許可された適格な医療記録のいずれかを収集した医療機関、リモートユーザにアクセスが許可された適格な医療記録のいずれかをホストするデータホスト、および/または管理エンティティ自体のうちの1つまたは複数に支払いを分配することによって、応答し得る。
【0026】
管理エンティティは、上述したブロックチェーンを管理し得るが、ブロックチェーンは、追加的にまたは代替的に、公開台帳コンピュータネットワークであり得る。加えて、受信した医療データは、オンチェーン(ブロックチェーン内)およびオフチェーン(ブロックチェーンの外部)で少なくとも部分的に保管され得る。
【0027】
管理エンティティは、患者(医療データの所有者)が紹介される医師に自動データアクセスを提供し得る。例えば、リモートユーザは、患者が紹介される医師であり、ユーザ指定基準が患者の医療記録のみを指定する場合、管理エンティティは、適格な医療記録のアクセス承認ステータスを維持(または自動的に設定)してアクセス承認を示し得る。
【0028】
同様に、管理エンティティは、医療記録の所有者に自動データアクセスを提供し得る。例えば、リモートユーザが医療データの所有者であり、ユーザ指定基準が医療データの所有者の医療記録のみを指定する場合、管理エンティティは、適格な医療記録のアクセス承認ステータスを維持(自動設定)してアクセス承認を示し得る。
【0029】
管理エンティティは、透明性の目的として、ブロックチェーンに記録された電子台帳への自由な閲覧アクセスを選択されたユーザに提供し得る。例えば、管理エンティティは、電子台帳への妨げのない閲覧アクセスを各々が有する特権リモートユーザのグループを維持し得る。特権ユーザは、管理エンティティによって確立されたアクセス基準に基づいて識別され得、アクセス基準は、以前に与えられた許可、特権ユーザが管理エンティティへの保管のために提出した医療記録の数、および以前の合意された加入(subscription)期間、または加入支払い済みのうちの1つまたは複数などである。
【0030】
例として、リモートユーザによって提出されたユーザ指定基準は、解剖学的測定のタイプ、身体機能測定値、データスキャンタイプ、および画像タイプのうちの1つまたは複数を含み得る。例えば、解剖学的測定値は、眼圧、角膜曲率計測測定値、屈折異常、または眼の大きさを含み得、身体機能測定値は、心電図、バイタルサイン測定値(体温、脈拍数、呼吸数)を含み、データスキャンタイプは、光干渉断層撮影装置からのAスキャン、Bスキャン、またはCスキャンを含み、画像タイプは、眼底画像、en-face画像、または眼の前眼部画像を含む。
【0031】
上述したように、データトランザクションは、任意選択的に、データ共有の参加を動機付ける何らかのインセンティブを含み得る。一例は、医療データトランザクションを収益化することである。例えば、買い手と少なくとも1人の売り手との間のトランザクションを促進にするためにコンピュータを使用する方法/システムを提供することができ、この場合、売り手は、管理エンティティ(またはデータストア)への医療情報の提出を承認するために秘密鍵を使用する。管理エンティティは、売り手の個人識別情報とは無関係な公開鍵ベースの識別子によって売り手を識別し得る。公開鍵-秘密鍵トランザクションの使用は公知であり、当業者の範囲内である。買い手は、指定されたタイプの医療情報(例えば、ユーザ指定基準を満たす)へのアクセスのための購入提示を管理エンティティに提出し得、管理エンティティは、購入提示において指定されたタイプの医療情報に一致する潜在的な医療記録(または提出された医療情報を有する売り手)のリストを識別し得る。売り手が売り手の秘密鍵を使用して購入提示を受け入れる(例えば、アクセス承認ステータスを提供する)ことに応答して、管理エンティティは、購入提示において指定されたタイプの医療情報に一致する売り手の医療情報への要求されたアクセスを買い手に提供すること、および売り手および/または他のステークホルダーに支払いを提供することを含む、トランザクションを完了し得る。管理エンティティは、ブロックチェーンコンピュータネットワークを使用して、売り手によって提出された医療情報の記述および売り手の公開鍵のうちの少なくとも1つを維持し得る。次に、現在のトランザクションがブロックチェーンに記録される。任意選択的に、購入提示は提示価格を含み得るが、管理エンティティは、指定されたタイプの医療情報に対する購入希望価格を買い手に提供し得る。買い手は、購入希望価格を受け入れるか、または別の(より高いまたはより低い)購入提示を提出し得る。上記の例と同様に、売り手は、売り手が購入提示を提出する前に、購入希望価格を事前に承認し得る。この場合、売り手は、売り手が提出した医療情報内で見つけられた異なるタイプの医療情報(例えば、眼科対整形外科、または画像対非画像等)に対して異なる購入価格を事前に承認し得る。
【0032】
任意選択的に、管理エンティティは、機械モデル作成サービスを提供し得、買い手の購入提示は、機械モデルの作成に必要な指定されたタイプの医療情報のデータサンプルの所望の数を含み得る。この場合、所望の数のデータサンプルを満たすのに十分な売り手からの購入提示に対する承諾を収集したことに応答して、管理エンティティは、データサンプルを使用して買い手指定の機械モデルを作成し、作成された機械モデルを買い手に提供する。機械モデル作成サービスを選択する場合、買い手が要求したアクセスは、売り手の医療情報への閲覧アクセスを除外し得る。例として、機械モデルは、人工ニューラルネットワーク、畳み込みニューラルネットワーク、U-Net、リカレントニューラルネットワーク、生成敵対的ネットワーク、および多層パーセプトロンのうちの1つまたは複数から選択された深層学習モデルを含み得る。任意選択的に、機械モデルは、分類モデル、回帰モデル、クラスタリング、および次元削減のうちの1つまたは複数に基づく機械学習モデルを含む。
【0033】
上述したトランザクションの例では、リモートユーザまたは買い手に提供される医療情報(例えば、医療データ/記録)アクセスは、データ所有者または売り手を個人的に識別する情報を除外し得る。
【0034】
より概略的には、本発明は、医療(例えば眼科)データを共有するための方法/システムを提供する。この方法は、医療データをブロックチェーンに保存/保管することを含む。次いで、リモートユーザは、ブロックチェーンに保管/指定された医療データへのアクセスを支払提示とともに要求する。次に、アクセス要求は、(例えば、データ所有者によって)承認または拒否される。次いで、アクセス要求の決定はブロックチェーン上に記録され、リモートユーザは、アクセス要求の決定に基づいて、医療データへのアクセスを得るか、または要求が拒否されたという通知を受信する。次いで、アクセス要求が承認されると、ステークホルダーに支払いが行われ得る。ステークホルダーは、データの所有者を含むことができ、所有者は、医療データが収集された患者、患者からデータを収集した医師または医療施設、データを保管するデータホスト、および/またはブロックチェーンサービスプロバイダ(管理エンティティを含み得る)であり得る。任意選択的に、支払いは、暗号通貨に基づいて行うことができる。さらに、ブロックチェーンにデータを保存するステップは、オンチェーンデータおよびオフチェーンデータの両方を保存することを含むことができる。例えば、オンチェーンデータは、(例えば、眼科用)データの所有者に連絡するためのデータ所有者識別子と、オフチェーンで保管されているデータの場所を示す保管場所情報とのうちの少なくとも1つを含み得る。好ましくは、アクセス要求の承認または拒否は、データを所有する患者によって行われる。例えば、アクセス要求の承認または拒否は、医療データが収集された患者等から電子(有線または無線)通信デバイスを介して受信され得る。上述したように、データへのアクセスは、閲覧のみ、有効期限付きレンタル、恒久的なデータダウンロード、およびネットワークプラットフォーム内での処理(例えば、処理のみ)など、複数のタイプを有することができる。処理専用アクセスでは、要求されたデータは、データアクセスを要求したリモートユーザから遠隔にあるコンピュータネットワークプラットフォーム内でアクセスおよび処理され、リモートユーザによる閲覧アクセスが除外され得る。
【0035】
本発明はまた、医療(例えば、眼科)コミュニティ内の患者を紹介するための方法/システムを提供する。例えば、この方法は、患者の医療データをブロックチェーンネットワークに保存するステップと、第1の医師によって医療データセットを閲覧し、紹介決定を行うステップと、紹介決定に従って紹介リンクを紹介される第2の医師に送信するステップと、患者の医療データが第2の医師と共有されることが望ましいことを患者に通知するステップと、患者がこの紹介のためのデータ共有を承認または拒否するステップと、承認決定をブロックチェーンに記録するステップと、第2の医師がデータにアクセスするか、または要求が拒否される旨の通知を受信するステップと、を含み得る。典型的には、紹介は、自動アクセス承認で行われるが、上記で説明したように、本実施例では、患者は、任意選択的に、データ共有を停止することができる。本例では、ブロックチェーンにデータを保存することは、オンチェーンデータおよびオフチェーンデータの両方を保存することを含み得る。紹介リンクは、電子メール、テキストメッセージ、電子メッセージングなどを介して送信することができる。前述のように、アクセス要求の承認または拒否は、データを所有する患者によって行われる。
【0036】
本発明はまた、医療(例えば、眼科)データを患者と共有するための方法/システムを提供する。本方法/システムは、ブロックチェーンネットワークにデータを保存することを含み、ブロックチェーンは、ブロックチェーンに保管されたデータにオンラインでアクセスするユーザを認証することができる。ブロックチェーンにデータを保存することは、オンチェーンデータおよびオフチェーンデータの両方を保存することを含み得る。ブロックチェーンに保管されたデータへのオンラインでのアクセスは、ウェブブラウザ、モバイルデバイスアプリ、またはコンピュータアプリケーションを介して行うことができる。
【0037】
本発明はさらに、医療(例えば、眼科)データ共有時に透明性および信頼性を構築するための方法/システムを提供する。方法は、ブロックチェーンネットワークにデータを保存すること、ブロックチェーン(例えば、ネットワーク化された公開(トランザクション)台帳)上に全てのトランザクションを保管すること、メンバーが公開トランザクション台帳にアクセス/閲覧することを許可することを含む。任意選択的に、メンバーによるネットワーク化された公開トランザクション台帳へのアクセスは、加入支払い済みなどの特定の基準を必要とする。
【0038】
本発明のその他の目的及び達成事項は、本発明のより十分な理解と共に、添付の図面と併せて解釈される以下の説明と特許請求の範囲を参照することにより明らかとなり、理解されるであろう。
【0039】
本発明の理解を容易にするために、本明細書においていくつかの刊行物を引用または参照している。本明細書で引用または参照される全ての刊行物は、参照によりその全体が本明細書に組み込まれる。
【0040】
本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。1つの請求カテゴリ、例えばシステムにおいて記載される何れの実施形態の特徴も、他の請求カテゴリ、例えば方法においても特許請求できる。付属の請求項中の従属性又は後方参照は、形式的な理由のためにのみ選択されている。しかしながら、それ以前の請求項への慎重な後方参照から得られる何れの主題もまた特許請求でき、それによって請求項及びその特徴のあらゆる組合せが開示され、付属の特許請求の範囲の中で選択された従属性に関係なく、特許請求できる。
【図面の簡単な説明】
【0041】
図面では、同様の参照記号/文字が同様の構成要素を指す。
【
図1】例示的なブロックチェーンコンピュータネットワークを示す図である。
【
図2】本発明による例示的なシステムの全体的な概要を提供する図である。
【
図3】所望の医療データを識別するためのいくつかのユーザ指定基準の例を示す図である。
【
図4】データカウントリスト、データアクセスタイプ、および関連するアクセス価格の例を示す図である。
【
図5】リモートユーザ(例えば、データ顧客または研究者)と本管理エンティティ(例えば、マーケットプレイス/ワークプレイスプラットフォームまたはブロックチェーン管理者/サービスプロバイダ)との間の例示的なデータアクセストランザクションプロセスを示す図である。
【
図6】新たな患者データを本管理エンティティ(例えば、マーケットプレイス/ワークプレイスプラットフォームまたはブロックチェーン管理者/サービスプロバイダ)に保管(移動)するためのプロセスを示す図である。
【
図7】本システム/プラットフォームを使用する医師紹介のためのワークフローを示す図である。
【
図8】被検者の視野を検査するための視野検査機器(視野計)の一例を示す図である。
【
図9】眼底を撮像するためのスリット走査式眼科システムの一例を示す図である。
【
図10】本発明で使用するのに適した眼の3D画像データを収集するために使用される一般型周波数領域光干渉断層撮影システムを示す図である。
【
図11】ヒトの眼の正常な網膜の例示的なOCT Bスキャン画像を示し、例示的に、種々の正規の網膜層および境界を識別する図である。
【
図12】en face脈管画像の例を示す図である。
【
図13】例示的なBスキャンの脈管構造(OCTA)画像を示す図である。
【
図14】多層パーセプトロン(MLP)ニューラルネットワークの例を示す図である。
【
図15】入力層、隠れ層、および出力層からなる簡略化されたニューラルネットワークを示す図である。
【
図16】例示的な畳み込みニューラルネットワークアーキテクチャを示す図である。
【
図17】例示的なU-Netアーキテクチャを示す図である。
【
図18】例示的なコンピュータシステム(またはコンピューティングデバイス又はコンピュータ)を示す図である。
【発明を実施するための形態】
【0042】
眼科コミュニティ(または他の医療コミュニティ)内で、ステークホルダー(例えば、データトランザクション/交換の参加者)間で、(例えば、医療)データを共有するための典型的なプロセスは、以下のステップであって、
1. プロトコル(例えば、(医療)データの収集、検査の実施、被検者の選定等)を列挙した(例えば、医療)研究提案を作成するステップと、
2. IRB(例えば、治験審査委員会または倫理委員会)の承認を得るステップと、
3. 各被検者(例えば、医療研究における患者)について、同意を得て、法的権利(例えば、患者の医療データの使用)を発生させるステップと、
4. プロトコルに基づいて必要なデータを取得し、データおよび同意をデータベースに保存するステップと、
5. オンライン共有ツール、外部ポータブルデータストレージドライブなどを通じて、全ての取得されたデータ/同意を(例えば、ステークホルダーと)共有するステップと、を含み得る。
【0043】
しかしながら、この現在の手法には、以下のようないくつかの制限がある。
1)同意を得ることは困難であり、スケーラブルではなく、また一般に撤回することができない。一般に、同意を得ることは、技術的な詳細および臨床上の利点を患者に説明することを伴い、これは、臨床ワークフローの効率を低下させ得る。一部の患者はまた、同意の条件、制限、および目的を理解するための限られた時間を前提として、同意を拒否する場合がある。さらに、同意に基づいて1つの特定の使用ケースの下でデータが取得された場合、当初の同意でカバーされていない他の/将来の用途に拡張されない場合がある。また、一旦同意が与えられると、患者が後に気が変わった場合、同意を撤回することは非常に困難であり得る。
【0044】
2)医師とのデータ共有合意を確立することは困難である。多くの場合、医師は、データ共有を親しい協力者のみに限定する傾向がある。十分に確立された協力者を持たない小企業および新たな研究者にとって、医師との研究提案または研究合意を得ることは困難である。
【0045】
3)患者および医師は、データを共有するための適切な金銭的インセンティブを有していない。今日、データに基づく革新的なソリューションは、実質的な経済的収益を生み出すことができる。しかしながら、(医療)データの所有者である患者は、一般に、自身のデータに対して適切な金銭的支払い(または他の報酬)を取得していない。これは、現在のデータ共有のフレームワークが、そのようになるための機構を提供していないからでもある。データを共有する医師であっても、自由なマーケットプレイスの評価がないため、データの価値を正しく見積もることは困難である。このことは、研究提案/研究契約を交渉する際に、さらに課題を課すことになる。
【0046】
4)全ての研究提案および同意が行われると、データ共有の部分自体は、主に手作業になり、これは、スケーリングすることを非常に困難にし得る。これは特に、物理的なハードドライブ(またはCD、またはDVD、またはフラッシュドライブ、または他の物理的な記憶媒体)を、国をまたいで、または世界中に輸送する場合に当てはまる。そのような輸送は、輸送中のデータ損失のリスクを引き起こす。
【0047】
5)現在のデータ共有のフレームワークでは、データの所有者である患者は通常、自身のデータに簡単にアクセスすることができない。
本発明は、上記の問題に対処するためにブロックチェーン技術を使用する。典型的なブロックチェーンコンピュータネットワークの構成は、当該技術分野において周知であるが、説明のために、
図1は、例示的なブロックチェーンコンピュータネットワークを示す。一般に、ブロックチェーン11は、暗号技術を使用して互いにリンクされたレコードまたはブロック[例えば、11a、11b、…、11(n-1)]の成長リストを有する分散台帳である。ブロックチェーン内の第1のブロックは、通常、起源ブロックと呼ばれる。各ブロックは、ブロック自体の暗号ハッシュおよび前のブロックのハッシュ(このハッシュによってブロックチェーン内の位置を識別する)、タイムスタンプ、およびトランザクションデータを含み得るが、追加のタイプのデータがブロック内に保管され得る。例えば、新たなブロック11nは、保存されるべきデータ、ブロック11nのハッシュ、および前のブロック11(n-1)のハッシュを含む。ブロック内に保管されるデータは、ブロックチェーンのタイプ(例えば、ブロックチェーンの目的)に依存する。当技術分野で既知であるように、ハッシュは、ハッシュアルゴリズムを使用して決定され得、ブロックおよびブロックの内容の全てを識別する一意の識別子を提供する。ブロックの内容が変更された場合、この変更を反映するために新たなハッシュが生成される。従って、ハッシュを使用して、ブロックが変更された時期を判定することができる。さらに、変更されたブロックの新たなハッシュは、変更されたブロックを異なるブロックとして効果的に識別する。加えて、タイムスタンプは、ブロックが発行され、かつブロックチェーンに追加されたときに、保管されたトランザクションデータが存在したことを保証するために使用され得る。各ブロックはその前のブロックを識別する(例えば、その前のブロックに関する情報を含む)ため、それらはチェーンを形成し、各追加ブロックはその前のブロックを補強する。一度記録されると、任意の所与のブロック内のデータは、変更を反映するためにブロックチェーン内の全ての後続ブロックも変更することなしに遡及的に変更することができないため、ブロックチェーンは、データの改変に対して耐性がある。
【0048】
以前の眼科ブロックチェーンアプリケーションは、画像データ共有を対象としていない。それらは、大部分がテキストデータである電子医療記録(EMR)の態様に主に焦点を当てており、テキストデータは、診断撮像データと比較すると、その価値は限定的である。画像データが共有されることを可能にする他のドメインにおけるブロックチェーンアプリケーションは、マーケットプレイスベースの画像データの商業化システムを提供していない。本発明の他の特徴に加えて、本発明の経済的側面は、産業において大きな影響を与える可能性を有し、データ共有を実質化し、有機的で、かつ患者中心のものにする強いインセンティブを生み出すことができる。さらに、本方法は、任意選択的に異なる価格層を有する複数のデータアクセスタイプを提供し、これは、異なるユーザグループに利益を与える柔軟性を提供する。オンチェーンデータ(ブロックチェーン上に保管されたデータ)とオフチェーンデータ(ブロックチェーン外に保管されたデータであるが、ブロックチェーンは、データが保管されている場所を任意選択的に識別し得る)との間のデータ検証は、本ブロックチェーンベースのソリューションがあらゆる規制要件を満たし、かつ現実世界の利益を提供することを確認するために、提供され得る。ブロックチェーン内で発生するトランザクションは、一般に、オンチェーントランザクションと呼ばれ、ブロックチェーンネットワークの外部で発生するトランザクションは、一般に、オフチェーントランザクションとして知られている。また、規制要件は、オンチェーントランザクションおよび/またはオフチェーントランザクションにおけるデジタル(または「スマート」)契約を使用して対応され得る。加えて、本システムでは、紹介および患者の画像データへのアクセス(常に)が、従来の手法とは異なる方法で処理され得る。
【0049】
図2は、本発明による例示的なシステムの全体的な概要を提供する図である。この例では、患者21は、医療機器22を使用して患者21から医療データを収集する民間の医師または医療機関(例えば、診療所、病院、研究機関など)を受診する。収集されたデータは、患者の医療問診票に対する回答、患者の生物学的測定値、および/または医療画像を含み得る。異なるタイプの医療機器の例としては、患者の視野を検査するための視野検査機器(視野計)、眼の前眼部または後眼部を撮像するためのスリット走査式眼科システムまたは他のカメラ、光干渉断層撮影(OCT:optical coherence tomography)システム、およびOCT血管造影(OCTA:OCT angiography)システムが挙げられるが、これらに限定されない。これらのタイプの機器のいくつかのより詳細な説明が以下に提供される。収集された生物学的測定値および医療画像の例は、網膜厚マップ、網膜層、OCT/OCTA Bスキャン、OCT/OCTA Aスキャン、OCT/OCTA Cスキャン、OCT/OCTA en face画像、網膜、黄斑、中心窩、視神経円板または視神経、後極、特に標的血管構造、瞳孔、角膜、虹彩等のような特に標的生物学的/地理的特徴の画像を含むが、これらに限定されない。本例では、患者は、医師または医療機関が収集したデータの全部または一部を管理エンティティ(ワークプレイスプラットフォームまたはマーケットプレイスプラットフォームまたはブロックチェーンサービスプロバイダまたはブロックチェーン管理者またはデータブローカ)23に送信するための許可を、診察の前または後に付与し得る(例えば、同意を提供する)。任意選択的に、医療測定値または医療画像を取り込む医療機器/デバイスは、検査ワークフローに支障がないように、患者からの同意を得て、医療データを管理エンティティ23に自動的に送信/伝送する。データは、電子メールを介して、インターネット(例えば、ウェブポータル)、コンピュータアプリケーション、ポータブルデバイスアプリを介して、または物理的データ記憶媒体(例えば、ハードドライブ、CD、DVD、USBフラッシュドライブなど)上で電子的に送信され得る。従って、医療データの所有者の同意を得て、管理エンティティ23は、データストア/ホスト25に保管するために医療データを受信するか、またはそうでなければ、リモートデータストア/ホスト28からの医療データにアクセスする許可が与えられる。例えば、リモートデータストアは、医療データを収集した医師または医療機関によって運営され得る。任意選択的に、収集された医療データの所有者、例えば、この例では患者は、管理エンティティ23と直接通信し得、任意選択的に、自身の医療データを保管のために管理エンティティに直接提出し得る。任意選択的に、管理エンティティ23とのデータ提出同意は、管理エンティティ23に、受信した医療データへの自由な研究アクセスを許可し得る。任意選択的に、この研究アクセスは、患者の個人識別情報を除外し得る。
【0050】
管理エンティティ23は、異なるステークホルダー(例えば、患者、データ所有者、医師、研究者、機関等)間のデータ(例えば、医療データ/データ記録であり、データの金銭的取引を含み得る)の交換のためのトランザクションを管理/監視/統括し、かつ記録する。管理エンティティ23は、内部データストア25によって例示されるように、データのコピーを保持/保有し得えるか、または管理エンティティ23の管理下にあり得るデータストア27によって、または独立データストア28によって例示されるように、リモートに保持された医療データにアクセスし得る。例えば、独立データストア28は、管理エンティティにデータを提供した、または少なくとも保管されたデータへのアクセスを得るための指示を含むデータの記述を提供した医師または機関によって管理され得る。
【0051】
管理エンティティ23は、トランザクションの前、間、および後に、データ所有者(および他のステークホルダー)の個人識別情報を隠された状態に、例えば、秘密に維持し得るが、関与するステークホルダーの公開識別子を含む全てのトランザクションの電子台帳(例えば電子記録)も維持する。上記で説明したように、管理エンティティ23は、1つまたは複数のブロックチェーンを使用することによってこれを実現する。従って、管理エンティティ23は、全てのトランザクション(例えば、受信した医療データ)の要約をブロックチェーンに記録し、ブロックチェーンは、利用可能な医療記録の電子台帳を維持し得る。本管理エンティティ23は、自身のプライベートブロックチェーン24aをホストし得、かつ/または公開ブロックチェーン24bを維持/管理し得る。いずれの場合も、管理エンティティ23は、ブロックチェーン24a/24bへのアクセスを許可する対象を制御し得る。任意選択的に、ステークホルダーは、実線矢印によって示されるように、管理エンティティ23を介してプライベートブロックチェーン24aと通信し得るか、または点線矢印によって示されるように、公開ブロックチェーン24bと直接通信する許可が与えられ得る。ブロックチェーンは、分散台帳として機能し得、分散台帳は、複数のサイト、複数の機関、または複数の地域にわたって合意の上で共有および同期され、複数の人によってアクセス可能であるデータベースに似ており、かつブロックチェーンは、トランザクションに公開の「証人」を持たせることが可能であるため、透明性が高められる。分散公開台帳ネットワークの各ノードにおける参加者は、そのネットワークにわたって共有されている記録されたトランザクションへのアクセスが許可され得る。これによって、台帳に対して行われた任意の変更または追加(例えば、トランザクション)は、様々なステークホルダーによって反映され、かつ検証され得る。管理エンティティ23は、個人識別可能情報(PII:personal identifiable information)および他のプライベートデータに関連付けられた分散(または公開)識別子(DID:decentralizedidentifier)を使用し得る。DIDは、公開ドメインの認識情報であり得るが、その関連付けられたPIIは隠された状態に維持される。DIDの所有者のみが、その関連付けられたPIIにアクセスすることができる。このようにして、所有者は、プライベート(例えば、医療)データを誰と共有するか、また、いつ、どこで、どのようにプライベートを共有するかを選択することができる。これは、ブロックチェーン上の個人データのアクセス制御を個人データの所有者に委ねる。任意選択的に、ブロックチェーントランザクションを高速化するために、管理エンティティ23は、同じステークホルダー間で一組の複数のトランザクションを実行し、一組のトランザクションの完了時に、トランザクションの記録をブロックチェーン上に保管し得る。ブロックチェーン外のデータストアにデータを保管すること、またはそこからデータにアクセスすることなど、ブロックチェーンネットワークの外部で発生するトランザクションは、オフチェーントランザクションとして一般的に既知であるが、オフチェーントランザクションの記録もブロックチェーン上で維持され得る。
【0052】
ブロックチェーン24a/24bは、非対称暗号化に基づき得る公開鍵暗号システムを使用し得る。公開鍵暗号システムでは、ネットワーク(例えば、管理エンティティ23および/またはブロックチェーン24a/24b)は、ユーザが公開鍵-秘密鍵ペアを生成し、かつ使用することを可能にし、ここで、公開鍵と一意に対応する秘密鍵とが一緒に生成される。公開鍵は、誰とでも自由に共有することができるが、秘密鍵は、その特定のペアの公開鍵に属するトランザクションをロック解除するための安全なパスコードとして機能する。従って、秘密鍵は一般に秘密に保たれる。このようにして、公開鍵-秘密鍵ペアは、通信およびデータ交換などの安全なトランザクションを可能にする。トランザクションは、公開鍵を使用して暗号化され、復号化には公開鍵の対応する秘密鍵が必要となる。例えば、第1のユーザが第2のユーザからメッセージを受信したい場合、第1のユーザはその公開鍵を第2のユーザと共有し、第2のユーザは第1のユーザの公開鍵を使用してメッセージを暗号化する。暗号化されたメッセージを受信すると、第1のユーザは、自身の秘密鍵を使用してメッセージを復号し得る。全てのトランザクションにおいて、ユーザの個人識別情報は、公の場から隠された状態に維持される。
【0053】
公開鍵は英数字の長い文字列であり得るため、それらは扱いにくく、使用するのが面倒である可能性がある。任意選択的に、公開鍵の修正された表現が公開鍵の代わりに使用され得る。この修正された表現は、それが表す元の公開鍵よりも短く、かつ使用が容易であることが好ましい。例えば、公開鍵-秘密鍵ペアにおける公開鍵の修正された表現は、「公開アドレス」または公開識別子の形態をとり得る。特定の実施形態では、公開アドレス/公開識別子は、公開アドレスが自由に共有され得るため、ブロックチェーンのユーザ(例えば、ステークホルダー)が互いに身元を識別することをより容易にする一般的な電子メールアドレスの形態をとり得る。例えば、公開アドレスは、それが表す公開鍵に対してハッシュアルゴリズムを使用して作成され得、これは、追加の暗号化層を効果的に追加する。従って、公開アドレスは、通常、それが表す公開鍵よりも使用が容易であるが、公開アドレスに対応する秘密鍵をリバースエンジニアリングすることは事実上不可能である。本例では、ブロックチェーンにアクセスすることを所望する場合、自身の公開アドレス(または公開鍵)を提示するが、公開アドレスの(例えば、代表される公開鍵の)対応する秘密鍵を提供することによって、自身の身元を検証することが要求される場合もある。秘密鍵が正しくない場合、ブロックチェーンへのアクセスは拒否される。このようにして、特定の公開アドレス(または公開鍵)の所有者のみがアクセスを許可されることを保証することができる。
【0054】
従って、管理エンティティ23によって保存/管理される医療データの所有者は、公開鍵に基づき得る公開識別子によって識別され得、公開識別子は、秘密鍵に基づき得る対応する個人識別可能情報に関連付けられている。公開識別子は、好ましくは、いかなる個人識別情報を除外しており、それによって、管理エンティティ23は、医療データの所有者のいかなる個人識別情報も隠された状態に維持する。
【0055】
複数のリモートユーザ29-1~29-iは、ユーザ指定基準を満たす医療データに対する電子要求を送信し得る。任意選択的に、リモートユーザ29-1~29-iは、電子要求を送信する前に、(管理エンティティ23および/またはブロックチェーン24a/24bによって提供される)利用可能な医療データの台帳を確認し得る。要求を検証した後、上述したように、管理エンティティは、電子台帳から少なくとも部分的に決定された、ユーザ指定基準を満たす利用可能な適格な医療記録のリストをリモートユーザに提供することによって、電子要求に応答し得る。
【0056】
図3を参照すると、ユーザ指定基準の例は、カテゴリによって分割され得る。例えば、リモートユーザ29-1~29-iは、特定の医療測定値またはデータタイプ31を指定し得、かつ/または患者固有の記述子/要件32を指定し得る。医学的測定値またはデータタイプ31は、解剖学的測定値(眼圧、角膜曲率計測測定値、屈折異常、または眼の大きさなど)、身体機能測定値(例えば、心電図またはバイタルサイン測定値(体温、脈拍数、呼吸数))、データスキャンタイプ(例えば、光干渉断層撮影装置からのAスキャン、Bスキャン、またはCスキャン)、画像タイプ(例えば、眼底画像、en-face画像、または眼の前眼部画像/後眼部画像)などを含み得る。患者固有の要件は、年齢層、性別、社会経済的地位、地理的位置(例えば、国、州、町、地理的地域等)、民族性、既存の病状(例えば、以前に診断された疾病)、現在の治療等を含み得る。
【0057】
図4を参照すると、任意選択的に、ユーザ指定基準を満たす利用可能な適格な医療記録のリストは、利用可能な(適格な)医療記録のカウント41を含み得る。カウントがリモートユーザの目的に十分でない場合、リモートユーザは、ユーザ指定基準を変更することを選択し得る(
図3参照)。管理エンティティ23は、ユーザ指定基準のこの電子的変更に対して、更新有効性(update availability)カウント41を含んで、変更されたユーザ指定基準を満たす利用可能な適格な医療記録の更新されたリストをリモートユーザに自動的に提供することによって、応答し得る。
【0058】
リモートユーザは、次いで、個々の記録を選択し、かつ/または所望の医療データ記録の一般的な数を提出し得る。リモートユーザが適格な医療記録のうちの1つまたは複数を選択することに応答して、管理エンティティ23は、各選択された(適格な)医療記録に関する既存のアクセス承認ステータスをチェックする。即ち、個々の医療データ/記録の所有者(例えば、患者)は、一定の基準(例えば、アクセスのタイプ、使用目的、支払金額、データを要求する特定のユーザ等)に従って、それらのデータへのアクセスのための既存の承認を提出し得る。データ所有者からの既存のアクセス承認ステータスを有していない選択された各適格な医療記録に関して、管理エンティティは、承認の要求(価格提示を含む場合がある)をデータ所有者に送信し、データ所有者の承認応答に従って適格な医療記録の承認ステータスを更新する。
【0059】
任意選択的に、リモートユーザは、利用可能な記録カウント41よりも少ない適格な医療記録42の所望の数を提出し得る。管理エンティティ23は、適格な医療記録の各々に関して既存のアクセス承認ステータスをチェックすることによって応答し得、既存のアクセス承認ステータスを有する適格な医療記録の数が十分である場合、管理エンティティ23は、既存のアクセス承認ステータスを有する医療記録の中から所望の数の適格な医療記録を自由に選択し得る。しかしながら、既存のアクセス承認ステータスを有する適格な医療記録の数が不十分である場合、管理エンティティ23は、指定された所望の数を満たすために必要とされる追加の適格な医療記録の数を決定し、追加的に必要とされる適格な医療記録ごとに、追加的に必要とされる適格な医療記録の所有者に承認要求を送信し、データ所有者の承認応答に従って追加的に必要とされる適格な医療記録の承認ステータスを更新し得る。
【0060】
場合によっては、管理エンティティ23は、データ所有者からの既存の同意に従って、選択された医療データにアクセス承認ステータスを割り当て得る。例えば、第1の医師が第2の医師に患者を紹介している場合、管理エンティティ23は、患者からの新たなアクセス承認応答を必要とすることなく、第2の医師に患者の関連する医療記録へのアクセスを許可し得る。例えば、リモートユーザが、患者が紹介される第2の医師であり、ユーザ指定基準が患者の医療記録のみを指定する場合、管理エンティティ23は、適格な医療記録に対する自動アクセス承認ステータスを維持するか、または割り当て得る。別の例では、患者(または他のデータ所有者)が自身の記録にアクセスすることを希望する場合、患者からの新たなアクセス承認応答の要求は省略され得る。言い換えれば、医療データの要求を提出したリモートユーザが医療データの所有者であり、全てのユーザ指定基準が医療データの所有者の医療記録のみを指定する場合、管理エンティティ23は、要求された医療データに対する自動アクセス承認ステータスを維持するか、または割り当て得る。
【0061】
上述したように、本システムは、ステークホルダーが本システムに参加するための金銭的インセンティブを提供し得る。例えば、管理エンティティ23は、医療データを要求するリモートユーザに、利用可能な適格な医療記録のリストに関連付けられた価格リスト(例えば、データ項目毎または医療記録毎)を提供し得る。価格リストは、要求されるデータのタイプ(例えば、測定データ、画像データ、アンケートデータなど)、データが収集された地理的位置(例えば、起源国など)、要求されるデータアクセスのタイプなど、様々な基準に基づいて変化し得る。いずれにしても、リモートユーザが適格な医療記録のいずれかにアクセスすることを選択した場合、管理エンティティ23は、リモートユーザから適格な医療記録に関連付けられた価格を徴収し、選択された医療記録の所有者、選択された医療記録のいずれかを収集した医療機関、および選択された医療記録のいずれかをホストするデータストアの各々のうちの1つまたは複数に、かつ管理エンティティ自体に支払いを分配し得る。リモートユーザが提示された価格リストを受け入れない場合、リモートユーザは、所望のデータに対して、提示された価格リストに示されるものよりも高いまたは低い逆提案を提出し得る(例えば、異なる価格を提示する)。管理エンティティ23および/またはデータ所有者は、逆提案を検討し、それを受け入れるか拒否するかを選択し得る。今後提示される価格リストは、少なくとも部分的に、以前に受け入れられた逆提案に基づき得る。
【0062】
管理エンティティ23が支払いを収集および分配するか、または何らかの他のタイプのインセンティブ利益を提供するかどうかに関係なく、リモートユーザがアクセスのための適格な医療記録のうちの1つまたは複数を選択すると、管理エンティティ23は、選択された(適格な)医療記録の所有者によって許可された各選択された(適格な)医療記録に対するアクセス承認ステータスに従って、選択された適格な医療記録へのアクセスをリモートユーザに対して許可することによって応答するとともに、データトランザクションをブロックチェーン24a/24bに記録する。
【0063】
上述したように、管理エンティティ23は、異なるタイプのデータアクセスをリモートユーザに提供し得る。例えば、
図4を参照すると、管理エンティティ23は、要求されるデータに対して利用可能なアクセスタイプのリスト43から選択されたアクセスタイプ要求をリモートユーザから受信し得る。例えば、アクセスタイプリスト43は、データ閲覧のみ43a、有効期限付きの一時的な(完全)データアクセス43b、データダウンロードによる恒久的なデータアクセス43c、およびリモートユーザから遠隔にある管理エンティティ23によって実行される(またはその管理下で実行される)リモートデータ処理43dを含み得る。複数のタイプのアクセス要求が選択され得る。例えば、リモートデータ処理オプション43dは、閲覧アクセスを含まない場合がある。リモートユーザがデータを閲覧するオプションを希望する場合、リモートユーザは、さらに閲覧のみのオプション43aを選択し得る。任意選択的に、恒久的なダウンロードオプション43b(例えば、データダウンロードによる恒久的アクセス)は、電子台帳内の利用可能な医療記録のリストから、アクセスされた適格な医療データを削除することを含み得る。金銭的インセンティブが実施される場合、各アクセスタイプは、リモートユーザによって支払うべき関連するアクセス価格44a~44d(例えば、医療記録値毎)を有し得る。
【0064】
リモートデータ処理オプション43dでは、リモートユーザは、どのタイプのデータ処理を所望するかをさらに選択する。次に、管理エンティティ23は、所望の処理を実行するか、またはリモートサイトにおける実行の準備をする。例えば、所望のデータ処理は、選択された医療データを使用して機械学習モデルを生成し(選択された医療記録を使用して)、眼底画像における中心窩の位置を特定するなど、指定された目的に対処することを含み得る。次いで、リモートユーザは、生成された機械学習モデルへの完全なアクセスが許可される。機械モデルのタイプの例は、人工ニューラルネットワーク、畳み込みニューラルネットワーク、U-Net、リカレントニューラルネットワーク、生成敵対的ネットワーク、および多層パーセプトロンのうちの1つまたは複数から選択された深層学習モデルを含む。これらのタイプの機械モデルの例を以下に示す。より一般的には、機械モデルオプションは、追加的にまたは代替的に、分類モデル、回帰モデル、クラスタリング、および次元削減のうちの1つまたは複数に基づく機械学習モデルを含み得る。
【0065】
上述したように、管理エンティティ23は、閲覧のために選択された(特権のある)リモートユーザに電子台帳へのアクセスを許可し得、これにより、アクセスに対する利用可能な医療データの記録が提供される。これらの特権を与えられたリモートユーザは、電子台帳への妨げのない閲覧アクセスが許可され得る。特権ユーザは、管理エンティティ23によって確立されたアクセス基準に基づいて識別され得、アクセス基準は、以前に与えられた許可、特権ユーザが管理エンティティ23への保管のために提出した医療記録の数、および/または事前に合意されたアクセスに関する加入価格/期間のうちの1つまたは複数を含む。
【0066】
図5および
図6は、本発明の第1の使用事例を示す。本実施形態は、例えば、マーケットプレイスを通じて、ブロックチェーンネットワークメンバ(例えば、リモートユーザまたはステークホルダー)間で(医療)データを共有するためのワークフローを例示する。
図5は、(リモート)ユーザ(例えば、データ顧客または研究者)によるデータアクセス(例えば、データ交換/購入/リース)を示し、
図6は、新たな患者(医療)データを本マーケットプレイスプラットフォーム(例えば、管理エンティティ/ブロックチェーン)に保存(移動)するためのプロセスを示す。
図5を参照すると、最初に、ブロックチェーンの(リモート)ユーザが、特定の(医療)データタイプまたはプロファイルに対する要求を行う(ブロック51)。要求に基づいて、要求を満たす利用可能な潜在的データセットのカタログ(例えば、リスト)が、例えば、プラットフォーム/管理エンティティによって集約される(ブロック52)。この集約は、ブロックチェーン内で行われ得るか、またはデータセットをホストするデータブローカ(例えば、管理エンティティ)によって行われ得る。このカタログに基づいて、各データセットに対する対応する要求が、データアクセスタイプに基づく提示(例えば、価格)を伴う1つまたは複数の電子通知として、要求されたデータを所有する個々の患者に対して発行される(ブロック53)。データアクセスタイプは、閲覧のみ、有効期限(期間)付きのレンタル/リース、恒久的なダウンロード、マーケットプレイスプラットフォーム(例えば、管理エンティティ)内でのデータ処理等を含むことができる。
図4に示すように、データアクセスタイプに応じて提示(単数または複数)が異なるように、データアクセスタイプごとに異なる価格層が構成され得る。
【0067】
次に、要求されたデータの所有者(例えば、患者)は、データアクセスを承認するか、または拒否するかを選択する(ブロック54)。患者がアクセスを承認しない場合、対応する応答(例えば、アクセス拒否の通知)が、アクセス要求を提出した(リモート)ユーザに送信される(ブロック55)。患者がアクセスを承認した場合、これは患者が患者のデータを共有することに明示的に同意したことを意味し、この明示的な同意は、ブロックチェーンに記録されるとともに、恒久的な記録として保存される(ブロック57)。アクセスを要求したユーザ(例えば、データ顧客)は、要求されたフォーマット(データアクセスタイプ)でのデータへのアクセスが与えられる(ブロック58)。上述したように、検証メカニズムは、マーケットプレイスプラットフォームにも組み込まれているため、(リモート)ユーザがアクセスしたデータは、アクセス/検索されたときの状態/記録に対して検証され、任意選択的に、プラットフォーム/管理エンティティに保管/保存されたときの状態/記録に対して検証される。検証に合格した場合、このデータアクセスは成功したものとみなされる。アクセスが完了すると、支払いトランザクションが行われ、全てのステークホルダーが支払いの適切な割合を得る(ブロック59)。支払いの適切な割合は、トランザクションの前に合意されるか、または現在の供給と需要の値/パーセンテージの動向に基づいてリアルタイムで決定され得る。例えば、データを所有する患者、データを取得した医師/診療所、データをホストする病院/撮像センター/デバイス企業、およびブロックチェーンサービスの全てが支払いを受ける。いつでも、患者は同意を撤回することができ、按分された支払いが返金される。同意が撤回された後、(以前の)恒久的にダウンロードされたデータは、もはや研究または商業目的のために使用することはできなくなる。
【0068】
本マーケットプレイスプラットフォームは、購入された、リースされた、または他の方法でアクセスされたデータのための様々なツール/サービスをプラットフォーム自体に含み得る。これらのツールは、アクセスされたデータの操作、分析、またはその他の処理を支援するために使用され得る。例えば、アクセスされたデータの処理がマーケットプレイスプラットフォーム内で少なくとも部分的に実行される場合、マーケットプレイスプラットフォームは、ユーザ(データ顧客)が、ブロックチェーンを介して利用可能な購入/リースされたデータ上で1つまたは複数のアプリケーション/ツール/サービス(アプリ)を直接実行することを可能にし得る。例えば、マーケットプレイスプラットフォームは、購入/リースされたデータの分析を支援する1つまたは複数の自動機械学習(ML)アプリへのデータ顧客のアクセスを提供し得る。MLアーキテクチャの様々な例が以下に提供される。研究者(ユーザ)がデータを購入/リースし、プラットフォーム内で購入/リースされたデータを処理することを選択すると、自動MLアプリを購入(またはリース)し、購入/リースされたデータに対して使用して、訓練済みのMLモデルを生成することができ、任意選択的に、研究者が提供する訓練命令/訓練設定に従って訓練済みのMLモデルを生成することができる。別の例では、アルゴリズムまたは分析アプリを購入/リースして、ブロックチェーン内の購入/リースされたデータに対して実行して、ビジネスインサイトを生成することができる。
【0069】
図6を参照すると、ブロックチェーン(管理エンティティ)への新たな患者データの保存(保管)は、バックグラウンドで実施され得るとともに、既存の臨床ワークフローと完全に互換性がある。例えば、医療検査が完了した後(ブロック61)、患者の選好/許可に基づいて、患者のデータは、ブロックチェーン(管理エンティティ)に保存/送信されるか、または保存/送信されない(ブロック62)。患者がマーケットプレイスプラットフォームにオプトインしないことを選好する場合(ブロック62=否)、(医師/診療所の)通常のワークフローに従い、患者データはワークプレイスプラットフォームに移動されない(ブロック64)。患者の選好がマーケットプレイスプラットフォームにオプトインすることである場合(ブロック62=是)、患者の検査データはブロックチェーン(管理エンティティ/プラットフォーム)に保存され、患者は、データ保管が成功した後に通知を受信する(ブロック63)。同時に、この患者データ(例えば、画像データセット)は、ブロック63によって示されるように、データ共有マーケットプレイスデータベース(例えば、電子台帳/ブロックチェーン)に追加される。
【0070】
患者/医療データを共有するのと同様に、アルゴリズム/アプリケーションも、ブロックチェーン(管理エンティティ/プラットフォーム)を使用して共有することができる。この場合、アルゴリズム/アプリケーションは、「データ」が処理される方法と同様の方法で処理されるとともに、ブロックチェーンを使用してマーケットプレイスプラットフォームにおいて試験/ライセンス供与/購入され得る。このようにして、全ての承認およびトランザクション記録がブロックチェーンに自動的に保存される。
【0071】
図7は、本管理エンティティ/プラットフォームを使用した(例えば、ブロックチェーンを使用した)医師紹介のためのワークフローを図示する。この使用事例では、第1の医師が患者データを閲覧し(ブロック71)、次いで、患者を第2の医師に紹介するか否かを決定する(ブロック72)。紹介の決定が否である場合(ブロック72=否)、プロセスは終了する(ブロック73)。紹介の決定が是である場合(ブロック72=是)、紹介リンク(例えば、電子メール、電子メッセージ、URLなど)が、ブロックチェーンネットワークに参加する方法(例えば、管理エンティティにユーザとして登録する方法)に関する指示と共に第2の医師に送信される(ブロック74)。同時に、データを所有する患者は、自身の医療データ/記録が例えば医師紹介の一部として第2の医師と共有されることを示す通知を受信し得る(ブロック74)。一実施形態では、患者は次に、自身のデータの共有を承認または非承認することができる(ブロック75)。患者が承認しない場合(ブロック75=否)、両方の医師は、第2の医師とデータを共有することに対する患者の拒否を示す応答を受信する(ブロック76)。これは、患者が紹介を拒否するのと同じことである。患者が自身のデータの共有を承認した場合(ブロック75=是)、第2の医師は患者のデータへのアクセスを得る(ブロック77)。代替的に、患者のデータが他の医師と(自動的に)共有されることを可能にするために、この患者承認プロセスを患者同意の一部として臨床ワークフローに統合することができる。
【0072】
任意選択的に、データがブロックチェーンネットワーク上に保存された患者は、上述したように、ウェブポータル(例えばウェブブラウザ)またはアプリから自身のデータにいつでもアクセスすることができる。患者の資格証明が認証されると、患者は、デフォルトで、自身のデータにアクセスする完全な同意を有する。
【0073】
最適には、マーケットプレイスプラットフォーム(管理エンティティ)は、特定の要件を満たす(例えば、加入支払い済み、最小数のデータセットが共有されることを満たす)ブロックチェーンネットワークのメンバーが、記録されたブロック情報を全て有するブロックチェーン台帳要約情報にアクセスすることを提供し得る。これにより、ブロックチェーンネットワークにおいて透明性が提供され、誰もが単一の真実の記録へのアクセスを有することによって、信頼性が構築され得る。
【0074】
以下に、本発明に好適な各種ハードウェアおよびアーキテクチャについて説明する。
視野検査システム
本明細書で説明される改良点は、任意の種類の視野テスタ/システム(例えば、視野計)と組み合わせて使用することができることである。そのようなシステムの1つは、
図8に示すような、「ボウル」視野テスタVF0である。被検者(例えば、患者)VF1は、一般にボウルの形をした半球状の投影画面(または他の種類のディスプレイ)VF2を観察するようにして示されており、このためテスタVF0がそのように呼ばれる。通常、被検者は半球状の画面VF3の中心にある点に凝視するように指示される。被検者は、顎載せ台VF12および/または額当てVF14を含み得る患者サポートに自身の頭部を置く。例えば、被検者は、自身の頭部を顎載せ台VF12に置き、額を額当てVF14に当てる。任意選択的に、顎載せ台VF12および額当てVF14は、例えば、被検者が画面VF2を見ることができるレンズを保持し得るトライアルレンズホルダVF9に対して、患者の眼を正しく固定/位置決めするために、共にまたは互いに独立して移動することができる。例えば、顎載せ台およびヘッドレストは、異なる患者の頭部のサイズに対応するために垂直方向に独立して移動し、頭部を正しく配置するために水平方向および/または垂直方向に共に移動することができる。しかしながら、これは限定的ではなく、当業者であれば他の配置/移動を想定することができる。
【0075】
プロセッサVF5の制御下にあるプロジェクタまたは他の画像形成デバイスVF4は、一連の検査刺激(例えば、任意の形状の検査点)VF6を画面VF2上に表示する。被検者VF1は、ユーザ入力VF7を作動させる(例えば、入力ボタンを押下する)ことにより、刺激VF6を見たことを示す。この被検者の反応は、プロセッサVF5によって記録することができる。プロセッサVF5は、被検者の反応に基づいて眼の視野を評価し、例えば、被検者VF1によってもはや見ることができない試験刺激VF6のサイズ、位置、及び/又は強度を決定し、それによって検査刺激VF6の(可視)閾値を決定するように機能し得る。カメラVF8を使用して、検査全体を通して患者の視線(例えば、視線方向)をキャプチャすることができる。視線方向は、患者の位置合わせ、および/または患者が適切な検査手順の遵守を確認するために使用することができる。この例では、カメラVF8は、患者の眼に対して(例えば、トライアルレンズホルダVF9に対して)Z軸上に配置されるとともに、患者の眼のライブ画像(単数または複数)またはビデオをキャプチャするためにボウルの(画面VF2の)背後に配置される。他の実施形態では、このカメラは、このZ軸から離れて配置され得る。視線カメラVF8からの画像は、患者の位置合わせまたは検査の検証を支援するために、臨床医(本明細書では交換可能に技術者と呼ばれ得る)に対して第2のディスプレイVF10に任意選択的に表示することができる。カメラVF8は、各刺激呈示中に眼の1つまたは複数の画像を記録および保存することができる。これにより、検査条件に応じて、1回の視野検査で数十から数百の画像を収集することができる。代替的に、カメラVF8は、検査中に全長動画を記録および保存し、各刺激が呈示された時を示すタイムスタンプを提供することもできる。さらに、VF検査の期間中の被検者の全体的な注意の詳細を提供するために、刺激の呈示の間に画像を収集することもできる。
【0076】
眼の屈折異常を矯正するために、トライアルレンズホルダVF9を患者の眼の前に配置してもよい。任意選択的に、レンズホルダVF9は、患者VF1に可変屈折矯正を提供するために利用され得る液体トライアルレンズを担持または保持することができる(例えば、参照により全体が本明細書に組み込まれる米国特許第8668338号明細書を参照)。しかしながら、本発明は、屈折矯正用の液体トライアルレンズを使用することに限定されず、当該技術分野で既知の他の従来の/標準的なトライアルレンズも使用することができることに留意されたい。
【0077】
いくつかの実施形態では、角膜などの眼の表面からの反射を生成する1つまたは複数の光源(図示せず)を被検者VF1の眼の前に配置することができる。一変形例では、光源は、発光ダイオード(LED)であり得る。
【0078】
図8は、投影型視野テスタVF0を示しているが、本明細書に記載の本発明は、液晶ディスプレイ(LDC)または他の電子ディスプレイ(例えば、参照により本明細書に組み込まれる米国特許第8132916号明細書を参照)を介して画像を生成する装置を含む、他の種類の装置(視野テスタ)と共に使用することができる。他の種類の視野テスタには、例えば、フラット画面テスタ、小型テスタ、および両眼視野テスタが含まれる。これらの種類のテスタの例は、参照により全体が本明細書にそれぞれ組み込まれる、米国特許第8371696号明細書、米国特許第5912723号明細書、米国特許第8931905号明細書、米国意匠登録第D472637号に見出すことができる。
【0079】
視野テスタVF0は、ハードウェア信号と電動位置決めシステムを使用して患者の眼を自動的に目的の位置(例えば、レンズホルダVF9における屈折矯正レンズの中心)に配置する機器制御システム(例えば、ソフトウェア、コード、および/またはルーチンであり得るアルゴリズムを実行する)を組み込むことができる。例えば、ステッピングモータは、ソフトウェア制御下で顎載せ台VF12および額当てVF14を移動させることができる。担当技術者が顎載せ台と額のステッピングモータを作動させることにより、患者の頭部の位置を調整できるようにするために、ロッカースイッチが設けられてもよい。手動で移動可能な屈折レンズは、患者の快適性に悪影響を与えることなく、レンズホルダVF9上の患者の眼の前にできるだけ患者の眼の近くに配置することもできる。任意選択的に、器具制御アルゴリズムは、顎載せ台/または額モータ移動部が進行中である間、そのような移動が検査の実行を妨害する場合、視野検査の実行を一時停止することができる。
【0080】
眼底撮像システム
眼底を撮像するために使用される撮像システムの2つのカテゴリは、投光照明撮像システム(又は投光照明撮像装置)及び走査照明撮像システム(又は走査撮像装置)である。投光照明撮像装置は、閃光ランプを用いるなどにより、被検査物の対象となる視野(FOV)全体を同時に光であふれさせ、フルフレームカメラ(例えば、全体として、所望のFOVを取り込むのに十分なサイズの二次元(2D)光センサアレイを有するカメラ)を用いて被検査物(例えば、眼底)のフルフレーム画像を取り込む。例えば、投光照明眼底撮像装置は、眼の眼底を光であふれさせ、カメラの単一の画像取り込みシーケンスで眼底のフルフレーム画像を取り込む。走査撮像装置は、対象物、例えば眼を横切って走査される走査ビームを提供し、走査ビームは、走査ビームが対象物を横切って走査され、所望のFOVの合成画像を作成するように再構成され、例えば合成され得る一連の画像セグメントを作成するときに、異なる走査位置で結像される。走査ビームは、点、線、又はスリット若しくは幅広線などの二次元領域とすることができる。眼底撮像装置の例は、米国特許第8,967,806号明細書および米国特許第8,998,411号明細書に提供される。
【0081】
図9は、眼水晶体(又は水晶体)CLとは反対側の眼Eの内表面であり且つ網膜、視神経乳頭、黄斑、中心窩、及び後極を含み得る、眼底Fを撮像するためのスリット走査式眼科システムSLO-1の例を図示する。本例では、撮像システムは、走査線ビームSBは、眼底F全体にわたって走査されるように、眼Eの光学構成要素(角膜Crn、虹彩Irs、瞳孔Ppl、及び水晶体を含む)を横断する、いわゆる「スキャン-デスキャン」構成である。投光眼底撮像装置の場合には、スキャナは不要であり、光は一度に所望の視野(FOV)全体に照射される。他の走査構成は当技術分野で知られており、特定の走査構成は本発明にとって重要ではない。図示のように、撮像システムは、1つ又は複数の光源LtSrc、好ましくは、エタンデュが好適に調節された多色LEDシステム又はレーザシステムを含む。任意選択のスリットSlt(調節可能又は静止)は、光源LtSrcの前に位置決めされ、走査線ビームSBの幅を調節するために使用され得る。追加的に、スリットSltは、撮像中に静止したままであり得るか、又は特定の走査に関して若しくは反射抑制に使用される走査中に異なる共焦点レベル及び異なる用途を可能にするために異なる幅に調整され得る。任意選択の対物レンズObjLは、スリットSltの前に配置することができる。対物レンズObjLは、限定されるものではないが、屈折、回折、反射、又はハイブリッドレンズ/システムを含む最先端のレンズのいずれか1つとすることができる。スリットSltからの光は、瞳分割ミラーSMを通過して、スキャナLnScnへ導かれる。走査面と瞳面とをできるだけ近づけて、システムの口径食を低減することが望ましい。2つの構成要素の画像間の光学距離を操作するために、オプションの光学系DLが含まれ得る。瞳分割ミラーSMは、光源LtSrcからスキャナLnScnに照明ビームを通過させ、スキャナLnScnからの検出ビーム(例えば、眼Eから戻る反射光)をカメラCmrに向けて反射し得る。瞳分割ミラーSMのタスクは、照明ビームと検出ビームとを分割し、システム反射の抑制を補助することである。スキャナLnScnは、回転ガルボスキャナ又は他のタイプのスキャナ(例えば、圧電又はボイスコイル、微小電気機械システム(MEMS)スキャナ、電気光学偏向器、及び/又は回転ポリゴンスキャナ)とすることができる。瞳分割がスキャナLnScnの前に行われるか又は後に行われるかに応じて、1つのスキャナが照明経路内にあり、別々のスキャナが検出経路内にある2つのステップに走査を分割することができる。特定の瞳分割配置は、米国特許第9456746号明細書において詳細に説明されており、その全体は参照により本明細書に組み込まれる。
【0082】
スキャナLnScnから、照明ビームは、眼Eの瞳孔がシステムの画像瞳に結像されることを可能にする1つ又は複数の光学系、この場合は、走査レンズSL及び眼科用又は接眼レンズOLを通過する。概して、走査レンズSLは、複数の走査角度(入射角)のいずれかでスキャナLnScnから走査照明ビームを受け取り、略平面焦点面(例えば、コリメートされた光路)を有する走査線ビームSBを生成する。眼科用レンズOLは、次いで、走査線ビームSBを撮像される物体上に合焦させ得る。本実施例では、眼科用レンズOLは、走査線ビームSBを眼Eの眼底F(または網膜)上に合焦させて眼底を撮像する。このようにして、走査線ビームSBは、眼底Fを横切って移動する横断走査線を作成する。これらの光学系の可能な構成の1つは、2つのレンズ間の距離がほぼテレセントリックな中間眼底画像(4-f構成)を生成するように選択されるケプラー型望遠鏡である。眼科用レンズOLは、単レンズ、色消しレンズ、又は異なるレンズの配置とすることができる。全てのレンズは、当業者に知られているように、屈折性、回折性、反射性、又はハイブリッドとすることができる。眼科用レンズOL、走査レンズSLの焦点距離、瞳分割ミラーSM及びスキャナLnScnのサイズ及び/又は形状は、所望の視野(FOV)に応じて異なる可能性があり、そのため、例えば、視野に応じて、光学系のフリップ、電動ホイール、又は着脱可能な光学要素を使用することにより、複数の構成要素をビーム経路の内外に切り替えることができる配置を想定することができる。視野の変化により瞳孔上に異なるビームサイズがもたらされるので、FOVの変更に合わせて瞳分割をも変更することができる。例えば、45°~60°の視野は、眼底カメラについての典型的な又は標準的なFOVである。60°~120°以上のより高視野、例えば広視野FOVも実現可能であり得る。広視野FOVは、幅広線眼底撮像装置(BLFI)と光干渉断層撮影装置(OCT)などの別の撮像モダリティとの組み合わせに望ましい場合がある。視野の上限は、人間の眼の周りの生理学的条件と組み合わせたアクセス可能な作動距離により決定され得る。典型的な人間の網膜は、FOVが水平140°及び垂直80°~100°であるため、システム上で可能な限り高いFVOに関して非対称の視野を有することが望ましいことがある。
【0083】
走査線ビームSBは、眼Eの瞳孔Pplを通過して、網膜又は眼底、すなわち表面Fへ導かれる。スキャナLnScn1は、眼Eの横方向位置の範囲が照明されるように、網膜又は眼底F上の光の位置を調整する。反射光又は散乱光(又は蛍光撮像の場合は放射光)は、照明と同様の経路に沿って導かれ、カメラCmrへの検出経路上に集光ビームCBを定義する。
【0084】
本発明の例示的なスリット走査式眼科システムSLO-1の「スキャン-デスキャン」構成では、眼Eから戻る光は、瞳分割ミラーSMへの途中でスキャナLnScnにより「デスキャン」される。すなわち、スキャナLnScnは、瞳分割ミラーSMからの照明ビームSBを走査して、眼Eを横切る走査照明ビームSBを定義するが、スキャナLnScnは、同じ走査位置で眼Eからの戻り光も受け取るので、戻り光をデスキャンして(例えば、走査動作をキャンセルして)、スキャナLnScnから瞳分割ミラーSMへの非走査(例えば、定常又は静止)集光ビームを定義するという効果があり、瞳分割ミラーSMは、集光ビームをカメラCmrに向けて折り返す。瞳分割ミラーSMにおいて、反射光(又は蛍光撮像の場合には放射光)は、画像を取り込むために光センサを有するデジタルカメラであり得る、カメラCmrへ導かれる、検出経路上への照明光から分離される。撮像(例えば、対物レンズ)レンズImgLは、眼底がカメラCmrに結像されるように検出経路内に位置決めされ得る。対物レンズObjLの場合のように、撮像レンズImgLは、当技術分野で知られている任意のタイプのレンズ(例えば、屈折、回折、反射又はハイブリッドレンズ)であり得る。追加の動作の詳細、特に、画像におけるアーチファクトを低減する方法が、国際公開第2016/124644号パンフレットで説明されており、その内容の全体は参照により本明細書に組み込まれる。カメラCmrは、受信した画像を取り込み、例えば、画像ファイルを作成し、この画像ファイルは、1つ又は複数の(電子)プロセッサ又は計算装置(例えば、
図18に示すコンピュータシステム)により更に処理することができる。したがって、集光ビーム(走査線ビームSBの全ての走査位置から戻る)は、カメラCmrにより収集され、フルフレーム画像Imgは、個々に取り込まれた集光ビームの合成から、モンタージュなどにより、構築され得る。しかしながら、照明ビームが眼Eを横切って走査され、集光ビームがカメラの光センサアレイを横切って走査されるものを含む、他の走査構成も想定される。参照により本明細書に組み込まれる、国際公開第2012/059236号パンフレット及び米国特許出願公開第2015/0131050号明細書は、戻り光がカメラの光センサアレイを横切って掃引される設計、戻り光がカメラの光センサアレイを横切って掃引されない設計などの様々な設計を含む、スリット走査式検眼鏡のいくつかの実施形態を説明している。
【0085】
本例では、カメラCmrは、プロセッサ(例えば、処理モジュール)Procとディスプレイ(例えば、表示モジュール、コンピュータ画面、電子画面など)Dsplとに接続され、プロセッサとディスプレイの両方は、画像システム自体の一部とすることができ、又は、無線ネットワークを含むケーブル又はコンピュータネットワークを介してデータがカメラCmrからコンピュータシステムに渡されるコンピュータシステムなどの、別個の専用の処理及び/又は表示ユニットの一部であり得る。ディスプレイ及びプロセッサは、一体型ユニットとすることができる。ディスプレイは、従来の電子ディスプレイ/画面とするか又はタッチスクリーン型とすることができ、機器オペレータ又はユーザに情報を表示し且つ機器オペレータ又はユーザから情報を受信するためのユーザインタフェースを含むことができる。ユーザは、限定されるものではないが、マウス、ノブ、ボタン、ポインタ、及びタッチスクリーンを含む、当技術分野で知られているような任意のタイプのユーザ入力装置を使用してディスプレイと対話することができる。
【0086】
撮像の実行中に患者の視線が固定されたままであることが望ましい場合がある。視線の固定を達成する1つの方法は、患者に凝視するように指示できる固視標を提供することである。固視標は、眼のどの領域が撮像されるかに応じて、機器の内部又は外部とすることができる。内部固視標の一実施形態が
図9に示されている。撮像のために使用される一次光源LtSrcに加えて、1つ又は複数のLEDなどの、任意選択の第2の光源FxLtSrcは、レンズFxL、走査要素FxScn及び反射器/ミラーFxMを使用して光パターンが網膜に結像されるように位置決めすることができる。固視スキャナFxScnは、光パターンの位置を移動させることができ、反射器FxMは、光パターンを固視スキャナFxScnから眼Eの眼底Fへ導く。好ましくは、固視スキャナFxScnは、所望の固視位置に応じて網膜/眼底上の光パターンを移動させることができるように固視スキャナFxScnがシステムの瞳面に位置するように配置される。
【0087】
スリット走査式検眼システムは、用いられる光源及び波長選択フィルタリング要素に応じて、異なる撮像モードで動作することが可能である。トゥルーカラー反射率撮像(手持ち式又は細隙灯検眼鏡を使用して眼を検査するときに臨床医により観察される撮像と同様の撮像)は、一連の有色LED(赤色、青色、緑色)を用いて眼を撮像する場合に達成することができる。各カラーの画像は、各走査位置で各LEDをオンにした状態で段階的に構築することができ、又は各カラー画像を別個に完全に撮影することができる。3つのカラー画像は、トゥルーカラー画像を表示するために組み合わせることができ、又は網膜の異なる特徴を強調するために個々に表示することができる。赤色チャネルは、脈絡膜を最も良く強調し、緑色チャネルは網膜を強調し、青色チャネルは網膜前層を強調する。追加的に、特定の周波数の光(例えば、個々の有色LED又はレーザ)は、眼内の異なる蛍光体(例えば、自発蛍光)を励起するために使用することができ、結果として得られる蛍光は、励起波長をフィルタで除去することにより検出できる。
【0088】
眼底撮像システムはまた、赤外線レーザ(又は他の赤外線光源)を使用するなどにより、赤外線反射率画像を提供することができる。赤外線(IR)モードは、眼がIR波長に敏感ではないという点で有利である。この赤外線(IR)モードは、機器の位置合わせ中にユーザを補助するために(例えば、プレビュー/位置合わせモードで)眼の邪魔をせずにユーザが画像を連続的に撮影することを可能にし得る。また、IR波長は、組織を通る透過性が高く、且つ脈絡膜構造の視覚化の改善をもたらし得る。加えて、蛍光眼底血管造影(FA)及びインドシアニングリーン(ICG)血管造影撮像は、蛍光色素が被検者の血流に注入された後に画像を収集することにより達成することができる。例えば、FA(および/またはICG)では、光反応性色素(例えば蛍光色素)を被検者の血流に注入した後に、一連のタイムラプス画像を捕捉し得る。蛍光色素は、一部の人において生命を脅かすアレルギー反応を引き起こす可能性があるため、注意が必要であることに留意されたい。高コントラストのグレースケール画像は、色素を励起するために選択された特定の光周波数を用いてキャプチャされる。色素が眼の中を流れる際に、眼の様々な部分が明るく輝く(例えば、蛍光を発する)ため、色素、ひいては血流が眼の中をどのように進行しているかを視認できるようになる。
【0089】
光干渉断層撮影システム
概して、光干渉断層撮影(OCT)は、低コヒーレンス光を使用して、生体組織の2次元(2D)および3次元(3D)内部ビューを生成する。OCTは、網膜構造の生体内撮像を可能にする。OCT血管造影(OCTA)は、網膜内からの血管の流れなどのフロー情報を生成する。OCTシステムの例は、米国特許第6741359号明細書及び同第9706915号明細書に提供されており、OCTAシステムの例には、米国特許第9700206号明細書及び米国特許第9759544号明細書があり、これらは全て、参照によりその全体が本明細書に組み込まれる。例示的なOCT/OCTAシステムが本明細書で提供される。
【0090】
図10は、本発明との使用に適した眼の3D画像データ収集用の一般型周波数領域光干渉断層撮影(FD-OCT)システムを図解する。FD-OCTシステムOCT_1は、光源LtSrc1を含む。典型的な光源には、時間コヒーレンス長が短い広帯域光源、又は掃引レーザ源が含まれるがこれらに限定されない。光源LtScr1からの光のビームは、典型的に光ファイバFbr1によってサンプル、例えば眼Eを照明するように誘導され、典型的なサンプルは人間の眼内組織である。光源LrSrc1は、例えば、スペクトルドメインOCT(SD-OCT)の場合に時間コヒーレンス長が短い広帯域光源であり、掃引光源OCT(SS-OCT)の場合には波長可変レーザ光源であり得る。光は、典型的には、光ファイバFbr1の出力とサンプルEとの間のスキャナScnr1を用いてスキャンされ得、その結果、光のビーム(破線Bm)は、撮像されるべきサンプルの領域にわたって横方向にスキャンされる。スキャナScnr1からの光ビームは、走査レンズSLおよび眼科用レンズOLを通過し、撮像されるサンプルE上に合焦され得る。走査レンズSLは、複数の入射角でスキャナScnr1から光ビームを受け取り、実質的にコリメートされた光を生成することができ、眼科用レンズOLは、次いで、サンプル上に合焦させることができる。本例は、所望の視野(FOV)をスキャンするために2つの横方向(例えば、デカルト平面上のx方向及びy方向)にスキャンされる必要がある走査ビームを示す。この例は、サンプルを横切ってスキャンするためにポイントフィールドビームを使用するポイントフィールドOCTである。従って、スキャナScnr1は、2つのサブスキャナ、即ち、第1の方向(例えば、水平x方向)にサンプルにわたってポイントフィールドビームをスキャンするための第1のサブスキャナXscnと、交差する第2の方向(例えば、垂直y方向)にサンプル上でポイントフィールドビームをスキャンするための第2のサブスキャナYscnとを含むように例示的に示されている。走査ビームがラインフィールドビーム(例えば、ラインフィールドOCT)であり、一度にサンプルのライン部分全体をサンプリングし得る場合、所望のFOVに及ぶようにサンプルにわたってラインフィールドビームをスキャンするために、1つのスキャナのみが必要とされ得る。走査ビームがフルフィールドビーム(例えば、フルフィールドOCT)である場合、スキャナは必要とされなくてもよく、フルフィールド光ビームは、一度に所望のFOV全体にわたって照射されてもよい。
【0091】
使用されるビームの種類に関係なく、サンプルから散乱された光(例えば、サンプル光)が収集される。本実施例では、サンプルから戻る散乱光は、照明のために光をルーティングするために使用される同じ光ファイバFbr1に収集される。同じ光源LtSrc1から派生する参照光は別の経路に沿って移動し、この場合、これには光ファイバFbr2及び調整可能な光学遅延を有する逆反射板RR1が含まれる。当業者であればわかるように、透過性参照経路も使用でき、調整可能遅延はサンプル又は干渉計の参照アームの中に設置できる。集光されたサンプル光は、例えばファイバカプラCplr1において参照光と結合され、OCT光検出器Dtctr1(例えば、光検出器アレイ、デジタルカメラ等)内の光干渉を形成する。1つのファイバポートが検出器Dtctr1に到達するように示されているが、当業者であればわかるように、干渉信号のバランス又はアンバランス検出のために様々な設計の干渉計を使用できる。検出器Dtctr1からの出力は、プロセッサ(例えば、内部または外部コンピューティングデバイス)Cmp1に供給され、それが観察された干渉をサンプルの深さ情報へと変換する。深さ情報は、プロセッサCmp1に関連付けられるメモリ内に保存され、及び/又はディスプレイ(例えば、コンピュータ/電子ディスプレイ/スクリーン)Scn1に表示されてよい。処理及び保存機能は、OCT機器内に局在化されてよく、又は機能は、収集されたデータが転送される外部プロセッサ(例えば、外部コンピュータシステム)にオフロードされてもよい(例えば、外部プロセッサ上で実行されてもよい)。
図18に、コンピューティングデバイス(またはコンピュータシステム)の一例を示す。このユニットは、データ処理専用とすることも、又はごく一般的で、OCTデバイス装置に専用ではないその他のタスクを実行することもできる。プロセッサ(コンピューティングデバイス)Cmp1は例えば、1つまたは複数のホストプロセッサおよび/または1つまたは複数の外部コンピューティングデバイスとシリアル方式および/または並列化方式で処理ステップの一部または全体を実行し得るフィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、特定用途集積回路(ASIC)、グラフィクス処理ユニット(GPU)、システムオンチップ(SoC)、中央処理ユニット(CPU)、汎用グラフィクス処理ユニット(GPGPU)、又はそれらの組合せを含んでいてよい。
【0092】
干渉計内のサンプルアームと参照アームは、バルク光学系、ファイバ光学系、又はハイブリッドバルク光学システムで構成でき、また、当業者の間で知られているように、マイケルソン、マッハ・ツェンダ、又は共通光路系設計等、異なるアーキテクチャを有することができる。光ビームとは、本明細書において使用されるかぎり、慎重に方向付けられるあらゆる光路と解釈されるべきである。ビームを機械的にスキャンする代わりに、光の場が網膜の1次元又は2次元エリアを照明して、OCTデータを生成できる(例えば、米国特許第9332902号明細書、ディー.ヒルマン(D.Hillmann)他著、「ホロスコピ-ホログラフィック光干渉断層撮影(Holoscopy-holographic optical coherence tomography)」オプティクスレターズ(Optics Letters)、第36巻(13)、p.2290、2011年、ワイ.ナカムラ(Y.Nakamura)他著、「ラインフィールドスペクトルドメイン光干渉断層撮影法による高速3次元ヒト網膜撮像(High-Speed three dimensional human retinal imaging by line field spectral domain optical coherence tomography)」、オプティクスエクスプレス(Optics Express)、第15巻(12)、p.7103、2007年、ブラスコヴィッチ(Blazkiewicz)他著、「フルフィールドフーリエドメイン光干渉断層撮影法の信号対ノイズ比の研究(Signal-to-noise ratio study of full-field Fourier-domain optical coherence tomography)」、アプライド・オプティクス(Applied Optics)、第44巻(36)、p.7722(2005年)参照)。時間領域システムでは、参照アームは干渉を生じさせるために調整可能な光学遅延を有する必要がある。バランス検出システムは典型的にTD-OCT及びSS-OCTシステムで使用され、分光計はSD-OCTシステムのための検出ポートで使用される。本明細書に記載の発明は、何れの種類のOCTシステムにも応用できる。本発明の様々な態様は、何れの種類のOCTシステムにも、又はその他の種類の眼科診断システム及び/又は、眼底撮像システム、視野検査機器、及び走査型レーザ偏光計を含むがこれらに限定されない複数の眼科診断システムにも適用できる。
【0093】
フーリエドメイン光干渉断層撮影法(FD-OCT)において、各測定値は実数値スペクトル制御干渉図形(Sj(k))である。実数値スペクトルデータには典型的に、背景除去、分散補正等を含む幾つかの後処理ステップが行われる。処理された干渉図形のフーリエ変換によって、複素OCT信号出力Aj(z)=|Aj|eiφが得られる。この複素OCT信号の絶対値、|Aj|から、異なる経路長での散乱強度、したがってサンプル内の深さ(z-方向)に関する散乱のプロファイルが明らかとなる。同様に、位相φjもまた、複素OCT信号から抽出できる。深さに関する手散乱のプロファイルは、軸方向スキャン(A-スキャン)と呼ばれる。サンプル内の隣接する位置において測定されたA-スキャンの集合により、サンプルの断面画像(断層画像又はB-スキャン)が生成される。サンプル上の横方向の異なる位置で収集されたBスキャンの集合が、データボリューム又はキューブを構成する。特定のデータボリュームについて、速い軸とは1つのB-スキャンに沿ったスキャン方向を指し、遅い軸とは、それに沿って複数のB-スキャンが収集される軸を指す。「クラスタスキャン」という用語は、血流を識別するために使用されてよいモーションコントラストを解析するために、同じ(又は実質的に同じ)位置(又は領域)での反復的取得により生成されるデータの1つのユニット又はブロックを指してよい。クラスタスキャンは、サンプル上のほぼ同じ位置において比較的短い時間間隔で収集された複数のA-スキャン又はB-スキャンで構成できる。クラスタスキャンのスキャンは同じ領域のものであるため、静止構造はクラスタスキャン中のスキャン間で比較的変化しないままであるのに対し、所定の基準を満たすスキャン間のモーションコントラストは血液流として識別されてよい。
【0094】
B-スキャンを生成するための様々な方法が当業界で知られており、これには、水平又はx方向に沿ったもの、垂直又はy方向に沿ったもの、x及びyの対角線に沿ったもの、又は円形若しくは螺旋パターンのものが含まれるがこれらに限定されない。B-スキャンは、x-z次元内であってよいが、z次元を含む何れの断面画像であってもよい。ヒトの眼の正常な網膜の例示的なOCT Bスキャン画像が
図11に示されている。網膜のOCT Bスキャンは、網膜組織の構造のビューを提供する。例示目的のために、
図11は、種々の正規の網膜層および層の境界を識別する。識別された網膜境界層は、(上から下へ順に)内境界膜(ILM:inner limiting membrane)層1、網膜神経線維層(RNFL:retinal nerve fiber layerまたはNFL)層2、神経節細胞層(GCL:ganglion cell layer)層3、内網状層(IPL:inner plexiform layer)層4、内顆粒層(INL:inner nuclear layer)層5、外網状層(OPL:outer plexiform layer)層6、外顆粒層(ONL:outer nuclear layer)層7、視細胞の外節(OS:outer segments)と内節(IS:inner segments)との間の接合部(参照符号層8によって示される)、外限界膜又は外境界膜(ELM:external limiting membrane 又はOLM:outer limiting membrane)層9、網膜色素上皮(RPE:retinal pigment epithelium)層10、およびブルッフ膜(BM:Bruch’s membrane)層11を含む。
【0095】
OCT血管造影法又は関数型OCTにおいて、解析アルゴリズムは、動き又は流れを解析するために、サンプル上の同じ、又はほぼ同じサンプル位置において異なる時間に収集された(例えば、クラスタスキャン)OCTデータに適用されてよい(例えば、米国特許出願公開第2005/0171438号明細書、同第2012/0307014号明細書、同第2010/0027857号明細書、同第2012/0277579号明細書、及び米国特許第6549801号明細書を参照されたく、これらの全ての全体を参照によって本願に援用する)。OCTシステムでは、血流を識別するために多くのOCT血管造影法処理アルゴリズム(例えば、モーションコントラストアルゴリズム)のうちの何れの1つを使用してもよい。例えば、モーションコントラストアルゴリズムは、画像データから導出される強度情報(強度に基づくアルゴリズム)、画像データからの位相情報(位相に基づくアルゴリズム)、又は複素画像データ(複素に基づくアルゴリズム)に適用できる。en face画像は3D OCTデータの2D投射である(例えば、個々のA-スキャンの各々の強度を平均することにより、これによって、各A-スキャンが2D投射内のピクセルを画定する)。同様に、en face脈管画像は、モーションコントラスト信号を表示する画像であり、その中で深さに対応するデータディメンション(例えば、A-スキャンに沿ったz方向)は、典型的にはデータの全部又は隔離部分を加算又は集積することによって、1つの代表値(例えば、2D投射画像内のピクセル)として表示される(例えば、米国特許第7301644号明細書を参照されたく、その全体を参照によって本願に援用する)。血管造影機能を提供するOCTシステムは、OCT血管造影(OCTA)システムと呼ばれてよい。
【0096】
図12は、en face脈管構造画像の例を示す。データを処理し、当業界で知られるモーションコントラスト法の何れかを用いてモーションコントラストをハイライトした後に、網膜の内境界膜(ILM:internal limiting membrane)の表面からのある組織深さに対応するピクセル範囲を加算して、その脈管構造のen face(例えば、正面図)画像が生成されてよい。
図13は、脈管構造(OCTA)画像の例示的なBスキャンを示す。図示されるように、血流が複数の網膜層を横断することで、
図11に示されるような構造的OCT Bスキャンにおけるよりも複数の網膜層を不明確にし得るため、構造的情報は明確ではない場合がある。それにもかかわらず、OCTAは、網膜および脈絡膜の微小血管系を撮像するための非侵襲的技法を提供し、これは、様々な病変を診断および/またはモニタリングするために重要であり得る。例えば、OCTAは、微小動脈瘤、血管新生複合体を識別し、中心窩無血管ゾーンおよび非灌流領域を定量化することによって、糖尿病性網膜症を識別するために使用され得る。さらに、OCTAは、網膜における血管の流れを観察するために色素の注入を必要とする、より伝統的であるがより回避的な技術である蛍光血管造影(FA:fluorescein angiography)と良好に一致することが示されている。さらに、萎縮型加齢黄斑変性において、OCTAは、脈絡膜毛細血管板フローの全般的な減少をモニタリングするために使用されている。同様に、滲出型加齢黄斑変性において、OCTAは、脈絡膜新生血管膜の定性的および定量的分析を提供することができる。OCTAはまた、血管閉塞を研究するために、例えば、非灌流領域の評価ならびに浅神経叢および深層神経叢の完全性の評価のために使用されている。
【0097】
ニューラルネットワーク
前述のように、本発明はニューラルネットワーク(NN)機械学習(ML)モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの(ノードを介した)ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、1つの層の出力は多層パーセプトロン(MLP)配置の中の次の層へと順方向に供給される。MLPは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。
【0098】
図14は、多層パーセプトロン(MLP)ニューラルネットワークの例を図解する。その構造は、複数の隠れ(例えば内側)層HL1~HLnを含んでいてよく、これは入力層InL(入力(又はベクトル入力)の集合in_1~in_3を受け取る)を出力層OutLにマッピングし、それが出力(又はベクトル出力)の集合、例えばout_1及びout_2を生成する。各層は、何れの数のノードを有していてもよく、これらはここでは説明のために各層内の円として示されている。この例では、第一の隠れ層HL1は2つのノードを有し、隠れ層HL2、HL3、及びHLnは各々3つのノードを有する。一般に、MLPが深いほど(例えば、MLP内の隠れ層の数が多いほど)、その学習容量は大きい。入力層InLは、ベクトル入力(説明のために、in_1、in_2、及びin_3からなる3次元ベクトルとして示されている)を受け取り、受け取ったベクトル入力を隠れ層のシーケンス内の第一の隠れ層HL1に供給してよい。出力層OutLは、多層モデル内の最後の隠れ層、例えばHLnからの出力を受け取り、ベクトル出力結果(説明のためにout_1及びout_2からなる2次元ベクトルとして示されている)を生成する。
【0099】
典型的に、各ニューロン(すなわちノード)は1つの出力を生成し、それがその直後の層のニューロンへと順方向に供給される。しかし、隠れ層内の各ニューロンは、入力層から、又はその直前の隠れ層内のニューロンの出力から、複数の入力を受け取るかもしれない。一般に、各ノードはその入力に関数を適用して、そのノードのための出力を生成してよい。隠れ層(例えば、学習層)内のノードは、それぞれの入力に同じ関数を適用して、それぞれの出力を生成してよい。しかしながら、幾つかのノード、例えば入力層InL内のノードは1つの入力しか受け取らず、受動的であってよく、これは、それらが単純にその1つの入力の値をその出力へと中継することを意味し、例えばこれらはその入力のコピーをその出力に提供し、これは説明のために入力層InLのノード内の破線矢印によって示されている。
【0100】
説明を目的として、
図15は、入力層InL’、隠れ層HL1’、及び出力層OutL’からなる単純化されたニューラルネットワークを示す。入力層InL’は、2つの入力ノードi1及びi2を有するように示されており、これらはそれぞれ入力Input_1及びInput_2を受け取る(例えば、層InL’の入力ノードは、2次元の入力ベクトルを受け取る)。入力層InL’は、2つのノードh1及びh2を有する1つの隠れ層HL1’へと順方向に供給し、それが今度は、2つのノードo1及びo2の出力層OutL’に順方向に供給する。ニューロン間の相互接続、又はリンクは(説明のために実線の矢印で示されている)は重みw1~w8を有する。典型的に、入力層を除き、ノード(ニューロン)は入力としてその直前の層のノードの出力を受け取るかもしれない。各ノードは、その入力の各々に各入力の対応する相互接続重みを乗じ、その入力の積を加算し、その特定のノードに関連付けられるかもしれない他の重み又はバイアス(例えば、それぞれノードh1、h2、o1、及びo2に対応するノード重みw9、w10、w11、w12)により定義される定数を加算し(又は、それを乗じ)、その後、その結果に非線形関数又は対数関数を適用することによってその出力を計算してよい。非線形関数は、活性化関数又は伝達関数と呼ばれてよい。複数の活性化関数が当業界で知られており、特定の活性化関数の選択はこの説明には重要ではない。しかしながら、留意すべき点として、MLモデルの演算、ニューラルネットの挙動は重みの値に依存し、これはニューラルネットワークがある入力のための所望の出力を提供するように学習されてよい。
【0101】
ニューラルネットは、訓練、又は学習段階中に、ある入力にとって望ましい出力を実現するための適当な重み値を学習する(例えば、それを特定するように訓練される)。ニューラルネットが訓練される前に、各重みは個々に初期の(例えば、ランダムな、任意選択によりゼロ以外の)値、例えば乱数シードに割り当てられてもよい。初期重みを割り当てる様々な方法が当業界で知られている。すると、重みは、ある訓練ベクトル入力について、ニューラルネットワークが所望の(所定の)訓練ベクトル出力に近い出力を生成するように訓練される(最適化される)。例えば、重みはバックプロパゲーションと呼ばれる方法によって、何千回もの繰返しサイクルで徐々に調整されてよい。バックプロパゲーションの各サイクルで、訓練入力(例えば、ベクトル入力又は訓練入力画像/サンプル)はニューラルネットワークを通じてフォワードパスが行われて、その実際の出力(例えば、ベクトル出力)が提供される。その後、各出力ニューロン、又は出力ノードのエラーが、実際のニューロンの出力及びそのニューロンのための教師値訓練出力(例えば、現在の訓練入力画像/サンプルに対応する訓練出力画像/サンプル)に基づいて計算される。すると、それはニューラルネットワークを通じて逆方向に(出力層から入力層へと逆方向に)伝搬し、各重みが全体的エラーに対してどの程度の影響を有するかに基づいて重みが更新され、それによってニューラルネットワークの出力は所望の訓練出力に近付く。このサイクルはその後、ニューラルネットワークの実際の出力がその訓練入力のための所望の訓練出力の容認可能なエラー範囲内になるまで繰り返される。理解されるように、各訓練入力は、所望のエラー範囲を実現するまでに多くのバックプロパゲーションイテレーションを必要とするかもしれない。典型的に、エポックは全ての訓練サンプルの1つのバックプロパゲーションイテレーション(例えば、1回のフォワードパスと1回のバックワードパス)を指し、ニューラルネットワークの訓練には多くのエポックが必要かもしれない。一般に、訓練セットが大きいほど、訓練されるMLモデルのパフォーマンスは向上するため、各種のデータ拡張方法が、訓練セットのサイズを大きくするために使用されてよい。例えば、訓練セットが対応する訓練入力画像と訓練出力画像のペアを含む場合、訓練画像は複数の対応する画像セグメント(又はパッチ)に分割されてよい。訓練入力画像及び訓練出力画像からの対応するパッチがペアにされて、1つの入力/出力画像ペアから複数の訓練パッチペアが画定されてよく、それによって訓練セットが拡張される。しかしながら、大きい訓練セットを訓練することによって、コンピュータリソース、例えばメモリ及びデータ処理リソースへの要求が高まる。演算要求は、大きい訓練セットを複数のミニバッチに分割することによって軽減されるかもしれず、このミニバッチのサイズは1回のフォワード/バックワードパスにおける訓練サンプルの数が決まる。この場合、そして1つのエポックは複数のミニバッチを含んでいてよい。他の問題は、NNが訓練セットを過剰適合して、特定の入力から異なる入力へと一般化するその能力が減少する可能性である。過剰適合の問題は、ニューラルネットワークのアンサンブルを作るか、又は訓練中にニューラルネットワーク内のノードをランダムにドロップアウトすることによって軽減されるかもしれず、これはドロップされたリードをニューラルネットワークから有効に除去する。インバースドロップアウト等、各種のドロップアウト調整方法が当業界で知られている。
【0102】
留意すべき点として、訓練済みのNN機械モデルの演算は、演算/解析ステップの単純なアルゴリズムではない。実際に、訓練済みのNN機械モデルが入力を受け取ると、その入力は従来の意味では解析されない。むしろ、入力の主旨や性質(例えば、ライブ画像/スキャンを画定するベクトル、又は人口構造的説明又は活動の記録等のその他何れかのエンティティを画定するベクトル)に関係なく、入力は、訓練済みニューラルネットワークの同じアーキテクチャ構築(例えば、同じノード/層配置、訓練済み重み及びバイアス値、所定の畳み込み/逆畳み込み演算、活性化関数、プーリング演算等)の対象となり、訓練済みネットワークのアーキテクチャ構築がその出力をどのように生成するかは明らかでないかもしれない。さらに、訓練された重みとバイアスの値は、決定的ではなく、そのニューラルネットワークに付与される訓練のための時間の量(例えば、訓練におけるエポック数)、訓練開始前の重みのランダムな開始値、NNがそこで訓練されるマシンのコンピュータアーキテクチャ、訓練サンプルの選択、複数のミニバッチ間の訓練サンプルの分布、活性化関数の選択、重みを変更するエラー関数の選択、さらには訓練が1つのマシン(例えば、第一のコンピュータアーキテクチャを有する)で中断され、他のマシン(例えば、異なるコンピュータアーキテクチャを有する)で完了したか等、多くの要素に依存する。ポイントは、訓練済みのMLモデルが特定の出力になぜ到達したかの理由は明白でなく、MLモデルがその出力の基礎とする要素を特定しようとする多くの研究が現在行われている、ということである。したがって、ライブデータに対するニューラルネットワークの処理は、単純なステップのアルゴリズムまで減少させることはできない。むしろ、その演算は、その訓練アーキテクチャ、訓練サンプルセット、訓練シーケンス、及びMLモデルの訓練における様々な状況に依存する。
【0103】
概略すると、NN機械学習モデルの構成は、学習(又は訓練)ステージと分類(又は演算)ステージを含んでいてよい。学習ステージでは、ニューラルネットワークは特定の目的のために訓練されてよく、また訓練例の集合が提供されてよく、これには訓練(サンプル)入力及び訓練(サンプル)出力が含まれ、任意選択により、訓練の進行状況を試験するためのバリデーションの例の集合が含まれる。この学習プロセス中、ニューラルネットワーク内のノード及びノード相互接続に関係付けられる各種の重みが徐々に調整されて、ニューラルネットワークの実際の出力と所望の訓練出力との間のエラーが縮小される。このようにして、多層フィードフォワードニューラルネットワーク(例えば前述のもの)は、何れの測定可能関数を何れの所望の精度までも概算できるかもしれない。学習ステージの結果として得られるのは、学習した(例えば、訓練済みの)(ニューラルネットワーク)機械学習(ML)である。演算ステージで、試験入力(又はライブ入力)の集合が学習済み(訓練済み)MLモデルに提供されてよく、それが学習したことを応用して、試験入力に基づいて出力予測を生成するかもしれない。
【0104】
図14及び
図15の通常のニューラルネットワークと同様に、畳み込みニューラルネットワーク(CNN)もまた、学習可能な重みとバイアスを有するニューロンで構成される。各ニューロンは入力を受け取り、演算(例えば、ドット積)を行い、任意選択によってそれに非線形変換が続く。しかしながら、CNNは、一方の端(例えば入力端)で生の画像ピクセルを受け取り、反対の端(例えば、出力端)で分類(又はクラス)のスコアを提供する。CNNは入力として画像を予想するため、これらはボリューム(例えば、画像のピククセル高さと幅及び、画像の深さ、例えば赤、緑、及び青の3色で定義されるRGB深さ等の色深さ)を扱うように最適化される。例えば、CNNの層は、3次元で配置されるニューロンのために最適化されてよい。CNN層内のニューロンは、完全に接続されたNNのニューロンの全部ではなく、その前の層の小さい領域に接続されてもよい。CNNの最終的な出力層は、フル画像を深さの次元に沿って配置される1つのベクトル(分類)に縮小するかもしれない。
【0105】
図16は、例示的な畳み込みニューラルネットワークアーキテクチャを提供する。畳み込みニューラルネットワークは、2つ又はそれ以上の層(例えば、層1~層N)の連続として定義されてよく、層は(画像)畳み込みステップ、(結果の)加重和ステップ、及び非線形関数ステップを含んでいてよい。畳み込みはその入力データについて、例えばその入力データにわたる移動ウィンドウ上のフィルタ(又はカーネル)を適用して特徴マップを生成することによって行われてよい。各層及び層の構成要素は、異なる所定のフィルタ(フィルタバンクからのもの)、重み(又は重み付けパラメータ)、及び/又は関数パラメータを有していてよい。この例において、入力データは、あるピクセル高さと幅の画像であり、この画像の生のピクセル値であってもよい。この例において、入力画像は3つの色チャネルRGB(赤、緑、青)の深さを有するように描かれている。任意選択により、入力画像には様々な前処理が行われてよく、前処理の結果が生の画像データの代わりに、又はそれに加えて入力されてもよい。画像処理の幾つかの例には、網膜血管マップセグメンテーション、色空間変換、適応型ヒストグラム均一化、接続構成要素生成等が含まれていてよい。ある層内で、ドット積がある重みとそれらが入力ボリューム内で接続された小さい領域との間で計算されてよい。CNNを構成するための多くの方法が当業界で知られているが、例として、層はゼロにおけるmax(0,x)閾値等、要素ごと活性化関数を適用するために構成されてもよい。プーリング関数は、ボリュームをダウンサンプルするために(例えばx-y方向に沿って)行われてもよい。完全に接続された層は、分類出力を特定し、画像認識及び分類に有益であることが判明している1次元出力ベクトルを生成するために使用されてよい。しかしながら、画像セグメンテーションのためには、CNNは各ピクセルを分類する必要がある。各CNN層は入力画像の解像度を低下させる傾向があるため、画像をその当初の解像度へとアップサンプルするための別のステージが必要である。これは、転置畳み込み(又は逆畳み込み)ステージTCの適用によって実現されてよく、これは典型的に、何れの所定の補間方法も使用せず、その代わりに学習可能パラメータを有する。
【0106】
畳み込みニューラルネットワークは、コンピュータビジョンの多くの問題にうまく適用されている。前述のように、CNNを訓練するには一般に、大きな訓練データセットが必要である。U-NetアーキテクチャはCNNに基づいており、一般に従来のCNNより小さい訓練データセットで訓練できる。
【0107】
図17は、例示的なU-Netアーキテクチャを図解する。この例示的なU-Netは、入力モジュール(又は入力層若しくはステージ)を含み、これは何れかのサイズの入力U-in(例えば、入力画像又は画像パッチ)を受け取る。便宜上、任意のステージまたは層における画像サイズは、画像を表すボックス内に示され、例えば、入力モジュールでは、「128×128」の数字が囲まれており、入力画像U-inが128×128ピクセルで構成されていることを示している。入力画像は、眼底画像、OCT/OCTA en face、B-スキャン画像等であってよい。しかしながら、理解すべき点として、入力は何れの大きさまたは次元のものであってもよい。例えば、入力画像は、RGBカラー画像、モノクロ画像、ボリューム画像等であってよい。入力画像は一連の処理層を経て、その各々は例示的な大きさで図解されているが、これらの大きさは説明を目的としているにすぎず、例えば画像のサイズ、畳み込みフィルタ、及び/又はプーリングステージに依存するであろう。このアーキテクチャは、収束経路(本明細書では、例示的に4つの符号化モジュールを含む)とそれに続く拡張経路(本明細書では、例示的に4つの復号モジュールを含む)、及び対応するモジュール/ステージ間にあり、収束経路内の1つの符号化モジュールの出力をコピーして、それを拡張経路内の対応する復号モジュールのアップコンバートされた入力に結合する(例えば、後ろに追加する)コピー・アンド・クロップリンク(例えば、CC1~CC4)からなる。その結果、特徴的なU字型となり、そこからこのアーキテクチャが名付られている。任意選択的に、計算上の考慮等から、「ボトルネック」モジュール/ステージ(BN)を収束経路と拡張経路との間に配置することができる。ボトルネックBNは、2つの畳み込み層(バッチ正規化および任意選択的なドロップアウトを伴う)で構成されてもよい。
【0108】
収束経路はエンコーダと同様であり、通常、特徴マップを使用してコンテキスト(または特徴)情報をキャプチャする。この例では、収束経路内の各符号化モジュールは、アスタリスク記号「*」で示される2つ以上の畳み込み層を含み、それに続いて最大プーリング層(例えば、ダウンサンプリング層)があってもよい。例えば、入力画像U-inは、2つの畳み込み層を経るように示されており、各々が32個の特徴マップを有する。各畳み込みカーネルは特徴マップを生成する(例えば、所与のカーネルを用いた畳み込み演算からの出力は、一般に「特徴マップ」と呼ばれる画像である)ことが理解され得る。例えば、入力U-inは、32個の畳み込みカーネル(図示せず)を適用する最初の畳み込みを経て、32個の個々の特徴マップからなる出力を生成する。しかしながら、当該技術分野で既知であるように、畳み込み演算によって生成される特徴マップの数は、(上方または下方に)調整することができる。例えば、特徴マップの数は、特徴マップのグループを平均化すること、いくつかの特徴マップを削除すること、または特徴マップを削減する他の既知の方法によって削減することができる。この例では、この最初の畳み込みの後に、出力が32個の特徴マップに制限される第2の畳み込みが続く。特徴マップを想定する別の方法は、畳み込み層の出力を、2D寸法が記載されたXY平面ピクセル寸法(例えば、128×128ピクセル)によって与えられ、深さが特徴マップの数(例えば、32個の平面画像の深さ)によって与えられる3D画像として考えることである。この例示に従うと、第2の畳み込みの出力(例えば、収束経路の最初の符号化モジュールの出力)は、128×128×32の画像として記述され得る。次に、第2の畳み込みからの出力は、プーリング演算にかけられる。これにより、各特徴マップの2D次元が縮小される(例えば、X寸法およびY寸法がそれぞれ半分に縮小され得る)。プーリング演算は、下向き矢印で示されているように、ダウンサンプリング処理内で具体化され得る。最大プーリングなどのいくつかのプーリング方法は当該技術分野で既知であり、特定のプーリング方法は本発明にとって重要ではない。特徴マップの数は、最初の符号化モジュール(またはブロック)内の32個の特徴マップ、第2の符号化モジュール内の64個の特徴マップなど、各プーリングにおいて2倍になる。従って、収束経路は、複数の符号化モジュール(またはステージまたはブロック)で構成される畳み込みネットワークを形成する。畳み込みネットワークに典型的なように、各符号化モジュールは、少なくとも1つの畳み込みステージと、それに続く活性化関数(例えば、正規化線形ユニット(ReLU:rectified linear unit)またはシグモイド層)(図示せず)、および最大プーリング演算を提供し得る。一般に、活性化関数は、層に非線形性を導入し(例えば、過剰適合の問題を回避するため)、層の結果を受け取り、出力を「活性化」するかどうかを判断する(例えば、特定のノードに値が出力を次の層/ノードに転送する所定の基準を満たすかどうかを判断する)。要約すると、収束経路は一般に空間情報を削減し、特徴情報を増加させる。
【0109】
拡張経路はデコーダと同様であり、とりわけ、収縮ステージで行われたダウンサンプリング及び何れの最大プーリングにもかかわらず、局所化、および収束経路の結果に対する空間情報を提供することである。拡張経路は、複数の復号モジュールを含み、各復号モジュールは、その現在のアップコンバートされた入力を対応する符号化モジュールの出力と結合する。このように、特徴及び空間情報は拡張経路においてアップコンボリューション(例えば、アップサンプリング又は転置畳み込み、すなわち逆畳み込み)と収束経路からの高解像度特徴との結合(例えば、CC1~CC4を介する)の連続を通じて組み合わされる。それゆえ、逆畳み込み層の出力は、収束経路からの対応する(任意選択によりクロップされた)特徴マップと、それに続いて2つの畳み込み層及び活性化関数(任意選択によるバッチ正規化)に結合される。
【0110】
拡張経路内の最後の拡張モジュールからの出力は、分類器ブロック等、他の処理/訓練ブロック又は層に供給されてよく、これはU-Netアーキテクチャと共に訓練されてもよい。代替的に、または付加的に、最後のアップサンプリングブロック(拡張経路の最後にある)の出力は、その出力U-outを生成する前に、点線の矢印によって示されるように、別の畳み込み(例えば、出力畳み込み)演算にかけられ得る。出力畳み込みのカーネルサイズは、最後のアップサンプリングブロックの寸法を所望のサイズに低減するように選択され得る。例えば、ニューラルネットワークは、出力畳み込みに到達する直前に、ピクセルごとに複数の特徴を有し得、それは、ピクセルごとのレベルで、これらの複数の特徴をピクセルごとに単一の出力値に結合する1×1畳み込み演算を提供し得る。
【0111】
コンピューティングデバイス/システム
図18は、例示的なコンピュータシステム(又はコンピューティングデバイス又はコンピュータデバイス)を図解する。幾つかの実施形態において、1つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び/又は本明細書において記載又は図解された1つ又は複数の方法の1つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ(SOC)、又はシングルボードコンピュータシステム(SBC)(例えば、コンピュータ・オン・モジュール(COM)又はシステム・オン・モジュール(SOM)等)、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実装置、又はこれらのうちの2つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは1つ又は複数のクラウドコンポーネントを1つ又は複数のネットワーク内に含んでいてよい。
【0112】
幾つかの実施形態において、コンピュータシステムはプロセッサCpnt1、メモリCpnt2、ストレージCpnt3、入力/出力(I/O)インタフェースCpnt4、通信インタフェースCpnt5、及びバスCpnt6を含んでいてよい。コンピュータシステムは、任意選択により、ディスプレイCpnt7、例えばコンピュータモニタ又はスクリーンも含んでいてよい。
【0113】
プロセッサCpnt1は、コンピュータプログラムを構成するもの等、命令を実行するためのハードウェアを含む。例えば、プロセッサCpnt1は、中央処理ユニット(CPU)又は汎用コンピューティング・オン・グラフィクス処理ユニット(GPGPU)であってもよい。プロセッサCpnt1は、命令を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3から読み出し(又はフェッチし)、この命令を復号して実行し、1つ又は複数の結果を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3に書き込んでよい。特定の実施形態において、プロセッサCpnt1は、データ、命令、又はアドレスのための1つ又は複数の内部キャッシュを含んでいてよい。プロセッサCpnt1は、1つ又は複数の命令キャッシュ、1つ又は複数のデータキャッシュを、例えばデータテーブルを保持するために含んでいてよい。命令キャッシュ内の命令は、メモリCpnt2又はストレージCpnt3内の命令のコピーであってもよく、命令キャッシュはプロセッサCpnt1によるこれらの命令の読出しをスピードアップするかもしれない。プロセッサCpnt1は、何れの適当な数の内部レジスタを含んでいてもよく、1つ又は複数の算術論理演算ユニット(ALU:arithmetic logic units)を含んでいてよい。プロセッサCpnt1は、マルチコアプロセッサであるか、又は1つ若しくは複数のプロセッサCpnt1を含んでいてよい。本開示は特定のプロセッサを説明し、図解しているが、本開示は何れの適当なプロセッサも想定している。
【0114】
メモリCpnt2は、処理を実行し、又は処理中に中間データを保持するプロセッサCpnt1のための命令を保存するメインメモリを含んでいてよい。例えば、コンピュータシステムは、命令又はデータ(例えば、データテーブル)をストレージCpnt3から、又は他のソース(例えば、他のコンピュータシステム)からメモリCpnt2にロードしてもよい。プロセッサCpnt1は、メモリCpnt2からの命令とデータを1つ又は複数の内部レジスタ又は内部キャッシュにロードしてもよい。命令を実行するために、プロセッサCpnt1は内部レジスタ又は内部キャッシュから命令を読み出して復号してもよい。命令の実行中又はその後に、プロセッサCpnt1は1つ又は複数の結果(これは、中間結果でも最終結果でもよい)を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3に書き込んでよい。バスCpnt6は、1つ又は複数のメモリバス(これは各々、アズレスバスとデータバスを含んでいてよい)を含んでいてよく、プロセッサCpnt1をメモリCpnt2及び/又はストレージCpnt3に連結してよい。任意選択により、1つ又は複数のメモリ管理ユニット(MMU)は、プロセッサCpnt1とメモリCpnt2との間のデータ伝送を容易にする。メモリCpnt2(これは、高速揮発性メモリであってもよい)には、ランダムアクセスメモリ(RAM)、例えばダイナミックRAM(DRAM)又はスタティックRAM(SRAM)が含まれていてよい。ストレージCpnt3には、データ又は命令のための長期又は大容量メストレージを含んでいてよい。ストレージCpnt3はコンピュータシステムに内蔵されても外付けでもよく、ディスクドライブ(例えば、ハードディスクドライブHDD、又はソリッドステートドライブSSD)、フラッシュメモリ、ROM、EPROM、光ディスク、磁気光ディスク、磁気テープ、ユニバーサルシリアルバス(USB)-アクセス可能ドライブ、又はその他の種類の不揮発性メモリのうちの1つ又は複数を含んでいてよい。
【0115】
I/OインタフェースCpnt4は、ソフトウェア、ハードウェア、又はそれら両方の組合せであってよく、I/Oデバイスと通信するための1つ又は複数のインタフェース(例えば、シリアル又はパラレル通信ポート)を含んでいてよく、これはヒト(例えば、ユーザ)との通信を可能にしてもよい。例えば、I/Oデバイスとしては、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、テーブル、タッチスクリーン、トラックボール、ビデオカメラ、他の適当なI/Oデバイス、又はこれら2つ以上の組合せが含まれていてよい。
【0116】
通信インタフェースCpnt5は、他のシステム又はネットワークと通信するためのネットワークインタフェースを提供してもよい。通信インタフェースCpnt5は、Bluetooth(登録商標)インタフェース又はその他の種類のパケットベース通信を含んでいてよい。例えば、通信インタフェースCpnt5は、ネットワークインタフェースコントローラ(NIC)及び/又は、無線ネットワークとの通信のための無線NIC若しくは無線アダプタを含んでいてよい。通信インタフェースCpnt5は、WI-FIネットワーク、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、無線PAN(例えば、Bluetooth WPAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、携帯電話ネットワーク(例えば、汎欧州デジタル移動電話方式(Global System for Mobile Communications)(GSM(登録商標))ネットワーク等)、インターネット、又はこれらの2つ以上の組合せとの通信を提供してよい。
【0117】
バスCpnt6は、コンピューティングシステムの上述のコンポーネント間の通信リンクを提供してよい。例えば、バスCpnt6は、アクセラレーテッド・グラフィックス・ポート(Accelerated Graphics Port)(AGP)若しくはその他のグラフィクスバス、拡張業界標準(Enhanced Industry Standard)アーキテクチャ(EISA)バス、フロントサイドバス(FSB)、ハイパートランスポート(HyperTransport)(HT)インタコネクト、業界標準アーキテクチャ(ISA)バス、インフィニバンド(InfiniBand)バス、low-pin-count(LPC)バス、メモリバス、マイクロチャネルアーキテクチャ(MCA)バス、ペリフェラル・コンポーネント・インターコネクト(Peripheral Component Interconnect)(PCI)バス、PCI-Express(PCIe)バス、シリアル・アドバンスト・テクノロジ・アタッチメント(serial advanced technology attachment)(SATA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション・ローカル(Video Electronics Standards Association local)(VLB)バス、若しくはその他の適当なバス、又はこれらの2つ以上の組合せを含んでいてよい。
【0118】
本開示は、特定の数の特定のコンポーネントを特定の配置で有する特定のコンピュータシステムを説明し、図解しているが、本開示は何れの適当な数の何れの適当なコンポーネントを何れの適当な配置で有する何れの適当なコンピュータシステムも想定している。
【0119】
本明細書において、コンピュータ可読非一時的記憶媒体は、1つ又は複数の半導体ベース又はその他の集積回路(IC)(例えば、フィールドプログラマブルゲートアレイ(FPGA)若しくは特定用途IC(ASIC))、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、磁気光ディスク、磁気光ドライブ、フロッピディスケット、フロッピディスクドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAM-ドライブ、SECURE DIGITALカード若しくはドライブ、その他のあらゆる適当なコンピュータ可読非一時的記憶媒体、又は適当であればこれらの2つ以上あらゆる適当な組合せを含んでいてよい。コンピュータ可読非一時的記憶媒体は、揮発性、不揮発性、又は適当であれば揮発性と不揮発性の組合せであってよい。
【0120】
本発明は幾つかの具体的な実施形態と共に説明されているが、当業者にとっては明白であるように、上記の説明を参照すれば多くのその他の代替案、改良、及び変形型が明らかである。それゆえ、本明細書に記載の発明は、付属の特許請求の範囲の主旨と範囲に含まれるかもしれないあらゆるこのような代替案、改良、応用、及び変形型の全てを包含することが意図されている。
【国際調査報告】