IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧 ▶ オプトス ピーエルシーの特許一覧

特許7558948情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
<>
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図1
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図2
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図3
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図4
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図5
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図6
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図7
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図8
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図9
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図10
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図11
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図12
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図13
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図14
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図15
  • 特許-情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-20
(45)【発行日】2024-10-01
(54)【発明の名称】情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
(51)【国際特許分類】
   G16H 30/20 20180101AFI20240924BHJP
【FI】
G16H30/20
【請求項の数】 48
(21)【出願番号】P 2021535386
(86)(22)【出願日】2020-07-29
(86)【国際出願番号】 JP2020029058
(87)【国際公開番号】W WO2021020444
(87)【国際公開日】2021-02-04
【審査請求日】2023-06-06
(31)【優先権主張番号】62/880,975
(32)【優先日】2019-07-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(73)【特許権者】
【識別番号】509012991
【氏名又は名称】オプトス ピーエルシー
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】ソアレス デヴィン
(72)【発明者】
【氏名】コリーマン ブランデン
(72)【発明者】
【氏名】ヤッツ ブラッドリー
(72)【発明者】
【氏名】河内 直幸
【審査官】梅岡 信幸
(56)【参考文献】
【文献】特許第5951086(JP,B2)
【文献】特開平11-338950(JP,A)
【文献】国際公開第2014/157729(WO,A1)
【文献】特開2006-201830(JP,A)
【文献】特開2018-106402(JP,A)
【文献】特開2008-204378(JP,A)
【文献】特開2018-13826(JP,A)
【文献】国際公開第2018/201632(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
患者の被検眼画像データを取得する画像取得装置と、前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能であり前記被検眼画像データを使用して画像診断する第2情報処理装置と、を有する情報処理システムであって、
前記画像取得装置は、
前記第1情報処理装置への前記被検眼画像データの送信の許可または不許可を示す第1同意情報と、前記第2情報処理装置での画像診断後における前記第2情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す第2同意情報とを生成する第1生成処理と、
前記第1同意情報が送信許可を示す場合、前記患者の患者情報、前記被検眼画像データおよび前記第2同意情報を含む第1送信データを、前記第1情報処理装置に送信する第1送信処理と、を実行し、
前記第1情報処理装置は、
前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、
前記第1送信データを受信すると、前記被検眼画像データに固有な識別情報を生成する第2生成処理と、
前記識別情報、前記被検眼画像データおよび前記第2同意情報を含む第2送信データを、前記第2情報処理装置に送信する第2送信処理と、を実行し、
前記第2情報処理装置は、
前記第1情報処理装置から前記第2送信データを受信すると、前記被検眼画像データに基づいて画像診断する画像診断処理と、
前記第2同意情報が前記被検眼画像データの再使用の不許可を示す場合、前記被検眼画像データを前記画像診断処理後に消去し、前記第2同意情報が前記被検眼画像データの再使用の許可を示す場合、前記被検眼画像データおよび前記画像診断処理による画像診断結果をデータベースに保存するデータ処理と、
前記識別情報と前記画像診断結果とを含む第3送信データを、前記第1情報処理装置に送信する第3送信処理と、
を実行する情報処理システム。
【請求項2】
請求項1に記載の情報処理システムであって、
前記第1情報処理装置は、
前記第3送信処理によって送信されてくる前記第3送信データに含まれる前記識別情報から特定される前記患者情報と、前記第3送信データに含まれる診断結果と、に基づいて、前記患者の診断結果データを生成する第3生成処理と、
前記識別情報から特定される前記被検眼画像データとともに前記診断結果データを記憶する第2記憶処理と、
を実行する情報処理システム。
【請求項3】
請求項1に記載の情報処理システムであって、
前記第1情報処理装置は、
前記第3送信データが受信されると、前記識別情報から特定される前記被検眼画像データの画像診断が完了したことを示す完了情報を、前記画像取得装置に送信する第4送信処理を実行する情報処理システム。
【請求項4】
請求項2に記載の情報処理システムであって、
前記画像取得装置は、
前記診断結果データの取得要求を前記第1情報処理装置に送信する第5送信処理を実行し、
前記第1情報処理装置は、
前記取得要求が受信されると、前記診断結果データを前記画像取得装置に送信する第6送信処理と、
を実行する情報処理システム。
【請求項5】
請求項1に記載の情報処理システムであって、
前記第2情報処理装置は、
前記データベースに保存済みの被検眼画像データおよび前記画像診断結果を用いて機械学習を実行して学習パラメータを生成する学習処理を実行し、
前記画像診断処理では、前記第2情報処理装置は、前記学習処理によって生成された学習パラメータを用いて、前記被検眼画像データを画像診断する、情報処理システム。
【請求項6】
請求項1に記載の情報処理システムであって、
前記被検眼画像データは、眼底カメラによる眼底画像データ、走査型レーザ検眼鏡による眼底画像データ、または、光干渉断層計による断層データのいずれか1つまたは2以上の組み合わせである、情報処理システム。
【請求項7】
請求項1に記載の情報処理システムであって、
前記画像診断処理では、前記第2情報処理装置は、前記被検眼画像データを用いて眼底の病変を診断する、情報処理システム。
【請求項8】
請求項1に記載の情報処理システムであって、
前記画像診断処理では、前記第2情報処理装置は、前記被検眼画像データを用いて糖尿病網膜症を診断する、情報処理システム。
【請求項9】
請求項1に記載の情報処理システムであって、
前記第2情報処理装置は、
前記データベースに前記被検眼画像データを保存する際に、前記被検眼画像データを用いた網膜認証を無効にする無効化処理を実行する情報処理システム。
【請求項10】
請求項9に記載の情報処理システムであって、
前記無効化処理では、前記第2情報処理装置は、前記被検眼画像データに網膜認証を無効にするデータを埋め込む、情報処理システム。
【請求項11】
請求項9に記載の情報処理システムであって、
前記無効化処理では、前記第2情報処理装置は、両眼の被検眼画像データの各々を左右反転する、情報処理システム。
【請求項12】
請求項1に記載の情報処理システムであって、
前記第1生成処理では、前記画像取得装置は、前記患者の画像診断が初回の場合、前記第1同意情報および前記第2同意情報を生成し、前記患者の画像診断が二回目の場合、初回に生成した前記第1同意情報および前記第2同意情報を用いる、情報処理システム。
【請求項13】
請求項1に記載の情報処理システムであって、
前記第1生成処理では、前記画像取得装置は、前記患者の画像診断が初回の場合、前記第1同意情報および前記第2同意情報を生成し、前記患者の画像診断が二回目の場合、初回に生成した前記第1同意情報を用い、前記第2同意情報の更新要求を出力する、情報処理システム。
【請求項14】
患者の被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能な第2情報処理装置と、が通信可能な情報処理システムであって、
前記第1情報処理装置は、
患者の被検眼画像データについて前記第2情報処理装置での使用についての同意に関する同意情報に基づいて、前記被検眼画像データを前記第2情報処理装置に送信する第1送信処理と、を実行し、
前記第2情報処理装置は、
前記第1送信処理によって送信されてくる前記被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記第1情報処理装置に送信する第2送信処理と、を実行する、情報処理システム。
【請求項15】
請求項14に記載の情報処理システムであって、
前記同意情報は、前記画像診断処理後における前記第2情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す情報であり、
前記第1送信処理は、前記同意情報と前記被検眼画像データとを前記第2情報処理装置に送信する、情報処理システム。
【請求項16】
請求項14に記載の情報処理システムであって、
前記同意情報は、前記画像診断処理での前記被検眼画像データの使用許可または不許可を示す第1同意情報と、前記画像診断処理後における前記第2情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す第2同意情報と、を含む、情報処理システム。
【請求項17】
請求項16に記載の情報処理システムであって、
前記第1送信処理では、前記第1情報処理装置は、前記第1同意情報が前記被検眼画像データの使用不許可を示す場合、前記被検眼画像データを、前記第2情報処理装置に送信しない、情報処理システム。
【請求項18】
請求項16に記載の情報処理システムであって、
前記第1送信処理では、前記第1情報処理装置は、前記第1同意情報が前記被検眼画像データの使用許可を示す場合、前記被検眼画像データおよび前記第2同意情報を前記第2情報処理装置に送信する、情報処理システム。
【請求項19】
請求項18に記載の情報処理システムであって、
前記第2情報処理装置は、
前記第2同意情報が前記被検眼画像データの再使用の不許可を示す場合、前記被検眼画像データを前記画像診断処理後に消去する消去処理を実行する、情報処理システム。
【請求項20】
請求項18に記載の情報処理システムであって、
前記第2情報処理装置は、
前記第2同意情報が前記被検眼画像データの再使用の許可を示す場合、前記被検眼画像データおよび前記画像診断結果をデータベースに保存する保存処理を実行する、情報処理システム。
【請求項21】
請求項20に記載の情報処理システムであって、
前記第2情報処理装置は、
前記データベースに保存された被検眼画像データおよび前記画像診断結果を用いて機械学習を実行して学習パラメータを生成する学習処理を実行し、
前記画像診断処理では、前記第2情報処理装置は、前記学習処理によって生成された学習パラメータを用いて画像診断する、情報処理システム。
【請求項22】
請求項21に記載の情報処理システムであって、
前記第2情報処理装置は、
前記被検眼画像データを異なる被検眼画像データに変更する修正処理を実行し、
前記保存処理では、前記第2情報処理装置は、前記修正処理による変更後の被検眼画像データおよび前記画像診断結果を前記データベースに保存する、情報処理システム。
【請求項23】
請求項22に記載の情報処理システムであって、
前記画像診断処理では、前記第2情報処理装置は、前記修正処理による修正後の被検眼画像データに基づいて画像診断し、
前記修正処理では、前記第2情報処理装置は、前記修正後の被検眼画像データに基づく画像診断結果が修正前の被検眼画像データに基づく画像診断結果と同一でない場合に再修正し、
前記保存処理では、前記第2情報処理装置は、前記修正後の被検眼画像データに基づく画像診断結果が修正前の被検眼画像データに基づく画像診断結果と同一診断結果となった場合、前記同一診断結果となった前記修正後の被検眼画像データおよび前記修正前の被検眼画像データに基づく画像診断結果を前記データベースに保存する、情報処理システム。
【請求項24】
請求項23に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、右眼の被検眼画像データを反転させることにより修正後の左眼の被検眼画像データとし、左眼の被検眼画像データを反転させることにより修正後の右眼の被検眼画像データとする、情報処理システム。
【請求項25】
請求項23に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、前記被検眼画像データのうち異常な領域に関連しない健常な領域内の画像データを修正する、情報処理システム。
【請求項26】
請求項25に記載の情報処理システムであって、
前記健常な領域内の画像データは、前記健常な領域に存在する眼の組織を示す形状データである、情報処理システム。
【請求項27】
請求項26に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、前記画像診断結果に基づいて、前記健常な領域に存在する眼の組織を示す形状データを修正する、情報処理システム。
【請求項28】
請求項27に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、前記画像診断結果が毛細血管瘤の存在が診断された第1網膜症である場合、前記健常な領域に存在する眼の組織を示す形状データを削除しないように修正する、情報処理システム。
【請求項29】
請求項27に記載の情報処理システムであって、
前記修正処理では、前記第2情報処理装置は、前記画像診断結果が毛細血管瘤の存在が診断された第1網膜症よりも進行したことにより所定範囲の無血管野の存在が診断された第2網膜症である場合、前記健常な領域に存在する眼の組織を示す形状データに他の形状データを追加しないように修正する、情報処理システム。
【請求項30】
請求項21に記載の情報処理システムであって、
前記第2情報処理装置と通信可能で、かつ、前記データベースを有する第3情報処理装置を有し、
前記学習処理では、前記第2情報処理装置は、前記第3情報処理装置にアクセスすることにより前記データベースに保存された被検眼画像データおよび前記画像診断結果を用いて機械学習を実行して前記学習パラメータを生成して、前記第3情報処理装置に送信し、
前記画像診断処理では、前記第2情報処理装置は、前記第3情報処理装置にアクセスすることにより前記第3情報処理装置から前記学習パラメータを取得して、前記学習パラメータを用いて画像診断する、情報処理システム。
【請求項31】
請求項22に記載の情報処理システムであって、
前記第2情報処理装置と通信可能で、かつ、前記データベースを有する第3情報処理装置を有し、
前記第2情報処理装置は、
前記変更後の被検眼画像データおよび前記画像診断結果を、前記第3情報処理装置に送信する第3送信処理を実行し、
前記第3情報処理装置は、
前記第2情報処理装置から送信されてきた前記変更後の被検眼画像データおよび前記画像診断結果を、前記データベースに保存する保存処理を実行する、情報処理システム。
【請求項32】
請求項23に記載の情報処理システムであって、
前記第2情報処理装置と通信可能で、かつ、前記データベースを有する第3情報処理装置を有し、
前記第2情報処理装置は、
前記同一診断結果となった前記変更後の被検眼画像データおよび前記修正前の被検眼画像データに基づく画像診断結果を、前記第3情報処理装置に送信する第3送信処理を実行し、
前記第3情報処理装置は、
前記第2情報処理装置から送信されてきた前記同一診断結果となった前記修正後の被検眼画像データおよび前記修正前の被検眼画像データに基づく画像診断結果を、前記データベースに保存する保存処理を実行する、情報処理システム。
【請求項33】
請求項30に記載の情報処理システムであって、
前記第3情報処理装置は、前記第1情報処理装置である、情報処理システム。
【請求項34】
他の情報処理装置と通信可能な情報処理装置であって、
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、
前記プロセッサは、
患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、
前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、
を実行する情報処理装置。
【請求項35】
請求項34に記載の情報処理装置であって、
前記同意情報は、前記他の情報処理装置での前記被検眼画像データに基づく画像診断処理後における前記他の情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す情報を含む、情報処理装置。
【請求項36】
請求項34に記載の情報処理装置であって、
前記同意情報は、前記他の情報処理装置での前記被検眼画像データの使用許可または不許可を示す第1同意情報と、前記被検眼画像データの使用後における前記他の情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す第2同意情報と、を含む、情報処理装置。
【請求項37】
請求項36に記載の情報処理装置であって、
前記送信処理では、前記情報処理装置は、前記第1同意情報が前記被検眼画像データの使用不許可を示す場合、前記被検眼画像データを前記他の情報処理装置に送信しない、情報処理装置。
【請求項38】
請求項36に記載の情報処理装置であって、
前記送信処理では、前記情報処理装置は、前記第1同意情報が前記被検眼画像データの使用許可を示す場合、前記被検眼画像データおよび前記第2同意情報を前記他の情報処理装置に送信する、情報処理装置。
【請求項39】
患者の被検眼画像データを記憶する他の情報処理装置と通信可能な情報処理装置であって、
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、学習データを記憶するデータベースにアクセス可能であり、
前記プロセッサは、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存を制御するデータ制御処理と、
を実行する情報処理装置。
【請求項40】
請求項39に記載の情報処理装置であって、
前記データ制御処理では、前記プロセッサは、前記同意情報が前記被検眼画像データの再使用の不許可を示す場合、前記被検眼画像データを消去する、情報処理装置。
【請求項41】
請求項39に記載の情報処理装置であって、
前記データ制御処理では、前記プロセッサは、前記同意情報が前記被検眼画像データの再使用の許可を示す場合、前記被検眼画像データおよび前記画像診断結果を前記学習データとして前記データベースに保存する、情報処理装置。
【請求項42】
患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置であって、
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、
前記プロセッサは、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の第1情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を実行するデータ処理と、
を実行する情報処理装置。
【請求項43】
他の情報処理装置と通信可能な情報処理装置のプロセッサに、
患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、
前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、
を実行させる情報処理プログラム。
【請求項44】
患者の被検眼画像データを記憶する他の情報処理装置と通信可能であり、学習データを記憶するデータベースにアクセス可能な情報処理装置のプロセッサに、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存を制御するデータ制御処理と、
を実行させる情報処理プログラム。
【請求項45】
患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置のプロセッサに、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を制御するデータ制御処理と、
を実行させる情報処理プログラム。
【請求項46】
他の情報処理装置と通信可能な情報処理装置が実行する情報処理方法であって、
患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、
前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、
を含む情報処理方法。
【請求項47】
患者の被検眼画像データを記憶する他の情報処理装置と通信可能であり、学習データを記憶するデータベースにアクセス可能な情報処理装置が実行する情報処理方法であって、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存を制御するデータ制御処理と、
を含む情報処理方法。
【請求項48】
患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置が実行する情報処理方法であって、
前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、
前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、
前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、
前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を制御するデータ制御処理と、
を含む情報処理方法。
【発明の詳細な説明】
【参照による取り込み】
【0001】
本出願は、2019年7月31日に出願された米国特許仮出願62/880,975の優先権を主張し、その内容を参照することにより、本出願に取り込む。
【技術分野】
【0002】
本発明は、情報処理システム、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【0003】
多種多様な眼科画像解析を実施することが可能な眼科情報処理サーバが知られている。しかしながら、患者の同意情報の取扱いについては考慮されていない。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2015-221276号公報
【発明の概要】
【0005】
第1開示技術の情報処理システムは、患者の被検眼画像データを取得する画像取得装置と、前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能であり前記被検眼画像データを使用して画像診断する第2情報処理装置と、を有する情報処理システムであって、前記画像取得装置は、前記第1情報処理装置への前記被検眼画像データの送信の許可または不許可を示す第1同意情報と、前記第2情報処理装置での画像診断後における前記第2情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す第2同意情報とを生成する第1生成処理と、前記第1同意情報が送信許可を示す場合、前記患者の患者情報、前記被検眼画像データおよび前記第2同意情報を含む第1送信データを、前記第1情報処理装置に送信する第1送信処理と、を実行し、前記第1情報処理装置は、前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、前記第1送信データを受信すると、前記被検眼画像データに固有な識別情報を生成する第2生成処理と、前記識別情報、前記被検眼画像データおよび前記第2同意情報を含む第2送信データを、前記第2情報処理装置に送信する第2送信処理と、を実行し、前記第2情報処理装置は、前記第1情報処理装置から前記第2送信データを受信すると、前記被検眼画像データに基づいて画像診断する画像診断処理と、前記第2同意情報が前記被検眼画像データの再使用の不許可を示す場合、前記被検眼画像データを前記画像診断処理後に消去し、前記第2同意情報が前記被検眼画像データの再使用の許可を示す場合、前記被検眼画像データおよび前記画像診断処理による画像診断結果をデータベースに保存するデータ処理と、前記識別情報と前記画像診断結果とを含む第3送信データを、前記第1情報処理装置に送信する第3送信処理と、を実行する。
【0006】
第2開示技術の情報処理システムは、患者の被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能な第2情報処理装置と、が通信可能な情報処理システムであって、前記第1情報処理装置は、患者の被検眼画像データについて前記第2情報処理装置での使用についての同意に関する同意情報に基づいて、前記被検眼画像データを前記第2情報処理装置に送信する第1送信処理と、を実行し、前記第2情報処理装置は、前記第1送信処理によって送信されてくる前記被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記第1情報処理装置に送信する第2送信処理と、を実行する。
【0007】
第3開示技術の情報処理装置は、他の情報処理装置と通信可能な情報処理装置であって、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、前記プロセッサは、患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、を実行する。
【0008】
第4開示技術の情報処理装置は、患者の被検眼画像データを記憶する他の情報処理装置と通信可能な情報処理装置であって、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、学習データを記憶するデータベースにアクセス可能であり、前記プロセッサは、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存に関するデータ処理と、を実行する。
【0009】
第5開示技術の情報処理装置は、患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置であって、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、前記プロセッサは、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の第1情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を実行するデータ処理と、を実行する。
【0010】
第6開示技術の情報処理プログラムは、他の情報処理装置と通信可能な情報処理装置のプロセッサに、患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、を実行させる。
【0011】
第7開示技術の情報処理プログラムは、患者の被検眼画像データを記憶する他の情報処理装置と通信可能であり、学習データを記憶するデータベースにアクセス可能な情報処理装置のプロセッサに、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存に関するデータ処理と、を実行させる。
【0012】
第8開示技術の情報処理プログラムは、患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置のプロセッサに、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信に関するデータ処理と、を実行させる。
【0013】
第9開示技術の情報処理方法は、他の情報処理装置と通信可能な情報処理装置が実行する情報処理方法であって、患者の被検眼画像データについて前記他の情報処理装置での使用についての同意に関する同意情報を取得する取得処理と、前記取得処理によって取得された同意情報に基づいて、前記被検眼画像データを前記他の情報処理装置に送信する送信処理と、を含む。
【0014】
第10開示技術の情報処理方法は、患者の被検眼画像データを記憶する他の情報処理装置と通信可能であり、学習データを記憶するデータベースにアクセス可能な情報処理装置が実行する情報処理方法であって、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記データベースへの保存を制御するデータ制御処理と、を含む。
【0015】
第11開示技術の情報処理方法は、患者の被検眼画像データを記憶する他の第1情報処理装置および学習データを記憶するデータベースを有する他の第2情報処理装置と通信可能な情報処理装置が実行する情報処理方法であって、前記被検眼画像データと、前記情報処理装置での前記被検眼画像データの再使用の許可または不許可を示す同意情報と、を前記他の第1情報処理装置から受信する受信処理と、前記受信処理によって受信された被検眼画像データに基づいて画像診断する画像診断処理と、前記画像診断処理による画像診断結果を前記他の情報処理装置に送信する送信処理と、前記受信処理によって受信された同意情報に基づいて、前記被検眼画像データの消去または前記他の第2情報処理装置への送信を制御するデータ制御処理と、を含む。
【図面の簡単な説明】
【0016】
図1図1は、同意情報を用いた画像診断例を示す説明図である。
図2図2は、コンピュータのハードウェア構成例を示すブロック図である。
図3図3は、患者情報DBの記憶内容例を示す説明図である。
図4図4は、実施例1にかかる情報処理システムの動作シーケンス例を示す説明図である。
図5図5は、図4に示した診断データの送信決定処理(ステップS414)の詳細な処理手順例を示すフローチャートである。
図6図6は、図4に示した眼底画像データの取扱い処理(ステップS433)の詳細な処理手順例1を示すフローチャートである。
図7図7は、図4に示した眼底画像データの取扱い処理(ステップS433)の詳細な処理手順例2を示すフローチャートである。
図8図8は、眼底画像データの修正処理(ステップS702)の例1を示す説明図である。
図9図9は、眼底画像データの修正処理(ステップS702)の例2を示す説明図である。
図10図10は、図4に示した眼底画像データの取扱い処理(ステップS433)の詳細な処理手順例3を示すフローチャートである。
図11図11は、図7および図9に示した眼底画像データ修正処理(ステップS702)の詳細な他の処理手順例を示すフローチャートである。
図12図12は、糖尿病網膜症の重症度例を示す説明図である。
図13図13は、実施例1にかかる情報処理システムの機能的構成例を示すブロック図である。
図14図14は、実施例2にかかる情報処理システムの動作シーケンス例を示す説明図である。
図15図15は、図14に示した眼底画像データの取扱い処理(ステップS432)の詳細な処理手順例を示すフローチャートである。
図16図16は、実施例2にかかる情報処理システムの機能的構成例を示すブロック図である。
【発明を実施するための形態】
【実施例1】
【0017】
<同意情報を用いた画像診断例>
図1は、同意情報を用いた眼底画像診断例を示す説明図である。同意情報を用いた眼底画像診断は、情報処理システム100により実行される。情報処理システム100は、院内システム101と、管理サーバ120と、AI(Artificial Intelligence)サーバ130と、を含む。院内システム101と管理サーバ120とは、通信可能に接続されている。管理サーバ120とAIサーバ130とは、通信可能に接続されている。
【0018】
院内システム101は、たとえば、病院やクリニック(眼科医、内科医、糖尿病内科医など)に設けられる。院内システム101は、眼科装置111と、端末112と、院内サーバ113と、を有する。眼科装置111は、端末112と通信可能に接続される。眼科装置111は、眼底カメラ(Fundus Camera)、被検眼にレーザ光を走査し眼底からの反射光に基づいて画像を生成する走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)や光干渉断層計(Optical Coherence Tomography)などであり、被検眼の眼底画像データ102R,102Lを生成する。右眼の眼底画像データ102Rおよび左眼の眼底画像データ102Lを区別しない場合は、眼底画像データ102と表記する。末尾に「R」、「L」を有する他の符号についても同様である。眼科装置111は、生成した眼底画像データ102を端末112に送信する。眼底画像データ102には撮影年月日が含まれる。
眼底画像データは、眼底カメラにより撮影された眼底画像データ、走査型レーザ検眼鏡による撮影された眼底の眼底画像データ、あるいは、光干渉断層計による撮影された眼底の断層データのいずれか1つであってよい。またはそれらの2以上の組み合わせである眼底画像データセットであってもよい。
【0019】
眼科装置111は、たとえば、眼底カメラ、走査型レーザ検眼鏡および光干渉断層計の少なくとも1つにより構成される。したがって、眼底画像データ102は、眼底カメラによる眼底画像データ、走査型レーザ検眼鏡による眼底画像データ、または、光干渉断層計による断層データのいずれか1つまたは2以上の組み合わせとなる。
【0020】
端末112は、眼科装置111および院内サーバ113と通信可能なコンピュータである。端末112は、管理サーバ120と直接通信可能としてもよい。端末112は、たとえば、医師により使用される。端末112は、たとえば、パーソナルコンピュータやタブレットである。端末112は、眼科装置111からの眼底画像データ102を院内サーバ113に転送する。
【0021】
また、端末112は、同意情報103を院内サーバ113に送信する。同意情報103とは、患者iが、自身の被検眼の眼底画像データ102について院内システム101外での利用に同意するか否かを示す情報である。具体的には、たとえば、同意情報103は、第1同意情報103aと、第2同意情報103bと、を含む。
【0022】
第1同意情報103aは、たとえば、院内システム101外の管理サーバ120への眼底画像データ102の送信の許可または不許可を示す外部保存フラグである。外部保存フラグが「1」の場合、院内システム101外の管理サーバ120への眼底画像データ102の送信の許可(OK)を示し、「0」の場合、不許可(NG)を示す。
【0023】
第2同意情報103bは、たとえば、院内システム101外のAIサーバ130での画像診断後におけるAIサーバ130での眼底画像データ102の再使用の許可または不許可を示す二次使用フラグである。二次使用フラグが「1」の場合、AIサーバ130での眼底画像データ102の二次使用の許可(OK)を示し、「0」の場合、不許可(NG)を示す。同意情報103は、患者iごとに存在する。また、同意情報103には、有効期限が設けられてもよい。また、同意情報103は、各患者iについて撮影回ごとに存在してもよい。同意情報103のデータ形式は、院内サーバ113、管理サーバ120、およびAIサーバ130が認識可能であれば、どのようなデータ形式でもよい。
【0024】
また、端末112は、院内サーバ113から患者情報や診断結果データ105を受信して、表示画面に表示する。なお、眼科装置111からの眼底画像データ102、院内サーバ113からの患者情報、診断結果データ105に含まれる診断結果、および同意情報103は、端末112または院内サーバ113により、同一のID(たとえば、患者ID)で関連付けられるものとする。
【0025】
院内サーバ113は、端末112および管理サーバ120と通信可能なコンピュータである。院内サーバ113は、患者情報DB114を有する。患者情報DB114は、患者情報を格納するデータベースである。院内サーバ113は、端末112から患者IDおよび眼底画像データ102を受信する。院内サーバ113は、患者IDで特定される患者情報に関連付けて眼底画像データ102、診断結果データに含まれる診断結果、および同意情報103を患者情報DB114に格納する。
【0026】
院内サーバ113は、第1同意情報103aが院内システム101外の管理サーバ120への眼底画像データ102の送信の許可を示す場合、診断データ104を管理サーバ120に送信し、不許可を示す場合、送信しない。これにより、院内サーバ113は、患者iの第1同意情報103aを遵守することができる。診断データ104は、患者iの患者情報と眼底画像データ102と第2同意情報103bとを含む。院内サーバ113は、管理サーバ120から診断結果データ105を受信する。院内サーバ113は、受信した診断結果データ105に含まれる診断結果を患者情報DB114に格納する。
【0027】
管理サーバ120は、院内サーバ113およびAIサーバ130と通信可能なコンピュータである。管理サーバ120は、院内サーバ113から診断データ104を受信する。管理サーバ120は、受信した診断データ104を匿名化する。具体的には、たとえば、管理サーバ120は、新規なID(以下、匿名化ID)を発行して、受信した診断データ104内の患者情報と関連付ける。そして、管理サーバ120は、当該匿名化IDと眼底画像データ102との組み合わせを、匿名化診断データ106とする。
【0028】
なお、患者情報内の患者IDを匿名化IDとして使用してもよい。この場合、匿名化診断データ106は、匿名化IDである患者IDと眼底画像データ102と第2同意情報103bとにより構成される。これにより、患者情報が匿名化される。なお、管理サーバ120は、患者情報のうち患者iを一意に特定しない情報であれば、匿名化診断データ106に含めてもよい。患者iを一意に特定しない情報としては、たとえば、患者iの視力、性別、年齢、国籍がある。
【0029】
また、管理サーバ120は、患者情報を暗号化してもよい。この場合、管理サーバ120は、暗号化した患者情報と、眼底画像データ102との組み合わせを、匿名化診断データとしてAIサーバ130に送信する。
【0030】
管理サーバ120は、AIサーバ130から匿名化診断結果データ107を受信する。匿名化診断結果データ107は、匿名化診断データ106に含まれる匿名化IDと、被検眼の症状の重症度(進行度ともいう)である診断結果と、を含む。管理サーバ120は、受信した匿名化診断結果データ107を診断結果データ105に変換する。
【0031】
具体的には、たとえば、管理サーバ120は、受信した匿名化診断結果データ107に含まれる匿名化IDに関連付けされている患者情報を取得し、匿名化IDから当該取得した患者情報に付け替えることにより、患者情報と診断結果とを含む診断結果データ105を生成する。
【0032】
管理サーバ120が、暗号化した患者情報と眼底画像データ102と第2同意情報103bとの組み合わせである匿名化診断データ106を、AIサーバ130に送信した場合、管理サーバ120は、当該暗号化した患者情報と診断結果とを含む匿名化診断結果データ107を、AIサーバ130から受信することになる。
【0033】
この場合、管理サーバ120は、暗号化した患者情報を復号することで、匿名化診断結果データ107を診断結果データ105に変換する。このようにして、管理サーバ120は、匿名化や暗号化により患者情報を秘匿化することができ、個人情報を保護することができる。このあと、管理サーバ120は、生成した診断結果データ105を院内サーバ113に送信する。
【0034】
AIサーバ130は、機械学習や深層学習により得られた学習パラメータを用いて、AIにより眼底画像診断を実行するコンピュータである。AIサーバ130は、過去の眼底画像データ103とその進行度との組み合わせを訓練データとして学習し、学習パラメータを生成する。訓練データ集合および学習パラメータは、学習DB1131に格納される。また、学習DB1131は、進行度に対応する所見105を記憶する。この学習パラメータを用いて、眼底画像の特徴量を、コンボリューションニューラルネットワーク(CNN)を用いて抽出する。そして、特徴量に基づいて入力された眼底画像の症状を推定する。
【0035】
AIサーバ130は、匿名化診断データ106を受信する。AIサーバ130は、匿名化診断データ106に含まれる眼底画像データ102を、CNNに学習パラメータが適用された学習モデルに入力し、重症度を出力する。
【0036】
AIサーバ130は、匿名化診断データ106に含まれていた匿名化IDと、学習モデルから出力された重症度と、を含む匿名化診断結果データ107を生成する。AIサーバ130は、生成した匿名化診断結果データ107を管理サーバ120に送信する。
【0037】
AIサーバ130は、第2同意情報103が、院内システム101外のAIサーバ130での画像診断後におけるAIサーバ130での眼底画像データの再使用の許可を示す場合、重症度と当該重症度の出力元になった眼底画像データ102との組み合わせを学習データとして学習DBの学習データ集合に追加し、不許可を示す場合、追加しない。これにより、AIサーバ130は、患者iの第2同意情報103を遵守することができる。このようにして、情報処理システム100は、患者iの個人情報を保護することができる。
【0038】
<コンピュータのハードウェア構成例>
図2は、コンピュータ(端末112、院内サーバ113、管理サーバ120、AIサーバ130、DBサーバ1400)のハードウェア構成例を示すブロック図である。コンピュータ200は、プロセッサ201と、記憶デバイス202と、入力デバイス203と、出力デバイス204と、通信インターフェース(通信IF)205と、を有する。プロセッサ201、記憶デバイス202、入力デバイス203、出力デバイス204、および通信IF205は、バス206により接続される。プロセッサ201は、コンピュータ200を制御する。
【0039】
記憶デバイス202は、プロセッサ201の作業エリアとなる。また、記憶デバイス202は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス202としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。
【0040】
入力デバイス203は、データを入力する。入力デバイス203としては、たとえば、キーボード、マウス、入力ペン、タッチパネル、テンキー、スキャナがある。出力デバイス204は、データを出力する。出力デバイス204としては、たとえば、ディスプレイ、プリンタがある。通信IF205は、ネットワークと接続し、データを送受信する。
【0041】
<患者情報DB114>
図3は、患者情報DB114の記憶内容例を示す説明図である。患者情報DB114は、患者情報フィールド301と、診断情報フィールド302と、を有する。患者情報フィールドは301、サブフィールドとして、患者IDフィールド311と、氏名フィールド312と、性別フィールド313と、生年月日フィールド314と、連絡先フィールド315と、を有する。同一行におけるサブフィールド311~315の患者i(iは、たとえば、1以上の整数)の患者情報となる。
【0042】
患者IDフィールド311は、患者IDを格納する記憶領域である。患者IDPiは、患者iを一意に特定する識別情報である。氏名フィールド312は、患者iの氏名FNiを格納する記憶領域である。性別フィールド313は、患者iの性別Siを格納する記憶領域である。生年月日フィールド314は、患者iの生年月日DOBiを格納する記憶領域である。連絡先フィールド315は、患者iの連絡先ADiを格納する記憶領域である。
【0043】
診断情報フィールド302は、患者iのj回目(jは1以上の整数)までの診断情報Di1~Dijを格納する記憶領域である。診断情報Dijは、眼底画像データ102と、診断結果Rijと、撮影年月日Tijと、同意情報103と、を含む。診断結果Rijは、AIサーバ130からの重症度を含む。撮影年月日Tijは、眼科装置111での被検眼の撮影により眼底画像データ102が生成された年月日である。同意情報103は、上述した第1同意情報103a(外部保存フラグ)と第2同意情報103b(二次使用フラグ)とを含む。
【0044】
<情報処理システム100の動作シーケンス例>
図4は、実施例1にかかる情報処理システム100の動作シーケンス例を示す説明図である。端末112および院内サーバ113を区別しない場合、画像取得装置400と称す。画像取得装置400は、患者情報DB114から、被検者となる患者iの患者情報を取得する(ステップS411)。画像取得装置400は、患者iの眼底画像データ102を端末112を介して取得する(ステップS412)。また、院内サーバ113は、患者iの同意情報103を、端末112を介して取得する(ステップS413)。
【0045】
そして、画像取得装置400は、ステップS411によって取得された患者情報と、ステップS412によって取得された眼底画像データ102と、ステップS413で取得した第2同意情報103bと、を含む診断データ104について、送信決定処理を実行する(ステップS414)。この診断データ104の送信決定処理(ステップS414)とは、第1同意情報103aの内容にしたがって、診断データ104を送信するか否かを決定する処理である。
【0046】
画像取得装置400は、第1同意情報103aが送信許可を示す場合、診断データ104を送信する決定をし、第1同意情報103aが送信不許可を示す場合、診断データ104を送信しない決定をする。診断データ104の送信決定処理(ステップS414)の詳細については後述する。これにより、画像取得装置400は、ステップS414で診断データ104を送信する決定をした場合に限り、診断データ104を、管理サーバ120に送信する(ステップS415)。
【0047】
管理サーバ120は、画像取得装置400から診断データ104が送信されてくると、診断データ104を受信する(ステップS421)。つぎに、管理サーバ120は、診断データ104に含まれている患者情報を匿名化する(ステップS422)。そして、管理サーバ120は、患者情報に関連付けされた匿名化IDと、眼底画像データ102と、第2同意情報103b(二次使用フラグ)とを含む匿名化診断データ106を、AIサーバ130に送信する(ステップS423)。
【0048】
AIサーバ130は、管理サーバ120から匿名化診断データ106が送信されてくると、匿名化診断データ106を受信する(ステップS431)。つぎに、AIサーバ130は、匿名化診断データ106に含まれる眼底画像データ102を学習モデルに入力することにより、眼底画像診断を実行する(ステップS432)。
【0049】
AIサーバ130は、眼底画像診断(ステップS432)後、眼底画像データ102の取扱い処理を実行する(ステップS433)。眼底画像データ102の取扱い処理(ステップS433)は、第2同意情報103bの内容に基づいて、学習データとして使用するか否かなど、眼底画像診断(ステップS432)された眼底画像データ102の今後の取扱いを決定する処理である。眼底画像データ102の取扱い処理(ステップS433)の詳細については後述する。
【0050】
そして、AIサーバ130は、匿名化IDと、眼底画像診断により出力された重症度である診断結果Rijと、を含む匿名化診断結果データ107を、管理サーバ120に送信する(ステップS434)。
【0051】
このあと、AIサーバ130は、学習処理を実行する(ステップS435)。具体的には、たとえば、AIサーバ130は、眼底画像データ102の取扱い処理(ステップS433)において、ステップS431で受信した匿名化診断データに含まれる眼底画像データ102と、ステップS432で出力された診断結果Rijである重症度と、の組み合わせを学習データとして取り扱うことが許可された場合(第2同意情報103b(二次使用フラグ)が二次使用OKを示す場合)に限り、学習DB131の学習データ集合に追加し、追加後の学習データ集合で学習モデルを更新する。
【0052】
また、管理サーバ120は、AIサーバ130から匿名化診断結果データ107が送信されてくると、匿名化診断結果データ107を受信する(ステップS424)。このとき、管理サーバ120は、匿名化診断結果データ107の受信が完了したことを示す完了情報を画像取得装置400に送信してもよい。つぎに、管理サーバ120は、匿名化診断結果データ107に含まれている匿名化IDに基づいて、患者情報を復元する(ステップS425)。
【0053】
たとえば、管理サーバ120は、ステップS422で保持しておいた、匿名化IDに関連付けられている患者IDを含む患者情報を読み出す。そして、管理サーバ120は、取得した患者情報と、診断結果Rijと、を含む診断結果データ105を生成し(ステップS426)、診断結果データ105を画像取得装置400に送信する(ステップS427)。
【0054】
画像取得装置400は、管理サーバ120から完了情報を受信した場合、管理サーバ120に診断結果データ105の取得要求を送信してもよい。これにより、管理サーバ120は、当該取得要求を受信した場合に、画像取得装置400に診断結果データ105を送信する。このあと、管理サーバ120は、診断結果データ105を保存する(ステップS428)。そして、管理サーバ120の処理を終了する。
【0055】
画像取得装置400は、管理サーバ120から診断結果データ105が送信されてくると、診断結果データ105を受信する(ステップS416)。これにより、端末112は、院内サーバ113からの診断結果データ105および眼底画像データ102を用いて、眼底画像データ102や重症度、患者情報を表示画面に表示することができる。そして、ユーザの指示により終了ボタン(図示せぬ)が操作されることにより、表示処理を終了する。
【0056】
図5は、図4に示した診断データ104の送信決定処理(ステップS414)の詳細な処理手順例を示すフローチャートである。第1同意情報103aである外部保存フラグが外部保存の許可(OK)を示す「1」である場合(ステップS501:Yes)、画像取得装置400は、診断データ104を送信対象に決定して、診断データ104の送信決定処理(ステップS414)を終了する。一方、第1同意情報103aである外部保存フラグが外部保存の不許可(NG)を示す「0」である場合(ステップS501:No)、院内サーバ113は、診断データ104を送信非対象に決定して、診断データ104の送信決定処理(ステップS414)を終了する。つまり、第1同意情報103aである外部保存フラグが外部保存の不許可(NG)の場合は、撮影された眼底画像を院内サーバのみで保管し、AIによる画像診断は行われない。
【0057】
図6は、図4に示した眼底画像データ102の取扱い処理(ステップS433)の詳細な処理手順例1を示すフローチャートである。第2同意情報103bである二次使用フラグが二次使用存の許可(OK)を示す「1」である場合(ステップS601:Yes)、AIサーバ130は、眼底画像データ102および診断結果Rijの組み合わせを学習データとして学習DB131に保存して、眼底画像データ102の取扱い処理(ステップS433)を終了する。一方、第2同意情報103bである二次使用フラグが二次使用の不許可(NG)を示す「0」である場合(ステップS601:No)、AIサーバ130は、眼底画像データ102を消去して、眼底画像データ102の取扱い処理(ステップS433)を終了する。
【0058】
図7は、図4に示した眼底画像データ102の取扱い処理(ステップS433)の詳細な処理手順例2を示すフローチャートである。図6では、二次使用フラグがOKであれば、眼底画像データ102および診断結果Rijをそのまま学習データとして学習DB131に保存したが、図7では、たとえ、二次使用フラグがOKであったとしても、個人情報保護に配慮して、AIサーバ130は、眼底画像データ102を修正してから学習データとして学習DB131に保存する。図6と同一ステップには同一ステップ番号を付し、その説明を省略する。
【0059】
第2同意情報103bである二次利用フラグが二次利用存の許可(OK)を示す「1」である場合(ステップS601:Yes)、AIサーバ130は、眼底画像データ102の修正処理を実行する(ステップS702)。ここで、眼底画像データ102の修正処理(ステップS702)の例について説明する。修正処理(ステップS702)は、眼底画像データが外部へ流出した場合に眼底画像データが不正利用されないようにするための画像処理である。例えば、眼底画像データを用いた網膜認証システムへの不正利用や、眼底画像データベースへの不正登録を防止することを目的とした処理である。
【0060】
図8は、眼底画像データ102の修正処理(ステップS702)の例1を示す説明図である。図8では、AIサーバ130は、右眼の眼底画像データ102Rを左右反転してあらたに左眼の眼底画像データ802Lに変換し、左眼の眼底画像データ102Lを左右反転してあらたに右眼の眼底画像データ802Rに変換する。この場合、AIサーバ130は、診断結果RijRも診断結果RijLに変更し、診断結果RijLも診断結果RijRに変更する。
【0061】
図9は、眼底画像データ102の修正処理(ステップS702)の例2を示す説明図である。図9では、左眼の眼底画像データ102の修正例を示すが、右眼についても同様の修正が可能である。AIサーバ130は、眼底画像データ102Lに血管の形状データを追加することで眼底画像データ102Lを眼底画像データ102L1に修正することが可能である。
【0062】
また、AIサーバ130は、眼底画像データ102Lに血管の形状データの経路を変更することで眼底画像データ102Lを眼底画像データ102L2に修正することが可能である。また、AIサーバ130は、眼底画像データ102Lに血管の形状データを削除することで眼底画像データ102Lを眼底画像データ102L3に修正することが可能である。血管データの追加、変更、削除の場合は、左右反転とは異なり、診断結果Rijは入れ替わらない。
【0063】
なお、図9に示した追加、変更および削除においては、AIサーバ130は、診断結果Rijを参照して、眼底画像データ102Lのうち異常な領域に関連しない健常な領域内の画像データを修正するのが好ましい。健常な領域とは、たとえば、診断結果Rijが軽傷非増殖網膜症(Mild。以下、第1網膜症)であれば毛細血管瘤が存在しない領域、診断結果Rijが中等または重症非増殖網膜症(ModerateまたはSevere。以下、第2網膜症)であれば無血管野ではない領域、診断結果Rijが増殖網膜症(Proliferative。以下、第3網膜症)であれば新生血管が発生していない領域である。健常な領域の修正は、診断結果Rijに影響を及ぼさない。これにより、眼底画像データ102の修正後においても修正前の診断結果を維持することができる。
【0064】
また、図9および図10のように眼底画像データ102を修正することにより、修正後の眼底画像データ802が外部に流出したとしても、網膜認証で悪用されても認証されなくなる。このように、修正により孟獲認証を無効化することができ、セキュリティの向上を図ることができる。また、眼底画像データ102を修正だけでなく、眼底画像を暗号化を施すことにより、さらなるセキュリティの向上を図るようにしてもよい。
【0065】
図7に戻り、AIサーバ130は、ステップS702で修正済みの眼底画像データ802および診断結果Rijの組み合わせを学習データとして学習DB131に保存して(ステップS704)、眼底画像データ102の取扱い処理(ステップS433)を終了する。これにより、患者iのプライバシーに配慮して、修正後の眼底画像データ802の二次使用を行うことができる。
【0066】
図10は、図4に示した眼底画像データ102の取扱い処理(ステップS433)の詳細な処理手順例3を示すフローチャートである。図7図9では、眼底画像データ102に修正をおこなった例を挙げたが、修正の程度によっては、修正前の診断結果Rijとは異なる診断結果Rijになってしまう場合がある。
【0067】
したがって、図10では、AIサーバ130は、修正後の眼底画像データ802について再度、眼底画像診断を実行し、修正前の眼底画像データ102と同じ診断結果Rijであれば、学習データとして二次使用するために学習DB131に保存して、個人情報保護と、修正前後の診断結果の同一性と、の両立を図る。
【0068】
図6および図7と同一ステップには同一ステップ番号を付し、その説明を省略する。図7に示した眼底画像データ102の修正処理(ステップS702)のあと、AIサーバ130は、修正済みの眼底画像データ802について眼底画像診断を再実行する(ステップS1001)。
【0069】
そして、AIサーバ130は、ステップS1001による再診断結果Rijと、変更前の診断結果Rijと、が一致するか否かを判断する(ステップS1002)。具体的には、たとえば、ステップS702において図8に示したように眼底画像データ102を左右反転した場合、AIサーバ130は、右眼の再診断結果RijRと修正前の左眼の診断結果RijLとが一致するか否か、および、左眼の再診断結果RijLと修正前の右眼の診断結果RijRとが一致するか否かを判断する。
【0070】
なお、ステップS702で、眼底画像データ102の左右反転ではなく、図9に示したように血管の形状データの追加、変更、または削除である場合、AIサーバ130は、右眼の再診断結果RijRと修正前の右眼の診断結果RijRとが一致するか否か、および、左眼の再診断結果RijLと修正前の左眼の診断結果RijLとが一致するか否かを判断する。
【0071】
両眼とも一致しない場合(ステップS1002:No)、ステップS702に戻り、AIサーバ130は、眼底画像データ102の修正処理(ステップS702)を再実行する。この場合、AIサーバ130は、血管の形状データの追加、変更、削除など、既に実行した修正とは異なる修正を実行する。ただし、追加、変更、削除の対象となる血管の形状データが既に実行した追加、変更、削除の対象と異なれば、異なる修正となる。
【0072】
一方、両眼とも一致する場合(ステップS1002:Yes)、AIサーバ130は、ステップS702で修正済みの最新の眼底画像データ802および診断結果Rijの組み合わせを学習データとして学習DB131に保存して(ステップS704)、眼底画像データ102の取扱い処理(ステップS433)を終了する。
【0073】
これにより、患者iの眼底画像データの不正利用を防止や、患者iのプライバシー保護に配慮しつつ、修正前後の診断結果Rijの同一性を図ることにより、診断結果Rijに変更がない修正後の眼底画像データ802の二次使用を行うことができる。またこれにより、修正後の眼底画像データ802およびその診断結果Rijの組み合わせを学習データとした場合に、AIサーバ130による眼底画像診断に用いる学習モデルによる予測精度低下を抑制することができる。
【0074】
図11は、図7および図9に示した眼底画像データ修正処理(ステップS702)の詳細な他の処理手順例を示すフローチャートである。図11では、AIサーバ130が診断結果Rijである重症度によって網膜内の血管の形状データを修正する処理手順例を示す。図12は、糖尿病網膜症の重症度例を示す説明図である。
【0075】
図11において、AIサーバ130は、診断結果Rijが異変なし(No DR)であるか否かを判断する(ステップS1101)。診断結果Rijが異常なし(No DR)である場合(ステップS1101:Yes)、AIサーバ130は、図8または図9に示したように、眼底画像データ102の血管の形状データを修正する(ステップS1102)。そして、眼底画像データ修正処理(ステップS702)を終了して次の処理に移行する。
【0076】
一方、診断結果Rijが異常なし(No DR)でない場合(ステップS1101:No)、AIサーバ130は、診断結果Rijが第1網膜症(Mild)または第3網膜症(Proliferative)であるか否かを判断する(ステップS1103)。診断結果Rijが第1網膜症(Mild)または第3網膜症(Proliferative)である場合(ステップS1103:Yes)、AIサーバ130は、図8または図9に示したように、眼底画像データ102の血管の形状データを修正する(ステップS1104)。
【0077】
第1網膜症(Mild)では毛細血管溜が発生する。第3網膜症(Proliferative)では新生血管が発生する。したがって、毛細血管溜や新生血管の形状データの削除を防止するため、ステップS1104の修正では、追加、変更、および削除のうち形状データの削除は不可である。そして、眼底画像データ修正処理(ステップS702)を終了して次の処理に移行する。
【0078】
一方、診断結果Rijが第1網膜症(Mild)および第3網膜症(Proliferative)のいずれでもない場合(ステップS1103:No)、診断結果Rijは第2網膜症(ModerateまたはSevere)に該当する。したがって、AIサーバ130は、図8または図9に示したように、眼底画像データ102の血管の形状データを修正する(ステップS1105)。
【0079】
第2網膜症(ModerateまたはSevere)では所定範囲の無血管野が存在する。したがって、無血管野への血管の形状データの追加を防止するため、ステップS1105の修正では、追加、変更、および削除のうち形状データの追加は不可である。なお、変更により無血管野に血管の形状データが追加される場合も、形状データの追加に該当するため、そのような修正は不可である。そして、眼底画像データ修正処理(ステップS702)を終了して次の処理に移行する。
【0080】
このように、AIサーバ130は、診断結果Rijに応じて眼の組織を示す形状データの修正を実行することで、修正前後での診断結果Rijの変更を防止することができる。これにより、患者iのプライバシーに配慮しつつ、修正前後の診断結果Rijの同一性を図ることにより、診断結果Rijに変更がない修正後の眼底画像データ802の二次使用を行うことができる。またこれにより、修正後の眼底画像データ802およびその診断結果Rijの組み合わせを学習データとした場合に、AIサーバ130による眼底画像診断に用いる学習モデルによる予測精度低下を抑制することができる。
【0081】
<情報処理システムの機能的構成例>
図13は、実施例1にかかる情報処理システムの機能的構成例を示すブロック図である。図13において、情報処理装置1300は、画像取得装置400(端末112、院内サーバ113)および管理サーバ120を包含するコンピュータである。情報処理装置1300は、取得部1301と、第1送信部1302と、第1受信部1303と、を有する。取得部1301、第1送信部1302および第1受信部1303は、具体的には、たとえば、図2に示した記憶デバイス202に記憶されたプログラムをプロセッサ201に実行させることにより実現される。
【0082】
取得部1301は、画像取得装置400により各種データを取得する。具体的には、たとえば、取得部1301は、図4のステップS411~S413に示したように、画像取得装置400により、患者情報DB114から対象となる患者iの患者情報および診断情報Dijを取得する。診断情報Dijには同意情報103が含まれる。また、取得部1301は、管理サーバ120により、図4のステップS422に示したように患者情報の匿名化処理を実行することにより、眼底画像データ102に固有な識別情報として匿名化IDを取得する。
【0083】
また、取得部1301は、図4のステップS425、S426に示したように、AIサーバ130からの匿名化診断結果データ107に含まれる匿名化IDから特定される患者情報と、匿名化診断結果データ107に含まれる診断結果Rijと、に基づいて、患者iの診断結果データ105を取得して、管理サーバ120内に記憶する。
【0084】
第1送信部1302は、画像取得装置400により各種データを送信する。具体的には、たとえば、第1送信部1302は、図4のステップS415に示したように、第1同意情報103aが送信許可を示す場合、画像取得装置400により、患者iの患者情報、眼底画像データ102および第2同意情報103bを含む診断データ104を、管理サーバ120に送信する。また、第1送信部1302は、図4のステップS423に示したように、管理サーバ120により、匿名化ID、眼底画像データ102および第2同意情報103bを含む匿名化診断データ106を、AIサーバ130に送信する。
【0085】
第1受信部1303は、画像取得装置400により各種データを受信する。具体的には、たとえば、第1受信部1303は、図4のステップS424に示したように、AIサーバ130から匿名化診断結果データ107を受信する。また、第1受信部1303は、画像取得装置400により、ステップS424で匿名化診断結果データ107の受信が完了したことを示す完了情報を受信する。また、第1受信部1303は、画像取得装置400により、管理サーバ120からの診断結果データ105を受信する。
【0086】
AIサーバ130は、第2受信部1311と、画像診断部1312と、第2送信部1313と、データ制御部1314と、学習部1315と、修正部1316と、学習DB131と、を有する。第2受信部1311、画像診断部1312、第2送信部1313、データ制御部1314、学習部1315、および修正部1316は、具体的には、たとえば、図2に示した記憶デバイス202に記憶されたプログラムをプロセッサ201に実行させることにより実現される。学習DB131は、具体的には、たとえば、図2に示した記憶デバイス202により実現される。
【0087】
第2受信部1311は、図4のステップS431に示したように、情報処理装置1300の第1送信部1302から送信されてくる匿名化診断データ106を受信する。
【0088】
画像診断部1312は、図4のステップS432に示したように、機械学習や深層学習、より具体的には、たとえば、画像診断部1312は、CNNに更新後の学習パラメータが適用された学習モデルに、眼底画像データを入力して、眼底画像診断を実行し、診断結果Rijとして重症度を第2送信部1313に出力する。
【0089】
第2送信部1313は、図4のステップS434に示したように、診断結果Rijを含む匿名化診断結果データを情報処理装置1300の第1受信部1303に送信する。
【0090】
データ制御部1314は、図4のステップS433に示したように、図7および図10の眼底画像データの取扱い処理を実行する。具体的には、たとえば、データ制御部1314は、保存部1341と消去部1342とを有する。保存部1341は、二次使用フラグがOKであれば画像診断部1312で診断された眼底画像データ102および診断結果Rijの組み合わせである学習データを保存し、消去部1342は、二次使用フラグがNGであれば画像診断部1312で診断された眼底画像データ102を消去する。
【0091】
学習部1315は、学習DB131内の学習データ集合をCNNに与えて、CNNの学習パラメータを更新することにより、学習モデルを生成する。
【0092】
修正部1316は、図7および図10のステップS702に示したように、画像診断部1312で診断された眼底画像データ102を修正する。この場合、保存部1341は、二次使用フラグがOKであれば修正部1316で修正された修正済みの眼底画像データ802および診断結果Rijの組み合わせである学習データを保存する。また、修正部1316は、学習部1315による最新の学習モデルに修正後の眼底画像データ802を入力することにより、修正後の眼底画像データ802についての診断結果Rijを得る。この場合、修正前後の診断結果Rijが一致するまで修正部1316は眼底画像データ102の修正を実行してもよい。
【0093】
このように、実施例1では、患者iのプライバシーに配慮しつつ、修正前後の診断結果Rijの同一性を図ることにより、診断結果Rijに変更がない修正後の眼底画像データ802の二次使用を行うことができる。またこれにより、修正後の眼底画像データ802およびその診断結果Rijの組み合わせを学習データとした場合に、AIサーバ130による眼底画像診断に用いる学習モデルによる予測精度低下を抑制することができる。
【0094】
なお、画像取得装置400は、患者iの画像診断が初回の場合、第1同意情報103aおよび第2同意情報103bを生成し、患者iの画像診断が二回目以降の場合、初回に生成した第1同意情報103aおよび第2同意情報103bを用いてもよい。これにより、同意情報103を再設定する必要がなくなり、利便性の向上を図ることができる。
【0095】
また、画像取得装置400は、患者iの画像診断が初回の場合、第1同意情報103aおよび第2同意情報103bを生成し、患者iの画像診断が二回目以降の場合、初回に生成した第1同意情報103aを用い、第2同意情報103bの更新要求を出力してもよい。更新要求は、たとえば、端末112の表示画面に表示される。患者iまたは医師は、更新要求が表示画面に表示されると、第2同意情報103bである二次使用フラグを「1」(OK)または「0」(NG)に設定する。設定後、院内サーバ113は、第1同意情報103aを参照して管理サーバ120に送信するか否かを判断し、送信する場合、診断データ104を管理サーバ120に送信する。
【0096】
これにより、第1同意情報103aを再設定する必要がなくなり、利便性の向上を図ることができるとともに、第2同意情報103bの再確認を患者iに促すことで、プライバシー保護の向上を図ることができる。
【実施例2】
【0097】
つぎに、実施例2について説明する。実施例1では、AIサーバ130が学習DB131を有していたが、実施例2では、AIサーバ130と学習DB131とを分離した例について説明する。学習DB131は、AIサーバ130とは異なるDBサーバ1400が保有する。DBサーバ1400の機能は、管理サーバ120が担ってもよい。なお、実施例2では、実施例1との相違点に着目して説明するため、実施例1と同一内容については同一符号を付し、その説明を省略する。
【0098】
図14は、実施例2にかかる情報処理システム100の動作シーケンス例を示す説明図である。AIサーバ130は、DBサーバ1400から学習パラメータを取得して、眼底画像診断を実行する(ステップS1432)。ステップS432との相違は、DBサーバ1400から学習パラメータを取得する点である。
【0099】
眼底画像診断を実行した(ステップS1432)後、AIサーバ130は、匿名化診断データ106をDBサーバ1400に送信する(ステップS1401)。この場合、DBサーバ1400は、眼底画像データ102の取扱い処理を実行する(ステップS1433)。一方、AIサーバ130は、漏洩防止のため、眼底画像データ102を消去する(ステップS1402)。また、AIサーバ130は、学習DB131から学習データ集合を取得して学習処理を実行する(ステップS1434)。ステップS434との相違は、DBサーバ1400から学習データ集合を取得する点である。そして、AIサーバ130は、受信した眼底画像における処理を終了し、次に受信する眼底画像を受ける待機状態となる。
【0100】
図15は、図14に示した眼底画像データ102の取扱い処理(ステップS432)の詳細な処理手順例を示すフローチャートである。DBサーバ1400は、匿名化診断データ106を受信すると、第2同意情報103bである二次使用フラグが二次使用の不許可(NG)を示す「0」である場合(ステップS601:No)、眼底画像データ102を消去して、眼底画像データ102の取扱い処理(ステップS1433)を終了する。
【0101】
一方、第2同意情報103bである二次利用フラグが二次利用存の許可(OK)を示す「1」である場合(ステップS601:Yes)、DBサーバ1400は、眼底画像データ102の修正処理を実行する(ステップS702)。そして、DBサーバ1400は、修正済み眼底画像データ802をAIサーバ130に送信する(ステップS1511)。
【0102】
AIサーバ130は、DBサーバ1400から修正済み眼底画像データ802を受信すると、修正済み眼底画像データ802を学習モデルに入力して眼底画像診断を再実行する(ステップS1501)。そして、AIサーバ130は、再診断結果RijをDBサーバ1400に送信する(ステップS1502)。
【0103】
DBサーバ1400は、AIサーバ130から再診断結果Rijを受信する(ステップS1512)。そして、DBサーバ1400は、再診断結果Rijと修正前の眼底画像データ102の診断結果Rijとが一致するか否かを判断する(ステップS1002)。一致しない場合(ステップS1002:No)、ステップS702に戻り、DBサーバ1400は、眼底画像データ102を再修正する(ステップS702)。一致する場合(ステップS1002:Yes)、DBサーバ1400は、修正済み眼底画像データ802および再診断結果Rijを学習データとして学習DB131に保存する(ステップS704)。これにより、眼底画像データ102の取扱い処理(ステップS1433)を終了する。
【0104】
<情報処理システムの機能的構成例>
図16は、実施例2にかかる情報処理システムの機能的構成例を示すブロック図である。図16において、AIサーバ130のデータ制御部1600は、消去部1342および第3送信部1601を有し、DBサーバ1400は、学習DB131および保存部1602を有する。第3送信部1601は、二次使用フラグがOKである場合、修正済み眼底画像データ802および診断結果RijをDBサーバ1400に送信する。保存部1602は、第3送信部1601からの修正済み眼底画像データ802および診断結果Rijを学習データとして学習DB131の学習データ集合に保存する。
【0105】
このように、実施例2においても、患者iのプライバシーに配慮しつつ、修正前後の診断結果Rijの同一性を図ることにより、診断結果Rijに変更がない修正後の眼底画像データ802の二次使用を行うことができる。またこれにより、修正後の眼底画像データ802およびその診断結果Rijの組み合わせを学習データとした場合に、AIサーバ130による眼底画像診断に用いる学習モデルによる予測精度低下を抑制することができる。
【0106】
なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
【符号の説明】
【0107】
100 情報処理システム、101 院内システム、102 眼底画像データ、103 同意情報、103a 第1同意情報、103b 第2同意情報、104 診断データ、105 診断結果データ、106 匿名化診断データ、107 匿名化診断結果データ、111 眼科装置、112 端末、113 院内サーバ、114 患者情報DB、120 管理サーバ、130 AIサーバ、131 学習DB、201 プロセッサ、202 記憶デバイス、400 画像取得装置、802 修正済み眼底画像データ、1300 情報処理装置、1301 取得部、1302 第1送信部、1303 第1受信部、1311 第2受信部、1312 画像診断部、1313 第2送信部、1314 データ制御部、1315 学習部、1316 修正部、1341 保存部、1342 消去部、1400 DBサーバ、1601 第3送信部、1602 保存部、Dij 診断情報、Rij 診断結果
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16