(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-20
(45)【発行日】2024-10-01
(54)【発明の名称】情報処理システム、情報処理装置、画像取得装置、情報処理方法、画像取得方法、及びプログラム
(51)【国際特許分類】
G16H 30/20 20180101AFI20240924BHJP
【FI】
G16H30/20
(21)【出願番号】P 2021535385
(86)(22)【出願日】2020-07-29
(86)【国際出願番号】 JP2020029056
(87)【国際公開番号】W WO2021020443
(87)【国際公開日】2021-02-04
【審査請求日】2023-06-06
(32)【優先日】2019-07-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(73)【特許権者】
【識別番号】509012991
【氏名又は名称】オプトス ピーエルシー
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】ソアレス デヴィン
(72)【発明者】
【氏名】コリーマン ブランデン
(72)【発明者】
【氏名】ヤッツ ブラッドリー
(72)【発明者】
【氏名】小谷 光一
(72)【発明者】
【氏名】劉 真
【審査官】梅岡 信幸
(56)【参考文献】
【文献】特許第5951086(JP,B2)
【文献】特開2003-323496(JP,A)
【文献】特開2018-139139(JP,A)
【文献】特開2014-48824(JP,A)
【文献】国際公開第2012/046842(WO,A1)
【文献】米国特許出願公開第2019/0189265(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
患者の被検眼画像データを取得する画像取得装置と、
前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、
前記第1情報処理装置と通信可能であり、前記被検眼画像データを人工知能による第1診断結果を得るための第2情報処理装置と、
前記第1情報処理装置と通信可能であり、前記被検眼画像データを読影医による第2診断結果を得るための第3情報処理装置と、を有する情報処理システムであって、
前記画像取得装置は、
人工知能による診断及び/又は読影医による診断を示す診断手法情報を生成する第1生成処理と、
前記被検眼画像データと前記診断手法情報とを含む第1送信データを前記第1情報処理装置に送信する第1送信処理と、を実行し、
前記第1情報処理装置は、
前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、
前記診断手法情報に基づいて、前記被検眼画像データを含む第2送信データを、前記第2情報処理装置及び/又は前記第3情報処理装置に送信する第2送信処理と、を実行する情報処理システム。
【請求項2】
請求項1に記載の情報処理システムであって、
前記画像取得装置は、
人工知能による診断及び/又は読影医による診断を選択する選択画面を表示し、
選択された結果に基づいて、前記診断手法情報を生成する、情報処理システム。
【請求項3】
請求項1に記載の情報処理システムであって、
前記画像取得装置は、
被検眼画像データを取得する撮像装置と、
前記第1生成処理と前記第1送信処理を行う制御装置と、を含む情報処理システム。
【請求項4】
請求項3に記載の情報処理システムであって、
前記画像取得装置は、前記制御装置からの画像信号に基づいた表示画面を表示する表示装置を有する、情報処理システム。
【請求項5】
患者の被検眼画像データを取得する画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置であって、
前記画像取得装置から送信される、人工知能による画像診断及び/又は医師による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを受信する受信部と、
前記被検眼画像データを含む第2送信データを生成する生成部と、
人工知能による画像診断を行い第1診断結果を出力する第2情報処理装置、及び読影医による画像診断を行い第2診断結果を出力する第3情報処理装置から、前記診断手法情報に基づいて、前記第2送信データの送信先を決定する制御部と、
前記制御部で決定された送信先に前記第2送信データを送信する送信部と、を含む第1情報処理装置。
【請求項6】
請求項5に記載の第1情報処理装置であって、
前記受信部は、前記第1診断結果及び/又は前記第2診断結果を受信する、第1情報処理装置。
【請求項7】
患者の被検眼画像データを記憶する第1情報処理装置と通信可能であり前記被検眼画像データを取得する画像取得装置であって、
前記被検眼画像データを取得する取得部と、
人工知能による画像診断及び/又は読影医による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを生成する生成部と、
前記第1送信データを前記第1情報処理装置へ送信する送信部と、を有する画像取得装置。
【請求項8】
請求項7に記載の画像取得装置であって、
人工知能による画像診断を行うための第2情報処理装置から出力される第1診断結果、及び/又は読影医による画像診断を行うための第3情報処理装置から出力される第2診断結果を受信する受信部を有する、画像取得装置。
【請求項9】
請求項8に記載の画像取得装置であって、
前記第1診断結果及び/又は第2診断結果の送信元は、前記第1情報処理装置である、画像取得装置。
【請求項10】
情報処理システムであって、
患者の被検眼画像データを取得する画像取得装置と、
前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、
前記第1情報処理装置と通信可能であり、人工知能による前記被検眼画像データの画像診断をするための第2情報処理装置と、
前記第1情報処理装置と通信可能であり、読影医による前記被検眼画像データの画像診断をするための第3情報処理装置と、を有し、
前記画像取得装置は、
人工知能による診断又は読影医による診断を示すフラグを記憶し、
前記被検眼画像データと前記フラグとを前記第1情報処理装置に送信する、情報処理システム。
【請求項11】
請求項10に記載の情報処理システムであって、
前記第1情報処理装置は、前記フラグに基づいて、前記第2情報処理装置又は前記第3情報処理装置に、前記被検眼画像データを送信する、情報処理システム。
【請求項12】
請求項11に記載の情報処理システムであって、
前記第2情報処理装置は、前記第1情報処理装置から前記被検眼画像データを受信した場合、前記人工知能による画像診断の診断結果を、前記第1情報処理装置に送信し、
前記第3情報処理装置は、前記第1情報処理装置から前記被検眼画像データを受信した場合、前記読影医による画像診断の診断結果を、前記第1情報処理装置に送信する、情報処理システム。
【請求項13】
請求項12に記載の情報処理システムであって、
前記フラグが読影医による画像診断を示す場合であって、人工知能による画像診断を推奨する診断推奨指示を前記第1情報処理装置が前記第3情報処理装置から受信した場合、
前記第1情報処理装置は、前記第2情報処理装置に前記被検眼画像データを送信する、情報処理システム。
【請求項14】
請求項12に記載の情報処理システムであって、
前記フラグが読影医による画像診断を示す場合であって、読影医による画像診断を推奨する診断推奨指示を前記第1情報処理装置が前記第2情報処理装置から受信した場合、
前記第1情報処理装置は、前記第3情報処理装置に前記被検眼画像データを送信する、情報処理システム。
【請求項15】
請求項12に記載の情報処理システムであって、
前記フラグが読影医による画像診断を示す場合であって、人工知能による画像診断を推奨する診断推奨指示を前記第1情報処理装置が前記第3情報処理装置から受信した場合、
前記第1情報処理装置は、前記診断推奨指示を前記画像取得装置に送信し、
前記画像取得装置は、前記診断推奨指示を表示する、情報処理システム。
【請求項16】
請求項12に記載の情報処理システムであって、
前記フラグが人工知能による画像診断を示す場合であって、読影医による画像診断を推奨する診断推奨指示を前記第1情報処理装置が前記第2情報処理装置から受信した場合、
前記第1情報処理装置は、前記診断推奨指示を前記画像取得装置に送信し、
前記画像取得装置は、前記診断推奨指示を表示する、情報処理システム。
【請求項17】
請求項12に記載の情報処理システムであって、
前記第1情報処理装置は、
前記フラグが人工知能による診断を示し、かつ前記第1情報処理装置が前記第2情報処理装置から受信した診断結果が所定の条件を満たす場合、
前記第1情報処理装置は、前記第3情報処理装置に前記被検眼画像データを送信する、情報処理システム。
【請求項18】
請求項12に記載の情報処理システムであって、
前記第1情報処理装置は、
前記フラグが読影医による診断を示し、かつ前記第1情報処理装置が前記第3情報処理装置から受信した診断結果が所定の条件を満たす場合、
前記第1情報処理装置は、前記第2情報処理装置に前記被検眼画像データを送信する、情報処理システム。
【請求項19】
請求項12に記載の情報処理システムであって、
前記第1情報処理装置は、
前記フラグが人工知能による診断を示し、かつ前記第1情報処理装置が前記第2情報処理装置から受信した診断結果が所定の条件を満たす場合、
前記第1情報処理装置は、読影医による画像診断を推奨する診断推奨指示を前記画像取得装置に送信し、
前記画像取得装置は、前記診断推奨指示を表示する、情報処理システム。
【請求項20】
請求項12に記載の情報処理システムであって、
前記第1情報処理装置は、
前記フラグが読影医による診断を示し、かつ前記第1情報処理装置が前記第2情報処理装置から受信した診断結果が所定の条件を満たす場合、
前記第1情報処理装置は、人工知能による画像診断を推奨する診断推奨指示を前記画像取得装置に送信し、
前記画像取得装置は、前記診断推奨指示を表示する、情報処理システム。
【請求項21】
請求項17乃至20のいずれか一つに記載の情報処理システムであって、
前記所定の条件は、前記被検眼画像データにおける前記患者の被検眼に病変が発生していると前記診断結果において診断されていることである、情報処理システム。
【請求項22】
請求項12に記載の情報処理システムであって、
前記フラグが読影医による画像診断を示す場合、
前記第1情報処理装置は、所定時間が経過しても前記第2情報処理装置から診断結果を受信しない場合、前記第1情報処理装置に前記被検眼画像データを送信する、情報処理システム。
【請求項23】
請求項12に記載の情報処理システムであって、
前記フラグが人工知能による画像診断を示す場合、
前記第1情報処理装置は、所定時間が経過しても前記第3情報処理装置から診断結果を受信しない場合、前記第2情報処理装置に前記被検眼画像データを送信する、情報処理システム。
【請求項24】
請求項11に記載の情報処理システムであって、
前記フラグが読影医による画像診断を示す場合、
前記第1情報処理装置は、前記被検眼画像データを前記第2情報処理装置及び前記第3情報処理装置に送信し、
前記第2情報処理装置は、前記被検眼画像データを蓄積し、
前記第3情報処理装置は、受信した前記被検眼画像データの画像診断の診断結果を、前記第1情報処理装置に送信する、情報処理システム。
【請求項25】
請求項24に記載の情報処理システムであって、
前記第3情報処理装置は、前記被検眼画像データを用いた学習を行う、情報処理システム。
【請求項26】
請求項10に記載の情報処理システムであって、
前記画像取得装置は、
人工知能による画像診断又は読影医による画像診断の選択を受け付ける選択画面を表示し、
前記選択に基づいて前記フラグを決定する、情報処理システム。
【請求項27】
請求項26に記載の情報処理システムであって、
前記画像取得装置は、
前記患者の過去の被検眼画像データの前回の診断履歴に基づいて、人工知能による画像診断又は読影医による画像診断のいずれかを推奨する情報を前記選択画面に表示する、情報処理システム。
【請求項28】
請求項27に記載の情報処理システムであって、
前記画像取得装置は、前記診断履歴が存在しない場合、読影医による画像診断を推奨する情報を前記選択画面に表示する、情報処理システム。
【請求項29】
請求項27に記載の情報処理システムであって、
前記画像取得装置は、前記診断履歴が存在しない場合、人工知能による画像診断を推奨する情報を前記選択画面に表示する、情報処理システム。
【請求項30】
請求項27に記載の情報処理システムであって、
前記画像取得装置は、前記診断履歴が人工知能による画像診断の診断履歴を含む場合、人工知能による画像診断を推奨する情報を前記選択画面に表示する、情報処理システム。
【請求項31】
請求項27に記載の情報処理システムであって、
前記画像取得装置は、前記診断履歴が読影医による画像診断の診断履歴を含む場合、読影医による画像診断を推奨する情報を前記選択画面に表示する、情報処理システム。
【請求項32】
請求項10に記載の情報処理システムであって、
前記被検眼画像データは、眼底カメラによる眼底画像データ、走査型レーザ検眼鏡による眼底画像データ、及び光干渉断層計による断層データの少なくとも1つを含む、情報処理システム。
【請求項33】
請求項32に記載の情報処理システムであって、
前記被検眼画像データは、眼底画像データを含み、
前記人工知能は、前記眼底画像データを用いて眼底の病変を診断するアルゴリズムを含む、情報システム。
【請求項34】
請求項33に記載の情報処理システムであって、
前記人工知能は、眼底画像を使用した糖尿病網膜症の診断を行うアルゴリズムを含む、情報処理システム。
【請求項35】
請求項10に記載の情報処理システムであって、
前記画像取得装置は、前記画像取得装置の設置場所に基づいて前記フラグを決定する、情報処理システム。
【請求項36】
請求項10に記載の情報処理システムであって、
前記画像取得装置は、
画像診断を含む診断コースの料金情報を取得し、
前記料金情報に基づいて前記フラグを決定する、情報処理システム。
【請求項37】
患者の被検眼画像データを取得する画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置による情報処理方法であって、
前記第1情報処理装置が、前記画像取得装置から送信される、人工知能による画像診断及び/又は医師による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを受信し、
前記第1情報処理装置が、前記被検眼画像データを含む第2送信データを生成し、
前記第1情報処理装置が、人工知能による画像診断を行い第1診断結果を出力する第2情報処理装置、及び読影医による画像診断を行い第2診断結果を出力する第3情報処理装置から、前記診断手法情報に基づいて、前記第2送信データの送信先を決定し、
前記第1情報処理装置が、前記決定した送信先に前記第2送信データを送信する、ことを含む情報処理方法。
【請求項38】
患者の被検眼画像データを記憶する第1情報処理装置と通信可能であり前記被検眼画像データを取得する画像取得装置による画像取得方法であって、
前記画像取得装置が、前記被検眼画像データを取得し、
前記画像取得装置が、人工知能による画像診断及び/又は読影医による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを生成し、
前記画像取得装置が、前記第1送信データを前記第1情報処理装置へ送信する、ことを含む画像取得方法。
【請求項39】
患者の被検眼画像データを取得する画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置、に情報処理を実行させるプログラムであって、
前記画像取得装置から送信される、人工知能による画像診断及び/又は医師による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを受信する処理と、
前記被検眼画像データを含む第2送信データを生成する処理と、
人工知能による画像診断を行い第1診断結果を出力する第2情報処理装置、及び読影医による画像診断を行い第2診断結果を出力する第3情報処理装置から、前記診断手法情報に基づいて、前記第2送信データの送信先を決定する処理と、
前記決定した送信先に前記第2送信データを送信する処理と、を前記第1情報処理装置に実行させるプログラム。
【請求項40】
患者の被検眼画像データを記憶する第1情報処理装置と通信可能であり前記被検眼画像データを取得する画像取得装置、に画像取得処理を実行させるプログラムであって、
前記被検眼画像データを取得する処理と、
人工知能による画像診断及び/又は読影医による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを生成する処理と、
前記第1送信データを前記第1情報処理装置へ送信する処理と、を前記画像取得装置に実行させるプログラム。
【発明の詳細な説明】
【参照による取り込み】
【0001】
本出願は、2019年7月31日に出願された米国特許仮出願第62/880,961号の優先権を主張し、その内容を参照することにより、本出願に取り込む。
【技術分野】
【0002】
本発明は、情報処理システム、情報処理装置、画像取得装置、情報処理方法、画像取得方法、及びプログラムに関する。
【背景技術】
【0003】
眼科画像解析を実施することができる眼科情報処理サーバが知られている(特許文献1参照)。依頼元の診断の自由度を増すシステムが求められている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【0005】
本願において開示される発明の一側面となる情報処理システムは、患者の被検眼画像データを取得する画像取得装置と、前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、前記第1情報処理装置と通信可能であり、前記被検眼画像データを人工知能による第1診断結果を得るための第2情報処理装置と、前記第1情報処理装置と通信可能であり、前記被検眼画像データを読影医による第2診断結果を得るための第3情報処理装置と、を有し、前記画像取得装置は、人工知能による診断及び/又は読影医による診断を示す診断手法情報を生成する第1生成処理と、前記被検眼画像データと前記診断手法情報とを含む第1送信データを前記第1情報処理装置に送信する第1送信処理と、を実行し、前記第1情報処理装置は、前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、前記診断手法情報に基づいて、前記被検眼画像データを含む第2送信データを、前記第2情報処理装置及び/又は前記第3情報処理装置に送信する第2送信処理と、を実行する情報システム。
【0006】
本願において開示される発明の一側面となる第1情報処理装置は、患者の被検眼画像データを取得する画像取得装置と通信可能であり前記被検眼画像データを記憶し、前記画像取得装置から送信される、人工知能による画像診断及び/又は医師による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを受信する受信部と、前記被検眼画像データを含む第2送信データを生成する生成部と、人工知能による画像診断を行い第1診断結果を出力する第2情報処理装置、及び読影医による画像診断を行い第2診断結果を出力する第3情報処理装置から、前記診断手法情報に基づいて、前記第2送信データの送信先を決定する制御部と、前記制御部で決定された送信先に前記第2送信データを送信する送信部と、を含む第1情報処理装置。
【0007】
本願において開示される発明の一側面となる画像取得装置は、患者の被検眼画像データを記憶する第1情報処理装置と通信可能であり前記被検眼画像データを取得し、前記被検眼画像データを取得する取得部と、人工知能による画像診断及び/又は読影医による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを生成する生成部と、前記第1送信データを前記第1情報処理装置へ送信する送信部と、を有する画像取得装置。
【0008】
本願において開示される発明の一側面となる情報処理方法は、患者の被検眼画像データを取得する画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置によって実行され、前記第1情報処理装置が、前記画像取得装置から送信される、人工知能による画像診断及び/又は医師による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを受信し、前記第1情報処理装置が、前記被検眼画像データを含む第2送信データを生成し、前記第1情報処理装置が、人工知能による画像診断を行い第1診断結果を出力する第2情報処理装置、及び読影医による画像診断を行い第2診断結果を出力する第3情報処理装置から、前記診断手法情報に基づいて、前記第2送信データの送信先を決定し、前記第1情報処理装置が、前記決定した送信先に前記第2送信データを送信する、ことを含む。
【0009】
本願において開示される発明の一側面となる情報処理方法は、患者の被検眼画像データを記憶する第1情報処理装置と通信可能であり前記被検眼画像データを取得する画像取得装置によって実行され、前記画像取得装置が、前記被検眼画像データを取得し、前記画像取得装置が、人工知能による画像診断及び/又は読影医による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを生成し、前記画像取得装置が、前記第1送信データを前記第1情報処理装置へ送信する、ことを含む。
【0010】
本願において開示される発明の一側面となるプログラムは、患者の被検眼画像データを取得する画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置、に情報処理を実行させ、前記画像取得装置から送信される、人工知能による画像診断及び/又は医師による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを受信する処理と、前記被検眼画像データを含む第2送信データを生成する処理と、人工知能による画像診断を行い第1診断結果を出力する第2情報処理装置、及び読影医による画像診断を行い第2診断結果を出力する第3情報処理装置から、前記診断手法情報に基づいて、前記第2送信データの送信先を決定する処理と、前記決定した送信先に前記第2送信データを送信する処理と、を前記第1情報処理装置に実行させる。
【0011】
本願において開示される発明の一側面となるプログラムは、患者の被検眼画像データを記憶する第1情報処理装置と通信可能であり前記被検眼画像データを取得する画像取得装置、に画像取得処理を実行させ、前記被検眼画像データを取得する処理と、人工知能による画像診断及び/又は読影医による画像診断かを示す診断手法情報と前記被検眼画像データを含む第1送信データを生成する処理と、前記第1送信データを前記第1情報処理装置へ送信する処理と、を前記画像取得装置に実行させるプログラム。
【図面の簡単な説明】
【0012】
【
図1】実施例1における画像診断システムの構成例を示す説明図である。
【
図2】実施例1における計算機のハードウェア構成例を示すブロック図である。
【
図3】実施例1における管理サーバの機能構成例を示すブロック図である。
【
図4】実施例1における診断サーバの機能構成例を示すブロック図である。
【
図5】実施例1における院内サーバの機能構成例を示すブロック図である。
【
図6】実施例1における端末の機能構成例を示すブロック図である。
【
図7】実施例1における読影サーバの機能構成例を示すブロック図である。
【
図8】実施例1における画像診断処理の一例を示すシーケンス図である。
【
図9】実施例1における患者情報DBの一例である。
【
図10】実施例1におけるAI/読影フラグを設定するための入力画面の一例である。
【
図11】実施例1におけるAI/読影フラグの設定処理の一例を示すフローチャートである。
【
図12】実施例1における匿名化診断対象データのデータ構造の一例である。
【
図13】実施例1における診断結果を表示する表示画面の一例である。
【
図14】実施例1における診断結果を表示する表示画面の別例である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
【実施例1】
【0014】
図1は、本実施例の画像診断システムの構成例を示す説明図である。画像診断システムは、管理サーバ100、診断サーバ200、及び読影サーバ250を含む。また、画像診断システムは、例えば、病院、クリニック、又は健康診断施設等に設置された院内サーバ300、端末400、及び撮影機器500を含む。院内サーバ300、端末400、及び撮影機器500はそれぞれネットワークを介して接続されている。
【0015】
撮影機器500は、眼底を撮影する眼科装置であり、眼底カメラ(Fundus Camera)、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)、又は光干渉断層計(Optical Coherence Tomography)等があげられる。撮影機器500は、端末400に接続されている。撮影機器500は、患者の被検眼を撮影し、被検眼の右眼と左眼の眼底画像データを生成する。生成された眼底画像データは端末400に送信する。
【0016】
また、眼底画像データは、眼底カメラにより撮影された眼底画像データ、走査型レーザ検眼鏡による撮影された眼底の眼底画像データ、あるいは、光干渉断層計による撮影された眼底の断層データのいずれか1つであってよい。また、眼底画像データは、上述したデータそれらの2以上の組み合わせである眼底画像データセットであってもよい。なお、撮影機器500は、眼底だけでなく被検眼の前眼部を撮影し前眼部画像データを生成するようにしてもよい。眼底画像データや前眼部画像データは、被検眼画像データの一例である。
【0017】
端末400は、画像取得装置の一例であり、依頼元の医師や眼科機器のオペレータ等が利用するPC(Personal Computer)やタブレット等の計算機である。端末400は、院内サーバ300に接続されている。端末400は、AI/読影情報と、患者情報と、眼底画像データと、を院内サーバ300に送信する。AI/読影情報は、第1依頼先のサーバである診断サーバ200が搭載するAI220によって診断を行うか、第2依頼先のサーバである読影サーバ250を設置された施設の読影医によって診断を行うか、又はこれら両方によって診断を行うかの、診断手法を示すための情報である。
【0018】
なお、AI/読影情報は、AI/読影フラグ(01:AIによる画像診断、10:読影医による画像診断、11:AIと読影の双方による画像診断)として保持するようにしてもよい。また、AI/読影情報とは、依頼元がAIによる画像診断、依頼元が読影医による画像診断、あるいは、依頼元がAIによる画像診断と読影医による画像診断の両方、のいずれかの画像診断の依頼先を指定するための依頼先指定情報でもある。AI/読影フラグについても同様に、依頼先指定情報フラグとしても機能することができる。
【0019】
院内サーバ300は、画像取得装置の一例であり、患者情報を保持する患者情報DB(DataBase)310を有し、取得した患者情報を患者情報DB310に格納する。院内サーバ300は、管理サーバ100とネットワークを介して接続されている。院内サーバ300は、端末400から受信した患者情報と眼底画像データとAI/読影情報とをデータセットにして、第1送信データの一例である診断対象データを作成する。そして、院内サーバ300は診断対象データを管理サーバ100に送信する。なお、診断対象データ内の患者情報の一部又は全部、及びAI/読影情報が、院内サーバ300によって生成されてもよい。また、撮影機器500で撮影された眼底画像データを患者情報DB310で保存するようにしてもよい。
【0020】
管理サーバ100は、第1情報処理装置の一例であり、院内サーバ300から受信した診断対象データの一部の情報(例えば患者情報)が匿名化された診断対象データである匿名化診断対象データ(第2送信データの一例)を生成する。管理サーバ100は、診断サーバ200及び読影サーバ250とネットワークを介して接続されている。管理サーバ100は、AI/読影情報に基づいて、眼底画像データの依頼先(送信先)として、診断サーバ200及び/又は読影サーバ250を選択し、選択したサーバに当該匿名化診断対象データを送信する。
【0021】
また、管理サーバ100は、診断サーバ200及び/又は読影サーバ250からの画像診断結果を受信し、院内サーバ300及び端末400に送信する。眼底画像データを保存する機能を、院内サーバ300ではなく管理サーバ100の図示せぬ画像DBに保存するようにしてもよい。小規模なクリニックでは院内サーバを保有しない場合もあり、院内サーバ300の機能を管理サーバ100が担うようにしてもよい。
【0022】
なお、AI/読影情報が院内サーバ300又は端末400が生成したAI/読影フラグである場合には、管理サーバ100は当該AI/読影フラグに従って、匿名化診断対象データの送信先サーバを決定する。
【0023】
診断サーバ200は、第2情報処理装置の一例であり、眼底画像データに対する画像診断を行うAI(Artificial Intelligence)220を搭載する。診断サーバ200は、匿名化診断対象データを受信すると、匿名化診断対象データに含まれる眼底画像データに対して、AI220を用いて画像診断を行い、暗号化した診断結果を、管理サーバ100に送信する。AI220には、糖尿病網膜症等の所定の疾病の症状レベルを判定可能なものや、1種類以上の疾病の症状の発生の有無を判定可能なもの等がある。
【0024】
読影サーバ250は、第3情報処理装置の一例であり、例えば、読影医のいる読影施設が所有するサーバである。読影サーバ250は、匿名化診断対象データを受信すると、匿名化診断対象データに含まれる眼底画像をディスプレイ等に表示し、読影医等による眼底画像データに対する診断結果の入力を受け付ける。読影サーバ250は、入力された診断結果を暗号化し、暗号化した診断結果を、管理サーバ100に送信する。
【0025】
なお、画像診断システムに含まれる任意の装置が互いに接続されていてもよい。また、画像診断システムに含まれる各装置の機能の一部又は全部が他の装置に含まれていてもよいし、前述した装置の一部又は全部が一体化されていてもよい。具体的には、例えば、端末400と撮影機器500が一体化されていたり、院内サーバ300と端末400が一体化されていたりしてもよい。
【0026】
なお、説明の便宜のため、
図1には、1つの診断サーバ200及び1つの読影サーバ250が記載されているが、画像診断システムは、複数の診断サーバ200及び複数の読影サーバ250を含んでもよい。つまりこの場合、管理サーバ100は、選択された1以上の診断サーバ200及び/又は1以上の読影サーバ250に画像診断を依頼してもよい。
【0027】
図2は、管理サーバ100、診断サーバ200、読影サーバ250、院内サーバ300、及び端末400それぞれを構成する計算機のハードウェア構成例を示すブロック図である。計算機600は、例えば、プロセッサ(CPU)601、記憶デバイス602、入力デバイス603、出力デバイス604、及び通信I/F(InterFace)605を有し、これらが互いに内部信号線606によって接続されている。
【0028】
プロセッサ601は、記憶デバイス602に格納されたプログラムを実行する。記憶デバイス602はメモリを含む。メモリは不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、データやプログラム(例えば、BIOS)などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ601が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0029】
また、記憶デバイス602は、補助記憶装置を含む。補助記憶装置は、例えば、磁気記憶装置(HDD)、フラッシュメモリ(SSD)等の大容量かつ不揮発性の記憶装置であり、プロセッサ601が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置から読み出されて、メモリにロードされて、プロセッサ601によって実行される。
【0030】
入力デバイス603は、例えばキーボードやマウスのような、オペレータからの入力を受けるデバイスである。出力デバイス604は、例えばディスプレイやプリンタのような、プログラムの実行結果をオペレータが視認可能な形式で出力するデバイスである。なお、タッチパネル装置のように入力デバイス603と出力デバイス604とが一体化していてもよい。通信I/F605は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
【0031】
プロセッサ601が実行するプログラムは、リムーバブルメディア(CD-ROM、フラッシュメモリなど)又はネットワークを介して計算機600に提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、計算機600は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
【0032】
なお、管理サーバ100、診断サーバ200、読影サーバ250、院内サーバ300、及び端末400は、それぞれ、物理的に一つの計算機600上で、又は、論理的又は物理的に構成された複数の計算機600上で構成される計算機システムであり、同一の計算機600上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
【0033】
図3は、管理サーバ100の機能構成例を示すブロック図である。管理サーバ100は、匿名化処理部101、サーバ選択部102、表示画面生成部103、及び診断結果データ生成部104を含む。匿名化処理部101は、院内サーバ300から送信された診断対象データに含まれる患者情報を匿名化する。サーバ選択部102は、診断対象データに含まれるAI/読影情報に基づいて、診断対象データの送信先(画像診断の依頼先)のサーバを選択する。
【0034】
表示画面生成部103は、出力デバイス604に表示する画面情報を生成する。診断結果データ生成部104は、診断サーバ200から受信した、暗号化された診断結果を復号し、院内サーバ300に送信する。
【0035】
なお、管理サーバ100に含まれる機能部は、管理サーバ100を実現する計算機600のプロセッサ601によって実現される。具体的には、プロセッサ601は、記憶デバイス602に含まれるメモリにロードされた匿名化処理プログラムに従って動作することで、匿名化処理部101として機能し、記憶デバイス602に含まれるメモリにロードされたサーバ選択プログラムに従って動作することで、サーバ選択部102として機能する。管理サーバ100に含まれる他の機能部及び他の装置に含まれる機能部についても同様に、メモリにロードされたプログラムに従ってプロセッサ601が動作することによって実現される。
【0036】
管理サーバ100は、サーバ選択情報110を保持する。サーバ選択情報110は、AI/読影情報と、画像診断を行う依頼先のサーバ(診断サーバ200及び/又は読影サーバ250)と、の対応関係を示したルックアップテーブルなどで構成された情報である。なお、端末400又は院内サーバ300によって、匿名化診断データの送信先サーバが決定される場合には、管理サーバ100はサーバ選択情報110を保持していなくてもよい。
【0037】
サーバ選択情報110は、管理サーバ100を実現する計算機600の記憶デバイス602に含まれる補助記憶装置に格納されている。なお、他の装置が保持する情報やDBについても同様に、当該他の装置を実現する計算機600の記憶デバイス602に含まれる補助記憶装置に格納されている。
【0038】
なお、本実施形態において、画像診断システムに含まれる各装置が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。例えば、テーブル、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。
【0039】
図4は、診断サーバ200の機能構成例を示すブロック図である。診断サーバ200は、画像診断部201、学習情報管理部202、診断画面生成部203、及び管理部204を含む。また、診断サーバ200は、学習DB210及び画像診断モデル211を保持する。学習DB210は、画像診断モデル211を構築するためのDBである。画像診断モデル211は、眼底画像データが入力されると、診断結果を出力するモデルである。
【0040】
画像診断部201、学習情報管理部202、学習DB210、及び画像診断モデル211によってAI220が実現される。画像診断部201は、管理サーバ100から受信した匿名化診断対象データに含まれる眼底画像データに対して、画像診断モデル211を用いた、例えば糖尿病網膜症の画像診断を実行し、糖尿病網膜症のグレードを判定する。
【0041】
学習情報管理部202は、匿名化診断対象データに含まれる眼底画像データ及び画像診断結果をAIのための学習データとして学習DB210に格納して、学習DB210を更新する。学習情報管理部202は、更新後の学習DB210に基づいた学習により画像診断モデル211を更新(例えば最適化)する。
【0042】
診断画面生成部203は、診断した眼底画像上に、病変位置を示すマークや病名の文字などを重畳した診断済み眼底画像を生成する。管理部204は、AI220のバージョンやアップデートを管理する。また、管理部204は、糖尿病網膜症のグレードと診断済み眼底画像(診断画面生成部203で作成された場合)とを診断結果としてパッケージ化する。そして、診断結果と匿名患者情報との紐付けを行い、AI診断結果情報を生成する。生成されたAI診断結果情報は管理サーバ100へ送信する。
【0043】
なお、診断サーバ200は、画像診断モデル211の学習機能を有していなくてもよい。つまり、診断サーバ200は、画像診断モデル211の更新をせず、予め定められた画像診断モデル211を固定したまま画像診断を実行し続けてもよい。この場合、診断サーバ200は、学習情報管理部202及び学習DB210を有していなくてもよい。
【0044】
図5は、院内サーバ300の機能構成例を示すブロック図である。院内サーバ300は、匿名化処理部301、患者情報管理部302、及び表示画面生成部303を含む。また、院内サーバ300は、及び患者情報DB310を保持する。なお、院内サーバ300はサーバ選択情報を保持してもよく、この場合、院内サーバ300がサーバ選択情報を用いて匿名化診断データの送信先サーバを決定してもよい。
【0045】
匿名化処理部301は、診断対象データに含まれる患者情報を匿名化する。患者情報管理部302は、診断対象データに含まれる患者情報を患者情報DB310に格納したり、患者情報DB310から患者情報を取得して診断対象データに付加したりする。表示画面生成部303は、出力デバイス604に表示する画面情報を生成する。患者情報DB310は、患者の個人情報や診断履歴情報を保持する。
【0046】
院内サーバ300がサーバ選択情報を有する場合、当該サーバ選択情報は、管理サーバ100が有するサーバ選択情報110と同様に、例えば、AI/読影情報と、サーバ(診断サーバ200及び/又は読影サーバ250)と、の対応関係を示したルックアップテーブルなどで構成された情報である。
【0047】
図6は、端末400の機能構成例を示すブロック図である。端末400は、診断対象データ生成部401、AI/読影情報設定部402、及び表示画面生成部403を含む。診断対象データ生成部401は、患者情報と付加情報と眼底画像データとを含む診断対象データを生成する。AI/読影情報設定部402は、画像診断を行うサーバを選択するための情報を取得する。表示画面生成部403は、出力デバイス604に表示する画面情報を生成する。
【0048】
端末400は、サーバ選択情報を保持してもよく、この場合、端末400がサーバ選択情報を用いて匿名化診断データの送信先サーバを決定してもよい。端末400が保持するサーバ選択情報は、サーバ選択情報110と同様に、例えば、AI/読影情報と、サーバ(診断サーバ200及び/又は読影サーバ250)と、の対応を示す。なお、端末400はサーバ選択情報を保持してもよく、この場合、端末400がサーバ選択情報を用いて匿名化診断データの送信先サーバを決定してもよい。
【0049】
端末400がサーバ選択情報を有する場合、当該サーバ選択情報は、管理サーバ100が有するサーバ選択情報110と同様に、例えば、AI/読影情報と、サーバ(診断サーバ200及び/又は読影サーバ250)と、の対応関係を示したルックアップテーブルなどで構成された情報である。
【0050】
図7は、読影サーバ250の機能構成例を示すブロック図である。読影サーバ250は、例えば、診断用画面生成部251、診断情報管理部252、及び管理部253を含む。また、読影サーバ250は、例えば、診断事例集を蓄積した診断情報DB260を保持する。
【0051】
診断用画面生成部251は、読影サーバ250を所有する読影施設の読影医の指示に基づいて、管理サーバ100から送信された診断対象データの眼底画像データや匿名化された患者情報(性別、年齢など読影医が診断に必要な患者情報であって、かつ、個人を特定しない患者情報)を用いて、診断用画面を生成する。そして、作成した診断用画面データを図示せぬディスプレイに表示させる。読影医は、診断用画面の眼底画像の読影を行い、糖尿病網膜症のグレードを判定する(さらに、別の病変が発見される場合もある)。
【0052】
そして、読影医は、診断用画面の診断結果入力欄に、糖尿病網膜症のグレードを入力する。また、診断用画面のコメント記入欄に読影医の所見や、発見した別の病変についての所見がテキスト入力されてもよい。さらに、表示されている眼底画像上にマークや文字が入力されるようにしてもよい。また、診断用画面生成部251は、読影医のリクエストに応じて、診断情報DB260から診断事例集のデータを参照できるようにディスプレイに表示させるようにしてもよい。
【0053】
診断情報管理部252は、診断用画面を介して糖尿病網膜症のグレードや、読影医により入力された文字テキストや読影医が書きこみを行った眼底画像の画像データを診断結果としてパッケージ化する。そして、管理部253は、読影を行った読影医の情報(氏名や読影医を示すコードなど)、診断結果と匿名患者情報との紐付けを行い、読影医診断結果情報を生成する。そして、読影医診断結果情報を管理サーバ100に送信する。
【0054】
図8は画像診断処理の一例を示すシーケンス図である。
図8では、AI/読影情報に基づいて、画像診断を行うサーバが選択される。
【0055】
まず、端末400の診断対象データ生成部401は、入力デバイス603を介して、患者情報の入力を受け付ける(S801)。患者を識別するID、並びに患者の年齢、性別、住所、病歴、薬歴、及び問診結果等は、いずれも患者情報の一例である。なお、既に患者情報DB310に情報が登録されている患者については、診断対象データ生成部401は、例えば、患者を識別するIDの入力を受け付けて、当該IDに対応する登録情報から他の情報を取得すればよい。
【0056】
診断対象データ生成部401は、撮影機器500から送信された当該患者の左右両眼の被検眼画像データを取得する(S802)。なお、本実施形態では、両眼の被検眼画像データを取得してもよいし、左眼又は右眼の片眼のみの眼底画像データを取得してもよい。診断対象データ生成部401は、眼底画像データが、両眼のデータであるか、右眼のみのデータであるか、左眼のみのデータであるかを示す左右眼フラグを生成する。診断対象データ生成部401は、撮影機器500以外のデバイスから眼底画像データを取得してもよい。
【0057】
続いて、AI/読影情報設定部402は、AI/読影情報を設定する(S803)。なお、AI/読影情報設定部402は、AI/読影フラグをAI/読影情報として設定してもよいし、管理サーバ100が送信先サーバを決定するために必要な情報をAI/読影情報として収集してもよい。ステップS803の詳細については後述する。
【0058】
続いて、診断対象データ生成部401は、患者情報と左右眼フラグと眼底画像データとAI/読影情報とを含む診断対象データを、院内サーバ300を介して、管理サーバ100に送信する(S804)。なお、院内サーバ300の患者情報管理部302は、端末400から受信した患者情報を患者情報DB310に格納する。
【0059】
なお、端末400から受信した患者情報に不足がある場合には、患者情報管理部302は、患者情報DB310を参照して患者情報を取得して診断対象データに補足してもよい。具体的には、例えば、端末400から受信した患者情報が患者を識別するIDのみであった場合には、患者情報管理部302は、患者情報DB310から、当該IDに対応する患者情報を取得し、取得した患者情報を含めた診断対象データを管理サーバ100に送信する。
【0060】
続いて、管理サーバ100の匿名化処理部101は、受信した診断対象データに含まれる患者情報や診断履歴情報に対して、所定のアルゴリズムによる匿名化処理を施す(S805)。匿名化処理部101は、匿名化処理として、患者IDを匿名化(眼底画像データに固有なIDに差し替える)としたり、氏名や病名などの患者の個人情報を削除したりする処理を実行する。なお、匿名化処理部101は、患者情報や診断履歴情報の一部のみ(例えばプライバシーに関するセンシティブ情報に対してのみ)を匿名化してもよい。また、患者情報に対する匿名化処理は、管理サーバ100に診断対象データが送信される前に、院内サーバ300の匿名化処理部301によって、予め実行されていてもよい。
【0061】
管理サーバ100のサーバ選択部102は、受信した診断対象データに含まれるAI/読影情報(例えばAI/読影フラグ)に基づいて、診断サーバ200と読影サーバ250の少なくとも一方を選択し、匿名化された患者情報と、被検眼画像データと、AI/読影情報と、を含む匿名化診断対象データを、選択した診断サーバ200に送信する(S806)。
【0062】
なお、サーバ選択部102は、暗号化鍵を用いて匿名化診断対象データを暗号化した上で、選択したサーバに送信してもよく、この場合、診断サーバ200及び/又は読影サーバ250が当該暗号化鍵に対応する復号化鍵を有し、後述するステップS807においてまず当該復号化鍵で匿名化診断対象データを復号化する。
【0063】
続いて、匿名化診断対象データを受信した診断サーバ200及び/又は読影サーバ250は、受信した匿名化診断対象データに含まれる眼底画像データに対する画像診断を行うプロセスを開始する(S807)。診断サーバ200が匿名化診断対象データを受信した場合、画像診断部201が画像診断モデル211を用いて、画像診断を行う。このとき、画像診断部201は、当該画像診断において、匿名化された患者情報及び右眼左眼フラグ等をAIによる診断の際に用いてもよい。
【0064】
なお、読影サーバ250が匿名化診断対象データを受信した場合に、診断情報管理部252は、被検眼画像データと入力された診断結果とを含む診断情報を、例えば管理サーバ100を介して、診断サーバ200に送信してもよい。この場合、当該診断サーバ200の学習情報管理部202は、被検眼画像データを学習DB210に学習データとして格納することで学習DB210を更新し、更新した学習DB210に基づいて画像診断モデル211を更新する。これにより、診断サーバ200が画像診断を依頼されていない場合であっても、診断サーバ200のAI220の学習を実行することができる。
【0065】
読影サーバ250が匿名化診断対象データを受信した場合、診断用画面生成部251は匿名化された患者情報、右眼左眼フラグ、及び被検眼画像データを読影サーバ250の出力デバイス604(ディスプレイ)に表示する。読影サーバ250の診断用画面生成部251は、読影サーバ250のユーザ(例えば読影医)から、入力デバイス603を介して、画像診断結果の入力を受け付ける。
【0066】
眼底画像診断を行った診断サーバ200及び/又は読影サーバ250は、診断結果情報を生成する。具体的には、診断サーバ200がステップS807において眼底画像診断を行った場合、診断画面生成部203は、診断した眼底画像上に、病変位置を示すマークや病名の文字などを重畳した診断済み眼底画像(第1診断結果の一例)を生成する。
【0067】
また、読影サーバ250がステップS807において画像診断を行うプロセスを開始した場合、診断情報管理部252は、診断用画面を介して糖尿病網膜症のグレードや、読影医により入力された文字テキストや読影医が書きこみを行った眼底画像の画像データを診断結果としてパッケージ化する。管理部253は、読影を行った読影医の情報、診断結果と匿名患者情報との紐付けを行い、読影医診断結果情報(第2診断結果の一例)を生成する。
【0068】
続いて、画像診断結果を生成した診断サーバ200及び/又は読影サーバ250は、自身が保持する暗号化鍵を用いて、画像診断結果(診断サーバ200によって診断が行われた場合においては診断済み眼底画像であり、読影サーバ250の読影医が診断を行った場合には読影医者診断結果情報(診断病名や病変のグレードや読影医の所見など))を暗号化して、暗号化画像診断結果を生成し、管理サーバ100に送信する(S809)。なお、ステップS809において、暗号化に代えて又は加えて匿名化が実行されてもよい。
【0069】
続いて、管理サーバ100の診断結果データ生成部104は、受信した暗号化画像診断結果を、管理サーバ100が保持する復号化鍵を用いて復号する(S810)。また、受信した画像診断結果が匿名化されていた場合には、診断結果データ生成部104は、匿名化されていた画像診断結果患者情報を復元する。そして、復号化した画像診断結果を、匿名化前の当該患者の患者情報と紐づける。
【0070】
次に、診断結果データ生成部104は、診断結果である糖尿病網膜症のグレードである診断結果を示す表示画面(後述する
図13、
図14)を生成し、この診断結果を示す表示画面を患者IDと紐付けして図示せぬメモリに保存する。
【0071】
なお、管理サーバ100は、例えば所定時間が経過しても、匿名化診断対象データを送信したサーバから、暗号化画像診断結果を受信しない場合には、他のサーバに対して、匿名化対象データを送信して、画像診断を依頼してもよい。
【0072】
続いて、診断結果データ生成部104は、復号化した画像診断結果を、匿名化前の当該患者の患者情報と紐づけて、院内サーバ300に送信する(S811)。院内サーバ300の表示画面生成部303は、受信した画像診断結果と患者情報とに基づく表示画面を、院内サーバ300の出力デバイス604に表示する(S812)。なお、端末400が院内サーバ300から当該画像診断結果と当該患者情報とを取得し、端末400の表示画面生成部403が、当該画像診断結果と当該患者情報とに基づく表示画面を、端末400の出力デバイス604に表示してもよい。
【0073】
なお、管理サーバ100の表示画面生成部103が、画像診断結果と患者情報とに基づいて表示画面の情報を生成して院内サーバ300に送信し、院内サーバ300及び端末400は当該生成された情報に従って表示画面を表示してもよい。
【0074】
続いて、患者情報管理部302は、復号化した画像診断結果、及び当該画像診断がどのサーバによって実行されたかを示す診断履歴情報を患者情報DB310に格納する(S813)。
【0075】
図9は、患者情報DB310の一例である。患者情報DB310は、患者情報欄3101、及び診断履歴情報欄3102を含む。患者情報欄3101には、例えば、各患者の個人情報等が格納される。診断履歴情報欄3102には、診断サーバ200及び読影サーバ250による眼底画像データの診断履歴が格納される。
図8の例では、診断履歴として、眼底画像データ、診断結果、眼底画像の撮影年月日、及び画像診断を実行した診断サーバ200及び/又は読影サーバ250の識別情報が記録されている。
【0076】
以下、ステップS803におけるAI/読影情報の設定処理の詳細について説明する。以下の例では、ステップS803において、端末400のAI/読影情報設定部402が、がAI/読影情報としてAI/読影フラグを設定する例を説明する。この場合、管理サーバ100はAI/読影フラグに従って、眼底画像データの送信先サーバを決定する。
【0077】
AI/読影情報設定部402は、入力デバイス603や通信IF605を介して、AI/読影フラグの設定を直接受け付ける。
図10は、AI/読影フラグを設定するための入力画面の一例である。入力画面1000は、患者情報表示領域1001、左眼画像表示領域1002、右眼画像表示領域1003、診断手法選択領域1004、及び送信ボタン1005を含む。
【0078】
患者情報表示領域1001は、患者を識別するID等の患者についての情報や、被検眼画像の撮影日時等の被検眼画像についての情報等を表示する。左眼画像表示領域1002は、例えば、左眼の被検眼画像を表示する。右眼画像表示領域1003は、右眼の被検眼画像を表示する。
【0079】
診断手法選択領域1004は、AI/読影フラグを設定するための領域である。診断手法選択領域1004中の「AI」が選択されると診断サーバ200を示すAI/読影フラグ「01」が選択され、「読影医」が選択されると読影サーバ250を示すAI/読影フラグ「10」が選択され、「AI+読影医」が選択されると診断サーバ200及び読影サーバ250を示すAI/読影フラグ「11」が選択される。
【0080】
図10の例では、診断手法選択領域1004において「読影医」が選択、即ち読影サーバ250を示すAI/読影フラグ「10」が選択されている。送信ボタン1005が選択されると、診断手法選択領域1004において選択されたAI/読影フラグが設定される。これにより、端末400の利用者が所望のサーバによって画像診断を実行することができる。
【0081】
また、端末400がサーバ選択情報を保持する場合、AI/読影情報設定部402は、ステップS803において、所定の情報を取得して、端末400が保持するサーバ選択情報において、当該取得した情報に対応する送信先サーバを示すAI/読影フラグを設定してもよい。院内サーバ300の患者情報DB310が示す当該患者の診断履歴情報は、当該所定の情報の一例である。
【0082】
図11は、このような場合における、ステップS803のAI/読影フラグの設定処理の一例を示すフローチャートである。まず、AI/読影情報設定部402は、AI/読影情報として、院内サーバ300の患者情報DB310から当該患者の診断履歴を取得する(S1101)。
【0083】
AI/読影情報設定部402は、取得した診断履歴の経過情報を抽出する(S1102)。具体的には、例えば、AI/読影情報設定部402は、取得した診断履歴の直近の診断情報を取得する。
【0084】
続いて、AI/読影情報設定部402は、直近の診断情報における画像診断元が、診断サーバ200であるか読影サーバ250であるかを判定する(S1103)。AI/読影情報設定部402は、直近の診断情報における画像診断元が診断サーバ200であると判定した場合(S1103:診断サーバ)、読影サーバ250を示すAI/読影フラグを設定し(S1104)、ステップS802の処理を終了する。
【0085】
AI/読影情報設定部402は、直近の診断情報における画像診断元が読影サーバ250であると判定した場合(S1003:読影サーバ)、診断サーバ200を示すAI/読影フラグを設定し(S1005)、ステップS802の処理を終了する。
【0086】
なお、
図10の例では、直近1回の診断履歴からAI/読影フラグが決定されていたが、例えば、直近の所定数回又は全ての診断履歴が参照されてもよい。具体的には、例えば、直近の所定数回又は全ての診断履歴において読影サーバ250による診断回数が診断サーバ200による診断回数以上である場合には、診断サーバ200を示すAI/読影フラグが設定され、読影サーバ250による診断回数が診断サーバ200による診断回数未満である場合には、読影サーバ250を示すAI/読影フラグが設定されてもよい。
【0087】
なお、例えば、ステップS1103において、当該患者の過去の診断履歴が存在しない場合には、診断サーバ200を示すAI/読影フラグが設定されるようにしてもよいし、読影サーバ250を示すAI/読影フラグが設定されるようにしてもよい。
【0088】
図10の処理により、患者は特定のサーバに偏ることなく、診断サーバ200及び読影サーバ250による画像診断をバランスよく受けることができる。一方、端末400を利用する医師や患者が特定のサーバを選好する場合においては、直近の診断履歴における画像診断元がと同一のサーバを示すAI/読影フラグが設定されるようにしてもよい。また、例えば、患者の初回の診断においては、診断サーバ200と読影サーバ250の双方を示すAI/読影フラグが設定されるようにしてもよい。
【0089】
また、AI/読影情報設定部402は、ステップS803において、端末400を利用する医者の診療科に基づいてAI/読影フラグを設定してもよい。具体的には、例えば、AI/読影情報設定部402は、診療科の入力を受け付け、診療科が眼科である場合には、診断サーバ200を示すAI/読影フラグを設定し、診療科が眼科以外(例えば内科)である場合には、読影サーバ250を示すAI/読影フラグを設定する。
【0090】
これにより、診療科が眼科である知見のある医者は、AI220により迅速な診断を行う診断サーバ200による画像診断であっても十分な診断結果を得られ、眼科医以外の医者にとっては読影医による知見が付与された診断結果を得られる。なお、読影医による画像診断よりも、AI220による画像診断の方が、より豊富な知見があると考えられるような場合には、診療科が眼科以外である場合に診断サーバ200を示すAI/読影フラグを設定し、診療科が眼科である場合に読影サーバ250を示すAI/読影フラグを設定してもよい。
【0091】
また、AI/読影情報設定部402は、ステップS803において、撮影機器500の設置場所の情報に基づいて、AI/読影フラグを設定してもよい。具体的には、端末400は、撮影機器500の識別情報と設置場所との対応を示す情報を保持する。AI/読影情報設定部402は、被検眼画像を撮影した撮影機器500の識別情報を取得し、撮影機器500の設置場所を特定する。AI/読影情報設定部402は、設置場所が、糖尿病センターや眼科が設置された病院等の眼科専門医がいる機関である場合には、診断サーバ200を示すAI/読影フラグを設定し、内科医等の眼科専門医がいない機関である場合には、読影サーバ250を示すAI/読影フラグを設定する。
【0092】
これにより、糖尿病センターや眼科が設置された病院等のように知見のある眼科専門医がいる機関においては、AI220により迅速な診断を行う診断サーバ200による画像診断であっても十分な診断結果を得られ、内科等の眼科専門医以外の医者にとっては読影医による知見が付与された診断結果を得られる。
【0093】
なお、読影医による画像診断よりも、AI220による画像診断の方が、より豊富な知見があると考えられるような場合には、設置場所が内科医等の眼科専門医がいない機関である場合に診断サーバ200を示すAI/読影フラグを設定し、設置場所が糖尿病センターや眼科が設置された病院等の眼科専門医がいる機関である場合に読影サーバ250を示すAI/読影フラグを設定してもよい。また、上記と同様の方法で、端末400又は院内サーバ300の設置場所に基づいて、AI/読影フラグが設定されてもよい。
【0094】
また、AI/読影情報設定部402は、ステップS803において、眼底画像データの画像診断を含む1以上の診断からなる診断コースの料金情報に基づいてAI/読影フラグを設定してもよい。具体的には、例えば、AI/読影情報設定部402は、診断コースの料金情報の入力を受け付け、料金が所定の閾値未満である場合には、診断サーバ200を示すAI/読影フラグを設定し、料金が当該所定の閾値以上である場合には、読影サーバ250を示すAI/読影フラグを設定する。
【0095】
診断サーバ200はAI220により自動的に診断を行うが、読影サーバ250は読影医の人件費がかかる分、診断費用が高価となることが多いため、前述のように診断コースの料金情報に基づいてAI/読影フラグを設定することにより、料金に応じた適切な診断を受けることができる。なお、例えば、AI220による画像診断の方がより費用がかかるような場合には、料金が所定の閾値以上である場合に診断サーバ200を示すAI/読影フラグを設定し、料金が当該所定の閾値未満である場合に読影サーバ250を示すAI/読影フラグを設定してもよい。
【0096】
また、AI/読影情報設定部402は、ステップS803において、例えば、読影サーバ250による画像診断を行う読影医のスケジュール情報に基づいてAI/読影フラグを設定してもよい。
【0097】
具体的には、AI/読影情報設定部402は、読影サーバ250から、画像診断を行う読影医のスケジュール情報(例えば、読影医の空き時間等のような、いつ画像診断を行うことができるかを示す情報)を定期的に取得する。AI/読影情報設定部402は、例えば、スケジュール情報を参照して、読影医が画像診断を開始することができる時刻までの時間が所定値以上である場合に診断サーバ200を示すAI/読影フラグを設定し、所定値未満である場合に読影サーバ250を示すAI/読影フラグを設定する。
【0098】
これにより、読影医のスケジュールが空いていない場合には、診断サーバ200のAI220による迅速な画像診断を受けることができ、読影医のスケジュールが空いている場合には、読影医の知見に基づく画像診断を受けることができる。
【0099】
また、AI/読影情報設定部402は、ステップS803において、例えば、端末400を利用する医者等が希望する診断対象の症状及び/又は診断分類等に基づいてAI/読影フラグを設定してもよい。
【0100】
具体的には、AI/読影情報設定部402は、診断対象の症状及び/又は診断分類の入力を受け付け、当該症状の及び/又は当該診断分類による画像診断が実行可能なサーバを示すAI/読影フラグを設定する。なお、端末400は、診断サーバ200及び読影サーバ250(読影サーバ250による画像診断を実行する医者)が診断可能な症状及び/又は診断分類を示す情報を予め保持しているものとする。
【0101】
また、AI/読影情報設定部402は、ステップS803において、撮影機器500によって撮影された被検眼画像の画角に基づいてAI/読影フラグを設定してもよい。具体的には、AI/読影情報設定部402は、撮影機器500によって撮影された被検眼画像の画角を撮影機器500から取得する。なお、AI/読影情報設定部402は、撮影機器500のIDと画角との対応を予め保持し、当該対応に従って画角を取得してもよい。
【0102】
AI/読影情報設定部402は、取得した画角が所定値以上であれば診断サーバ200を示すAI/読影フラグを設定し、所定値未満である場合に読影サーバ250を示すAI/読影フラグを設定する。なお、AI/読影情報設定部402は、取得した画角が所定値未満であれば診断サーバ200を示すAI/読影フラグを設定し、所定値以上である場合に読影サーバ250を示すAI/読影フラグを設定するようにしてもよい。
【0103】
これにより、診断サーバ200のAI220、及び読影サーバ250を利用する読影医が得意とする(例えば精度の高い診断を行うことができる)画角の被検眼画像を用いた画像診断を受けることができる。
【0104】
なお、上述した例においては、端末400が必要な情報を収集してAI/読影フラグを設定する例を説明したが、院内サーバ300又は管理サーバ100が必要な情報を収集してAI/読影フラグを設定してもよい。
【0105】
なお、例えば、
図10の入力画面1000からAI/読影フラグが設定された場合であっても、AI/読影情報設定部402が上述した情報に基づいて、AI/読影フラグを選択してもよい。入力画面1000から設定されたAI/読影フラグと、AI/読影情報設定部402が選択したAI/読影フラグと、が異なる場合、AI/読影情報設定部402は、例えば、AI/読影情報設定部402が選択したAI/読影フラグを、表示画面生成部403を介してディスプレイに表示して、ユーザに推奨してもよいし、AI/読影情報設定部402が選択したAI/読影フラグを設定してもよい。
【0106】
また、上述した例では、1種類の情報からAI/読影フラグが決定される例を説明したが、複数種類の情報からAI/読影フラグが決定されてもよい。具体的には、例えば、当該複数種類の情報が示す値による条件分岐がサーバ選択情報110に記述され、当該複数種類の情報の値からAI/読影フラグが決定される。
【0107】
図12は、管理サーバ100から診断サーバ200に送信される匿名化診断対象データのデータ構造の一例である。匿名化診断対象データは、例えば、ヘッダ701、DICOM(Digital Imaging and Communications in Medicine)データ702、ユーザデータ703、及び眼底画像データ704を含む。
【0108】
ヘッダ701には、例えば、診断対象データのデータ形式を定義する情報や、診断対象データの送信元及び送信先等の情報が記述されている。DICOMデータ702には、例えば、撮影機器500によって撮影された医療画像(眼底画像)データのフォーマットや、撮影機器500を含む医用機器間の通信プロトコルを定義する情報等が記述されている。
【0109】
ユーザデータ703は、例えば、AI/読影フラグ、左右眼フラグ、匿名化患者情報、及び付加情報を含む。左右眼フラグは、眼底画像データ704が右眼の画像データであるか、左眼の画像データであるか、又は両眼の画像データであるかを示すフラグ(例えばL、R、又はLRのいずれかの値)である。
【0110】
付加情報は、例えば、撮影機器500の機器情報のような撮影画像の属性情報、当該端末400を利用する病院及び医者についての情報、及び診断対象の病名等を含む。撮影機器500による撮影画像(被検眼画像)の画角、モダリティ、及び解像度、並びに撮影機器500の機器ID等は、いずれも機器情報の一例である。
【0111】
モダリティとは、撮影機器500の種類(例えば眼底カメラ、走査型レーザ検眼鏡、光干渉断層計等)又は撮影機器500が撮影する医用画像としての画像種類(例えば、赤色レーザや近赤外レーザにより撮影された眼底画像や血管造影画像等)を示す情報である。また、端末400を利用する医者及び病院の名称、端末が設置されている場所(眼科、内科や糖尿病内科等の診療科の情報や、眼鏡店や健康診断施設などの施設に関する情報)等は、当該施設情報の一例である。
【0112】
なお、付加情報のうち、撮影機器500の端末IDやモダリティ等のDICOMデータ702にも記述され得る内容については、DICOMデータ702内にのみ記述されていてもよい。
【0113】
図13は、診断結果を表示する表示画面(画面レイアウト)である。表示画面1300は、患者情報表示領域1301、依頼先情報表示領域1302、付加情報表示領域1303、診断結果表示領域1304、及びセカンドオピニオンボタン1305を含む。
【0114】
患者情報表示領域1301は、画像診断データに含まれる患者情報を表示する。依頼先情報表示領域1302は、画像診断を行った依頼先の情報が表示される。診断サーバ200の人工知能によって画像診断が行われた場合、依頼先情報表示領域1302には、画像診断を行ったAI220のIDあるいはサーバ名が表示される。
【0115】
読影サーバ250に眼底画像データが送られ読影医画像診断が行われた場合、依頼先情報表示領域1302には、読影サーバのIDあるいはサーバ名、読影サーバを保有する読影施設名、画像診断を行った施設及び医師の名称が、依頼先情報表示領域1302に表示される。
【0116】
付加情報表示領域1303は、診断対象データに含まれる付加情報(画角、解像度、診断種別など)の一部又は全部を表示する。診断結果表示領域1304は、眼底像データの診断結果を示す情報を表示する。
図13の例では、両眼の眼底画像と、両眼の糖尿病網膜症の症状レベルを示すバーと、両眼の所見と、が診断結果表示領域1304に表示されている。
【0117】
図13の例では、バーの右側に、右眼の眼底画像と右眼における糖尿病網膜症の症状レベルを示す右向きの矢印(インジケータ)が表示され、バーの左側に左眼の眼底画像と左眼における糖尿病網膜症の症状レベルを示す左向きの矢印が表示されている。これにより、ユーザは、診断結果表示領域1304を一瞥しただけで、両眼の糖尿病網膜症の症状レベル及び症状レベルの差異を把握することができる。
【0118】
セカンドオピニオンボタン1305は、セカンドオピニオンを他のサーバに求めるためのボタンである。診断サーバ200によって画像診断が行われた場合に、セカンドオピニオンボタン1305が選択されると、管理サーバ100に対して、匿名化画像診断データを読影サーバ250に送信するよう通知される。
【0119】
また、読影サーバ250に眼底画像データが送られ読影医によって画像診断が行われた場合に、セカンドオピニオンボタン1305が選択されると、管理サーバ100に対して、匿名化画像診断データを診断サーバ200に送信するよう通知される。これにより、医師や患者が画像診断結果を見た後に、別のサーバによる画像診断をセカンドオピニオンとして受けることができる。
【0120】
また、セカンドオピニオンボタン1305は、画像診断結果において症状が所定レベルより悪い場合(例えば、
図13におけるMild以下)にのみ表示されてもよい。また、画像診断結果において症状が所定レベルより悪い場合には、セカンドオピニオンボタン1305が表示されることなく、他のサーバによる画像診断を自動的に受けるようにしてもよい。
【0121】
また、疾病の発症の有無を診断できるものの、当該疾病についての症状レベルを診断できない診断サーバ200のAI220によって画像診断が行われた場合に、セカンドオピニオンボタン1305が表示されてもよい。また、管理サーバ100が、疾病と、当該疾病の症状レベルを診断可能なサーバと、の対応情報を保持してもよい。
【0122】
この場合、セカンドオピニオンボタン1305が選択されると、管理サーバ100は、当該対応情報を参照して、当該疾病の症状レベルを診断可能なサーバを特定する。そして、管理サーバ100は、特定したサーバを示す情報を院内サーバ300に送信して表示させてもよいし、特定したサーバに対して再度匿名化診断対象データを送信して、画像診断を依頼してもよい。
【0123】
また、画像診断をした診断サーバ200及び/又は読影サーバ250がセカンドオピニオン指示を暗号化画像診断結果に含めて送信してもよい。具体的には、診断サーバ200のAI220が、セカンドオピニオンが必要だと判断した場合(例えば疾病が発生していると判断した場合等)、又は読影サーバ250がユーザ(例えば読影医)からセカンドオピニオン指示の入力を受け付けた場合に、セカンドオピニオン指示が生成される。
【0124】
セカンドオピニオン指示が暗号化画像診断結果に含まれている場合にのみ、セカンドオピニオンボタン1305が表示されるようにしてもよいし、セカンドオピニオン指示が暗号化画像診断結果に含まれている場合には、セカンドオピニオンボタン1305が表示されることなく、他のサーバによる画像診断を自動的に受けるようにしてもよい。
【0125】
図14は、セカンドオピニオンを受けた場合における診断結果を表示する表示画面の一例である。
図14は、最初に診断を行った依頼先1が人工知能であり、セカンドオピニオンとして診断を行った依頼先2が読影医である例である。表示画面1400は、患者情報表示領域1401、依頼先情報表示領域1402、付加情報表示領域1403、診断結果表示領域1404、及び別のセカンドオピニオンボタン1406を含む。患者情報表示領域1401及び付加情報表示領域1403に表示される内容は、それぞれ、
図13の患者情報表示領域1301及び付加情報表示領域1303に表示される内容と同様である。
【0126】
図13との相違点を説明する。依頼先情報表示領域1402には、依頼先1と依頼先2の情報が表示される。
図14の場合、依頼先1は「診断サーバA」と表示され、依頼先2として、読影サーバ名である「読影サーバA」、読影サーバを保有する読影施設名である「XX読影センター」、画像診断を行った施設及び医師の名称が表示される。
【0127】
診断結果表示領域1404には、最初の診断及びセカンドオピニオンとしての診断の双方における、両眼の被検眼画像と、両眼の糖尿病網膜症の症状レベルを示すバーと、両眼の所見と、が表示されている。別のセカンドオピニオンボタン1406が操作されるとさらなるセカンドオピニオンとしての診断を依頼先1と依頼先2とも異なる別の依頼先3から受けることができる。この場合、管理サーバ100は、診断サーバAと読影サーバAとは異なる第3の依頼先のサーバを診断先の候補として選定する。
【0128】
図14の表示画面1400のように、2つの診断結果を併せて表示することにより、院内サーバ300及び端末400の利用者は、これら2つを総合したより的確な診断結果を得ることができる。
【0129】
なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
【符号の説明】
【0130】
100 管理サーバ、101 匿名化処理部、102 サーバ選択部、103 表示画面生成部、104 診断結果データ生成部、200 診断サーバ、201 画像診断部、202 学習情報管理部、203 診断画面生成部、204 管理部、210 学習DB、211 画像診断モデル、250 読影サーバ、251 診断用画面生成部、252 診断情報管理部、253 管理部、260 診断情報DB、300 院内サーバ、301 匿名化処理部、302 患者情報管理部、303 表示画面生成部、310 患者情報DB、400 端末、401 診断対象データ生成部、402 AI/読影情報設定部、403 表示画面生成部、600 計算機、601 プロセッサ、602 記憶デバイス、603 入力デバイス、604 出力デバイス、605 通信I/F