(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-20
(45)【発行日】2024-10-01
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G16H 30/20 20180101AFI20240924BHJP
【FI】
G16H30/20
(21)【出願番号】P 2021535384
(86)(22)【出願日】2020-07-29
(86)【国際出願番号】 JP2020029055
(87)【国際公開番号】W WO2021020442
(87)【国際公開日】2021-02-04
【審査請求日】2023-06-06
(32)【優先日】2019-07-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(73)【特許権者】
【識別番号】509012991
【氏名又は名称】オプトス ピーエルシー
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】ソアレス デヴィン
(72)【発明者】
【氏名】コリーマン ブランデン
(72)【発明者】
【氏名】ヤッツ ブラッドリー
(72)【発明者】
【氏名】河内 直幸
【審査官】梅岡 信幸
(56)【参考文献】
【文献】特許第5951086(JP,B2)
【文献】特開2018-13826(JP,A)
【文献】国際公開第2018/201632(WO,A1)
【文献】米国特許出願公開第2017/0196458(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
患者の被検眼画像データを取得する画像取得装置と、
前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、を有する情報処理システムであって、
前記画像取得装置は、
前記被検眼画像データと、前記被検眼画像データを画像診断する画像診断装置の特定に用いられる付加情報と、を含む第1送信データを、前記第1情報処理装置に送信する第1送信処理を実行し、
前記第1情報処理装置は、
前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、
前記付加情報に基づいて、第1画像診断を前記被検眼画像データに対して行う第1画像診断装置、及び前記第1画像診断とは異なる第2画像診断を前記被検眼画像データに対して行う第2画像診断装置の少なくとも一方を特定する特定処理と、
前記被検眼画像データを含む第2送信データを、特定された画像診断装置に送信する第2送信処理と、を実行する、情報処理システム。
【請求項2】
請求項1に記載の情報処理システムであって、
前記第1画像診断装置及び前記第2画像診断装置を含む前記画像診断装置の台数は、3台以上であり、
3台以上の前記画像診断装置は、それぞれ異なる画像診断を被検眼画像データに対して実行可能であり、
前記第1情報処理装置は、前記特定処理において、前記3台以上の画像診断装置の少なくとも1つを特定する情報処理システム。
【請求項3】
請求項1に記載の情報処理システムであって、
前記付加情報は、前記被検眼画像データの属性情報に基づいて決定されている、情報処理システム。
【請求項4】
請求項3に記載の情報処理システムであって、
前記画像取得装置は、
前記属性情報を取得する取得処理と、
前記取得した属性情報に基づいて、前記第1画像診断装置及び前記第2画像診断装置の少なくとも一方を特定するフラグを、前記付加情報として決定する決定処理と、を実行し、
前記第1送信処理において、前記フラグを前記第1情報処理装置に送信する、情報処理システム。
【請求項5】
請求項3に記載の情報処理システムであって、
前記画像取得装置は、
前記患者の被検眼画像データの前記属性情報を前記付加情報として取得する取得処理を実行し、
前記第1情報処理装置は、受信した属性情報に基づいて、前記特定処理を実行する、情報処理システム。
【請求項6】
請求項3に記載の情報処理システムであって、
前記属性情報は、前記被検眼画像データの撮影機器の識別情報を含む、情報処理システム。
【請求項7】
請求項3に記載の情報処理システムであって、
前記属性情報は、前記被検眼画像データの画像を撮影した画角を示す画角情報を含む、情報処理システム。
【請求項8】
請求項7に記載の情報処理システムであって、
前記第1画像診断において、第1画角で撮影された被検眼画像データの画像診断が行われ、
前記第2画像診断において、前記第1画角より広い第2画角で撮影された被検眼画像データの画像診断が行われる、情報処理システム。
【請求項9】
請求項8に記載の情報処理システムであって、
前記第1画像診断装置は、
前記第1画像診断において前記被検眼画像データにおける前記患者の被検眼に異常を発見した場合、前記第2画角で撮影された前記患者の被検眼画像データの取得を推奨することを示す情報を、当該画像診断の診断結果に含め、
前記診断結果を、前記第1情報処理装置に送信する、情報処理システム。
【請求項10】
請求項7に記載の情報処理システムであって、
前記画角情報は、前記被検眼画像データの画像を撮影した撮影機器の識別情報である、情報処理システム。
【請求項11】
請求項3に記載の情報処理システムであって、
前記属性情報は、前記被検眼画像データの解像度を示す情報を含む、情報処理システム。
【請求項12】
請求項11に記載の情報処理システムであって、
前記第1画像診断において、第1解像度で撮影された被検眼画像データの画像診断が行われ、
前記第2画像診断において、前記第1解像度より高い第2解像度で撮影された被検眼画像データの画像診断が行われ、
前記第1画像診断装置は、
前記第1画像診断において前記被検眼画像データにおける前記患者の被検眼に異常を発見した場合、前記第2解像度で撮影された前記患者の被検眼画像データの取得を推奨することを示す情報を、当該画像診断の診断結果に含め、
前記診断結果を、前記第1情報処理装置に送信する、情報処理システム。
【請求項13】
請求項3に記載の情報処理システムであって、
前記属性情報は、前記被検眼画像データのモダリティを示す情報を含む、情報処理システム。
【請求項14】
請求項1に記載の情報処理システムであって、
前記被検眼画像データは、眼底カメラによる眼底画像データ、走査型レーザ検眼鏡による眼底画像データ、及び光干渉断層計による断層データの少なくとも1つを含む、情報処理システム。
【請求項15】
請求項14に記載の情報処理システムであって、
前記被検眼画像データは、眼底画像データを含み、
前記第1画像診断及び前記第2画像診断において、眼底の病変の診断が行われる、情報処理システム。
【請求項16】
請求項15に記載の情報処理システムであって、
前記第1画像診断及び前記第2画像診断において、眼底画像を使用した糖尿病網膜症の診断が行われる、情報処理システム。
【請求項17】
請求項15に記載の情報処理システムであって、
前記第1画像診断において、眼底の病変の状態を示す第1分類により診断結果が示され、
前記第2画像診断において、前記第1分類と分類数が異なる第2分類により診断結果が示され、
前記第1画像診断装置は、前記第1画像診断における前記第1分類による第1診断結果を、前記第1情報処理装置に送信し、
前記第2画像診断装置は、前記第2画像診断における前記第2分類による第2診断結果を、前記第1情報処理装置に送信し、
前記第1情報処理装置は、前記画像取得装置に、前記第1診断結果及び前記第2診断結果を送信し、
前記画像取得装置は、前記第1診断結果及び前記第2診断結果を統合した診断結果を表示する、情報処理システム。
【請求項18】
請求項1に記載の情報処理システムであって、
前記付加情報は、
前記第1画像診断装置及び前記第2画像診断装置の双方を特定し、
画像診断を特定する情報を含み、
前記第1情報処理装置は、前記第1画像診断装置及び前記第2画像診断装置に、前記被検眼画像データと前記付加情報を送信し、
前記第1画像診断装置及び前記第2画像診断装置は、前記付加情報が示す画像診断が実行可能である場合、受信した前記被検眼画像データに対して前記付加情報が示す画像診断を行う、情報処理システム。
【請求項19】
請求項1に記載の情報処理システムであって、
前記付加情報は、前記画像取得装置の設置場所に基づいて決定されている、情報処理システム。
【請求項20】
請求項1に記載の情報処理システムであって、
前記付加情報は、画像診断を含む診断コースの料金に基づいて決定されている、情報処理システム。
【請求項21】
患者の被検眼画像データを取得する画像取得装置と、
前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、を有する情報処理システムであって、
前記画像取得装置は、
前記被検眼画像データと、前記被検眼画像データを画像診断する人工知能の特定に用いられる付加情報と、を含む第1送信データを、前記第1情報処理装置に送信する第1送信処理を実行し、
前記第1情報処理装置は、
前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、
前記付加情報に基づいて、前記被検眼画像データの第1画像診断を行うための第1人工知能と前記被検眼画像データの前記第1画像診断と異なる第2画像診断を行う第2人工知能の少なくとも一方を特定する特定処理と、
前記被検眼画像データと人工知能を特定する特定情報を含む第2送信データを、前記特定した人工知能を含む画像診断装置に送信する第2送信処理と、を実行する、情報処理システム。
【請求項22】
請求項21に記載の情報処理システムであって、
前記画像診断装置が含む人工知能は、3種類以上であり、
前記3種類以上の人工知能は、それぞれ異なる画像診断を被検眼画像データに対して実行可能であり、
前記第1情報処理装置は、前記特定処理において、前記3種類以上の人工知能の少なくとも1つを特定する情報処理システム。
【請求項23】
請求項21に記載の情報処理システムであって、
前記付加情報は、前記被検眼画像データの属性情報に基づいて決定されている、情報処理システム。
【請求項24】
請求項23に記載の情報処理システムであって、
前記画像取得装置は、
前記属性情報を取得する、取得処理と、
前記取得した属性情報に基づいて、前記第1人工知能及び前記第2人工知能の少なくとも一方を特定するフラグを、前記付加情報として決定する、決定処理と、を実行し、
前記第1送信処理において、前記フラグを前記第1情報処理装置に送信する、情報処理システム。
【請求項25】
請求項23に記載の情報処理システムであって、
前記画像取得装置は、
前記患者の被検眼画像データの前記属性情報を前記付加情報として取得する取得処理を実行し、
前記第1情報処理装置は、受信した属性情報に基づいて、前記特定処理を実行する、情報処理システム。
【請求項26】
請求項23に記載の情報処理システムであって、
前記属性情報は、前記被検眼画像データの撮影機器の識別情報を含む、情報処理システム。
【請求項27】
請求項23に記載の情報処理システムであって、
前記属性情報は、前記被検眼画像データの画像を撮影した画角を示す画角情報を含む、情報処理システム。
【請求項28】
請求項27に記載の情報処理システムであって、
前記第1画像診断において、第1画角で撮影された被検眼画像データの画像診断が行われ、
前記第2画像診断において、前記第1画角より広い第2画角で撮影された被検眼画像データの画像診断が行われる、情報処理システム。
【請求項29】
請求項28に記載の情報処理システムであって、
前記画像診断装置は、
前記第1画像診断において前記被検眼画像データにおける前記患者の被検眼に異常を発見した場合、前記第2画角で撮影された前記患者の被検眼画像データの取得を推奨することを示す情報を、当該画像診断の診断結果に含め、
前記診断結果を、前記第1情報処理装置に送信する、情報処理システム。
【請求項30】
請求項27に記載の情報処理システムであって、
前記画角情報は、前記被検眼画像データの画像を撮影した撮影機器の識別情報である、情報処理システム。
【請求項31】
請求項23に記載の情報処理システムであって、
前記属性情報は、前記被検眼画像データの解像度を示す情報を含む、情報処理システム。
【請求項32】
請求項31に記載の情報処理システムであって、
前記第1画像診断において、第1解像度で撮影された被検眼画像データの画像診断が行われ、
前記第2画像診断において、前記第1解像度より高い第2解像度で撮影された被検眼画像データの画像診断が行われ、
前記画像診断装置は、
前記第1画像診断において前記被検眼画像データにおける前記患者の被検眼に異常を発見した場合、前記第2解像度で撮影された前記患者の被検眼画像データの取得を推奨することを示す情報を、当該画像診断の診断結果に含め、
前記診断結果を、前記第1情報処理装置に送信する、情報処理システム。
【請求項33】
請求項23に記載の情報処理システムであって、
前記属性情報は、前記被検眼画像データのモダリティを示す情報を含む、情報処理システム。
【請求項34】
請求項21に記載の情報処理システムであって、
前記被検眼画像データは、眼底カメラによる眼底画像データ、走査型レーザ検眼鏡による眼底画像データ、及び光干渉断層計による断層データの少なくとも1つを含む、情報処理システム。
【請求項35】
請求項34に記載の情報処理システムであって、
前記被検眼画像データは、眼底画像データを含み、
前記第1画像診断及び前記第2画像診断において、眼底の病変の診断が行われる、情報処理システム。
【請求項36】
請求項35に記載の情報処理システムであって、
前記第1画像診断及び前記第2画像診断において、眼底画像を使用した糖尿病網膜症の診断が行われる、情報処理システム。
【請求項37】
請求項35に記載の情報処理システムであって、
前記第1画像診断において、眼底の病変の状態を示す第1分類により診断結果が示され、
前記第2画像診断において、前記第1分類と分類数が異なる第2分類により診断結果が示され、
前記画像診断装置は、
前記第1画像診断における前記第1分類による第1診断結果を、前記第1情報処理装置に送信し、
前記第2画像診断における前記第2分類による第2診断結果を、前記第1情報処理装置に送信し、
前記第1情報処理装置は、前記画像取得装置に、前記第1診断結果及び前記第2診断結果を送信し、
前記画像取得装置は、前記第1診断結果及び前記第2診断結果を統合した診断結果を表示する、情報処理システム。
【請求項38】
請求項21に記載の情報処理システムであって、
前記付加情報は、
前記第1人工知能及び前記第2人工知能の双方を特定し、
画像診断を特定する情報を含み、
前記第1情報処理装置は、前記画像診断装置に、前記被検眼画像データと前記付加情報を送信し、
前記画像診断装置は、前記付加情報が示す画像診断が実行可能である場合、受信した前記被検眼画像データに対して前記付加情報が示す画像診断を行う、情報処理システム。
【請求項39】
請求項21に記載の情報処理システムであって、
前記付加情報は、前記画像取得装置の設置場所に基づいて決定されている、情報処理システム。
【請求項40】
請求項21に記載の情報処理システムであって、
前記付加情報は、画像診断を含む診断コースの料金に基づいて決定されている、情報処理システム。
【請求項41】
情報処理装置であって、
プロセッサと記憶装置とを備え、
前記記憶装置は、
患者の被検眼画像データと、
前記被検眼画像データの付加情報と、
付加情報と前記被検眼画像データを画像診断する画像診断装置との対応情報と、を保持し、
前記プロセッサは、
前記対応情報と前記被検眼画像データの付加情報とに基づいて、第1画像診断を前記被検眼画像データに対して行う第1画像診断装置、及び前記第1画像診断とは異なる第2画像診断を前記被検眼画像データに対して行う第2画像診断装置の少なくとも一方を特定し、
前記被検眼画像データを含む送信データを、特定された画像診断装置に送信する、情報処理装置。
【請求項42】
情報処理装置であって、
プロセッサと記憶装置とを備え、
前記記憶装置は、
患者の被検眼画像データと、
前記被検眼画像データの付加情報と、
付加情報と前記被検眼画像データを画像診断する人工知能との対応情報と、を保持し、
前記プロセッサは、
前記対応情報と前記被検眼画像データの付加情報とに基づいて、前記被検眼画像データの第1画像診断を行うための第1人工知能と前記被検眼画像データの前記第1画像診断と異なる第2画像診断を行う第2人工知能の少なくとも一方を特定し、
前記被検眼画像データと人工知能を特定する特定情報を含む第2送信データを、前記特定した人工知能を含む画像診断装置に送信する、情報処理装置。
【請求項43】
情報処理装置によって実行される情報処理方法であって、
前記情報処理装置は、プロセッサと記憶装置とを備え、
前記記憶装置は、
患者の被検眼画像データと、
前記被検眼画像データの付加情報と、
付加情報と前記被検眼画像データを画像診断する画像診断装置との対応情報と、を保持し、
前記情報処理方法は、
前記プロセッサが、前記対応情報と前記被検眼画像データの付加情報とに基づいて、第1画像診断を前記被検眼画像データに対して行う第1画像診断装置、及び前記第1画像診断とは異なる第2画像診断を前記被検眼画像データに対して行う第2画像診断装置の少なくとも一方を特定し、
前記プロセッサが、前記被検眼画像データを含む送信データを、特定された画像診断装置に送信する、情報処理方法。
【請求項44】
情報処理装置によって実行される情報処理方法であって、
前記情報処理装置は、プロセッサと記憶装置とを備え、
前記記憶装置は、
患者の被検眼画像データと、
前記被検眼画像データの付加情報と、
付加情報と前記被検眼画像データを画像診断する人工知能との対応情報と、を保持し、
前記情報処理方法は、
前記プロセッサが、前記対応情報と前記被検眼画像データの付加情報とに基づいて、前記被検眼画像データの第1画像診断を行うための第1人工知能と前記被検眼画像データの前記第1画像診断と異なる第2画像診断を行う第2人工知能の少なくとも一方を特定し、
前記プロセッサが、前記被検眼画像データと人工知能を特定する特定情報を含む第2送信データを、前記特定した人工知能を含む画像診断装置に送信する、情報処理方法。
【請求項45】
情報処理装置に情報処理を実行させるためのプログラムであって、
前記情報処理装置は、プロセッサと記憶装置とを備え、
前記記憶装置は、
患者の被検眼画像データと、
前記被検眼画像データの付加情報と、
付加情報と前記被検眼画像データを画像診断する画像診断装置との対応情報と、を保持し、
前記プログラムは、
前記対応情報と前記被検眼画像データの付加情報とに基づいて、第1画像診断を前記被検眼画像データに対して行う第1画像診断装置、及び前記第1画像診断とは異なる第2画像診断を前記被検眼画像データに対して行う第2画像診断装置の少なくとも一方を特定する処理と、
前記被検眼画像データを含む送信データを、特定された画像診断装置に送信する処理と、を前記プロセッサに実行させる、プログラム。
【請求項46】
情報処理装置に情報処理を実行させるためのプログラムであって、
前記情報処理装置は、プロセッサと記憶装置とを備え、
前記記憶装置は、
患者の被検眼画像データと、
前記被検眼画像データの付加情報と、
付加情報と前記被検眼画像データを画像診断する人工知能との対応情報と、を保持し、
前記プログラムは、
前記対応情報と前記被検眼画像データの付加情報とに基づいて、前記被検眼画像データの第1画像診断を行うための第1人工知能と前記被検眼画像データの前記第1画像診断と異なる第2画像診断を行う第2人工知能の少なくとも一方を特定する処理と、
前記被検眼画像データと人工知能を特定する特定情報を含む第2送信データを、前記特定した人工知能を含む画像診断装置に送信する処理と、を前記プロセッサに実行させるプログラム。
【発明の詳細な説明】
【参照による取り込み】
【0001】
本出願は、2019年7月31日に出願された米国特許仮出願第62/880,980号の優先権を主張し、その内容を参照することにより、本出願に取り込む。
【技術分野】
【0002】
本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0003】
眼科画像解析を実施することができる眼科情報処理サーバが知られている(特許文献1参照)。しかしながら、画像を撮影した機器や画像解析の依頼元等に応じて適切な眼科情報処理サーバを選択することは従来考慮されていない。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【0005】
本願において開示される発明の一側面となる情報処理システムは、患者の被検眼画像ータを取得する画像取得装置と、前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、を有し、前記画像取得装置は、前記被検眼画像データと、前記被検眼画像データを画像診断する画像診断装置の特定に用いられる付加情報と、を含む第1送信データを、前記第1情報処理装置に送信する第1送信処理を実行し、前記第1情報処理装置は、前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、前記付加情報に基づいて、第1画像診断を前記被検眼画像データに対して行う第1画像診断装置、及び前記第1画像診断とは異なる第2画像診断を前記被検眼画像データに対して行う第2画像診断装置の少なくとも一方を特定する特定処理と、前記被検眼画像データを含む第2送信データを、特定された画像診断装置に送信する第2送信処理と、を実行する。
【0006】
本願において開示される発明の一側面となる情報処理システムは、患者の被検眼画像データを取得する画像取得装置と、前記画像取得装置と通信可能であり前記被検眼画像データを記憶する第1情報処理装置と、を有し、前記画像取得装置は、前記被検眼画像データと、前記被検眼画像データを画像診断する人工知能の特定に用いられる付加情報と、を含む第1送信データを、前記第1情報処理装置に送信する第1送信処理を実行し、前記第1情報処理装置は、前記画像取得装置から前記第1送信データを受信すると、前記被検眼画像データを記憶する記憶処理と、前記付加情報に基づいて、前記被検眼画像データの第1画像診断を行うための第1人工知能と前記被検眼画像データの前記第1画像診断と異なる第2画像診断を行う第2人工知能の少なくとも一方を特定する特定処理と、前記被検眼画像データと人工知能を特定する特定情報を含む第2送信データを、前記特定した人工知能を含む画像診断装置に送信する第2送信処理と、を実行する。
【0007】
本願において開示される発明の一側面となる情報処理装置は、プロセッサと記憶装置とを備え、前記記憶装置は、患者の被検眼画像データと、前記被検眼画像データの付加情報と、付加情報と前記被検眼画像データを画像診断する画像診断装置との対応情報と、を保持し、前記プロセッサは、前記対応情報と前記被検眼画像データの付加情報とに基づいて、第1画像診断を前記被検眼画像データに対して行う第1画像診断装置、及び前記第1画像診断とは異なる第2画像診断を前記被検眼画像データに対して行う第2画像診断装置の少なくとも一方を特定し、前記被検眼画像データを含む送信データを、特定された画像診断装置に送信する。
【0008】
本願において開示される発明の一側面となる情報処理装置は、プロセッサと記憶装置とを備え、前記記憶装置は、患者の被検眼画像データと、前記被検眼画像データの付加情報と、付加情報と前記被検眼画像データを画像診断する人工知能との対応情報と、を保持し、前記プロセッサは、前記対応情報と前記被検眼画像データの付加情報とに基づいて、前記被検眼画像データの第1画像診断を行うための第1人工知能と前記被検眼画像データの前記第1画像診断と異なる第2画像診断を行う第2人工知能の少なくとも一方を特定し、前記被検眼画像データと人工知能を特定する特定情報を含む第2送信データを、前記特定した人工知能を含む画像診断装置に送信する。
【0009】
本願において開示される発明の一側面となる情報処理方法は、情報処理装置によって実行され、前記情報処理装置は、プロセッサと記憶装置とを備え、前記記憶装置は、患者の被検眼画像データと、前記被検眼画像データの付加情報と、付加情報と前記被検眼画像データを画像診断する画像診断装置との対応情報と、を保持し、前記情報処理方法は、前記プロセッサが、前記対応情報と前記被検眼画像データの付加情報とに基づいて、第1画像診断を前記被検眼画像データに対して行う第1画像診断装置、及び前記第1画像診断とは異なる第2画像診断を前記被検眼画像データに対して行う第2画像診断装置の少なくとも一方を特定し、前記プロセッサが、前記被検眼画像データを含む送信データを、特定された画像診断装置に送信する。
【0010】
本願において開示される発明の一側面となる情報処理方法は、情報処理装置によって実行され、前記情報処理装置は、プロセッサと記憶装置とを備え、前記記憶装置は、患者の被検眼画像データと、前記被検眼画像データの付加情報と、付加情報と前記被検眼画像データを画像診断する人工知能との対応情報と、を保持し、前記情報処理方法は、前記プロセッサが、前記対応情報と前記被検眼画像データの付加情報とに基づいて、前記被検眼画像データの第1画像診断を行うための第1人工知能と前記被検眼画像データの前記第1画像診断と異なる第2画像診断を行う第2人工知能の少なくとも一方を特定し、前記プロセッサが、前記被検眼画像データと人工知能を特定する特定情報を含む第2送信データを、前記特定した人工知能を含む画像診断装置に送信する。
【0011】
本願において開示される発明の一側面となるプログラムは、情報処理装置に情報処理を実行させるためのプログラムであって、前記情報処理装置は、プロセッサと記憶装置とを備え、前記記憶装置は、患者の被検眼画像データと、前記被検眼画像データの付加情報と、付加情報と前記被検眼画像データを画像診断する画像診断装置との対応情報と、を保持し、前記プログラムは、前記対応情報と前記被検眼画像データの付加情報とに基づいて、第1画像診断を前記被検眼画像データに対して行う第1画像診断装置、及び前記第1画像診断とは異なる第2画像診断を前記被検眼画像データに対して行う第2画像診断装置の少なくとも一方を特定する処理と、前記被検眼画像データを含む送信データを、特定された画像診断装置に送信する処理と、を前記プロセッサに実行させる。
【0012】
本願において開示される発明の一側面となるプログラムは、情報処理装置に情報処理を実行させるためのプログラムであって、前記情報処理装置は、プロセッサと記憶装置とを備え、前記記憶装置は、患者の被検眼画像データと、前記被検眼画像データの付加情報と、付加情報と前記被検眼画像データを画像診断する人工知能との対応情報と、を保持し、前記プログラムは、前記対応情報と前記被検眼画像データの付加情報とに基づいて、前記被検眼画像データの第1画像診断を行うための第1人工知能と前記被検眼画像データの前記第1画像診断と異なる第2画像診断を行う第2人工知能の少なくとも一方を特定する処理と、前記被検眼画像データと人工知能を特定する特定情報を含む第2送信データを、前記特定した人工知能を含む画像診断装置に送信する処理と、を前記プロセッサに実行させる。
【図面の簡単な説明】
【0013】
【
図1】実施例1における画像診断システムの構成例を示す説明図である。
【
図2】実施例1における計算機のハードウェア構成例を示すブロック図である。
【
図3】実施例1における管理サーバの機能構成例を示すブロック図である。
【
図4】実施例1における診断サーバの機能構成例を示すブロック図である。
【
図5】実施例1における院内サーバの機能構成例を示すブロック図である。
【
図6】実施例1における端末の機能構成例を示すブロック図である。
【
図7】実施例1における画像診断システムの画像診断処理を示すシーケンス図である。
【
図8】実施例1における診断サーバ決定処理の一例を示すフローチャートである。
【
図9】実施例1における診断サーバ決定処理の一例を示すフローチャートである。
【
図10】実施例1におけるAI選択情報の一例である。
【
図11】実施例1における匿名化診断対象データのデータ構造の一例である。
【
図12】実施例1における診断結果を表示する表示画面の一例である。
【
図13】実施例1における診断結果を表示する表示画面の一例である。
【
図14】実施例1における診断結果を表示する表示画面の一例である。
【
図15】実施例1における、複数の診断サーバによって画像診断がされた場合の診断結果を表示する表示画面の一例である。
【
図16】実施例2における画像診断システムの構成例を示す説明図である。
【
図17】実施例2における画像診断システムの画像診断処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
【実施例1】
【0015】
図1は、実施例1の画像診断システムの構成例を示す説明図である。画像診断システムは、管理サーバ100と、診断サーバ201と、診断サーバ202と、診断サーバ203と、を含む。また、画像診断システムは、例えば、病院、クリニック、又は健康診断施設等に設置された院内サーバ300、端末400、及び撮影機器500を含む。院内サーバ300、端末400、及び撮影機器500はそれぞれネットワークを介して接続されている。
【0016】
撮影機器500は、眼底を撮影する眼科装置であり、眼底カメラ(Fundus Camera)、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)、又は光干渉断層計(Optical Coherence Tomography)等があげられる。撮影機器500は、端末400に接続されている。撮影機器500は、患者の被検眼を撮影し、被検眼の右眼と左眼の眼底画像データを生成する。生成された眼底画像データは端末400に送信する。
【0017】
また、眼底画像データは、眼底カメラにより撮影された眼底画像データ、走査型レーザ検眼鏡による撮影された眼底の眼底画像データ、あるいは、光干渉断層計による撮影された眼底の断層データのいずれか1つであってよい。またはそれらの2以上の組み合わせである眼底画像データセットであってもよい。眼底画像データは、被検眼画像データの一例である。
【0018】
画像取得装置の一例である端末400は、医師や眼科機器のオペレータ等が利用するPC(Personal Computer)やタブレット等の計算機である。端末400は、院内サーバ300に接続されている。端末400は、眼底画像データと付加情報とを含む第1送信データの一例であるデータを院内サーバ300に送信する。
【0019】
なお、付加情報は、撮影機器500の性能やスペックに関する機器情報と、当該端末400を利用する病院やクリニックの診療科(眼科、内科や糖尿病内科など)や診断コースの料金や医者の名称等を含む施設情報、及び診断モードや診断対象の病名等を含む診断種別情報にいずれか一つあるいはそれらの組合せを含む。撮影機器500の撮影画像(被検眼画像)の画角、モダリティ、及び解像度、並びに撮影機器500の型番や端末ID等を含む画像の属性情報は、当該機器情報の一例である。モダリティとは、撮影機器500の種類(例えば眼底カメラ、走査型レーザ検眼鏡、光干渉断層計等)又は撮影機器500が撮影する医用画像としての画像種類(例えば、赤色レーザや近赤外レーザにより撮影された眼底画像や血管造影画像等)を示す情報である。また、端末400を利用する医者及び病院の名称、端末が設置されている場所(眼科、内科や糖尿病内科等の診療科の情報や、眼鏡店や健康診断施設などの施設に関する情報)等は、当該施設情報の一例である。
【0020】
画像取得装置の一例である院内サーバ300は、患者情報を保持する患者情報DB(DataBase)310を有し、端末400から受信した患者情報を患者情報DB310に格納する。院内サーバ300は、管理サーバ100とネットワークを介して接続されている。院内サーバ300は、端末400から受信した患者情報、眼底画像データ及び付加情報を診断対象データに含め、第1送信データの一例である診断対象データを管理サーバ100に送信する。なお、診断対象データ内の患者情報の一部又は全部、及び付加情報の一部又は全部が、院内サーバ300によって生成されてもよい。
【0021】
第1情報処理装置の一例である管理サーバ100は、院内サーバ300から受信した診断対象データの一部の情報(例えば患者情報)が匿名化された診断対象データであり、第2送信データの一例である匿名化診断対象データを生成する。管理サーバ100は、診断サーバ201、診断サーバ202、及び診断サーバ203とネットワークを介して接続されている。管理サーバ100は、付加情報に基づいて、匿名化診断対象データに含まれる眼底画像データの画像診断を行う診断サーバを、診断サーバ201、診断サーバ202あるいは診断サーバ203のいずれかを選択し、選択した診断サーバに当該匿名化診断対象データを送信する。
【0022】
いずれも画像診断装置の一例である診断サーバ201~203は、それぞれ眼底画像データに対する画像診断を行うAI(Artificial Intelligence)を搭載する。診断サーバ201~203に搭載されるAI1、AI2、AI3はそれぞれ機能(アルゴリズム)が異なっている(これについては後述する)。匿名化診断対象データを受信した診断サーバは、匿名化診断対象データに含まれる眼底画像データに対して、搭載されているAIを用いて画像診断を行う。診断結果は暗号化され、管理サーバ100を介して、院内サーバ300及び端末400に送信される。
【0023】
以下、診断サーバ201~203それぞれの一例について説明する。ここで、各AIが対象とする眼底画像や診断する病名は一例であり、さまざまな眼底画像や診断する病名の組み合わせが可能である。
【0024】
画像診断装置の一例である診断サーバ201は、第1画角の一例である狭画角(眼球中心を起点として画角30~100度未満)の撮影機器500で撮影された眼底画像を対象とし、糖尿病網膜症の診断を行うAI221が搭載された診断サーバである。付加情報の中の機器情報が狭画角を示す情報である場合は、管理サーバ100は匿名化診断対象データを診断サーバ201に送信する。
【0025】
診断サーバ202は、いずれも第2画角の一例である広画角(眼球中心を起点として画角100度以上~200度未満)、あるいは、超広角(眼球中心を起点として画角200度以上)の撮影機器500で撮影された眼底画像を対象とし、糖尿病網膜症の診断を行うAI222が搭載された診断サーバである。付加情報の中の機器情報が広画角を示し、かつ、診断モードが糖尿病網膜症を示す情報である場合は、管理サーバ100は匿名化診断対象データを診断サーバ202に送信する。
【0026】
そして、診断サーバ203は、超広角(眼球中心を起点として画角200度以上)の撮影機器500で撮影された眼底画像を対象とし、糖尿病網膜症だけでなく様々な眼底疾患を診断可能なAI223が搭載された診断サーバである。付加情報の機器情報が超広角を示し、かつ、施設情報が眼科医を示す場合は、管理サーバ100は匿名化診断対象データを診断サーバ203に送信する。
【0027】
図2は、管理サーバ100、診断サーバ、院内サーバ300、及び端末400それぞれを構成する計算機のハードウェア構成例を示すブロック図である。計算機600は、例えば、プロセッサ(CPU)601、記憶デバイス602、入力デバイス603、出力デバイス604、及び通信I/F(InterFace)605を有し、これらが互いに内部信号線606によって接続されている。
【0028】
プロセッサ601は、記憶デバイス602に格納されたプログラムを実行する。記憶デバイス602はメモリを含む。メモリは不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、不変のプログラム(例えば、BIOS)などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ601が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0029】
また、記憶デバイス602は、補助記憶装置を含む。補助記憶装置は、例えば、磁気記憶装置(HDD)、フラッシュメモリ(SSD)等の大容量かつ不揮発性の記憶装置であり、プロセッサ601が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置から読み出されて、メモリにロードされて、プロセッサ601によって実行される。
【0030】
入力デバイス603は、例えばキーボードやマウスのような、オペレータからの入力を受けるインターフェースである。出力デバイス604は、例えばディスプレイやプリンタのような、プログラムの実行結果をオペレータが視認可能な形式で出力するデバイスである。なお、タッチパネル装置のように入力デバイス603と出力デバイス604とが一体化していてもよい。通信I/F605は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
【0031】
プロセッサ601が実行するプログラムは、リムーバブルメディア(CD-ROM、フラッシュメモリなど)又はネットワークを介して計算機600に提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、計算機600は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
【0032】
なお、管理サーバ100、診断サーバ、院内サーバ300、及び端末400は、それぞれ、物理的に一つの計算機600上で、又は、論理的又は物理的に構成された複数の計算機600上で構成される計算機システムであり、同一の計算機600上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
【0033】
図3は、管理サーバ100の機能構成例を示すブロック図である。管理サーバ100は、匿名化処理部101、AI選択部102、表示画面生成部103、及び診断結果データ生成部104を含む。匿名化処理部101は、院内サーバ300から送信された診断対象データに含まれる患者情報を匿名化する。AI選択部102は、診断対象データに含まれる付加情報に基づいて、診断対象データに含まれる眼底画像データに対する画像診断を行うAIを選択する。
【0034】
表示画面生成部103は、出力デバイス604に表示する画面情報を生成する。診断結果データ生成部104は、診断サーバから受信した、暗号化された診断結果を復号し、診断結果を示す表示画面(
図12、
図13、
図14)を生成し、この表示画面の情報を院内サーバ300に送信する。
【0035】
なお、管理サーバ100に含まれる機能部は、管理サーバ100を実現する計算機600のプロセッサ601によって実現される。具体的には、プロセッサ601は、記憶デバイス602に含まれるメモリにロードされた匿名化処理プログラムに従って動作することで、匿名化処理部101として機能し、記憶デバイス602に含まれるメモリにロードされたAI選択プログラムに従って動作することで、AI選択部102として機能する。管理サーバ100に含まれる他の機能部及び他の装置に含まれる機能部についても同様に、メモリにロードされたプログラムに従ってプロセッサ601が動作することによって実現される。
【0036】
管理サーバ100は、AI選択情報110を保持する。AI選択情報110は、付加情報と診断サーバ201、診断サーバ202、及び診断サーバ203との対応情報を保持する。また、後述するようにAI221、AI222、及びAI223はそれぞれ異なる画像診断モデルを含むため、AI選択情報110は、付加情報と画像診断モデルとの対応情報を含んでいるともいえる。AI選択情報110において、1種類以上の付加情報の値による条件分岐が記述されていることで、付加情報に対応するAIが定められている。また、AI選択情報110において、1種類以上の付加情報の値(又は値の範囲)とAI220との対応がテーブル形式で記述されていてもよい。
【0037】
AI選択情報110は、管理サーバ100を実現する計算機600の記憶デバイス602に含まれる補助記憶装置に格納されている。なお、他の装置が保持する情報やDBについても同様に、当該他の装置を実現する計算機600の記憶デバイス602に含まれる補助記憶装置に格納されている。
【0038】
なお、本実施形態において、画像診断システムに含まれる各装置が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。例えば、テーブル、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。各種情報は、不揮発性のメモリなどに記憶保持される。
【0039】
図4は、診断サーバ201の機能構成例を示すブロック図である。診断サーバ201、診断サーバ202、及び診断サーバ203の機能構成は、AI機能が異なるのみであり、他の構成(表示画面生成部、管理部などは同様の機能となっている)。よって、診断サーバ201の機能構成を説明する。
【0040】
診断サーバ201は、例えば、画像診断部2011、学習情報管理部2021、診断画像生成部2031、及び管理部2041を含む。また、診断サーバ201は、学習DB2101及び画像診断モデル2111を保持する。学習DB2101は、画像診断モデル2111を構築するためのDBである。画像診断モデル2111は、画像データが入力されると、診断結果を出力するモデルであり、狭画角(眼球中心を起点として画角30~100度未満)の撮影機器500で撮影された眼底画像を対象とし、糖尿病網膜症の症状のグレードを診断結果として出力するモデルである。本実施形態では糖尿病網膜症の症状のグレードは、5段階の国際重症度分類とする。
【0041】
画像診断部2011、学習情報管理部2021、学習DB2101、及び画像診断モデル2111によってAI221が実現される。画像診断部2011は、管理サーバ100から受信した匿名化診断対象データに含まれる眼底画像データに対して、画像診断モデル2111を用いた画像診断を実行する。
【0042】
学習情報管理部2021は、匿名化診断対象データに含まれる被検眼画像データ及び画像診断結果をAIのための学習データとして学習DB210に格納して、学習DB210を更新する。学習情報管理部2021は、更新後の学習DB2101に基づいた学習により画像診断モデル2111を更新(例えば最適化)する。
【0043】
診断画像生成部2031は、診断した眼底画像上に、病変位置を示すマークや病名の文字などを重畳した診断済み眼底画像を生成する。管理部2041は、AI221を管理する。診断済み眼底画像は診断結果とともに管理サーバ100へ送信される。
【0044】
なお、診断サーバ201は、画像診断モデル2111の学習機能を有していなくてもよい。つまり、診断サーバ201は、画像診断モデル2111の更新をせず、予め定められた画像診断モデル2111を固定したまま画像診断を実行し続けてもよい。この場合、診断サーバ201は、学習情報管理部2021及び学習DB2101を有していなくてもよい。
【0045】
診断サーバ202及び診断サーバ203はいずれも、診断サーバ201とは異なる画像診断モデルを有する点を除いて、診断サーバ201と同様の構成を有する。
【0046】
診断サーバ202が保持する画像診断モデルは、画像データが入力されると、診断結果を出力するモデルであり、広画角(眼球中心を起点として画角100度以上~200度未満)、あるいは、超広角(眼球中心を起点として画角200度以上)の撮影機器500で撮影された眼底画像を対象とし、糖尿病網膜症の症状のグレードを診断結果として出力するモデルである。
【0047】
診断サーバ203が保持する画像診断モデルは、画像データが入力されると、診断結果を出力するモデルであり、超広角(眼球中心を起点として画角200度以上)の撮影機器500で撮影された眼底画像を対象とし、糖尿病網膜症だけでなく様々な眼底疾患の診断結果を出力するモデルである。
【0048】
なお、診断サーバ202及び診断サーバ203の画像診断部、学習情報管理部、及び学習DBは、自身が保持する画像診断モデルに適合するものである。
【0049】
図5は、院内サーバ300の機能構成例を示すブロック図である。院内サーバ300は、例えば、匿名化処理部301、患者情報管理部302、及び表示画面生成部303を含む。また、院内サーバ300は、患者情報DB310を保持する。
【0050】
匿名化処理部301は、診断対象データに含まれる患者情報を匿名化する。患者情報管理部302は、診断対象データに含まれる患者情報を患者情報DB310に格納したり、患者情報DB310から患者情報を取得して診断対象データに付加したりする。表示画面生成部303は、出力デバイス604に表示する画面情報を生成する。患者情報DB310は、患者の情報を保持する。
【0051】
図6は、端末400の機能構成例を示すブロック図である。端末400は、診断対象データ生成部401、付加情報取得部402、及び表示画面生成部403を含む。診断対象データ生成部401は、患者情報と付加情報と被検眼画像データとを含む診断対象データを生成する。付加情報取得部402は、AIを選択(あるいは診断に適切なAIを有する診断サーバ)するための付加情報を取得する。表示画面生成部403は、出力デバイス604に表示する画面情報を生成する。
【0052】
図7は、実施例1の画像診断システムの画像診断処理を示すシーケンス図である。
図7の例では、撮影機器500の機器情報等に基づいて、眼底画像の画像診断を行う診断サーバが選択される。
【0053】
まず、端末400の診断対象データ生成部401は、入力デバイス603を介して、患者情報の入力を受け付ける(S701)。患者を識別するID、並びに患者の年齢、性別、住所、病歴、薬歴、及び問診結果等は、いずれも患者情報の一例である。なお、既に患者情報DB310に情報が登録されている患者については、患者を識別するIDの入力を受け付ければ、他の患者情報の入力を省略することができる。
【0054】
診断対象データ生成部401は、撮影機器500から送信された当該患者の両眼の眼底画像データを取得する(S702)。なお、本実施形態では、両眼の眼底画像データを取得してもよいし、左眼又は右眼の片眼のみの眼底画像データを取得してもよい。診断対象データ生成部401は、眼底画像データが、両眼のデータであるか、右眼のみのデータであるか、左眼のみのデータであるかを示す左右眼フラグを生成する。診断対象データ生成部401は、撮影機器500以外のデバイスから眼底画像データを取得してもよい。
【0055】
続いて、付加情報取得部402は、付加情報を取得する(S703)。具体的には、例えば、付加情報取得部402は、付加情報として、撮影機器500から機器情報を取得したり、端末400を利用する病院や医者の診療科等の入力を受け付けたりする。
【0056】
なお、これらの付加情報は、端末400の記憶デバイス602に予め格納されていてもよい。また、例えば、撮影機器500が当該眼底画像データに機器情報をメタデータとして埋め込み、付加情報取得部402が、当該眼底画像データから当該機器情報を取得してもよい。
【0057】
続いて、診断対象データ生成部401は、患者情報、眼底画像データ、左右眼フラグ、及び付加情報を含む診断対象データを、院内サーバ300を介して、管理サーバ100に送信する(S704)。なお、院内サーバ300の患者情報管理部302は、端末400から受信した患者情報を患者情報DB310に格納する。
【0058】
なお、端末400から受信した患者情報に不足がある場合には、患者情報管理部302は、患者情報DB310を参照して患者情報を取得して補足してもよい。具体的には、例えば、端末400から受信した患者情報が患者を識別するIDのみであった場合には、患者情報管理部302は、患者情報DB310から、当該IDに対応する患者情報を取得し、取得した患者情報を含めた診断対象データを管理サーバ100に送信する。
【0059】
続いて、管理サーバ100の匿名化処理部101は、受信した診断対象データに含まれる患者情報に対して、所定のアルゴリズムによる匿名化処理を施す(S705)。匿名化処理としては患者IDを匿名化(眼底画像データに固有なIDに差し替える)したり、氏名や病名などの患者の個人情報を削除したりする処理である。なお、匿名化処理部101は、一部の患者情報のみ(例えばプライバシーに関するセンシティブ情報のみ)を匿名化してもよい。また、患者情報に対する匿名化処理は、管理サーバ100に診断対象データが送信される前に、例えば院内サーバ300の匿名化処理部301によって、予め実行されていてもよい。
【0060】
管理サーバ100のAI選択部102は、AI選択情報110と受信した診断対象データに含まれる付加情報とに基づいて、診断サーバ201、診断サーバ202、及び診断サーバ203の中から少なくとも1つ選択し、匿名化された患者情報と、眼底画像データと、左右眼フラグと、付加情報と、を含む匿名化診断対象データ(後述の
図11を参照)を、選択された診断サーバ(ここでは、診断サーバ201が選択されたとする)に送信する(S706)。ステップS706の詳細は後述する。
【0061】
なお、AI選択部102は、暗号化鍵を用いて匿名化診断対象データを暗号化した上で、選択した診断サーバ201に送信してもよく、この場合、診断サーバ201が当該暗号化鍵に対応する復号化鍵を有し、後述するステップS707においてまず当該復号化鍵で匿名化診断対象データを復号化する。
【0062】
続いて、匿名化診断対象データを受信した診断サーバ201の画像診断部2011は、受信した匿名化診断対象データに含まれる眼底画像データに対する画像診断を、狭角眼底画像を対象にした糖尿病網膜症の診断を行う画像診断モデル2111を用いて、実行する(S707)。
【0063】
診断サーバ201の学習情報管理部2021は、眼底画像データを学習DB2101に学習データとして格納することで学習DB2101を更新し、更新した学習DB2101に基づいて画像診断モデル2111を更新する(S708)。なお、学習情報管理部2021は、匿名化患者情報と付加情報も併せて学習DB2101に学習データとして格納してもよい。
【0064】
続いて、管理部2041は、匿名化した患者情報と画像診断結果とをすく悪とも含む画像診断結果データを生成する。診断サーバ201が保持する暗号化鍵を用いて、画像診断結果を暗号化して、暗号化画像診断結果を生成し、管理サーバ100に送信する(S709)。画像診断結果データには、診断した眼底画像上に、病変位置を示すマークや病名の文字などを重畳した診断済み眼底画像が含まれるようにしてもよい。
【0065】
続いて、管理サーバ100の診断結果データ生成部104は、受信した暗号化画像診断結果を、管理サーバ100が保持する復号化鍵を用いて復号する(S710)。また、診断結果データ生成部104は、匿名化されていた患者情報を復元する。そして、復号化した画像診断結果を、匿名化前の当該患者の患者情報と紐づける。
【0066】
つぎに、診断結果データ生成部104は、診断結果である糖尿病網膜症のグレードを含む診断結果を示す表示画面(
図12)を生成し、患者IDを付与し図示されていないメモリに保存する。
【0067】
管理サーバ100が、診断サーバ202から暗号化画像診断結果を受信した場合、診断結果データ生成部104は診断結果を示す表示画面(
図13)を生成する。管理サーバ100が、診断サーバ203から暗号化画像診断結果を受信した場合、診断結果データ生成部104は診断結果を示す表示画面(
図14)を生成する。
【0068】
続いて、診断結果データ生成部104は、診断結果を示す表示画面と患者情報と紐づけて、院内サーバ300に送信する(S711)。院内サーバ300の表示画面生成部303は、受信した診断結果を示す表示画面と患者情報とに基づく表示画面を、院内サーバ300の出力デバイス604に表示する(S712)。なお、端末400が院内サーバ300から当該画像診断結果と当該患者情報とを取得し、端末400の表示画面生成部403が、当該診断結果を示す表示画面と当該患者情報とに基づく表示画面を、端末400の出力デバイス604に表示してもよい。
【0069】
なお、管理サーバ100の表示画面生成部103が、画像診断結果と患者情報とに基づいて表示画面の情報を生成して院内サーバ300に送信し、院内サーバ300及び端末400は当該生成された情報に従って表示画面を表示してもよい。
【0070】
図8は、ステップS706の診断サーバ決定処理の一例を示すフローチャートである。
図8の例では、付加情報に含まれる画角情報に基づいて、匿名化診断対象データを送信する診断サーバが決定される。まず、管理サーバ100のAI選択部102は、診断対象データから画角情報を含む付加情報を取得する(S801)。
【0071】
AI選択部102は、画角情報が示す画角が広画角であるか否かを判定する(S802)。具体的には、画角情報が具体的な角度を示す場合には、角度が所定値(例えば100度)以上であれば広画角であると判定し、当該所定値未満であれば広画角でない(狭画角である)と判定する。
【0072】
また、例えば、管理サーバ100が、各撮影機器500の機器情報を保持してもよい。具体的には、当該機器情報は各撮影機器500の型番や端末IDと、画角や解像度等とを対応づけて定義するルックアップテーブルである。この場合、AI選択部102は、付加情報から撮影機器500の型番又は端末IDを取得して、当該機器情報を参照して、当該型番又は端末IDが示す撮影機器500の画角が広画角であるか否かを判定してもよい。
【0073】
AI選択部102は、画角情報が示す画角が広画角であると判定した場合(S802:Yes)、診断サーバ202に匿名化診断対象データを送信し(S803)、広画角でないと判定した場合(S802:No)、診断サーバ201に匿名化診断対象データを送信する(S804)、ステップS705の処理を終了する。
【0074】
図8において、診断サーバ202に搭載されたAIは広画角で撮影された眼底画像に対する画像診断を高精度に行うことができ、診断サーバ201に搭載されたAIは、狭画角で撮影された被検眼画像に対する画像診断を高精度に行うことができるものとする。これによりAI選択部102は、被検眼画像の撮影画角に応じて適切な診断サーバを選択することができる。
【0075】
なお、
図8では、AI選択部102は、画角情報が示す画角が広画角であるか否かを判定し、2つの診断サーバ201と診断サーバ202とから送信先の診断サーバを選択した。また、AI選択部102は、画角情報が示す画角が3つ以上の画角の区分のどの区分に該当するかを判定し、AI選択情報110を参照して、当該区分に対応する診断サーバを選択してもよい。
【0076】
また、
図8では、画角に従って診断サーバが選択されているが、付加情報に含まれている他の要素を用いて診断サーバが選択されてもよい。例えば、付加情報に含まれている施設情報(端末400を利用する医者及び病院の名称、端末400が設置されている場所(眼科、内科や糖尿病内科等の診療科情報や、眼鏡店や健康診断施設などの施設に関する情報)、端末400が設置された病院やクリニックにおける診断コースの料金等)を用いて、AI選択部102が診断サーバを判断するようにしてもよい。
【0077】
このとき、AI選択部102は、例えば、診療科情報が眼科であれば診断サーバ203を、診療科情報が内科であれば診断サーバ201を、選択する。また、AI選択部102は、例えば、診断コースの料金が所定値以上であれば診断サーバ202又は診断サーバ203を、診断コースの料金が当該所定値未満であれば診断サーバ201を、選択する。
【0078】
また、特定の疾患(例えば糖尿病網膜症)の発症を高精度に診断するAIを搭載する診断サーバ201、及び複数種類の病気の発症を総合的に診断する診断サーバ203が存在するとする。付加情報が診断対象の病気を示す情報を含むものとする。このとき、AI選択部102は、例えば、付加情報が示す診断対象の病気が当該特定の疾患であれば診断サーバ201を、付加情報が示す診断対象の病気が特定の病名ではなく総合診断であれば診断サーバ203を、選択する。
【0079】
また、例えば、眼底カメラによって撮影された被検眼画像に対する画像診断を高精度に行うAIを搭載する診断サーバ201、走査型レーザ検眼鏡によって撮影された被検眼画像に対する画像診断を高精度に行うAIを搭載する診断サーバ202とする。付加情報がモダリティを示す情報を含むものとする。このとき、AI選択部102は、例えば、付加情報が示すモダリティが眼底カメラであれば診断サーバ201を選択し、付加情報が示すモダリティが走査型レーザ検眼鏡であれば診断サーバ202を選択する。
【0080】
このように、AI選択部102は付加情報に基づいて複数の診断サーバから最適なAIを搭載する診断サーバを選択することができる。これにより、ユーザが診断サーバの選択で迷うこと及び/又は悩むことが無くなり、眼底画像データを適切な診断サーバに送信することができる。
【0081】
図9は、ステップS706の診断サーバ決定処理の別例を示すフローチャートである。
図9では、付加情報に含まれる複数種類の情報(画角情報及び診療科情報)に基づいて、匿名化診断対象データを送信する診断サーバが決定される。つまり、画角情報と診療科情報とが付加情報に含まれているものとする。
図8との相違点を説明する。
【0082】
AI選択部102は、画角情報が示す画角が広画角であると判定した場合(S802:Yes)、診療科情報が示す診療科が眼科であるか内科であるかを判定する(S901)。AI選択部102は、診療科情報が示す診療科が眼科であると判定した場合(S901:眼科)、診断サーバ203に匿名化診断対象データを送信し(S803)、内科であると判定した場合(S901:内科)、診断サーバ202に匿名化診断対象データを送信し(S902)、ステップS705の処理を終了する。
【0083】
図9において、診断サーバ202に搭載されたAIは広画角で撮影された眼底画像データに対して特定の疾患(例えば糖尿病網膜症)の症状レベル等の詳細な診断を高精度に行うことができるものとする。また、診断サーバ201に搭載されたAIは、狭画角で撮影された眼底画像データに対する画像診断を高精度に行うことができるものとする。また、診断サーバ203に搭載されたAIは、広画角で撮影された眼底画像データに対する複数種類の病気の発症を高精度に診断できるものとする。
【0084】
これによりAI選択部102は、被検眼画像の撮影画角と、端末400が設置された病院又は端末400を利用する医師の診療科に応じて、適切な診断サーバを選択することができる。つまり、付加情報に含まれる複数種類の情報(画角情報及び診療科情報)に基づいて適切な診断サーバに眼底画像データを送信することができる。
【0085】
なお、
図9では、狭画角で撮影された眼底画像データについては全て診断サーバ201に送信されているが、狭画角で撮影された被検眼画像データについても、さらなる付加情報による条件分岐を加えて、複数の異なる診断サーバから送信先の診断サーバを選択してもよい。
【0086】
また、
図9では2種類の付加情報を用いて複数の診断サーバから特定の診断サーバの1つが選択されたが、診断サーバに搭載されているAIそれぞれの特性に応じて、付加情報と診断サーバとの対応を任意に設計することができる。例えば、3種類以上の付加情報を用いてもよいし、複数種類の付加情報を用いた任意の条件分岐によって診断サーバを決定することができる。
【0087】
図10は、AI選択情報110の一例である。
図10の例では、付加情報と診断サーバとの対応がテーブル形式で記述されている。AI選択情報110は、例えば、レコード番号欄1101、付加情報欄1102、及び診断サーバID欄1103を含む。レコード番号欄1101は、AI選択情報110のレコードを識別する番号を保持する。付加情報欄1102は、1種類以上の付加情報の要素(画角情報、モダリティ情報、診療科情報や解像度情報など)を保持する。診断サーバID欄1103は、付加情報の組合せに対応する匿名化診断対象データの送信先である診断サーバを識別するIDを保持する。
【0088】
例えば、AI選択部102は、ステップS706において付加情報を取得し、
図10のテーブルにおいて当該取得した付加情報対応する診断サーバIDを有する診断サーバに、匿名化診断対象データを送信する。なお、
図8及び
図9のような条件分岐が
図10のようなテーブル形式によって記述されていてもよい。
【0089】
図11は、管理サーバ100から診断サーバに送信される匿名化診断対象データのデータ構造の一例である。匿名化診断対象データは、例えば、ヘッダ701、DICOM(Digital Imaging and Communications in Medicine)データ702、ユーザデータ703、及び眼底画像データ704を含む。
【0090】
ヘッダ701には、データの送信元及び送信先等の情報やデータの種別(医療画像、文書、電子メールなどのデータ種別)が記述されている。DICOMデータ702には、例えば、撮影機器500によって撮影された医療画像のフォーマットや、撮影機器500を含む医用機器間の通信プロトコルを定義する情報等が記述されている。
【0091】
ユーザデータ703は、例えば、診断種別フラグ、左右眼フラグ、匿名化患者情報、及び付加情報を含む。診断種別フラグは、AI選択部102によって選択された診断サーバで診断される病名(糖尿病網膜症、加齢性黄斑変性、及びすべての眼底疾患などを識別する値)を示すフラグである。右左眼フラグは、眼底画像データ704が右眼の画像データであるか、左眼の画像データであるか、又は両眼の画像データであるかを示すフラグ(例えばL、R、又はLRのいずれかの値)である。なお、付加情報のうち、撮影機器500の端末IDやモダリティ等のDICOMデータ702にも記述され得る内容については、DICOMデータ702内にのみ記述されていてもよい。
【0092】
図12は、診断サーバ201による診断結果を表示する表示画面の一例である。
図12は、狭画角で撮影された被検眼画像(眼底画像)データに対する糖尿病網膜症の症状レベルの診断が行われた場合の表示画面(画面レイアウト)である。
【0093】
表示画面は、患者情報表示領域1201、AI情報表示領域1202、付加情報表示領域1203、及び診断結果表示領域1204を含む。患者情報表示領域1201は、例えば、画像診断データに含まれる患者情報を表示する。AI情報表示領域1202は、例えば、画像診断を行った診断サーバのID、及び画像診断を行ったAIのID(又はバージョン番号)を表示する。付加情報表示領域1203は、例えば、診断対象データに含まれる付加情報の一部(画角、解像度、診断種別など)又は全部を表示する。
【0094】
診断結果表示領域1204は、診断サーバによる眼底画像データの診断結果を示す情報を表示する。
図12の例では、両眼の眼底画像と、両眼の糖尿病網膜症の5段階の症状レベルを示すバーと、両眼の所見と、が診断結果表示領域1204に表示されている。
【0095】
図12の例では、バーの右側に、右眼の画像と右眼における糖尿病網膜症の症状レベルを示す右向きの矢印(インジケータ)が表示され、バーの左側に左眼の画像と左眼における糖尿病網膜症の症状レベルを示す左向きの矢印が表示されている。これにより、ユーザは、診断結果表示領域1204を一瞥しただけで、両眼の糖尿病網膜症の症状レベル及び症状レベルの差異を把握することができる。また、診断結果表示領域1204における所見は、診断サーバのAIによって生成される。端末400のユーザによってこの所見の入力及び編集が可能であってもよい。
【0096】
図13は、診断サーバ202による診断結果を表示する表示画面の一例である。
図13は、広画角で撮影された広角眼底画像データに対する糖尿病網膜症の症状レベルの診断が行われた場合の表示画面である。糖尿病網膜症に罹患すると、初期症状として眼底の周辺部に異常が発生し、その後異常が中心部へと広がっていく。広画角で眼底を撮影することにより、眼底の中心部だけでなく周辺部をも含む広角眼底画像データが得られる。従って、広画角で撮影された広角眼底画像の画像診断を行うAIは、現在の糖尿病網膜症の症状レベルの推測だけでなく、眼底の周辺部の状態を考慮した将来の症状レベルの予測を実行することができる。
【0097】
そこで、
図13の例における診断結果表示領域1204においては、現在の両眼の糖尿病網膜症の5段階の症状レベルを示すバーに加えて、将来の両眼の糖尿病網膜症の症状レベルを示すバーが表示されている。また、診断結果表示領域1204の所見に、将来(
図13では、1年後としているが、3か月後、半年後などでもよい)の予測状態が記載されている。
【0098】
なお、
図13の例では現在の症状レベルと将来の症状レベルとが診断結果表示領域1204に表示されているが、眼底の中央部における現在の症状レベルと周辺部における現在の症状レベルとが診断結果表示領域1204に表示されてもよい。
【0099】
図14は、診断サーバ203による診断結果を表示する表示画面の一例である。
図14は、広画角で撮影された広角眼底画像データに対する複数の病気の診断が行われた場合の表示画面である。複数の病気として、1つは糖尿病網膜症である。これは
図13の糖尿病網膜症の診断結果表示と同様である。
図14ではさらに、病気2と病気3に対する、症状のカテゴリーや進行度を示すバーと矢印(インジケータ)が表示されている。病気2と病気3は加齢性黄斑変性、網膜剥離など診断サーバ203のAI223で判別可能な眼底疾患である。
【0100】
以下、診断結果を表示する表示画面の変形例について説明する。
【0101】
疾病の発症の有無を診断できるものの、当該疾病についての症状レベルを確定できなかった画像診断が行われた場合、診断結果表示領域1204には、発症が推測された疾病を示す情報が表示されるようにしてもよい。
【0102】
このような場合に、診断結果表示領域1204には、さらに、発症が推測される疾病の具体的な症状レベルを診断できるAIを有する診断サーバによる画像診断を推奨するメッセージが表示されてもよい。
【0103】
また、管理サーバ100が、疾病と、当該疾病の症状レベルを診断可能なAIを搭載する診断サーバと、の対応情報を保持してもよい。この場合、管理サーバ100は、院内サーバ300から当該メッセージに従って画像診断を行う命令を受け付けると、当該対応情報を参照して、当該疾病の症状レベルを診断可能なAIを搭載する診断サーバを送信可能な診断サーバの中から一つを特定する。そして、管理サーバ100は、当該診断サーバを示す情報を院内サーバ300に送信して表示させてもよいし、当該診断サーバに対して再度匿名化診断対象データを送信して、画像診断を依頼してもよい。
【0104】
また、画像診断システムは、解像度が低い(例えば所定値未満の第1解像度の)画像に対する画像診断を行うAI(AI Aとする)を搭載する診断サーバと、解像度が高い(例えば当該所定値以上の第2解像度の)画像に対する画像診断を行うAI(AI Bとする)との二つのAIを搭載する診断サーバと、を含むものとする。このとき、AI Aによる診断結果において眼底に異常があると診断された場合に、診断結果表示領域1204には、より解像度の高い眼底画像データを用いてAI Bによる画像診断を推奨するメッセージが表示されてもよい。あるいは、より解像度の高い眼底画像データで撮影を行うことを推奨するメッセージが表示させるようにしてもよい。
【0105】
なお、匿名化診断対象データが複数の診断サーバに送信されてもよい、即ち画像診断モデルが異なるAIによって眼底画像データの画像診断が行われてもよい。
図15は、複数の診断サーバによって画像診断がされた場合の診断結果を表示する表示画面の一例である。
図15は、広画角で撮影された広角眼底画像データに対する糖尿病網膜症の症状レベルの診断が、2つの診断サーバによって行われた場合の表示画面の一例である。また、これら2つの診断サーバによる診断結果を示す症状レベルの分類及び分類数が異なるものとする。
【0106】
この場合、例えば、
図15のように診断結果表示領域1204は、分類1(5段階のグレードに分類する国際重症度分類)による糖尿病網膜症の画像診断を行うAIが搭載された診断サーバによる第1の診断結果と、分類2(3段階のグレードに分類する改変Davis分類)による糖尿病網膜症の画像診断を行うAIが搭載された診断サーバによる第2の診断結果とが表示される。即ち、異なる2つの分類による糖尿病網膜症の症状レベルを表示する。
【0107】
また、例えば、管理サーバ100の表示画面生成部103は、異なる分類による症状レベルを考慮した症状レベルを生成し、総合結果として表示するようにしてもよい。
【0108】
具体的には、各分類の症状レベルに対応するスコアが予め定められ(例えば分類1におけるNo DRが1点、Mildが3点、・・・、分類2におけるA1が1点、A2が7点、・・・等)、表示画面生成部103は、左右眼についての症状レベルに対応するスコアの平均を算出する。
【0109】
また、総合結果において、スコアの平均の区分ごとに対応する症状レベル(1点以上2.5点未満なら症状レベル1、2.5点以上5点未満なら症状レベル2、・・・等)が予め定められているとする。表示画面生成部103は、左右眼について、算出した平均に対応する症状レベルを特定し、特定した症状レベルを総合結果として診断結果表示領域1204に表示する。これにより、複数種類の異なる分類によって糖尿病網膜症を診断するAIの診断結果を統合し、新たな指標を提示することができる。なお、分類2は改変Davis分類に限られず、福田分類などでもよい。
【0110】
なお、本実施例において管理サーバ100が、匿名化診断対象データに含まれる眼底画像データの画像診断を行う診断サーバを決定していたが、他の装置(例えば院内サーバ300、端末400、又は撮影機器500)が診断サーバを決定してもよい。この場合、当該他の装置はAI選択情報110を保持している。また、当該他の装置は、決定した診断サーバを示す情報(例えばフラグ)を、ユーザデータ703に含める。
【実施例2】
【0111】
実施例2の画像診断システムにおける診断サーバ900は、複数のAI901~902を搭載している。実施例1との相違点を説明する。
【0112】
図16は、実施例2の画像診断システムの構成例を示す説明図である。診断サーバ900が複数のAIを搭載する点において、
図1の画像診断システムと異なる。なお、説明を簡単にするために、
図16では画像診断システムは1台の診断サーバ900を有しているが、画像診断システムが複数の診断サーバを有し、かつ当該複数の診断サーバの一部又は全部が複数のAIを搭載していてもよい。複数のAI(AI901及びAI902を含む2つ、又は3つ以上のAI)は、異なる画像診断モデルをそれぞれ有している。
【0113】
実施例2のAI選択情報110は、院内サーバ300あるいは端末400から送信されてくる付加情報を用いてAIを特定する情報を含む。つまり、例えば、
図10において、AI選択情報110は、さらに、AIのID欄を含むとよい。AIのIDは、付加情報の値に対応する匿名化診断対象データの画像診断を行うAIを識別するIDである。
【0114】
図17は、実施例2における画像診断システムの画像診断処理を示すシーケンス図である。
図7との相違点について説明する。ステップS702に代えてステップS1601が実行される。ステップS1601において、管理サーバ100のAI選択部102は、AI選択情報110と受信した診断対象データに含まれる付加情報とに基づいて、複数のAI(AI901及びAI902を含む2つ、又は3つ以上のAI)からを少なくとも1つ選択する。
【0115】
さらにステップS1601において、AI選択部102は、ユーザデータ703内に選択したAI220を示すAI情報(例えばAIのID等)を含め、当該ユーザデータ703を含む匿名化診断対象データを、選択したAI220を搭載する診断サーバに送信する。
【0116】
続いて、匿名化診断対象データを受信した診断サーバの管理部は、匿名化診断対象データに含まれるAI情報が示すAI220を選択し、選択したAI220に匿名化診断対象データに含まれる眼底画像データを入力する(S1602)。続いて、ステップS707の処理に遷移する。
【0117】
なお、実施例2において管理サーバ100が、匿名化診断対象データに含まれる眼底画像データの画像診断を行うAIを決定していたが、他の装置(例えば診断サーバ900、院内サーバ300、端末400、又は撮影機器500)がAIを決定してもよい。この場合、当該他の装置はAI選択情報110を保持している。また、当該他の装置は決定したAIを示す情報(例えばフラグ)を、ユーザデータ703に含める。
【0118】
但し、診断サーバ900がAIを決定する場合には、管理サーバ100はどの診断サーバ900が適切なAIを保持しているかを判断できないため、匿名化診断対象データを全ての診断サーバに送信することが望ましい。そして、匿名化診断対象データを受信した診断サーバ900は、AI選択情報110を参照して、自身が搭載するAIによって眼底画像データの画像診断を実行可能であるか否かを判定する。そして、診断サーバは、画像診断が実行可能であるAIを搭載していた場合には、AIによる診断結果を管理サーバ100に返信する。
【0119】
なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
【符号の説明】
【0120】
100 管理サーバ、101 匿名化処理部、102 AI選択部、103 表示画面生成部、104 診断結果データ生成部、110 AI選択情報、201 診断サーバ、2011 画像診断部、300 院内サーバ、301 匿名化処理部、302 患者情報管理部、303 表示画面生成部、310 患者情報DB、400 端末、401 診断対象データ生成部、402 付加情報取得部、403 表示画面生成部、600 計算機、601 プロセッサ、602 記憶デバイス、603 入力デバイス、604 出力デバイス、605 通信I/F、900 診断サーバ、2021 学習情報管理部、2031 診断画像生成部、2041 管理部、2101 学習DB、2111 画像診断モデル