(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023011512
(43)【公開日】2023-01-24
(54)【発明の名称】システム、情報処理装置、プログラム、又は方法
(51)【国際特許分類】
G01N 33/48 20060101AFI20230117BHJP
G16H 50/20 20180101ALI20230117BHJP
【FI】
G01N33/48 M
G16H50/20
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2022101955
(22)【出願日】2022-06-24
(31)【優先権主張番号】P 2021115159
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】516322980
【氏名又は名称】ネクスジェン株式会社
(71)【出願人】
【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
(74)【代理人】
【識別番号】100114188
【弁理士】
【氏名又は名称】小野 誠
(74)【代理人】
【識別番号】100196483
【弁理士】
【氏名又は名称】川嵜 洋祐
(74)【代理人】
【識別番号】100160255
【弁理士】
【氏名又は名称】市川 祐輔
(72)【発明者】
【氏名】宮塚 功
(72)【発明者】
【氏名】アン リー
(72)【発明者】
【氏名】▲高▼折 晃史
(72)【発明者】
【氏名】諫田 淳也
(72)【発明者】
【氏名】中西 加代子
【テーマコード(参考)】
2G045
5L099
【Fターム(参考)】
2G045AA03
2G045BB24
2G045CA02
2G045CA11
2G045CA12
2G045CA17
2G045CA24
2G045CA25
2G045CA26
2G045DA51
2G045FA13
2G045FA16
2G045FA19
2G045GA07
5L099AA26
(57)【要約】 (修正有)
【課題】画像を用いた診断の支援において、より利便性の高いシステム、情報処理装置、プログラム及び方法を提供する。
【解決手段】システムは、撮像画像を取得する画像取得部と、機械学習部と、画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用部と、を備える。悪性血液疾患関連情報は、悪性血液疾患診断基準合致性、悪性血液疾患診断基準合致性の確信度に係る情報、血球細胞の種類情報及び/又は血球細胞の正常又は異常の情報、を含む。機械学習部における機械学習は、染色方法毎の画像によって学習済みである。染色方法は、染色液の乾燥処理の有無を含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
撮像画像を取得する画像取得部と、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用部と、
を備えるシステム。
【請求項2】
悪性血液疾患関連情報は、悪性血液疾患診断基準合致性、悪性血液疾患診断基準合致性の確信度に係る情報、血球細胞の種類情報、及び/又は、前記血球細胞の正常又は異常の情報、を含む、
請求項1に記載のシステム。
【請求項3】
前記機械学習部における機械学習は、染色方法毎の画像によって機械学習済みである、請求項1又は2に記載のシステム。
【請求項4】
前記染色方法は、染色液の乾燥処理の有無を含む、
請求項3に記載のシステム。
【請求項5】
前記悪性血液疾患関連情報は、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、を含むマーキング画像を含む、
請求項1又は2に記載のシステム。
【請求項6】
前記マーキング画像は、機械学習部による適用における確信度に係る情報と関連付けられている、
請求項5に記載のシステム。
【請求項7】
前記マーキング画像に対する、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、の変更情報を取得する取得部を備え、
前記機械学習部は、前記変更情報が用いられて機械学習する協調機械学習部からの情報に基づき、更に機械学習された状態に変更可能である、
請求項5に記載のシステム。
【請求項8】
前記悪性血液疾患関連情報は、MDS(骨髄異形症候群)を含む、
請求項1又は2に記載のシステム。
【請求項9】
前記画像取得部は、複数の撮像画像を取得し、
前記画像情報は、複数の画像を含み、
前記機械学習適用部は、前記複数の撮像画像に対して、一の悪性血液疾患情報を取得する、
請求項1又は2に記載のシステム。
【請求項10】
前記一の悪性血液疾患関連情報は、
一の悪性血液疾患診断基準合致性、
一の悪性血液疾患診断基準合致性の確信度に係る情報、及び/又は、
前記複数の撮像画像に対して各々対応する、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、を含むマーキング画像を含む、
請求項9に記載のシステム。
【請求項11】
システムが、
撮像画像を取得する画像取得ステップと、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用ステップと、
を実行する方法。
【請求項12】
システムを、
撮像画像を取得する画像取得手段、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用手段、
として動作させるプログラム。
【請求項13】
画像情報と、悪性血液疾患関連情報と、の関係を学習することにより学習済みモデルを生成する学習済みモデルの生成方法。
【請求項14】
撮像画像を取得する画像取得部と、
画像情報と、悪性血液疾患関連情報と、の関係を学習した学習済みモデルと、
を有するシステム。
【請求項15】
前記マーキング画像に対する、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、の変更情報を取得する取得部、
を更に備える、請求項5に記載のシステム。
【請求項16】
前記取得部は、前記変更情報を、悪性血液疾患に係る画像データの分類についての知見を有する医師又は臨床検査技師に係る第1情報処理装置から直接的に又は間接的に取得可能である、
請求項15に記載のシステム。
【請求項17】
前記機械学習部は、前記変更情報が用いられて、機械学習された状態に変更可能である、
請求項16に記載のシステム。
【請求項18】
撮像画像に係る患者についての、年齢に係るデータ、性別に係るデータ、
血液検査結果、治療状況、同種移植実施状況、治療関連性腫瘍有無、家族歴、及び/又は、検査の目的に係るデータ、を前記第1情報処理装置に対して、送信する送信部、
をさらに備える、請求項16に記載のシステム。
【請求項19】
前記第1情報処理装置から、専門家に係る第2情報処理装置を示すデータ、及び、一又は複数のマーキング画像に係るデータ、を直接的又は間接的に取得する取得部と、
前記一又は複数のマーキング画像に係るデータの送信に対応して、前記送信されたマーキング画像に係る変更情報を、前記第1情報処理装置とは異なる前記第2情報処理装置から直接的又は間接的に取得する取得部と、
を更に備える請求項16に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願において開示された技術は、システム、情報処理装置、プログラム、又は方法に関する。
【背景技術】
【0002】
近年、画像を用いた診断の支援をする技術が望まれている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-180954号公報
【特許文献2】特表2018-505392号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の文献に開示された技術は、利用者の利便性の観点で不十分な部分がある。そこで、本発明の様々な実施形態は、上記の課題を解決するために、より利便性を向上させたシステム、携帯端末装置、情報処理装置、プログラム、及び/又は方法を提供する。
【課題を解決するための手段】
【0005】
一の実施態様は、
撮像画像を取得する画像取得部と、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用部と、
を備えるシステム、である。
【0006】
他の実施態様は、
システムが、
撮像画像を取得する画像取得ステップと、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用ステップと、
を実行する方法、である。
【0007】
他の実施態様は、
システムを、
撮像画像を取得する画像取得手段、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用手段、
として動作させるプログラムである。
【0008】
他の実施態様は、
画像情報と、悪性血液疾患関連情報と、の関係を学習することにより学習済みモデルを生成する学習済みモデルの生成方法である。
【0009】
他の実施態様は、
撮像画像を取得する画像取得部と、
画像情報と、悪性血液疾患関連情報と、の関係を学習した学習済みモデルと、
を有するシステムである。
【発明の効果】
【0010】
本発明の一実施形態により、より利便性の高い、システム、携帯端末装置、情報処理装置、プログラム、及び/又は方法を提供できる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、一実施形態のシステムに係る構成を示すブロック図である。
【
図2】
図2は、一実施形態のシステムに係る情報処理装置の構成を示すブロック図である。
【
図3】
図3は、一実施形態のシステムに係る機能を示すブロック図である。
【
図4】
図4は、一実施形態のシステムに係る一構成機能例を示す図である。
【
図5】
図5は、一実施形態のシステムに係るフローを示す図である。
【
図6】
図6は、一実施形態のシステムに係る画面表示例を示す図である。
【
図7】
図7は、一実施形態のシステムに係る画面表示例を示す図である。
【
図8】
図8は、一実施形態のシステムに係る画面表示例を示す図である。
【
図9】
図9は、一実施形態のシステムに係る画面表示例を示す図である。
【
図10】
図10は、一実施形態のシステムに係る一機能例を示す模式図である。
【
図11】
図11は、一実施形態のシステムに係るフローを示す図である。
【
図12】
図12は、一実施形態のシステムに係るフローを示す図である。
【
図13】
図13は、一実施形態のシステムに係る構成を示すブロック図である。
【
図14】
図14は、一実施形態のシステムに係る一画面を示す図である。
【
図15】
図15は、一実施形態のシステムに係る一画面を示す図である。
【
図16】
図16は、一実施形態のシステムに係る一画面を示す図である。
【
図17】
図17は、一実施形態のシステムに係る一画面を示す図である。
【
図18】
図18は、一実施形態のシステムに係る一画面を示す図である。
【
図19】
図19は、一実施形態のシステムに係る一画面を示す図である。
【
図20】
図20は、一実施形態のシステムに係る一画面を示す図である。
【
図21】
図21は、一実施形態のシステムに係る一画面を示す図である。
【
図22】
図22は、一実施形態のシステムに係る一画面を示す図である。
【0012】
1.本願技術の概要
本願に係る一実施形態のシステムは、悪性血液疾患に関する情報の収集を支援する技術を提供する。
【0013】
図1は、本願技術に係る一実施形態のシステムの一態様を図示したものである。一実施形態のシステムに係る機能は、サーバ、クラウド、又は、端末装置、等の情報処理装置の機能によって実現されてよい。サーバ、クラウド等において実装される場合、これらとインターネットを介して接続された端末装置は、サーバ、クラウド等において実装された機能への入力、及び/又は、出力のサポートする機能を有してよい。
【0014】
また、本願技術に係るシステムが、インターネットを介して、ダウンロード可能なソフトウェアによって実現されている場合、スマートフォンやノートパソコンなどのインターネットに接続してソフトウェアをダウンロード可能な携帯端末装置においてダウンロードしてインストールすることにより、簡易に実装できる利点がある。
【0015】
例えば、本図において、インターネット2を介して、サーバやクラウドなどの情報処理装置にアクセスし、本願技術に係るシステムに必要な情報を、ダウンロードしてよい。かかる情報は、上述のとおり、本願技術に係るシステムをインストールするためにダウンロードされる情報であってもよいし、本願技術に係るシステムが使用される際に利用される情報であってもよい。後者は、例えば、本願技術に係る機械学習に関連する情報や機能であってよい。例えば、特定の地域や特定の手法によって行われた染色方法に関連する情報であってよい。より具体的には、これらの情報は、特定の地域や特定の手法によって行われたギムザ染色に基づくが画像や機械学習のパラメータの情報を含んでよい。
【0016】
本願技術に係るシステムは、情報処理装置であってよい。
図2は、情報処理装置10の構成を示すものであり、情報処理装置10は、バス11、演算部12、記憶部13を有することができる。また、入力部14、表示部15、通信IF16を有してよい。本願技術に係る一実施形態のシステムは、一又は複数の情報処理装置10から構成されてよい。
【0017】
バス11は、演算部12、記憶部13の間の情報を伝達する機能を有する。入力部14、表示部15、通信IF16の間の情報を伝達する機能を有してよい。
【0018】
演算部12は、例えばプロセッサが挙げられる。これは、CPUであってもよいし、MPUであってもよい。要するに、演算部12は、プログラムの命令を実行できる機能を有すればよい。また、機械学習部の機能を実施する演算部12は、機械学習済み機能を処理可能な処理装置であってよい。また、機械学習部の機能を実施する演算部12は、機械学習済み機能を処理可能であるが、機械学習機能は有しない構成であってもよい。スマートフォンなどの携帯端末装置は、サーバやクラウドと比較すると情報処理機能が劣るところがあるものの、機械学習機能を有さず、機械学習済み機能のみを有することにより、簡易な処理が可能な利点がある。なお、かかる機械学習済み機能のみを有する手法の一つとしては、機械学習済み機能を実現するソフトウェアを、かかる携帯端末装置にダウンロードさせてインストールさせることで実現できてよい。
【0019】
記憶部13は、情報を記録する機能を有する。これは、外部メモリと内部メモリのいずれでもよく、主記憶装置と補助記憶装置のいずれでもよい。なお、情報処理装置がサーバやクラウドである場合は、ネットワークを介した記憶装置、クラウド上の記憶装置などでもよい。なお、演算装置に近い位置で情報を記憶する、レジスタ、L1キャッシュ、L2キャッシュなどは、
図1の模式図においては、バスを介していない点で演算部12内に含まれる場合もあるが、計算機アーキテクチャのデザインにおいて、情報を記録する装置としては、記憶部13がこれらを含んでもよい。要するに、演算部12と、記憶部13及びバス11が協調して、情報処理を実行できればよい。また、上記は、演算部12が、記憶部13に備えられたプログラムに基づいて実行される場合を記載したが、上記のバス11、演算部12と記憶部13が組み合わされた形式の一つとして、本件システムに係る情報処理を、ハードウェア回路自体を変更することができるプログラマブルロジックデバイス又は実行する情報処理が決まっている専用回路で実現されてもよい。
【0020】
入力部14は、情報を入力する機能を有する。マウス、タッチパネル、ペン型の指示装置などの指示装置が挙げられる。表示部15は、例えば、ディスプレイがある。また、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどでもよい。要するに、情報を表示できる装置であればよい。また、タッチパネルのように入力部14を一部に備えてもよい。
【0021】
以下では、上述の情報処理装置10を用いて、種々の組み合わせの例を説明する。以下で説明される個々の例は、ネットワーク上における構成例の一例にすぎず、明示的に示されたもの以外にも、以下の個々の情報処理装置の組み合わせ例の他の組み合わせ例があってもよい。これらの組み合わせは、技術常識を踏まえて、多様な組み合わせがあってよい。
【0022】
2.機能
本願に係る技術の有する一部または全部の機能を、
図3を参照しつつ、以下に説明する。本願技術に係るシステムは、以下の取得部、情報処理部、機械学習部、機械学習適用部、協調機械学習部、通信部、及び/又は、表示部を有してよい。
【0023】
2.1.取得部
取得部は、本願の技術に係る情報を取得する機能を有する。取得部は、例えば、後述の撮像画像、診断に係る情報、及び/又は、表示に係る情報、等の本願の技術に係る情報を取得してよい。診断に係る情報は、診断の支援の対象となる疾患を特定する情報、及び/又は、後述する染色手法を特定する情報、等を含んでよい。表示に係る情報は、後述する変更されたマーキング画像情報、等を含んでよい。
【0024】
本願のシステムに係る取得部は、本願の技術に係る情報を、他の情報処理装置から取得してもよいし、利用者の入力に基づいて取得してもよいし、本願に係るシステムが実装された情報処理装置内の記憶装置から取得してもよいし、本願に係るシステムが本願に係る技術によって処理された後の情報を格納した記憶装置(一時的であってもよいし一時的でなくてもよい)から取得してもよい。
【0025】
2.2.情報処理部
情報処理部は、情報処理の機能を有する。情報処理部は、主に診断の支援に係る情報処理をする機能を有してよい。
【0026】
2.3.機械学習部
機械学習部は、画像についての推論の結果を生成する機能を有する。
【0027】
機械学習部は、画像について機械学習済みであってよい。機械学習部は、画像と、悪性血液疾患関連情報と、の関係を機械学習済みであってよい。また、機械学習部は、画像と、悪性血液疾患関連情報と、の関係を機械学習可能な機能を有してよい。
【0028】
機械学習部は、人工知能技術が用いられてよい。例えば、機械学習部は、入力と出力との関係を機械学習済みであってよく、かかる機械学習済み機能を用いて、入力に対応する出力を生成してもよい。
【0029】
上述の機械学習は、種々の手法が用いられてよい。例えば、ディープラーニングを用いたニューラルネットワーク、サポートベクターマシーン、ベイジアンネットワーク、クラスタリング、などが用いられてよい。また、機械学習は、機械学習済みモデルであってよい。そして、本願書類における機械学習済みモデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定されてよい。本願技術の学習済みモデルは、CPU及びメモリを備えるコンピュータにて用いられてよい。具体的には、コンピュータのCPUが、メモリに記憶された学習済みモデルからの指令に従って、ニューラルネットワークの入力層に入力された入力データに対し、ニューラルネットワークにおける重みを用いた演算を行い、ニューラルネットワークの出力層から結果を出力するよう動作してよい。なお、機械学習における学習済みモデルは、コンピュータを機能させるためのものであり、プログラムであってよい。すなわち、かかる学習済みモデルは、CPU 及びメモリを備えるコンピュータにて用いられ、具体的には、コンピュータの CPU が、メモリに記憶された
学習済みモデルからの指令に従って動作してよい。
【0030】
2.4.機械学習適用部
機械学習適用部は、画像を、機械学習部に適用する機能を有する。また、機械学習適用部は、画像が適用される機械学習部を選択し、機械学習部から得られた情報を取得する機能を有してよい。
【0031】
機械学習適用部は、機械学習部を含んでもよいし、含まなくてもよい。前者は機械学習適用部が実装された情報処理装置内において機械学習部が実装されてよい。後者は、機械学習部が実装された情報処理装置内に機械学習部が実装されてもよいし、かかる情報処理装置と異なる情報処理装置内に機械学習部が実装されてもよい。
【0032】
2.5.協調機械学習部
協調機械学習部は、機械学習部における重みを管理する機能を有してよい。かかる重みは、機械学習済みの機械学習部から、伝達されたものを用いて管理してよい。すなわち、協調機械学習部は、一又は複数の機械学習部から伝達された重みを用いて、協調機械学習部における重みを生成する機能を有してよい。かかる生成された重み(本願書類において、「統合済み重み」ということがある)は、機械学習部に伝達されてよい。
【0033】
図4は、協調機械学習部と機械学習部との関係を示す一例である。機械学習部a41と機械学習部b42と、は各々協調機械学習部43と接続可能であってよい。また、機械学習部a、機械学習部b、協調機械学習部は、ネットワークを介して接続可能であってよい。また、機械学習部aと、機械学習部bと、協調機械学習部と、は異なる医療関係機関において所有、利用、管理、されるものであってよい。
【0034】
かかる構成が使用される一例としては、以下が考えられる。まず、機械学習部aにおいて、データAを用いて機械学習がされるとする。データAは、一又は複数のデータであってよい。機械学習部aは機械学習により、機械学習済みとなり、かかる機械学習に対応して重みAを生成できる。機械学習部aは、かかる重みAを、協調機械学習部に伝達してよい。協調機械学習部は、かかる重みA又はかかる重みAを機械学習部bに適用可能に加工したものを、機械学習部bに伝達してよい。機械学習部bは、かかる重みA又はかかる重みAを機械学習部bに適用可能に加工したものを用いて、以後の機械学習機能を適用してよい。この場合、機械学習部bにおいては、機械学習部aにおける学習をする必要がない利点がある。すなわち、機械学習部bにおいては、機械学習部aにおける学習で使用したデータを用いることなく、機械学習部aが学習によって得た機能を、重みA又はかかる重みAを機械学習部bに適用可能に加工したものの伝達により、得ることができる利点がある。これは、機械学習部aが機械学習にあたり利用したデータが、医療用情報などの個人情報を含む場合において、かかる個人情報を、機械学習部aから、協調機械学習部に伝達しなくとも、機械学習部bにおいて、機械学習できる利点がある。
【0035】
機械学習部bは、更に機械学習部bにおいて、機械学習してよい。機械学習部bは機械学習により、機械学習済みとなり、かかる機械学習に対応して重みBを生成できる。機械学習部bは、かかる重みBを、協調機械学習部に伝達してよい。協調機械学習部は、かかる重みB又はかかる重みBを機械学習部aに適用可能に加工したものを、機械学習部aに伝達してよい。機械学習部aは、かかる重みB又はかかる重みBを機械学習部aに適用可能に加工したものを用いて、以後の機械学習機能を適用してよい。この場合、機械学習部aにおいては、機械学習部bにおける学習をする必要がない利点がある。すなわち、機械学習部aにおいては、機械学習部bにおける学習で使用したデータを用いることなく、機械学習部bが学習によって得た機能を、重みB又はかかる重みBを機械学習部aに適用可能に加工したものの伝達により、得ることができる利点がある。これは、機械学習部bが機械学習にあたり利用したデータが、医療用情報などの個人情報を含む場合において、かかる個人情報を、機械学習部bから、機械学習部aに伝達しなくとも、機械学習部aにおいて、機械学習できる利点がある。
【0036】
なお、図示しない新たに機械学習部cがある場合、協調機械学習部は、かかる機械学習部cに対して、上述の重みB又はかかる重みBを機械学習部cに適用可能に加工したものを伝達してよい。この場合、機械学習部cは、まったく機械学習していない場合であっても、機械学習部a及び機械学習bにおいて機械学習された精度の高い機能を、これらの機械学習の処理せずに、かつ、医療情報内に個人情報が含まれている場合においてもかかる個人情報を受領せずに、実現できる利点がある。
【0037】
また、協調機械学習部は、複数の機械学習部から取得した各重みを統合して、これらの複数の機械学習部において利用可能な重みを生成する機能を有してよい。かかる各重みを統合して重みを生成する機能自体は、公知の技術が使用されてよい。
【0038】
機械学習部が染色した画像を扱う場合において、染色手法には地域性があることがある。そのため、例えば、上述の例において、機械学習部aが地域Aにおいて利用されている染色手法に基づく画像を処理し、機械学習部bが地域Aと異なる地域Bにおいて利用されている染色手法に基づく画像を処理するよう構成された場合を考えると、地域Aにおいて収集される画像の傾向と、地域Bにおいて収集される画像の傾向は異なることから、機械学習部aが学習する内容と機械学習部bが学習する内容の傾向は異なる可能性がある。そこで、上述のとおり、機械学習部aで学習された統合済み重みが機械学習部bに伝達されることによって、地域Aにおける染色手法について、機械学習部bにおいても容易に学習済みの状態にできるため、例えば地域Bにおいて、地域Aで利用された染色手法に基づいて得られた画像を本実施形態のシステムに提供した場合などにおいても、地域Bにおいて、地域Aにおける染色手法に対して(地域Bでは利用されていない手法であっても)より精度高く判定できる可能性が高まる利点がある。また、機械学習部bで学習された統合済み重みが機械学習部aに伝達されることによって、上記と逆の状況を実現できる利点がある。更に、地域Cにおける染色手法に基づく画像を処理する新たな機械学習部cがある場合においても、同様に、機械学習部cが地域A及び/又は地域Bにおける染色手法を利用できる可能性が高まる利点がある。
【0039】
協調機械学習部を備える一例のシステムは、
第1染色手法に基づく第1画像と、悪性血液疾患関連情報と、の関係を機械学習する第1機械学習部によって生成された第1重みを取得する取得部と、
前記第1重みを、前記第1機械学習部と異なる第2機械学習部に送信する送信部と、
を備えてよい。
また、協調機械学習部を備える一例のシステムは、
第1染色手法に基づく第1画像と、悪性血液疾患関連情報と、の関係を機械学習する第1機械学習部によって生成された第1重みを取得する取得部と、
第2染色手法に基づく第2画像と、悪性血液疾患関連情報と、の関係を機械学習する第2機械学習部によって生成された第2重みを取得する取得部と、
前記第1重みと第2重みとを統合し、前記第1機械学習部、前記第1機械学習部と異なる前記第2機械学習部、及び/又は、前記第1及び第2機械学習部と異なる第3機械学習部、によって利用可能な第3重みを生成する生成部と、
を備えるシステムであってよい。かかるシステムは、前記第3重みを、前記第1機械学習部、前記第2機械学習部、及び/又は、第3機械学習部、に送信する送信部を備えてよい。
【0040】
2.6.通信部
通信部は、通信する機能を有する。通信する機能は、情報を、送信及び/又は受信する機能を含んでよい。例えば、本実施形態のシステムは、本実施形態のシステムに係る機械学習部に対して、後述の撮像画像を送信してよい。また、本実施形態のシステムに係る携帯端末装置は、かかる撮像画像から対応する悪性血液疾患関連情報を受信してよい。通信される情報はこれらに限られず、種々の情報が通信されてよい。
【0041】
2.7.表示部
表示部は、表示する機能を有する。表示部は、表示装置によって実現されてよい。表示装置は、ディスプレイであってよい。また、かかる表示装置は、入力装置と兼ねられてもよい。例えば、タッチスクリーンであってもよい。
【0042】
3.実施形態
3.1.第1実施形態のシステム
本実施形態のシステムは、悪性血液疾患の診断を支援する機能を有する。本実施形態のシステムの処理の流れを、
図5を参照しつつ、以下に説明する。以下では、MDS(骨髄異
形症候群)を対象として説明するが、他の悪性血液疾患に対しても、同様に診断の支援が可能であってよい。
【0043】
ステップ1.
本実施形態のシステムは、MDSの診断の支援に利用される画像を(本願書類において、
「撮像画像」という)を取得し、かかる情報を記憶してよい。
【0044】
撮像画像は、骨髄スメアのギムザ染色したものを撮像した画像であってよい。ここで、ギムザ染色は、予め検査技師、医師、その他の関係者、または自動染色装置などによって、予め処理されてよく、撮像画像は、かかるギムザ染色された画像又は自動撮像装置によって得られた画像であってよい。自動撮像装置によって得られた撮像画像の場合、手作業での撮像と比較し、よりブレの少ない高精度かつ安定的で画質の向上した画像が取得できる利点がある。また、本実施形態のシステムは、かかる自動染色装置及び/又は自動撮像装置と連携し、自動撮像装置に基づいて撮像された画像を自動的に取得する構成が採用されてもよい。この場合、撮像装置についての処理の負担が減少する利点がある。
【0045】
図6は、撮像画像の枚数を指定し、かつアップロード対象となる撮像画像のファイルを指定する画面表示を示す。このように、本実施形態のシステムにおいて利用する撮像画像を容易に指定できるよう、本実施形態のシステムは支援機能を備えてよい。なお、この場合、一つずつの撮像画像を指定することに代えて、複数の撮像画像を一括で、本実施形態のシステムに入力できてもよい。
【0046】
また、
図7は、実際にアップロードされ、本実施形態のシステムが利用予定の撮像画像を示す画面である。本図のように、機械学習適用部が利用する予定の撮像画像を表示することにより、どのような画像が適用されるのか、を利用者は理解できる利点がある。
【0047】
ステップ2.
本実施形態のシステムは、撮像画像を、機械学習部に適用し、撮像画像に対応する、悪性血液疾患関連情報を取得してよい。本実施形態のシステムは、画像と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部を利用してよい。悪性血液疾患関連情報は、悪性血液疾患診断基準合致性、及び/又は、マーキング画像、を含んでよい。なお、機械学習部は、悪性血液疾患関連情報を生成するにあたり、それらの情報の確信度に係る情報を生成してよい。確信度に係る情報は、機械学習済み機能として判定した場合における機能としての情報の信頼性を示す情報を含んでよい。機械学習済み機能は、一又は複数の細胞を含む一の撮像画像に対応する一のマーキング画像内の一又は複数の細胞の各々に対応して、かかる一又は複数の細胞の検出の情報の信頼性を示す情報として、かかる一又は複数の検出に対応した信頼性を示す情報を生成できる場合がある。ここで、検出される細胞は、例えば、骨髄球系、リンパ球系、赤血球系、の3種類などの細胞であり、これらの各検出に対応して信頼性を示す情報が生成できる場合がある。確信度に係る情報は、複数の撮像画像に対応して、一の信頼性を示す情報を含んでよく、かかる一の信頼性を示す情報は、かかる複数の撮像画像内において検出された複数の細胞の各々の検出についての信頼性を示す情報の平均値を含んでよい。確信度に係る情報が生成され、表示装置で表示される場合、閲覧者は、後述の悪性血液疾患診断基準合致性の情報をどの程度信用してよいか、の参考情報を得ることができる利点がある。
【0048】
悪性血液疾患診断基準合致性は、特定の悪性血液疾患について、基準に合致している、又は、基準に合致していない、の評価を含んでよい。例えば、悪性血液疾患診断基準合致性は、MDS診断基準に合致している、又は、MDS診断基準に合致していない、を含んでよい。このように、本実施形態のシステムが、機械学習済み機能が用いられた診断結果を生成できる場合、本実施形態のシステムは、悪性血液疾患診断について、支援できる利点がある。
【0049】
マーキング画像は、撮像画像内の細胞に対して、マーキング処理された後の画像であってよい。例えば、
図8は、骨髄スメアの細胞が撮像された撮像画像に対して、細胞の種類に応じた色が用いられたマーキング処理であって、細胞の位置に応じた位置においてマーキング処理がされた一例である。本図では、マーキング801、マーキング802、マーキング803は、各々異なる色によって、各マーキングによって囲まれる血球細胞が、異なる種類の血球細胞であることを示す。また、このように、血球細胞の位置を、一目で理解できるようになっていることから、専門家が見たときに、機械学習済み機能の適用によって、適切に血球細胞であるものを判定し(血球細胞でないものは判定していないこと)、かつ、その種類を適切に判定していること、を理解でき、判定根拠の信頼性を向上している利点がある。すなわち、このように、本実施形態のシステムに係る機械学習部が、マーキング画像を生成できる場合、マーキング画像によって診断結果の判定の根拠を生成し、それを利用者が見た場合にはかかる判定根拠を視覚的に理解できる利点がある。なお、マーキング801、マーキング802、マーキング803の細胞検出枠(Bounding Box)の各々に対して、機械学習済み技術が、確信度に係る情報として各検出の信頼性を示す情報が生成されてよい。そして、確信度に係る情報は、かかる一又は複数の撮像画像に対して、それらの一又は複数の撮像画像内で検出された細胞検出枠の信頼性を示す情報の平均値を含んでよい。なお、本図において、マーキング801、マーキング802、マーキング803、の各々と関連付けられて、確信度に係る情報として、検出の信頼性を示す情報がこれらのマーキング801ないし803と共に表示装置において表示されてもよい。この場合、閲覧者は、各マーキング処理についての信頼性を理解できる利点がある。
【0050】
機械学習部は、特定の悪性血液疾患を画像から判定できるよう、公知の機械学習アルゴリズムを用いて、画像と、悪接血液疾患診断基準合致性及び/又はマーキング画像と、の関係を機械学習済みであってよい。
【0051】
また、機械学習部は、特定の悪性血液疾患に関する画像と、かかる画像についての悪接血液疾患診断基準合致性及び/又はマーキング画像と、の関係を機械学習する機能を有してよい。
【0052】
また、機械学習部は、上述の協調機械学習部によって得られた成果を取得することにより、対応する機械学習済み機能を獲得できてよい。
【0053】
ステップ3.
次に、本実施形態のシステムは、マーキング画像を用いて、対象となる血球細胞をカウント(血球細胞の数を数える)し、血球の統計情報を生成してよい。カウントする対象となる血球は、赤血球系として、前赤芽球、好塩基性赤芽球、多染性赤芽球、正染性赤芽球、があり、骨髄球系として、骨髄芽球、前骨髄球、骨髄球、後骨髄球、桿状核球、分葉核球、好酸球、好塩基球があってよい。また、その他、カウントする対象となる血球は、巨核球、リンパ球、形質細胞もあってよい。なお、赤血球系としての、前赤芽球、好塩基性赤芽球、多染性赤芽球、正染性赤芽球、及び、骨髄球系としての、前骨髄球、骨髄球、後骨髄球、桿状核球、は、正常な血球と、異形性の血球の各2種類の血球を、各々カウントしてよい。統計情報は、特定の血球の絶対数、及び/又は、特定の血球の全体の数における正常及び/又は異常な血球の数の割合、を含んでよい。
【0054】
ステップ4.
次に、本実施形態のシステムは、表示装置に表示するための、悪性血液疾患診断を支援する情報を生成してよい。悪性血液疾患診断を支援する情報は、撮像画像に対応した悪性血液疾患診断基準合致性と、悪性血液疾患診断基準合致性の確信度の情報と、撮像画像に対応したマーキング画像と、かかるマーキング画像に基づく血球の統計情報と、を関連付けたものを含んでよい。血球の統計情報は、特定の悪性血液疾患についての診断に関連する一又は複数の血球についての各血球についての統計情報を含んでよい。本実施形態のシステムは、本実施形態のシステムの一部である表示装置において、かかる悪性血液疾患診断を支援する情報に基づく情報を表示させてもよいし、本実施形態のシステムに含まれない他の情報処理装置に対してかかる悪性血液疾患診断を支援する情報に基づく情報を伝達し、かかる他の情報処理装置においてかかる悪性血液疾患診断を支援する情報に基づく情報を表示させてもよい。
【0055】
図9は、本実施形態のシステムと接続された端末装置において、本実施形態のシステムから送信された悪性血液疾患診断を支援する情報に基づいて作成されたWEB頁によって表
示された一例である。本表示においては、MDS診断基準の合致性として、合致であること
、及びその確信度が0.5であること、が表示され、かかる情報と関連付けられて、血球カウント数が表示されている。ここで、全部で500の血球がカウントされたうち、特定の血球の比率が百分率で表示されている。また、画像解析結果として、マーキング画像が表示されている。例えば、撮像画像内において、対象となる疾患の診断基準に関係する、上述のカウント対象となる血球が、位置と種類を示して、マーキングされている。これらが表示されることにより、これらの情報を閲覧した利用者は、各画像内において、診断基準に関連する血球がマーキングされて判定の根拠として利用しているかどうかを確認することができ、診断基準の合致性についての信頼を評価できる利点がある。
【0056】
3.2.第2実施形態のシステム
第2実施形態のシステムは、MDSを含む悪性血液疾患(骨髄異形成症候群、急性骨髄性
白血病、急性リンパ性白血病、慢性骨髄性白血病、慢性リンパ性白血病、多発性骨髄腫、及び/又は、成人T細胞性白血病)についての診断の支援を可能とするものである。以下
では、第1実施形態のシステムにおいて説明した内容は省略し、異なる個所を説明する。
【0057】
本実施形態のシステムは、骨髄異形成症候群、急性骨髄性白血病、急性リンパ性白血病、慢性骨髄性白血病、慢性リンパ性白血病、多発性骨髄腫、及び/又は、成人T細胞性白
血病、の各疾患についての画像と、対応する疾患についての悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部を有してよい。これらの悪性血液疾患は、各々異なる疾患であることから、機械学習によって構築される機械学習部は、各々の疾患専用の機械学習済み機械学習部であってよい。
【0058】
また、本実施形態のシステムは、骨髄異形成症候群、急性骨髄性白血病、急性リンパ性白血病、慢性骨髄性白血病、慢性リンパ性白血病、多発性骨髄腫、及び/又は、成人T細
胞性白血病、を示す情報を取得し、かかる対応する疾患について機械学習済み機械学習部に対して、取得した一又は複数の撮像画像を適用する機械学習適用部を有してよい。
【0059】
なお、本実施形態のシステムが各疾患についての機械学習済み機械学習部を備える構成を説明したが、本実施形態のシステムに含まれない他の情報処理装置がかかる各疾患についての機械学習済み機械学習部を備え、本実施形態のシステムが備え機械学習適用部が、かかる機械学習部に対して画像を伝達し、かかる機械学習部が得られた悪性血液疾患関連情報を取得してもよい。
【0060】
次に本実施形態のシステムに関連する処理の流れを、
図11を利用して説明する。
【0061】
まず、本実施形態のシステムは、複数の悪性血液疾患を表示してよい(ステップ1)。
【0062】
次に、利用者が複数の悪性血液疾患のうちの一又は複数を選択したことに応答して、本実施形態のシステムは、一又は複数の悪性血液疾患を示す情報を取得してよい(ステップ2)。
【0063】
次に、利用者が複数の撮像画像を入力したことに応答して、本実施形態のシステムは、複数の撮像画像を取得してよい(ステップ3)。
【0064】
次に本実施形態のシステムにおける機械学習適用部は、これらの複数の撮像画像を、取得した一又は複数の悪性血液疾患に対応する機械学習済み機械学習部に対して適用し、取得した一又は複数の悪性血液疾患に対応する悪性血液疾患関連情報を取得してよい(ステップ4)。
【0065】
次に、本実施形態のシステムは、一又は複数の悪性血液疾患に対応する、表示装置に表示するための、悪性血液疾患診断を支援する情報を生成してよい(ステップ5)。ここで、本実施形態のシステムは、本実施形態のシステムの一部である表示装置において、かかる悪性血液疾患診断を支援する情報に基づく情報を表示させてもよいし、本実施形態のシステムに含まれない他の情報処理装置に対してかかる悪性血液疾患診断を支援する情報に基づく情報を伝達し、かかる他の情報処理装置においてかかる悪性血液疾患診断を支援する情報に基づく情報を表示させてもよい。
【0066】
より具体的には、利用者が、例えば、複数の悪性血液疾患のうち、急性リンパ性白血病、及び、慢性リンパ性白血病を選択し、複数の撮像画像(例えば500の撮像画像)を利用する場合を考える。
【0067】
利用者によって、まず、急性リンパ性白血病、及び、慢性リンパ性白血病を選択したことに応答して、本実施形態のシステムは、急性リンパ性白血病、及び、慢性リンパ性白血病を示す情報を取得する。
【0068】
次に、利用者によって、500の撮像画像の入力に応答して、本実施形態のシステムは、500の撮像画像を取得する。
【0069】
次に本実施形態のシステムにおける機械学習適用部は、急性リンパ性白血病について機械学習した機械学習部(A)、及び、慢性リンパ性白血病について機械学習した機械学習
部(B)に対し、500の撮像画像を適用する。
【0070】
次に、本実施形態のシステムにおける機械学習適用部は、機械学習部(A)によって生
成された悪性血液疾患関連情報(A)、及び、機械学習部(B)によって生成された悪性血液疾患関連情報(B)、を取得する。
【0071】
次に、本実施形態のシステムは、悪性血液疾患関連情報(A)及び(B)を、それぞれ、表示装置に伝達し、表示させてよい。例えば、急性リンパ性白血病については、悪性血液疾患関連情報(A)に含まれる、急性リンパ性白血病についての診断基準の合致性、その
確信度に係る情報、及び/又は、急性リンパ性白血病についてのマーキング画像(A)、
を表示させてよい。急性リンパ性白血病についてのマーキング画像(A)は、急性リンパ
性白血病についての血球細胞の種類情報、及び/又は、血球細胞の正常又は異常の情報、を含んでよい。利用者は、これらの表示により、マーキング画像(A)を閲覧し、急性リ
ンパ性白血病の診断との関係で適切に血球細胞の種類及び位置が判定されているかを確認することができ、その上で、悪性血液疾患診断基準合致性の情報を参考にできる利点がある。同様に、慢性リンパ性白血病についても、悪性血液疾患関連情報(B)に含まれる、
慢性リンパ性白血病についての診断基準の合致性、その確信度に係る情報、及び/又は、慢性リンパ性白血病についてのマーキング画像(B)、を表示させてよい。慢性リンパ性
白血病についてのマーキング画像(B)は、慢性リンパ性白血病についての血球細胞の種
類情報、及び/又は、血球細胞の正常又は異常の情報、を含んでよい。利用者は、これらの表示により、マーキング画像(B)を閲覧し、慢性リンパ性白血病の診断との関係で適
切に血球細胞の種類及び位置が判定されているかを確認することができ、その上で、悪性血液疾患診断基準合致性の情報を参考にできる利点がある。例えば、
図10は、かかる態様を示した一例の図である。
【0072】
以上においては、本実施形態のシステムを、複数の悪性血液疾患から、一又は複数の疾患を選択する態様を説明したが、これに代えて、全ての悪性血液疾患について、同様の処理を行ってもよい。この場合、本実施形態のシステムが支援可能な全ての疾患についての情報を、利用者は得ることができる利点がある。
【0073】
なお、本実施形態のシステムにおけるステップ1及び2は、第1実施形態のシステムのステップ1の前又は後に処理されてよい。本実施形態のシステムのステップ3乃至5は、各々、第1実施形態のシステムのステップ1、2、4に対応してよい。なお、本実施形態のシステムにおいても、第1実施形態のシステムのステップ3は処理されてよい。
【0074】
3.3.第3実施形態のシステム
第3実施形態のシステムは、撮像画像のばらつきを考慮して、より精緻に、機械学習部を適用可能なシステムである。以下では、第1又は第2実施形態のシステムにおいて説明した内容は省略し、異なる個所を説明する。
【0075】
すなわち、本願に係る技術において、機械学習部が適用される撮像画像は、本実施形態のシステムの適用前に、所定の手法により染色されることが多い。染色の手法は、例えば、ギムザ染色、が挙げられる。このギムザ染色には、染色手法は一定の範囲内で統一化されているものの、その具体的な手法においてばらつきがある。例えば、染色時の色味の差異、染色液を乾かすか乾かさないかの差、染色の時間、染色に使用する材料、など(これらの上位概念を意味する用語として、染色手法、ということもある)である。染色手法自体に間違いではなく、ある染色手法が適用された場合は、かかる染色手法に基づいた画像として、悪性血液疾患の判定を行えばよいものであり、特定の技能を持つ技能者が利用者染色手法を前提として、その染色手法に対応した悪性血液疾患の判定を行えばよいものであったが、機械学習においては、これらのばらつきが、生成する情報に影響を生じさせる可能性があった。
【0076】
そこで、本実施形態のシステムにおける機械学習適用部は、特定の染色手法で染色された撮像画像を、かかる特定の染色手法で撮像された撮像画像が利用されて機械学習された機械学習部に適用する、ものである。
【0077】
このため、本実施形態のシステムの機械学習適用部は、予め、染色手法毎の撮像画像を用いて、染色手法毎に機械学習をさせた、染色手法毎の機械学習済み機械学習部に対して、撮像画像を適用してよい。
【0078】
すなわち、1乃至N(Nは自然数)の機械学習部は、染色手法が異なる1乃至Nの染色手
法毎の複数の撮像画像を利用して、各々、機械学習をする。例えば、染色手法1、染色手法2、・・・染色手法N、によって各々染色された、複数の撮像画像1、複数の撮像画像
2、・・・複数の撮像画像N、を利用して機械学習されたものを、各々、機械学習部1、
機械学習部2、・・・機械学習部N、とする。
【0079】
そして、本実施形態のシステムの機械学習適用部は、診断の支援を希望する撮像画像(これらは、すべて、同一の染色手法によって染色されている)を、かかる染色手法による撮像画像が用いられて機械学習された機械学習部、に対して適用する。このようにすることで取得された悪性血液疾患関連情報は、染色手法が同一の機械学習済み機能を用いることができるため、染色手法のばらつきによる判定精度の低下を回避できる利点がある。
【0080】
次に本実施形態のシステムに関連する処理の流れを、
図12を利用して説明する。
【0081】
まず、本実施形態のシステムは、複数の染色手法を表示してよい(ステップ1)。ここで、各染色手法と関連付けられて、染色手法についての説明が表示されてよい。例えば、染色時の色味の差異、染色液を乾かすか乾かさないかの差、染色の時間、染色に使用する材料、などの情報である。
【0082】
次に、利用者が複数の染色手法のうちの一を選択したことに応答して、本実施形態のシステムは、かかる一の染色手法を示す情報を取得してよい(ステップ2)。
【0083】
次に、利用者が複数の撮像画像を入力したことに応答して、本実施形態のシステムは、複数の撮像画像を取得してよい(ステップ3)。
【0084】
次に本実施形態のシステムにおける機械学習適用部は、これらの複数の撮像画像を、取得した一の染色手法に対応する機械学習済み機械学習部に対して適用し、取得した一の染色手法に対応する悪性血液疾患関連情報を取得してよい(ステップ4)。
【0085】
次に、本実施形態のシステムは、一の染色手法に対応する、表示装置に表示するための、悪性血液疾患診断を支援する情報を生成してよい(ステップ5)。ここで、本実施形態のシステムは、本実施形態のシステムの一部である表示装置において、かかる悪性血液疾患診断を支援する情報に基づく情報を表示させてもよいし、本実施形態のシステムに含まれない他の情報処理装置に対してかかる悪性血液疾患診断を支援する情報に基づく情報を伝達し、かかる他の情報処理装置においてかかる悪性血液疾患診断を支援する情報に基づく情報を表示させてもよい。
【0086】
なお、本実施形態のシステムにおけるステップ1及び2は、第1実施形態のシステムのステップ1の前又は後に処理されてよい。本実施形態のシステムのステップ3乃至5は、各々、第1実施形態のシステムのステップ1、2、4に対応してよい。なお、本実施形態のシステムにおいても、第1実施形態のシステムのステップ3は処理されてよい。
【0087】
3.4.第4実施形態のシステム
第4実施形態のシステムは、生成されたマーキング画像に対するフィードバックにより、機械学習の機能を向上するための機能を備えるシステムである。そのため、本実施形態のシステムは、第1実施形態のシステムにおける処理のフローにおいて、マーキング画像が表示される場合のステップ4以降に処理されてよい。以下では、第1乃至第3実施形態のシステムにおいて説明した内容は省略し、異なる個所を説明する。
【0088】
本実施形態のシステムの処理の流れを説明する。
【0089】
利用者は、マーキング画像に対し、かかるマーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、を変更することに応答して、本実施形態のシステムは、かかるマーキング画像と関連付けられた、かかるマーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、を取得する(ステップ1)。かかる情報(「変更されたマーキング画像情報」ということもある)の態様に限定はなく、変更されたマーキング画像が、変更後の、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、を含んでもよいし、マーキング画像内に含まれずにこれらの情報がマーキング画像と関連付けられてもよい。
【0090】
本実施形態のシステムは、かかる変更されたマーキング画像情報を利用して、かかるマーキング画像を生成した機械学習部を機械学習する(ステップ2)。本実施形態のシステムが機械学習部を含む場合は、本実施形態のシステムが、かかる変更されたマーキング画像情報を利用して、機械学習してよい。また、本実施形態のシステムが機械学習部を含まない場合、本実施形態のシステムは、かかる変更されたマーキング画像情報を、機械学習部に伝達し、機械学習させてよい。また、変更されたマーキング画像情報が用いられて機械学習された情報は、更に、上述のように重みが、協調機械学習部に伝達などされてよい。このように、利用者は、マーキング画像について、かかるマーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、を変更することにより、本来あるべき血球の細胞の種類や位置の情報を有効利用できる利点がある。特に、再度の機械学習により、より機械学習によって生成される情報の精度が向上する利点がある。
【0091】
また、これらの変更されたマーキング画像情報は、特定の悪性血液疾患と関連付けられてよい。この場合、特定の悪性血液疾患との関係において、血球細胞の種類や位置の修正ができる利点がある。また、これらの変更されたマーキング画像は、上述の特定の悪性血液疾患と関連付けられることに加え、又は、代えて、特定の染色手法と関連付けられてもよい。染色手法によっても血球細胞の種類や位置の誤生成が生じうることから、染色手法と関連付けられてこれらの情報を修正できる利点がある。
【0092】
なお、本実施形態のシステムにおけるステップ1及び2は、第1実施形態のシステムのステップ4の後に処理されてよい。
【0093】
3.5.第1乃至第4実施形態のシステムの組み合わせについて
第1乃至第4実施形態のシステムは、適宜組み合わせることが可能であってよい。例えば、第1と第2実施形態のシステムの組み合わせ、第1と第3実施形態のシステムの組み合わせ、第1乃至第3実施形態のシステムの組み合わせ、又は、これらと第4実施形態のシステムの組み合わせ、が可能であってよい。各実施形態のシステムの組み合わせによって、各実施行為の技術の利点が増大する場合がある。
【0094】
例えば、第1乃至第3実施形態のシステムを組み合わせた場合、複数の悪性血液疾患についての、悪性血液疾患関連情報を、染色手法を考慮した精度を向上しつつ、生成できる利点がある。
【0095】
なお、第1乃至第3実施形態のシステムの組み合わせにおいては、第2及び第3実施形態のシステムにおけるステップ1及び2は、各々、第1実施形態のシステムのステップ1の前又は後に処理されてよい。第2及び第3実施形態のシステムのステップ3乃至5は、各々、第1実施形態のシステムのステップ1、2、4に対応してよい。また、第2及び第3実施形態のシステムにおいても、第1実施形態のシステムのステップ3は処理されてよい。
【0096】
なお、第2及び第4実施形態のシステムを組み合わせた場合、第4実施形態のシステムにおける変更されたマーキング画像情報は、第2実施形態のシステムにおいて特定された一又は複数の悪性血液疾患と関連付けられてよい。特に、複数の悪性血液疾患が特定されている場合、変更されたマーキング画像情報は、複数の悪性血液疾患のうちの一又は複数の悪性血液疾患と関連付けられてよい。この場合、複数の悪性血液疾患について、機械学習の精度を向上できる可能性がある利点がある。
【0097】
また、第3及び第4実施形態のシステムを組み合わせた場合、第4実施形態のシステムにおける変更されたマーキング画像情報は、第3実施形態のシステムにおいて特定された染色手法と関連付けられてよい。
【0098】
3.6.第5実施形態のシステム
第5実施形態のシステムは、生成されたマーキング画像に対するフィードバックにより、診断の支援の精度を向上する機能を備えるシステムである。
【0099】
例えば、本形態のシステムの説明においては、
図13のように、サーバ1301、情報処理装置1303(情報処理装置A)、情報処理装置1304(情報処理装置B)、及び、情報処理装置1305(情報処理装置C)、の各々は、インターネット2を介して、互い
に通信可能であるとする。本実施形態のシステムは、サーバ1301、情報処理装置A、
情報処理装置B、及び/又は、情報処理装置C、を含んでよい。
【0100】
ここで、情報処理装置Aは、診断の支援を利用する利用者UAが利用可能な装置であって
よい。情報処理装置B及びCは、各々、画像データの分類についての知見を有する者UB及びUCが利用可能な装置であってよい。なお、画像データの分類についての知見を有する者は、技師であってよく、医者でなくてよい。また、知見を有する者UB及びUCは、知見の程度は同じであってもよいし、異なってもよい。例えば、知見を有する者UCは、知見を有する者UBよりも、知識経験が高い者であってよい。また、情報処理装置A、B、Cは、汎用の情
報処理装置であってよい。例えば、デスクトップPCや携帯端末装置などであってよい。
【0101】
なお、知見を有する者は、UB及びUCの2者を説明したが、UBのみの1者でもよいし(この場合、情報処理装置Cはなく、情報処理装置Bのみとなる)、知見を有する者が3者以上いてもよい(この場合、知見を有する者の数に応じて、情報処理装置の数は増加してよい)。
【0102】
本実施形態のシステムは、第1実施形態のシステムにおける処理のフローにおいて、ステップ1及び2の後に以下のとおり処理されてよい。しかし、ステップ1及び2の後以外でも、ステップ1乃至3の後、又は、ステップ1乃至4の後に処理されてもよい。また、以下では、第1乃至第4実施形態のシステムにおいて説明した内容は省略し、異なる個所を説明する。
【0103】
ステップ3
本実施形態のシステムに係るサーバは、機械学習が適用後の一又は複数のマーキング画像を、情報処理装置Bに対して送信する。
【0104】
ステップ4
情報処理装置Bは、サーバから受領した一又は複数のマーキング画像を、表示する。情
報処理装置Bは、機械学習済みの機械学習部の利用によって得られた、マーキング画像内
の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、を含む又は関連付けられた、サーバから受領した一又は複数のマーキング画像を、表示してもよい。
【0105】
ステップ5
知見を有する者UBは、かかる各マーキング画像において、マーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、の正確性に関して確認し、必要あれば、補正してよい。情報処理装置Bは、知見を有する者UBに
よる、各マーキング画像において、マーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、の補正の入力に対応して、各マーキング画像について、補正後の、マーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、を記憶し、これらをサーバに送信してよい。ここで記憶され、送信される情報は、マーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、が補正されたマーキング画像であってもよいし、補正後のマーキング画像内の血液細胞の種類情報及び/又は血球細胞の位置を示す情報とマーキング画像とを関連付けられた情報、であってもよい。これらを総称して、上述のとおり、本願においては、変更されたマーキング画像情報、ということがある。
【0106】
サーバは、変更されたマーキング画像情報、を利用して、第1実施形態のシステムにおけるステップ3のように、血球の統計情報を生成してよい。また、ステップ4のように、悪性血管疾患診断を支援する情報を生成し、例えば、情報処理装置Aにおける表示装置に
て表示させて良い。この場合、利用者UAは、単に機械学習済みの機械学習部の利用のみで生成されたマーキング画像に基づく血球の統計情報及び診断を支援する情報を見ることと比較して、知見を有する者UBによる補正を経たより正確性が向上したマーキング画像に基づいて生成された血球の統計情報に基づく診断を支援する情報を見ることができるため、より精度が向上した支援を受けることができる利点がある。また、情報処理装置Bにおい
て、機械学習済みの機械学習部の利用によって得られたマーキング画像が表示される場合においては、知見を有する者UBは、単に血球を表示する画像に対して血球の種類情報及び/又は血球細胞の位置を示す情報を判断するのではなく、ある程度の正確性で表示されたマーキング画像に対して一部の間違いのあるもののみを補正すればよいため、負担が少ない利点がある。
【0107】
特に、上述の診断の支援は、知見を有する者UBが、夜間や休日などによって、在宅や遠隔地などにおり、利用者UAと同一の場所及び時間帯に活動していない状況であっても、利用者UAは知見を有する者UBの知見を利用できる利点を有する。
【0108】
次に、上述の処理を、情報処理装置Bの観点から説明する。
【0109】
まず、情報処理装置Bにおいては、あらかじめ、情報処理装置B上で実行される本実施形態のシステムのソフトウェアが情報処理装置Bに、インターネット回線などを介してダウンロードされ、インストールされてよい。
【0110】
次に、かかるソフトウェアの使用に際し、まず、情報処理装置Bは、知見を有する者UBに対して、
図14などのように、ログイン画面を表示し、知見を有する者UBのID(例えばメールアドレス)及びパスワード等の認証情報の入力に対して、知見を有する者UBの認証を行ってよい。
【0111】
認証後、情報処理装置B上のソフトウェアは、知見を有する者UBに対して依頼されている、マーキング画像についての情報を表示してよい。例えば、
図15は、かかる一例を示す。本図では、情報処理装置Bは、知見を有する者UBに対して、12件という複数の依頼を表示している。なお、各依頼は、依頼の選択を受け付けることができてよい。また、各依頼は、依頼と関連付けられて回答期限1501が表示されてよい。かかる回答期限により、情報処理装置Aの利用者UAは、知見を有する者UBからの回答が来る場合の期限を期待することができる。特に利用者UBが、患者に対して診断を迅速に行う必要がある場合、できれば知見を有する者UBによるより正確な判断を踏まえたものが好ましいが、時間的制約の中で判断する必要がある場合には、知見を有する者UBの判断を経ずに機械学習済みの機械学習部の利用に基づく判断であってもある程度の信用性があることから、現実的な医療の判断に貢献する表示の構成である。また、各依頼は、
図16のように、各依頼と関連付けられて検体種別と詳細1601が表示されてよい。
【0112】
知見を有する者UBが対応する依頼を決定し選択することに対応して、情報処理装置Bは選択された依頼の具体的な中身を表示してよい。例えば、
図17は、かかる表示の一例である。本図では、画像1701が一つのみ表示されているが、かかる画像は、複数リスト化されてよい。例えば、一の依頼は、一の患者に関する画像であってよく、かかる一の依頼は、例えば、500枚の画像についての依頼であってよい。
【0113】
かかる一の依頼における複数の画像の中の一の画像を表示した一例が、
図18である。
本図は、一の画像内に複数の血球が表示されている例である。かかる複数の血球の各々について、機械学習済み機能の適用により、かかる画像は、マーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、が各血球と関連付けられて表示されている。例えば、本図であれば、血球1はLymphでありその位置と確信度99%が関連付けられて表示され、血球2はMonoでありその位置と確信度93%が関連付けられて表示される、などである。なお、一の画像内に一の血球のみが表示されている場合もあってよい。知見を有する者UBは、かかる画像と関連付けられて表示されている情報を確認し、全て正しいと考えるのであれば、かかる画像は問題がないため、かかる画像について問題がない旨の情報を入力してよい。他方、機械学習後の技術によって間違っている情報が入力されている場合、知見を有する者UBは、修正ができる。
【0114】
図19は、一の画像についての細胞種別の入力を受け付ける画面の一例である。本図は、一の画像内に含まれる5つの細胞種別について、選択的に細胞種別を受け付ける画面を示す。このように、マーキング画像と細胞種別の入力を受け付ける画面とが同一画面の場合、知見を有する者UBは、画像を見ながら、細胞種別を入力できる利点がある。なお、本図では、各種別について、初期情報(機械学習後の技術が判断した細胞種別の情報)が選択肢に入力されていないが、初期情報としてかかる情報が入力されてもよい。この場合、知見を有する者UBによる情報入力の手間が減少する利点がある。
【0115】
図20は、細胞種別を、リストから選択する画面例である。このように、各細胞種別を選択的に入力することで、知見を有する者UBの負担を軽減できる利点がある。
図21は、知見を有する者UBが、一の画像内の各細胞種別を入力した後の図の一例である。なお、かかる画面と関連して、知見を有する者UBは、更に画像内の、細胞種別の位置についても修正できてよい。この場合、細胞の位置がより正しくなる利点がある。かかる情報は、血球の数の算出には影響しないものの、後述の修正後のマーキング画像が機械学習される場合に機械学習の精度を高めることができる可能性がある利点を有する。なお、一の患者に関して複数のマーキング画像がある場合において、一のマーキング画像についての細胞種別の情報を入力後、次のマーキング画像への細胞種別の情報の入力の受付が順次可能である構成であってよい。マーキング画像が、例えば、一の患者について500枚ぐらい存在する場合、知見を有する者はこれらを限られた時間の中で確認する必要があることから、一のマーキング画像の確認の終了後に次のマーキング画像の確認が可能であることで手間が減少できる利点がある。
【0116】
図22は、知見を有する者UBが、変更されたマーキング画像情報の入力を終了する操作の画面である。情報処理装置Bは、知見を有する者UBによる入力操作に対応して、かかる変更されたマーキング画像情報をサーバへ送信してよい。これにより、サーバは、知見を有する者UBによる補正を経て正確性の向上したマーキング画像についての情報を取得できる利点がある。
【0117】
3.6.1.第5.1実施形態のシステム
第5.1実施形態のシステムは、第5実施形態のシステムの変形例である。本実施形態のシステムは、第5実施形態のシステムに係る処理のステップ3において、情報処理装置Bに加えて、同時又は異時に、情報処理装置Cに対しても、機械学習が適用後の一又は複数のマーキング画像を、送信してよい。
【0118】
そして、本実施形態のシステムは、第5実施形態のシステムに係る処理のステップ4において、情報処理装置Bに加えて、同時又は異時に、情報処理装置Cにおいても、知見を有する者UCによって、上述のようにマーキング画像に対する補正に対応して、情報処理装置Cは、変更されたマーキング画像情報を、サーバに送ってよい。
【0119】
サーバは、情報処理装置B及び情報処理装置Cから取得した、変更されたマーキング画像情報、を利用して、第1実施形態のシステムにおけるステップ3のように、血球の統計情報を生成してよい。
【0120】
例えば、血球の統計情報の生成は、情報処理装置Bから取得した変更されたマーキング
画像情報と、情報処理装置Cから取得した変更されたマーキング画像情報と、を区別して
、各々生成されてもよい。この場合、第1実施形態のシステムにおけるステップ4において、情報処理装置Bに基づいた血球の統計情報と、情報処理装置Cに基づいた血球の統計情報と、を各々区別して、情報処理装置A等の表示装置に表示してよい。この場合、利用者UAは、知見を有する者UBとUCに違いがあるかどうかを見ることができる利点がある。また
、サーバ又は情報処理装置Aは、情報処理装置Bに基づいた血球の統計情報と、情報処理装置Cに基づいた血球の統計情報との違いに係るデータを生成して、表示装置Aはかかるデータを表示してもよい。違いに係るデータは、例えば、知見を有する者UBとUCの判断が分かれた画像数、及び/又は、判断が分かれた画像における判断の別れた程度、を含んでよい。判断の別れた程度は、例えば、血球について、正常と異常という判断で別れたもの、及び/又は、判断は分かれたがいずれも正常又は異常として判断されたもの、などのデータを含んでよい。上述では、知見を有する者UBとUCとして説明したが、知見を有する者が3者以上いる場合においても、同様に、各情報処理装置に基づく血球の統計情報を区別して表示してよい。
【0121】
また、例えば、上述に追加して又は代えて、血球の統計情報の生成は、情報処理装置B
から取得した変更されたマーキング画像情報と、情報処理装置Cから取得した変更された
マーキング画像情報と、をマーキング画像毎に処理して、血球の統計情報を生成してもよい。マーキング画像毎の処理としては、例えば、特定のマーキング画像について、情報処理装置BとCに基づく情報が異なる場合に、それらの平均値を採用する、又は、かかる異なる情報のマーキング画像は知見を有する者の判断が分かれたものであるとして利用しない、などの処理をしてよい。上述では、知見を有する者UBとUCとして説明したが、知見を有する者が3者以上いる場合においても、同様に、各情報処理装置に基づくマーキング画像毎の判定をしてよい。
【0122】
以上のとおり、複数の知見を有する者による判断の情報を利用することにより、マーキング画像についての情報の精度がより向上しうるため、より精度が向上した支援を受けることができる利点がある。
【0123】
なお、複数の知見を有する者が、マーキング画像についての評価をする場合においても、夜間や休日などにより、複数の知見を有する者の全員が補正できない場合であって、複数の知見を有する者のうちの一部の者からのみの情報に基づいて、血球の統計情報の生成や、情報処理装置Aへの表示をしてもよい。迅速な支援を優先する場合もあるためである
。
【0124】
3.6.2.第5.2実施形態のシステム
本実施形態のシステムは、第5又は第5.1実施形態のシステムの変形例である。本実施形態のシステムは、第5.1実施形態のシステムのように、機械学習後の技術が適用されたマーキング画像を、複数の知見を有する者に係る情報処理装置において表示する態様であるが、第5.1実施形態のシステムと異なり、複数の知見を有する者に対して常に全てのマーキング画像を表示するのではなく、一部のマーキング画像が表示される態様である。
【0125】
例えば、情報処理装置Bにおける知見を有する者UBが、機械学習技術の適用によって得
られた、マーキング画像内の血液細胞の種類情報、及び/又は、かかるマーキング画像内の血球細胞の位置を示す情報、について、判断に迷ったり、判断を確定しないことを希望する場合があったとする。この場合、情報処理装置Bは、かかる判断に迷うなどの特定の
マーキング画像の入力を受け付けたことに対応して、かかる特定のマーキング画像についての第三者の判断を受けるための処理をしてよい。例えば、情報処理装置Bは、かかる特
定のマーキング画像を示す情報を、情報処理装置Cに表示するための処理をしてよい。例
えば、情報処理装置Bは、直接情報処理装置Cに対してかかる特定のマーキング画像を示す情報を送信してもよいし、サーバに対してかかる情報を送信し、サーバが情報処理装置C
にかかる情報を送信してもよい。情報処理装置Cにおいては、かかる特定のマーキング画
像を表示し、情報処理装置Cに係る知見を有する者UCによる情報の入力を上述のように受
け付けて、変更されたマーキング画像情報を、サーバに送ってよい。
【0126】
この場合、知見を有する者UCは、知見を有する者UBが判断しないものについてのみ判断するため、負担が減少する利点がある。特に、知見を有する者UCが、知見を有する者UBよりも経験を有する場合などに適用されてよい。
【0127】
なお、上述の場合において、知見を有する者UCによって入力された後の変更されたマーキング画像情報が、情報処理装置UBにおいて表示されるよう処理する場合(例えば、情報処理装置Cが、情報処理装置Bに直接又はサーバを介するなどして間接的に送信する)、知見を有する者UB自身も判断の一例を見ることができる利点がある。
【0128】
3.6.3.第5.3実施形態のシステム
本実施形態のシステムは、知見を有する者に係る情報処理装置が、他の知見を有する者による判断の結果の情報を表示する態様である。
【0129】
第5.2実施形態のシステムは、知見を有する者UCは、知見を有する者UBが判断を確定しないもののみを見る態様であったが、本実施形態のシステムは知見を有する者UBが判断をしたものも含めて、情報処理装置UCにおいて、表示できるよう処理してよい。
【0130】
例えば、情報処理装置Bにおいて、知見を有する者UBによる判断を経た後(判断後に変
更された場合と変更されない場合が含まれてよい)、知見を有する者UBの判断をした及び/又は判断をしないという情報と関連付けられた特定のマーキング画像を示す情報が、情報処理装置Cにおいて表示されるよう処理されてよい(上述のように、情報処理装置Bは、情報処理装置Cに直接又はサーバを介して、上述の結果を送信してよい)。なお、この場
合、情報処理装置Cが表示する変更されたマーキング画像情報は、知見を有する者UBによ
って判断を経た全ての変更されたマーキング画像情報であってもよいし、一部の変更されたマーキング画像情報であってもよい。
【0131】
3.6.4.第5.4実施形態のシステム
本実施形態のシステムは、第5、第5.1、第5.2、又は第5.3実施形態のシステムにおいて、情報処理装置B及び/又はCは、マーキング画像又は変更されたマーキング画像情報に関する患者についての情報を表示するものである。この場合、表示に対応して、知見を有する者UB及び/又はUCは、患者の情報を考慮に入れて、判断ができる利点がある。
【0132】
患者についての情報は、例えば、年齢に係るデータ、性別に係るデータ、
血液検査結果、治療状況、同種移植実施状況、治療関連性腫瘍有無、家族歴、及び/又は、検査の目的に係るデータ、を含んでよい。また、血液検査の結果は、白血球、血小板、好中球、ヘモグロビン、及び/又は、平均赤血球容積(MCV)についての検査の結果を含ん
でよい。これらの情報は、知見を有する者UB及び/又はUCが、血球について判断に迷う場合において参考にすることで、過去の経験に基づいて、より患者に即した判断ができる利点がある。特に、血球の形状や特性の判断は、年齢に係るデータ、性別に係るデータ、血液検査結果、治療状況、同種移植実施状況、治療関連性腫瘍有無、家族歴、及び/又は、検査の目的に係るデータ、 に影響を受ける場合があり、知見を有する者は血球について
判断が迷う場合に、これらの情報の表示を受けて情報を参考としてより患者に即した判断ができる利点がある。ここで、治療状況は、患者が現在治療中の悪性血液疾患の治療期間のデータである。同種移植実施状況とは、ドナーの造血幹細胞を移植する実施状況を示すデータである。かかるデータは、例えば、移植の有無及び/又は移植されたドナーの細胞の種類である。治療関連性腫瘍有無とは、患者に対する化学療法及び/又は放射線治療経験の有無を示すデータである。家族歴とは、患者の3親等以内の親族における悪性血液疾患の病歴の有無である。
【0133】
3.6.5.第5.5実施形態のシステム
本実施形態のシステムは、第5、第5.1、第5.2、第5.3、又は、第5.4実施形態のシステムにおいて、サーバ、情報処理装置B及び/又はCが、知見を有する者UB及び/又はUCによって、判断されたマーキング画像の数を算出する機能を備えるものである。
かかる機能は、知見を有する者UB及び/又はUCが、知見を利用して、判断という労力を数値的に算出できる利点がある。
【0134】
かかるマーキング画像の数という数値情報は、サーバ、情報処理装置B及び/又はCにおいて、所定期間における合計値が算出されてよい。この場合、かかる所定期間における、知見を有する者UB及び/又はUCの労力を数値化できる利点がある。また、かかる数値情報は、かかる知見を有する者UB及び/又はUCの労力に対する労力に対する対価の計算において利用されてよい。例えば、A個のマーキング画像について判断をした者は、Aより少ないB個のマーキング画像について判断をした者よりも、高い対価を獲得できるような処理が
されてよい。なお、かかる対価において、一の知見を有する者によるマーキング画像についての変更が他の知見を有する者によって変更された場合、かかる変更分を考慮してもよいし、考慮しなくてもよい。
【0135】
かかる数値情報は、マーキング画像の変更に係る情報処理装置B又はCに送信されてよい。この場合、各々、知見を有する者UB又はUCは、自己の労力を数値情報として理解できる利点がある。かかる数値情報は、所定期間と関連付けられてかかる所定期間内における数値の合計情報を含んでよい。
【0136】
また、数値情報は、マーキング画像の数に代えて、マーキング画像に係る種々の情報であってよい。数値情報は、例えば、マーキング画像内の細胞種別の数の合計値又はそれらのうちの変更した細胞種別の数の合計値などであってもよい。
【0137】
3.6.様々な実施態様について
第1の態様によるシステムは、「
撮像画像を取得する画像取得部と、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用部と、を備える」ものである。
【0138】
第2の態様によるシステムは、上記第1の態様において「悪性血液疾患関連情報は、悪性血液疾患診断基準合致性、悪性血液疾患診断基準合致性の確信度に係る情報、血球細胞の種類情報、及び/又は、前記血球細胞の正常又は異常の情報、を含む、」ものである。
【0139】
第3の態様によるシステムは、上記第1の態様又は上記第2の態様において「前記機械学習部における機械学習は、染色方法毎の画像によって機械学習済みである」ものである。
【0140】
第4の態様によるシステムは、上記第1乃至上記第3のいずれか一の態様において「前記染色方法は、染色液の乾燥処理の有無を含む」ものである。
【0141】
第5の態様によるシステムは、上記第1乃至上記第4のいずれか一の態様において「前記悪性血液疾患関連情報は、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、を含むマーキング画像を含む」ものである。
【0142】
第6の態様によるシステムは、上記第1乃至上記第5のいずれか一の態様において「各前記マーキング画像は、機械学習部による適用における確信度に係る情報と関連付けられている」ものである。
【0143】
第7の態様によるシステムは、上記第1乃至上記第6のいずれか一の態様において「
前記マーキング画像に対する、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、の変更情報を取得する取得部を備え、
前記機械学習部は、前記変更情報が用いられて機械学習する協調機械学習部からの情報に基づき、更に機械学習された状態に変更可能である、」ものである。
【0144】
第8の態様によるシステムは、上記第1乃至上記第7のいずれか一の態様において「前記悪性血液疾患関連情報は、MDS(骨髄異形症候群)を含む」ものである。
【0145】
第9の態様によるシステムは、上記第1乃至上記第8のいずれか一の態様において「
前記画像取得部は、複数の撮像画像を取得し、
前記画像情報は、複数の画像を含み、
前記機械学習適用部は、前記複数の撮像画像に対して、一の悪性血液疾患情報を取得する」ものである。
【0146】
第10の態様によるシステムは、上記第1乃至上記第9のいずれか一の態様において「
前記一の悪性血液疾患関連情報は、
一の悪性血液疾患診断基準合致性、
一の悪性血液疾患診断基準合致性の確信度に係る情報、及び/又は、
前記複数の撮像画像に対して各々対応する、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、を含むマーキング画像を含む」ものである。
【0147】
第11の態様による方法は、「システムが、
撮像画像を取得する画像取得ステップと、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用ステップと、
を実行する」ものである。
【0148】
第12の態様によるプログラムは、「システムを、
撮像画像を取得する画像取得手段、
画像情報と、悪性血液疾患関連情報と、の関係を機械学習済みの機械学習部に対し、前記撮像画像を適用することによって対応する悪性血液疾患関連情報を取得する機械学習適用手段、
として動作させる」ものである。
【0149】
第13の態様による学習済みモデルの生成方法は、「画像情報と、悪性血液疾患関連情報と、の関係を学習することにより学習済みモデルを生成する学習済みモデルの生成方法」ものである。
【0150】
第14の態様によるシステムは、「撮像画像を取得する画像取得部と、
画像情報と、悪性血液疾患関連情報と、の関係を学習した学習済みモデルと、を有するシステム」である。
【0151】
第15の態様によるシステムは、上記第1乃至上記第10のいずれか一の態様において「前記マーキング画像に対する、血液細胞の種類情報、及び/又は、血球細胞の位置を示す情報、の変更情報を取得する取得部、を更に備える」ものである。
【0152】
第16の態様によるシステムは、上記第1乃至上記第10及び15のいずれか一の態様において「前記取得部は、前記変更情報を、悪性血液疾患に係る画像データの分類についての知見を有する医師又は臨床検査技師に係る第1情報処理装置から直接的に又は間接的に取得可能である」ものである。
【0153】
第17の態様によるシステムは、上記第1乃至上記第10、15、及び16のいずれか一の態様において「前記機械学習部は、前記変更情報が用いられて、機械学習された状態に変更可能である」ものである。
【0154】
第18の態様によるシステムは、上記第1乃至上記第10及び15乃至17のいずれか一の態様において「撮像画像に係る患者についての、年齢に係るデータ、性別に係るデータ、血液検査結果、治療状況、同種移植実施状況、治療関連性腫瘍有無、家族歴、及び/又は、検査の目的に係るデータ、を前記第1情報処理装置に対して、送信する送信部、をさらに備える」ものである。
【0155】
第19の態様によるシステムは、上記第1乃至上記第10及び15乃至18のいずれか一の態様において「前記第1情報処理装置から、専門家に係る第2情報処理装置を示すデータ、及び、一又は複数のマーキング画像に係るデータ、を直接的又は間接的に取得する取得部と、
前記一又は複数のマーキング画像に係るデータの送信に対応して、前記送信されたマーキング画像に係る変更情報を、前記第1情報処理装置とは異なる前記第2情報処理装置から直接的又は間接的に取得する取得部と、
を更に備える」ものである。
【0156】
上述では、本例のシステムが実施する構成として説明したが、これらは、システム内の一又は複数の情報処理装置が実施する構成であってよい。
【0157】
また、一実施形態のシステムは、患者のプライバシーなどの個人情報を取得、記憶、及び/又は、区別などの管理をする機能を有さなくてよい。例えば、一実施形態のシステムは、患者を特定する情報と撮像画像とを関連付けて記憶する機能、患者を特定する情報と悪性血液関連情報とを関連付けて記憶する機能、などを有しなくて良い。一実施形態のシステムが、このように、患者の個人情報を管理する機能を有しない場合は、個人情報保護法などの制約を受けずに、利用できる利点がある。近年、プライバシーに対する世間の関心が高まり、個人情報保護法による保護が強化されたことから、本願技術に係るシステムが個人情報を利用しないことによる利点は高い。
【0158】
また、一実施形態のシステムは、上述に加えて、又は、上述に代えて、患者の匿名加工情報を、取得、記憶、及び/又は、区別などの管理をする機能を有してよい。一実施形態のシステムが、患者の匿名加工情報を管理する機能を有することにより、個人情報と異なり、第三者への譲渡等、個人情報についての制約を受けずに、利用できる場合がある利点がある。
【0159】
また、一実施形態のシステムは、医師に代わって悪性血液疾患の確定診断を行うことを目的とするものではなく、医師が悪性血液疾患の診断を行う場合の支援を行うものであってよい。この場合、一実施形態のシステムは、医療機器に当たらず、医療機器としての種々の制約を受けない利点がある。
【0160】
本願書類において、システムは、携帯端末装置を含んでよい。携帯端末装置は、スマートフォン、携帯電話、PDA、ウェアラブルコンピュータ、タブレットコンピュータ、ハン
ドヘルドコンピュータ、ノートパソコン、又は、ラップトップ、を含んでよい。また、システムは、サーバ、クラウド、などの一又は複数の情報処理装置を含んでよい。
【0161】
本願書類に係るシステムにおいて、主に、利用者に情報を伝達する態様として、利用者に表示する態様を説明したが、かかる表示する態様に追加して又は代えて、利用者に音声で知らせる態様であってもよい。
【0162】
本願書類の実施例において述べた発明例は、本願書類で説明されたものに限らず、その技術的思想の範囲内で、種々の例に適用できることはいうまでもない。
【0163】
また、本願書類で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものであってよい。また、本願書類で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能であってよい。また、コンピュータプログラムは、一時的ではない記録媒体に記録することが可能であってよい。記録媒体は、コンピュータ読み取り可能な記録媒体であってよい。