(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-20
(45)【発行日】2022-09-29
(54)【発明の名称】診断支援装置、診断支援方法、及び診断支援プログラム
(51)【国際特許分類】
A61B 6/00 20060101AFI20220921BHJP
A61B 5/055 20060101ALI20220921BHJP
G06T 7/00 20170101ALI20220921BHJP
【FI】
A61B6/00 350Z
A61B5/055 380
G06T7/00 350C
G06T7/00 612
(21)【出願番号】P 2019130714
(22)【出願日】2019-07-12
【審査請求日】2021-07-15
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】福田 威
(72)【発明者】
【氏名】中津川 晴康
【審査官】佐野 浩樹
(56)【参考文献】
【文献】韓国登録特許第10-1880678(KR,B1)
【文献】特開2019-092542(JP,A)
【文献】国際公開第2017/221782(WO,A1)
【文献】特開2009-095644(JP,A)
【文献】特開2017-200565(JP,A)
【文献】特開2020-192142(JP,A)
【文献】特開2016-059449(JP,A)
【文献】特開2015-080720(JP,A)
【文献】特開2019-033966(JP,A)
【文献】国際公開第2006/077885(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - 5/01 、 5/055、
6/00 - 6/14 、
G06Q50/22 、
G06T 1/00 - 1/40 、 3/00 - 7/90 、
G06V10/00 -20/90 、30/418、40/16 、
40/20 、
G16H10/00 -80/00
(57)【特許請求の範囲】
【請求項1】
被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体長及び体重の少なくとも一方によって分類される種類であって、前記被検体が属する種類を表す種類情報とを取得する取得部と、
前記取得部により取得された前記医用画像データ及び前記種類情報と、学習用の複数の前記医用画像データ及び前記種類情報の組を用いて予め学習された学習済みモデルとに基づいて、前記被検体の前記医用画像における異常の有無を判定する判定部と、
を備え
、
前記学習用の複数の前記医用画像データは、病変を含まない第1の医用画像を表す第1の医用画像データと、疾患に応じた病変を含む第2の医用画像を表す第2の医用画像データとを含む
診断支援装置。
【請求項2】
前記第2の医用画像は、前記種類毎に罹患し易い疾患として予め定められた疾患毎に分類された医用画像を含む
請求項
1に記載の診断支援装置。
【請求項3】
前記学習済みモデルは、前記種類毎に学習されることによって生成された複数の学習済みモデルであり、
前記判定部は、前記取得部により取得された前記医用画像データと、前記種類情報が表す種類に対応する前記学習済みモデルとに基づいて、前記被検体の前記医用画像における異常の有無を前記疾患毎に判定する
請求項2に記載の診断支援装置。
【請求項4】
前記判定部は、前記被検体の体重から前記被検体の前記種類を判定し、
前記取得部は、前記判定部により判定された前記被検体の種類を表す種類情報を取得する
請求項1から請求項3の何れか1項に記載の診断支援装置。
【請求項5】
前記被検体は、犬であり、
前記種類は、小型犬、中型犬、又は大型犬である
請求項1から請求項4の何れか1項に記載の診断支援装置。
【請求項6】
被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体長及び体重の少なくとも一方によって分類される種類であって、前記被検体が属する種類を表す種類情報とを取得し、
取得した前記医用画像データ及び前記種類情報と、学習用の複数の前記医用画像データ及び前記種類情報の組を用いて予め学習された学習済みモデルとに基づいて、前記被検体の前記医用画像における異常の有無を判定する
処理をコンピュータが実行する診断支援方法
であって、
前記学習用の複数の前記医用画像データは、病変を含まない第1の医用画像を表す第1の医用画像データと、疾患に応じた病変を含む第2の医用画像を表す第2の医用画像データとを含む
診断支援方法。
【請求項7】
被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体長及び体重の少なくとも一方によって分類される種類であって、前記被検体が属する種類を表す種類情報とを取得し、
取得した前記医用画像データ及び前記種類情報と、学習用の複数の前記医用画像データ及び前記種類情報の組を用いて予め学習された学習済みモデルとに基づいて、前記被検体の前記医用画像における異常の有無を判定する
処理をコンピュータに実行させるための診断支援プログラム
であって、
前記学習用の複数の前記医用画像データは、病変を含まない第1の医用画像を表す第1の医用画像データと、疾患に応じた病変を含む第2の医用画像を表す第2の医用画像データとを含む
診断支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、診断支援装置、診断支援方法、及び診断支援プログラムに関する。
【背景技術】
【0002】
人を医用画像撮影装置によって撮影して得られた医用画像に対し、学習済みの識別器を用いて画像解析を行う技術が開示されている(特許文献1参照)。この技術では、学習済みの識別器を用いた画像解析によって、医用画像が複数種別の病変パターンのうちのどの病変パターンに該当するかを判別する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、被検体が動物である場合において、動物の体長及び体重の少なくとも一方により分類される種類毎に臓器及び骨の形状、大きさ、及び位置等が違う場合がある。この場合、特許文献1に記載のように、上記種類を考慮せずに、医用画像のみから病変の有無を判定する技術では、病変の有無を精度良く判定できない場合があった。この場合、獣医師等のユーザによる医用画像を用いた診断を効果的に支援することができない。
【0005】
本開示は、以上の事情を鑑みてなされたものであり、医用画像を用いた診断を効果的に支援することができる診断支援装置、診断支援方法、及び診断支援プログラムを提供する。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本開示の診断支援装置は、被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体長及び体重の少なくとも一方によって分類される種類であって、被検体が属する種類を表す種類情報とを取得する取得部と、取得部により取得された医用画像データ及び種類情報と、学習用の複数の医用画像データ及び種類情報の組を用いて予め学習された学習済みモデルとに基づいて、被検体の医用画像における異常の有無を判定する判定部と、を備える。
【0007】
なお、本開示の診断支援装置は、学習用の複数の医用画像データが、病変を含まない第1の医用画像を表す第1の医用画像データと、疾患に応じた病変を含む第2の医用画像を表す第2の医用画像データとを含んでもよい。
【0008】
また、本開示の診断支援装置は、第2の医用画像が、種類毎に罹患し易い疾患として予め定められた疾患毎に分類された医用画像を含んでもよい。
【0009】
また、本開示の診断支援装置は、判定部が、被検体の体重から被検体の種類を判定し、取得部が、判定部により判定された被検体の種類を表す種類情報を取得してもよい。
【0010】
また、本開示の診断支援装置は、被検体が、犬であり、種類が、小型犬、中型犬、又は大型犬であってもよい。
【0011】
また、本開示の情報処理方法は、被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体長及び体重の少なくとも一方によって分類される種類であって、被検体が属する種類を表す種類情報とを取得し、取得した医用画像データ及び種類情報と、学習用の複数の医用画像データ及び種類情報の組を用いて予め学習された学習済みモデルとに基づいて、被検体の医用画像における異常の有無を判定する処理をコンピュータが実行するものである。
【0012】
また、本開示の診断支援プログラムは、被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体長及び体重の少なくとも一方によって分類される種類であって、被検体が属する種類を表す種類情報とを取得し、取得した医用画像データ及び種類情報と、学習用の複数の医用画像データ及び種類情報の組を用いて予め学習された学習済みモデルとに基づいて、被検体の医用画像における異常の有無を判定する処理をコンピュータに実行させるためのものである。
【0013】
また、本開示の診断支援装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサと、を備え、プロセッサは、被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体長及び体重の少なくとも一方によって分類される種類であって、被検体が属する種類を表す種類情報とを取得し、取得した医用画像データ及び種類情報と、学習用の複数の医用画像データ及び種類情報の組を用いて予め学習された学習済みモデルとに基づいて、被検体の医用画像における異常の有無を判定する。
【発明の効果】
【0014】
本開示によれば、医用画像を用いた診断を効果的に支援することができる。
【図面の簡単な説明】
【0015】
【
図1】各実施形態に係る情報処理システムの構成の一例を示すブロック図である。
【
図2】各実施形態に係る診断支援装置のハードウェア構成の一例を示すブロック図である。
【
図4】第1実施形態に係る医用画像データに付加される情報を説明するための図である。
【
図6】第1実施形態に係る頭種毎の学習済みモデルを説明するための図である。
【
図7】第1実施形態に係る診断支援装置の学習フェーズにおける機能的な構成の一例を示すブロック図である。
【
図8】第1実施形態に係る学習済みモデルの入出力を説明するための図である。
【
図9】第1実施形態に係る学習処理の一例を示すフローチャートである。
【
図10】第1実施形態に係る診断支援装置の運用フェーズにおける機能的な構成の一例を示すブロック図である。
【
図11】第1実施形態に係る診断支援処理の一例を示すフローチャートである。
【
図12】短頭種用の学習済みモデルを用いた判定処理を示す図である。
【
図13】中頭種用の学習済みモデルを用いた判定処理を示す図である。
【
図14】長頭種用の学習済みモデルを用いた判定処理を示す図である。
【
図15】医用画像データ及び頭種情報を入力とした場合の学習済みモデルの一例を示す図である。
【
図16】変形例に係る頭種毎の学習済みモデルを説明するための図である。
【
図17】変形例に係る学習済みモデルの出力を説明するための図である。
【
図18】第2実施形態に係る医用画像データに付加される情報を説明するための図である。
【
図19】第2実施形態に係る種類毎の学習済みモデルを説明するための図である。
【
図20】第2実施形態に係る診断支援装置の学習フェーズにおける機能的な構成の一例を示すブロック図である。
【
図21】第2実施形態に係る学習済みモデルの入出力を説明するための図である。
【
図22】第2実施形態に係る学習処理の一例を示すフローチャートである。
【
図23】第2実施形態に係る診断支援装置の運用フェーズにおける機能的な構成の一例を示すブロック図である。
【
図24】第2実施形態に係る診断支援処理の一例を示すフローチャートである。
【
図25】小型犬用の学習済みモデルを用いた判定処理を示す図である。
【
図26】中型犬用の学習済みモデルを用いた判定処理を示す図である。
【
図27】大型犬用の学習済みモデルを用いた判定処理を示す図である。
【
図28】医用画像データ及び種類情報を入力とした場合の学習済みモデルの一例を示す図である。
【
図29】変形例に係る種類毎の学習済みモデルを説明するための図である。
【
図30】変形例に係る学習済みモデルの出力を説明するための図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、以下の各実施形態では、被検体の動物として犬を適用した形態例を説明する。また、本明細書における「動物」とは、犬及び猫等の「人」を除く動物を意味する。
【0017】
[第1実施形態]
まず、
図1を参照して、本実施形態に係る情報処理システム10の構成を説明する。
図1に示すように、情報処理システム10は、診断支援装置12及び複数の端末装置14を含む。診断支援装置12及び複数の端末装置14は、それぞれネットワークNに接続され、ネットワークNを介して互いに通信が可能とされる。
【0018】
診断支援装置12は、例えば、動物病院に設置される。診断支援装置12の例としては、サーバコンピュータ等が挙げられる。なお、診断支援装置12は、クラウドサーバであってもよい。端末装置14は、例えば、動物病院に設置され、獣医師等のユーザにより使用される。端末装置14の例としては、パーソナルコンピュータ及びタブレットコンピュータ等が挙げられる。
【0019】
次に、
図2を参照して、本実施形態に係る診断支援装置12のハードウェア構成を説明する。
図2に示すように、診断支援装置12は、CPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、及び不揮発性の記憶部22を含む。また、診断支援装置12は、液晶ディスプレイ等の表示部23、キーボードとマウス等の入力部24、及びネットワークNに接続されるネットワークI/F(InterFace)25を含む。CPU20、メモリ21、記憶部22、表示部23、入力部24、及びネットワークI/F25は、バス26に接続される。
【0020】
記憶部22は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部22には、学習プログラム30が記憶される。CPU20は、記憶部22から学習プログラム30を読み出してからメモリ21に展開し、展開した学習プログラム30を実行する。また、記憶部22には、診断支援プログラム32が記憶される。CPU20は、記憶部22から診断支援プログラム32を読み出してからメモリ21に展開し、展開した診断支援プログラム32を実行する。また、記憶部22には、学習用の複数の医用画像データ34と、学習済みモデル36とが記憶される。
【0021】
医用画像データ34は、被検体の犬を医用画像撮影装置によって撮影して得られた医用画像を表す画像データである。本実施形態では、医用画像データ34として、被検体の犬に対して放射線を照射し、犬を透過した放射線を検出する放射線検出器により検出された放射線量に応じた放射線画像を表す画像データを適用した形態例を説明する。なお、医用画像データ34は、MRI(Magnetic Resonance Imaging)画像を表す画像データ及びCT(Computed Tomography)画像を表す画像データ等であってもよい。
【0022】
また、医用画像データ34は、一例として
図3に示すように、犬の撮影対象部位を側面方向(所謂Lateral)に撮影して得られた医用画像を表す医用画像データと、腹側から背中側に向けた方向(所謂Ventral-Dorsal)に撮影して得られた医用画像を表す医用画像データの組となっている。医用画像データ34は、1つの方向から撮影して得られた医用画像を表す医用画像データでもよいし、3つ以上の方向から撮影して得られた医用画像を表す医用画像データの組でもよい。
【0023】
また、医用画像データ34には、一例として
図4に示すように、撮影対象の犬の頭種を表す頭種情報と、医用画像データ34が表す医用画像における異常の有無を表す情報(以下、「異常有無情報」という)とが付加されている。
図4の例では、異常が無いことを「正常」と表記している。ここでいう異常の無い医用画像とは、病変が含まれない医用画像を意味し、異常の有る医用画像とは、疾患に応じた病変が含まれる医用画像を意味する。以下では、学習用の複数の医用画像データ34のうち、病変を含まない医用画像を「第1の医用画像」といい、第1の医用画像を表す医用画像データを「第1の医用画像データ」という。また、以下では、学習用の複数の医用画像データ34のうち、疾患に応じた病変を含む医用画像を「第2の医用画像」といい、第2の医用画像を表す「第2の医用画像データ」という。
【0024】
また、
図4に示すように、本実施形態では、犬の頭種が、短頭種、中頭種、又は長頭種である形態例について説明するが、これに限定されない。犬の頭種は、例えば、短頭種又は長頭種の2種類でもよいし、4種類以上でもよい。また、
図5に示すように、本実施形態に係る短頭種とは、鼻の長さL1が頭蓋骨の長さL2よりも短い犬のことを意味する。また、長頭種とは、鼻の長さL1が頭蓋骨の長さL2よりも長い犬のことを意味する。また、中頭種とは、鼻の長さL1と頭蓋骨の長さL2とが同じである犬のことを意味する。なお、鼻の長さL1と頭蓋骨の長さL2とが完全に同じでなくても、鼻の長さL1と頭蓋骨の長さL2との差が、許容誤差の範囲内の場合は中頭種としてもよい。
【0025】
学習済みモデル36は、学習用の複数の医用画像データ34及び頭種情報の組を用いて予め学習されたモデルである。本実施形態では、一例として
図6に示すように、頭種毎に、複数の医用画像データ34及び頭種情報の組を用いた機械学習によって学習済みモデル36が生成される。以下では、頭種毎の学習済みモデル36を区別する場合は、短頭種用の学習済みモデル36A、中頭種用の学習済みモデル36B、及び長頭種用の学習済みモデル36Cのように、符号の末尾にアルファベットを付して説明する。学習済みモデル36の例としては、ニューラルネットワークモデルが挙げられる。
【0026】
次に、
図7を参照して、本実施形態に係る診断支援装置12の学習フェーズにおける機能的な構成について説明する。
図7に示すように、診断支援装置12は、取得部40及び学習部42を含む。CPU20が学習プログラム30を実行することで、取得部40及び学習部42として機能する。
【0027】
取得部40は、医用画像データ34と、医用画像データ34に付加された頭種情報及び異常有無情報とを記憶部22から取得する。
【0028】
学習部42は、取得部40により取得された複数組の医用画像データ34、頭種情報、及び異常有無情報を学習用のデータ(教師データとも称される)として学習させることによって、医用画像データ及び頭種情報に基づいて被検体の医用画像における異常の有無に関する情報を出力する学習済みモデル36を生成する。
【0029】
具体的には、学習部42は、頭種情報が表す頭種毎に、医用画像データ34を入力とし、医用画像データ34が表す医用画像における異常の有無を表す情報を出力とした学習済みモデル36を機械学習によって生成する。
【0030】
より具体的には、学習部42は、短頭種の医用画像データ34のうち、異常の無い医用画像を表す医用画像データ34が入力されたときは、正常であることを表す情報(例えば、「0」)が出力されるようにモデルを学習させる。また、学習部42は、短頭種の医用画像データ34のうち、異常の有る医用画像を表す医用画像データ34が入力されたときは、異常であることを表す情報(例えば、「1」)が出力されるようにモデルを学習させる。この学習により、短頭種用の学習済みモデル36Aが生成される。
【0031】
同様に、学習部42は、中頭種の医用画像データ34のうち、異常の無い医用画像を表す医用画像データ34が入力されたときは、正常であることを表す情報が出力されるようにモデルを学習させる。また、学習部42は、中頭種の医用画像データ34のうち、異常の有る医用画像を表す医用画像データ34が入力されたときは、異常であることを表す情報が出力されるようにモデルを学習させる。この学習により、中頭種用の学習済みモデル36Bが生成される。
【0032】
同様に、学習部42は、長頭種の医用画像データ34のうち、異常の無い医用画像を表す医用画像データ34が入力されたときは、正常であることを表す情報が出力されるようにモデルを学習させる。また、学習部42は、長頭種の医用画像データ34のうち、異常の有る医用画像を表す医用画像データ34が入力されたときは、異常であることを表す情報が出力されるようにモデルを学習させる。この学習により、長頭種用の学習済みモデル36Cが生成される。
【0033】
以上の学習部42による学習のアルゴリズムとしては、例えば、誤差逆伝播法を適用することができる。以上の学習部42による学習によって、一例として
図8に示すように、頭種毎に、医用画像データを入力とし、入力の医用画像データが表す医用画像が正常であるか、又は異常であるかを表す情報を出力とする学習済みモデル36が生成される。そして、学習部42は、生成した学習済みモデル36を記憶部22に記憶する。
【0034】
次に、
図9を参照して、本実施形態に係る診断支援装置12の学習フェーズにおける作用を説明する。CPU20が学習プログラム30を実行することによって、
図9に示す学習処理が実行される。
【0035】
図9のステップS10で、取得部40は、医用画像データ34と、医用画像データ34に付加された頭種情報及び異常有無情報とを記憶部22から取得する。
【0036】
ステップS12で、学習部42は、前述したように、ステップS10で取得された複数組の医用画像データ34、頭種情報、及び異常有無情報を学習用のデータとして頭種毎にモデルを学習させる。この学習により、学習部42は、医用画像データ及び頭種情報に基づいて被検体の医用画像における異常の有無に関する情報を出力する学習済みモデル36を生成する。そして、学習部42は、生成した学習済みモデル36を記憶部22に記憶する。ステップS12の処理が終了すると学習処理が終了する。
【0037】
次に、
図10を参照して、本実施形態に係る診断支援装置12の運用フェーズにおける機能的な構成について説明する。
図10に示すように、診断支援装置12は、取得部50、判定部52、及び出力部54を含む。CPU20が診断支援プログラム32を実行することで、取得部50、判定部52、及び出力部54として機能する。なお、診断支援装置12は、学習フェーズと運用フェーズとで同じ装置であってもよいし、異なる装置であってもよい。
【0038】
取得部50は、獣医師等のユーザによる診断対象である被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、その被検体の頭種を表す頭種情報とを取得する。頭種情報は、医用画像データに付加されていてもよいし、ユーザにより端末装置14の操作部を介して入力されてもよい。また、取得部50は、予め犬種と頭種とを対応付けたテーブルを用意しておき、電子カルテ等から被検体の犬種を取得し、予め用意されたテーブルから、取得した犬種に対応する頭種を表す頭種情報を取得してもよい。
【0039】
判定部52は、取得部50により取得された医用画像データ及び頭種情報と、学習済みモデル36とに基づいて、被検体の医用画像における異常の有無を判定する。具体的には、判定部52は、取得部50により取得された医用画像データを、取得部50により取得された頭種情報が表す頭種用の学習済みモデル36に入力する。学習済みモデル36は、入力された医用画像データに対応して、正常であることを表す情報又は異常であることを表す情報を出力する。
【0040】
判定部52は、学習済みモデル36からの出力が正常であることを表す情報である場合、取得部50により取得された医用画像データが表す被検体の医用画像に異常が無いと判定する。一方、判定部52は、学習済みモデル36からの出力が異常であることを表す情報である場合、取得部50により取得された医用画像データが表す被検体の医用画像に異常が有ると判定する。
【0041】
出力部54は、判定部52による判定結果を表す情報を出力する。具体的には、出力部54は、判定部52による判定結果を表す情報を端末装置14に出力することによって、端末装置14の表示部に判定部52による判定結果を表示する。ユーザは、端末装置14の表示部に表示された判定結果を参考に医用画像を読影し、被検体の診断を行う。
【0042】
次に、
図11を参照して、本実施形態に係る診断支援装置12の運用フェーズにおける作用を説明する。CPU20が診断支援プログラム32を実行することによって、
図11に示す診断支援処理が実行される。
【0043】
図11のステップS20で、取得部50は、ユーザによる診断対象である被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、その被検体の頭種を表す頭種情報とを取得する。
【0044】
ステップS22で、判定部52は、前述したように、ステップS20で取得された医用画像データ及び頭種情報と、学習済みモデル36とに基づいて、被検体の医用画像における異常の有無を判定する。ステップS24で、出力部54は、前述したように、ステップS22の処理による判定結果を表す情報を出力する。ステップS24の処理が終了すると診断支援処理が終了する。
【0045】
以上説明したように、本実施形態によれば、医用画像データ及び頭種情報と、学習済みモデル36とに基づいて、被検体の医用画像における異常の有無が判定される。具体的には、
図12に示すように、被検体が短頭種である場合、医用画像データが短頭種用の学習済みモデル36Aに入力され、医用画像における異常の有無が判定される。また、
図13に示すように、被検体が中頭種である場合、医用画像データが中頭種用の学習済みモデル36Bに入力され、医用画像における異常の有無が判定される。また、
図14に示すように、被検体が長頭種である場合、医用画像データが長頭種用の学習済みモデル36Cに入力され、医用画像における異常の有無が判定される。
【0046】
従って、頭種による医用画像の特徴の違いを考慮したうえで、医用画像における異常の有無を精度良く判定することができる結果、医用画像を用いた診断を効果的に支援することができる。
【0047】
なお、第1実施形態では、医用画像データを入力とした学習済みモデル36を頭種毎に生成する場合について説明したが、これに限定されない。例えば、
図15に示すように、医用画像データ及び頭種情報を入力とした1つの学習済みモデル36を生成する形態としてもよい。
【0048】
また、第1実施形態では、疾患に応じた病変を含む第2の医用画像を分類せずに1種類の医用画像として用いる場合について説明したが、これに限定されない。例えば、
図16に示すように、第2の医用画像を頭種毎に罹患し易い疾患として予め定められた疾患毎に分類してもよい。
図16では、短頭種の第2の医用画像が、「疾患A」、「疾患B」、及び「その他の疾患(すなわち、疾患A及び疾患B以外の疾患)」の3種類に分類されている例を示している。また、
図16の例では、「疾患A」及び「疾患B」が、短頭種が罹患し易い疾患として予め定められた疾患である。短頭種が罹患し易い疾患としては、例えば、短頭種気道症候群及び軟蓋過長症等が挙げられる。
【0049】
また、
図16では、中頭種の第2の医用画像が、「疾患C」、「疾患D」、及び「その他の疾患(すなわち、疾患C及び疾患D以外の疾患)」の3種類に分類されている例を示している。また、
図16の例では、「疾患C」及び「疾患D」が、中頭種が罹患し易い疾患として予め定められた疾患である。中頭種が罹患し易い疾患としては、例えば、軟蓋過長症及び鼻膿皮症等が挙げられる。
【0050】
また、
図16では、長頭種の第2の医用画像が、「疾患E」、「疾患F」、及び「その他の疾患(すなわち、疾患E及び疾患F以外の疾患)」の3種類に分類されている例を示している。また、
図16の例では、「疾患E」及び「疾患F」が、長頭種が罹患し易い疾患として予め定められた疾患である。長頭種が罹患し易い疾患としては、例えば、鼻膿皮症及び鼻腔内腫瘍等が挙げられる。
【0051】
また、この形態例では、一例として
図17に示すように、短頭種用の学習済みモデル36Aからは、入力の医用画像データが表す医用画像が、正常である確率、疾患Aに該当する確率、疾患Bに該当する確率、及びその他の疾患に該当する確率が出力される。また、この形態例では、中頭種用の学習済みモデル36Bからは、入力の医用画像データが表す医用画像が、正常である確率、疾患Cに該当する確率、疾患Dに該当する確率、及びその他の疾患に該当する確率が出力される。また、この形態例では、長頭種用の学習済みモデル36Cからは、入力の医用画像データが表す医用画像が、正常である確率、疾患Eに該当する確率、疾患Fに該当する確率、及びその他の疾患に該当する確率が出力される。
【0052】
この形態例では、判定部52は、例えば、学習済みモデル36からの出力のうち、正常である確率が最も高い場合は、取得部50により取得された医用画像データが表す被検体の医用画像に異常が無いと判定する。また、この形態例では、判定部52は、例えば、学習済みモデル36からの出力のうち、正常である確率以外の何れかの確率が最も高い場合は、取得部50により取得された医用画像データが表す被検体の医用画像に異常が有ると判定する。なお、判定部52は、学習済みモデル36からの出力のうち、正常である確率以外の各疾患に該当する確率の合算値が正常である確率よりも高い場合に、取得部50により取得された医用画像データが表す被検体の医用画像に異常が有ると判定してもよい。この場合、判定部52は、学習済みモデル36からの出力のうち、正常である確率以外の各疾患に該当する確率の合算値が正常である確率以下の場合に、取得部50により取得された医用画像データが表す被検体の医用画像に異常が無いと判定すればよい。この形態例では、学習用の医用画像データを集めやすい疾患毎に分類するため、疾患の有無をより精度良く判定することができる。
【0053】
また、この形態例において、出力部54は、判定部52が被検体の医用画像に異常が有ると判定した場合、医用画像が該当する確率が最も高い疾患名を出力してもよいし、該当する確率が高い順に疾患名を出力してもよい。
【0054】
また、第1実施形態において、判定部52は、被検体の頭部をデジタルカメラ等の撮影装置によって撮影して得られた光学画像を用いて、被検体の頭種を判定してもよい。この場合、判定部52は、光学画像に対して画像解析処理を行うことによって被検体の鼻の長さL1及び頭蓋骨の長さL2を導出し、導出した被検体の鼻の長さL1と頭蓋骨の長さL2との比較によって被検体の頭種を判定する形態が例示される。この場合、取得部50は、判定部52により判定された被検体の頭種を表す頭種情報を取得する。
【0055】
[第2実施形態]
開示の技術の第2実施形態を説明する。なお、本実施形態に係る情報処理システム10の構成は、第1実施形態と同一であるため、説明を省略する。本実施形態に係る診断支援装置12のハードウェア構成は、記憶部22に記憶される学習用の複数の医用画像データ34、及び学習済みモデル36以外は第1実施形態と同一であるため、ここでは、医用画像データ34及び学習済みモデル36について説明する。
【0056】
本実施形態に係る医用画像データ34は、医用画像データ34自体は第1実施形態と同一であるが、医用画像データ34に付加される情報が第1実施形態とは異なっている。医用画像データ34には、一例として
図18に示すように、犬の体重によって分類される種類であって、撮影対象である被検体の犬が属する種類を表す種類情報と、異常有無情報とが付加されている。
【0057】
図18に示すように、本実施形態では、種類情報が表す種類が、小型犬、中型犬、又は大型犬である形態例について説明するが、これに限定されない。種類情報が表す種類は、例えば、小型件又は大型犬の2種類でもよいし、4種類以上でもよい。本実施形態では、被検体の年齢に関係なく、成犬の体重が10kg未満の犬種を小型犬とし、10kg以上25kg未満の犬種を中型犬とし、25kg以上の犬種を大型犬とする。なお、犬の種類を、体重ではなく、体長で分類してもよいし、体重及び体長の組み合わせで分類してもよい。
【0058】
本実施形態に係る学習済みモデル36は、学習用の複数の医用画像データ34及び種類情報の組を用いて予め学習されたモデルである。本実施形態では、一例として
図19に示すように、種類毎に、複数の医用画像データ34及び種類情報の組を用いた機械学習によって学習済みモデル36が生成される。以下では、種類毎の学習済みモデル36を区別する場合は、小型犬用の学習済みモデル36D、中型犬用の学習済みモデル36E、及び大型犬用の学習済みモデル36Fのように、符号の末尾にアルファベットを付して説明する。学習済みモデル36の例としては、ニューラルネットワークモデルが挙げられる。
【0059】
次に、
図20を参照して、本実施形態に係る診断支援装置12の学習フェーズにおける機能的な構成について説明する。
図20に示すように、診断支援装置12は、取得部60及び学習部62を含む。CPU20が学習プログラム30を実行することで、取得部60及び学習部62として機能する。
【0060】
取得部60は、医用画像データ34と、医用画像データ34に付加された種類情報及び異常有無情報とを記憶部22から取得する。
【0061】
学習部62は、取得部60により取得された複数組の医用画像データ34、種類情報、及び異常有無情報を学習用のデータとして学習させることによって、医用画像データ及び種類情報に基づいて被検体の医用画像における異常の有無に関する情報を出力する学習済みモデル36を生成する。
【0062】
具体的には、学習部62は、種類情報が表す種類毎に、医用画像データ34を入力とし、医用画像データ34が表す医用画像における異常の有無を表す情報を出力とした学習済みモデル36を機械学習によって生成する。
【0063】
より具体的には、学習部62は、小型犬の医用画像データ34のうち、異常の無い医用画像を表す医用画像データ34が入力されたときは、正常であることを表す情報が出力されるようにモデルを学習させる。また、学習部62は、小型犬の医用画像データ34のうち、異常の有る医用画像を表す医用画像データ34が入力されたときは、異常であることを表す情報が出力されるようにモデルを学習させる。この学習により、小型犬用の学習済みモデル36Dが生成される。
【0064】
同様に、学習部62は、中型犬の医用画像データ34のうち、異常の無い医用画像を表す医用画像データ34が入力されたときは、正常であることを表す情報が出力されるようにモデルを学習させる。また、学習部62は、中型犬の医用画像データ34のうち、異常の有る医用画像を表す医用画像データ34が入力されたときは、異常であることを表す情報が出力されるようにモデルを学習させる。この学習により、中型犬用の学習済みモデル36Eが生成される。
【0065】
同様に、学習部62は、大型犬の医用画像データ34のうち、異常の無い医用画像を表す医用画像データ34が入力されたときは、正常であることを表す情報が出力されるようにモデルを学習させる。また、学習部62は、大型犬の医用画像データ34のうち、異常の有る医用画像を表す医用画像データ34が入力されたときは、異常であることを表す情報が出力されるようにモデルを学習させる。この学習により、大型犬用の学習済みモデル36Fが生成される。
【0066】
以上の学習部62による学習のアルゴリズムとしては、例えば、誤差逆伝播法を適用することができる。以上の学習部62による学習によって、一例として
図21に示すように、種類毎に、医用画像データを入力とし、入力の医用画像データが表す医用画像が正常であるか、又は異常であるかを表す情報を出力とする学習済みモデル36が生成される。そして、学習部62は、生成した学習済みモデル36を記憶部22に記憶する。
【0067】
次に、
図22を参照して、本実施形態に係る診断支援装置12の学習フェーズにおける作用を説明する。CPU20が学習プログラム30を実行することによって、
図22に示す学習処理が実行される。
【0068】
図22のステップS30で、取得部60は、医用画像データ34と、医用画像データ34に付加された種類情報及び異常有無情報とを記憶部22から取得する。
【0069】
ステップS32で、学習部62は、前述したように、ステップS30で取得された複数組の医用画像データ34、種類情報、及び異常有無情報を学習用のデータとして種類毎にモデルを学習させる。この学習により、学習部62は、医用画像データ及び種類情報に基づいて被検体の医用画像における異常の有無に関する情報を出力する学習済みモデル36を生成する。そして、学習部62は、生成した学習済みモデル36を記憶部22に記憶する。ステップS32の処理が終了すると学習処理が終了する。
【0070】
次に、
図23を参照して、本実施形態に係る診断支援装置12の運用フェーズにおける機能的な構成について説明する。
図23に示すように、診断支援装置12は、取得部70、判定部72、及び出力部74を含む。CPU20が診断支援プログラム32を実行することで、取得部70、判定部72、及び出力部74として機能する。取得部70が開示の技術に係る取得部の一例であり、判定部72が開示の技術に係る判定部の一例である。なお、診断支援装置12は、学習フェーズと運用フェーズとで同じ装置であってもよいし、異なる装置であってもよい。
【0071】
取得部70は、獣医師等のユーザによる診断対象である被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体重によって分類される種類であって、その被検体が属する種類を表す種類情報とを取得する。種類情報は、医用画像データに付加されていてもよいし、ユーザにより端末装置14の操作部を介して入力されてもよい。また、取得部70は、予め犬種と種類とを対応付けたテーブルを用意しておき、電子カルテ等から被検体の犬種を取得し、予め用意されたテーブルから、取得した犬種に対応する種類を表す種類情報を取得してもよい。
【0072】
判定部72は、取得部70により取得された医用画像データ及び種類情報と、学習済みモデル36とに基づいて、被検体の医用画像における異常の有無を判定する。具体的には、判定部72は、取得部70により取得された医用画像データを、取得部70により取得された種類情報が表す種類用の学習済みモデル36に入力する。学習済みモデル36は、入力された医用画像データに対応して、正常であることを表す情報又は異常であることを表す情報を出力する。
【0073】
判定部72は、学習済みモデル36からの出力が正常であることを表す情報である場合、取得部70により取得された医用画像データが表す被検体の医用画像に異常が無いと判定する。一方、判定部72は、学習済みモデル36からの出力が異常であることを表す情報である場合、取得部70により取得された医用画像データが表す被検体の医用画像に異常が有ると判定する。
【0074】
出力部74は、判定部72による判定結果を表す情報を出力する。具体的には、出力部74は、判定部72による判定結果を表す情報を端末装置14に出力することによって、端末装置14の表示部に判定部72による判定結果を表示する。ユーザは、端末装置14の表示部に表示された判定結果を参考に医用画像を読影し、被検体の診断を行う。
【0075】
次に、
図24を参照して、本実施形態に係る診断支援装置12の運用フェーズにおける作用を説明する。CPU20が診断支援プログラム32を実行することによって、
図24に示す診断支援処理が実行される。
【0076】
図24のステップS40で、取得部70は、ユーザによる診断対象である被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、その被検体の種類を表す種類情報とを取得する。
【0077】
ステップS42で、判定部72は、前述したように、ステップS40で取得された医用画像データ及び種類情報と、学習済みモデル36とに基づいて、被検体の医用画像における異常の有無を判定する。ステップS44で、出力部74は、前述したように、ステップS42の処理による判定結果を表す情報を出力する。ステップS44の処理が終了すると診断支援処理が終了する。
【0078】
以上説明したように、本実施形態によれば、医用画像データ及び種類情報と、学習済みモデル36とに基づいて、被検体の医用画像における異常の有無が判定される。具体的には、
図25に示すように、被検体が小型犬である場合、医用画像データが小型犬用の学習済みモデル36Dに入力され、医用画像における異常の有無が判定される。また、
図26に示すように、被検体が中型犬である場合、医用画像データが中型犬用の学習済みモデル36Eに入力され、医用画像における異常の有無が判定される。また、
図27に示すように、被検体が大型犬である場合、医用画像データが大型犬用の学習済みモデル36Fに入力され、医用画像における異常の有無が判定される。
【0079】
従って、体重によって分類される種類による医用画像の特徴の違いを考慮したうえで、医用画像における異常の有無を精度良く判定することができる結果、医用画像を用いた診断を効果的に支援することができる。
【0080】
なお、第2実施形態では、医用画像データを入力とした学習済みモデル36を種類毎に生成する場合について説明したが、これに限定されない。例えば、
図28に示すように、医用画像データ及び種類情報を入力とした1つの学習済みモデル36を生成する形態としてもよい。
【0081】
また、第2実施形態では、疾患に応じた病変を含む第2の医用画像を分類せずに1種類の医用画像として用いる場合について説明したが、これに限定されない。例えば、
図29に示すように、第2の医用画像を種類毎に罹患し易い疾患として予め定められた疾患毎に分類してもよい。
図29では、小型犬の第2の医用画像が、「疾患G」、「疾患H」、及び「その他の疾患(すなわち、疾患G及び疾患H以外の疾患)」の3種類に分類されている例を示している。また、
図29の例では、「疾患G」及び「疾患H」が、小型犬が罹患し易い疾患として予め定められた疾患である。小型犬が罹患し易い疾患としては、例えば、膝蓋骨脱臼、橈尺骨骨折、及びレッグペルテス病等が挙げられる。
【0082】
また、
図29では、中型犬の第2の医用画像が、「疾患I」、「疾患J」、及び「その他の疾患(すなわち、疾患I及び疾患J以外の疾患)」の3種類に分類されている例を示している。また、
図29の例では、「疾患I」及び「疾患J」が、中型犬が罹患し易い疾患として予め定められた疾患である。中型犬が罹患し易い疾患としては、例えば、膝蓋骨脱臼及び股関節疾患等が挙げられる。
【0083】
また、
図29では、大型犬の第2の医用画像が、「疾患K」、「疾患L」、及び「その他の疾患(すなわち、疾患K及び疾患L以外の疾患)」の3種類に分類されている例を示している。また、
図29の例では、「疾患K」及び「疾患L」が、大型犬が罹患し易い疾患として予め定められた疾患である。大型犬が罹患し易い疾患としては、例えば、股関節疾患、馬尾症候群症、及び前十字靭帯断裂等が挙げられる。
【0084】
また、この形態例では、一例として
図30に示すように、小型犬用の学習済みモデル36Dからは、入力の医用画像データが表す医用画像が、正常である確率、疾患Gに該当する確率、疾患Hに該当する確率、及びその他の疾患に該当する確率が出力される。また、この形態例では、中型犬用の学習済みモデル36Eからは、入力の医用画像データが表す医用画像が、正常である確率、疾患Iに該当する確率、疾患Jに該当する確率、及びその他の疾患に該当する確率が出力される。また、この形態例では、大型犬用の学習済みモデル36Fからは、入力の医用画像データが表す医用画像が、正常である確率、疾患Kに該当する確率、疾患Lに該当する確率、及びその他の疾患に該当する確率が出力される。
【0085】
この形態例では、判定部72は、例えば、学習済みモデル36からの出力のうち、正常である確率が最も高い場合は、取得部70により取得された医用画像データが表す被検体の医用画像に異常が無いと判定する。また、この形態例では、判定部72は、例えば、学習済みモデル36からの出力のうち、正常である確率以外の何れかの確率が最も高い場合は、取得部70により取得された医用画像データが表す被検体の医用画像に異常が有ると判定する。なお、判定部72は、学習済みモデル36からの出力のうち、正常である確率以外の各疾患に該当する確率の合算値が正常である確率よりも高い場合に、取得部70により取得された医用画像データが表す被検体の医用画像に異常が有ると判定してもよい。この場合、判定部72は、学習済みモデル36からの出力のうち、正常である確率以外の各疾患に該当する確率の合算値が正常である確率以下の場合に、取得部70により取得された医用画像データが表す被検体の医用画像に異常が無いと判定すればよい。この形態例では、学習用の医用画像データを集めやすい疾患毎に分類するため、疾患の有無をより精度良く判定することができる。
【0086】
また、この形態例において、出力部74は、判定部72が被検体の医用画像に異常が有ると判定した場合、医用画像が該当する確率が最も高い疾患名を出力してもよいし、該当する確率が高い順に疾患名を出力してもよい。
【0087】
また、第2実施形態において、判定部72は、被検体の体重から被検体の種類を判定してもよい。この場合、判定部72は、被検体の体重が第1の閾値TH1(例えば、10kg)未満の場合、その被検体の種類が小型犬であると判定する。また、この場合、判定部72は、被検体の体重が第1の閾値TH1以上第2の閾値TH2(例えば、25kg)未満の場合、その被検体の種類を中型犬であると判定する。また、この場合、判定部72は、被検体の体重が第2の閾値TH2(例えば、25kg)以上の場合、その被検体の種類が大型犬であると判定する。この場合、取得部70は、判定部72により判定された被検体の種類を表す種類情報を取得する。
【0088】
また、第1実施形態及び第2実施形態を組み合わせてもよい。この場合、例えば、学習済みモデル36を、頭種情報が表す頭種及び種類情報が表す種類の組み合わせ毎に生成する形態が例示される。
【0089】
また、上記各実施形態では、被検体の動物として犬を適用した場合について説明したが、これに限定されない。被検体の動物として、例えば、猫等の犬以外の動物を適用する形態としてもよい。
【0090】
また、上記各実施形態における診断支援装置12の各機能部等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0091】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0092】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
【0093】
また、上記実施形態では、学習プログラム30及び診断支援プログラム32が記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。学習プログラム30及び診断支援プログラム32は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、学習プログラム30及び診断支援プログラム32は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0094】
上記の実施形態に関し、更に以下の付記を開示する。
【0095】
(付記1)
被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データと、動物の体長及び体重の少なくとも一方によって分類される種類であって、前記被検体が属する種類を表す種類情報とを取得する取得部と、
前記取得部により取得された複数組の前記医用画像データ及び前記種類情報を学習用のデータとして学習させることによって、前記医用画像データ及び前記種類情報に基づいて前記被検体の前記医用画像における異常の有無に関する情報を出力する学習済みモデルを生成する学習部と、
を備えた診断支援装置。
【符号の説明】
【0096】
10 情報処理システム
12 診断支援装置
14 端末装置
20 CPU
21 メモリ
22 記憶部
23 表示部
24 入力部
25 ネットワークI/F
26 バス
30 学習プログラム
32 診断支援プログラム
34 医用画像データ
36 学習済みモデル
40、50、60、70 取得部
42、62 学習部
52、72 判定部
54、74 出力部
L1 鼻の長さ
L2 頭蓋骨の長さ
N ネットワーク