特開 2024-111693 処理装置、処理プログラム、処理方法及び処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024111693

(43)【公開日】2024-08-19

(54)【発明の名称】処理装置、処理プログラム、処理方法及び処理システム

(51)【国際特許分類】

   A61B 6/46 20240101AFI20240809BHJP

【ＦＩ】

A61B6/03 360P

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023016341

(22)【出願日】2023-02-06

(71)【出願人】

【識別番号】521177500

【氏名又は名称】株式会社ｆｃｕｒｏ

(74)【代理人】

【識別番号】100114188

【弁理士】

【氏名又は名称】小野 誠

(74)【代理人】

【識別番号】100151448

【弁理士】

【氏名又は名称】青木 孝博

(74)【代理人】

【識別番号】100160255

【弁理士】

【氏名又は名称】市川 祐輔

(74)【代理人】

【識別番号】100219265

【弁理士】

【氏名又は名称】鈴木 崇大

(74)【代理人】

【識別番号】100216839

【弁理士】

【氏名又は名称】大石 敏幸

(72)【発明者】

【氏名】岡田 直己

(72)【発明者】

【氏名】井上 周祐

【テーマコード（参考）】

4C093

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA18

4C093FF13

4C093FF31

4C093FF32

(57)【要約】

【課題】 ヒトの身体の医用画像に基づいてより有用な医用情報を出力する。
【解決手段】 少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得し、取得した前記複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成し、前記複数の医用画像のうちの前記少なくとも一部を含む画像を学習済み解析モデルに入力することで前記身体の状態を示す解析結果を取得し、取得した解析結果を出力する、ための処理を実行するように構成された、処理装置が提供される。
【選択図】 図６Ｂ

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサを具備する処理装置であって、
前記少なくとも一つのプロセッサは、
ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得し、
取得した前記複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成し、
前記複数の医用画像のうちの前記少なくとも一部を含む画像を学習済み解析モデルに入力することで前記身体の状態を示す解析結果を取得し、
取得した解析結果を出力する、
ための処理を実行するように構成された、処理装置。

【請求項2】

前記学習済み解析モデルに入力される前記少なくとも一部を含む画像は前記タイル画像である、請求項１に記載の処理装置。

【請求項3】

前記タイル画像は前記学習済み解析モデルに入力される前に生成される、請求項２に記載の処理装置。

【請求項4】

前記学習済み解析モデルには、前記タイル画像から前記タイル画像を構成する複数の医用画像を所定数単位で切り出すことで生成された切り出し画像又は複数の切り出し画像の組み合わせが入力される、請求項２に記載の処理装置。

【請求項5】

前記学習済み解析モデルは、前記タイル画像から前記タイル画像を構成する複数の画素を所定画素数単位で切り出すことで生成された切り出し画像又は複数の切り出し画像の組み合わせが入力される、請求項２に記載の処理装置。

【請求項6】

前記学習済み解析モデルに入力される前記少なくとも一部を含む画像は前記タイル画像の生成に用いられる個々の医用画像又は個々の医用画像の複数の組み合わせである、請求項１に記載の処理装置。

【請求項7】

前記タイル画像は、前記少なくとも一部を含む画像が前記学習済み解析モデルに入力されたのちに生成される、請求項６に記載の処理装置。

【請求項8】

前記複数の医用画像は空間的に連続して撮影された複数の画像である、請求項１に記載の処理装置。

【請求項9】

前記複数の医用画像は時間的に連続して撮影された複数の画像である、請求項１に記載の処理装置。

【請求項10】

前記解析結果は前記タイル画像とともに出力される、請求項１に記載の処理装置。

【請求項11】

少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、
ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得し、
取得した前記複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成し、
前記複数の医用画像のうちの前記少なくとも一部を含む画像を学習済み解析モデルに入力することで前記身体の状態を示す解析結果を取得し、
取得した解析結果を出力する、
ように機能させる処理プログラム。

【請求項12】

少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、
ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得する段階と、
取得した前記複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成する段階と、
前記複数の医用画像のうちの前記少なくとも一部を含む画像を学習済み解析モデルに入力することで前記身体の状態を示す解析結果を取得する段階と、
取得した解析結果を出力する段階と、
を含む処理方法。

【請求項13】

請求項１に記載の処理装置と、
前記処理装置から出力された医用情報を表示するためのディスプレイ装置と、
を含む処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ヒトの身体の少なくとも一部を被写体として撮影された医用画像を処理するための処理装置、処理プログラム、処理方法及び処理システムに関する。

【背景技術】

【0002】

従来より、ヒトの身体の少なくとも一部を被写体として撮影された医用画像を出力することが可能な処理システムが知られていた。特許文献１は、紫外線を照射する紫外光源と、検査室における前記紫外線の照射対象物に対する前記紫外光源の位置を相対的に移動させ、前記照射対象物に対する前記紫外線の照射を制御する照射制御部と、被検体の医用画像を撮像する撮像部とを備える、医用画像診断装置であって、撮影された医用画像や、医用画像の解析結果などを表示するディスプレイを有する医用画像診断装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０１４２６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、ヒトの身体の少なくとも一部を被写体として撮影された医用画像に基づく解析結果を効果的に出力することが可能な処理装置、処理プログラム、処理方法及び処理システムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、「少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得し、取得した前記複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成し、前記複数の医用画像のうちの前記少なくとも一部を含む画像を学習済み解析モデルに入力することで前記身体の状態を示す解析結果を取得し、取得した解析結果を出力する、ための処理を実行するように構成された、処理装置」が提供される。

【0006】

本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得し、取得した前記複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成し、前記複数の医用画像のうちの前記少なくとも一部を含む画像を学習済み解析モデルに入力することで前記身体の状態を示す解析結果を取得し、取得した解析結果を出力する、ように機能させる処理プログラム」が提供される。

【0007】

本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得する段階と、取得した前記複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成する段階と、前記複数の医用画像のうちの前記少なくとも一部を含む画像を学習済み解析モデルに入力することで前記身体の状態を示す解析結果を取得する段階と、取得した解析結果を出力する段階と、を含む処理方法」が提供される。

【0008】

本開示の一態様によれば、「上記記載の処理装置と、上記処理装置から出力された医用情報を表示するためのディスプレイ装置と、を含む処理システム」が提供される。

【発明の効果】

【0009】

本開示によれば、ヒトの身体の少なくとも一部を被写体として撮影された医用画像に基づく解析結果を効果的に出力することが可能な処理装置、処理プログラム、処理方法及び処理システムを提供することができる。

【0010】

なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、又は上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示の一実施形態に係る処理システム１の構成を示すブロック図である。

【図2】図２は、本開示の一実施形態に係る処理装置１００の構成を示すブロック図である。

【図3】図３は、本開示の一実施形態に係る処理装置１００に記憶される対象者管理テーブルを概念的に示す図である。

【図4】図４は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。

【図5】図５は、本開示の一実施形態に係るモデル生成装置３００において実行される処理フローを示す図である。

【図6A】図６Ａは、本開示の一実施形態に係る医用画像の一例を概念的に示す図である。

【図6B】図６Ｂは、本開示の一実施形態に係る医用画像が処理されることによって医用情報が生成される過程の一例を概念的に示す図である。

【図7】図７は、本開示の一実施形態に係る処理装置１００において生成されるタイル画像の一例を示す図である。

【図8A】図８Ａは、本開示の一実施形態に係る学習済み解析モデルに入力される画像の一例を示す図である。

【図8B】図８Ｂは、本開示の一実施形態に係る学習済み解析モデルに入力される画像の一例を示す図である。

【図8C】図８Ｃは、本開示の一実施形態に係る学習済み解析モデルに入力される画像の一例を示す図である。

【図9A】図９Ａは、本開示の一実施形態に係る処理装置１００において出力される医用情報の一例を示す図である。

【図9B】図９Ｂは、本開示の一実施形態に係る処理装置１００において出力される医用情報の一例を示す図である。

【図9C】図９Ｃは、本開示の一実施形態に係る処理装置１００において出力される医用情報の一例を示す図である。

【図10】図１０は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。

【図11】図１１は、本開示の一実施形態に係る医用画像が処理されることによって医用情報が生成される過程の一例を概念的に示す図である。

【発明を実施するための形態】

【0012】

１．処理システム１の概要
本開示に係る処理システム１は、測定装置によって取得された医用画像を測定装置から取得し、取得した医用画像から医用情報を出力するために用いられる。特に、処理システム１は、ヒトを対象者として複数の部位（例えば、全身）にわたって取得された医用画像を処理するために用いられる。このような医用画像は、典型的には、ヒトの身体の少なくとも一部を被写体として撮影したものであって、ヒトの身体の内部を撮影したＣＴ画像（コンピュータ断層撮影画像）が用いられる。このようなＣＴ画像は、処理装置１００によって処理されることによって身体の状態を示す解析結果が取得され、当該解析結果を医用情報としてディスプレイ等に出力される。これによって、処理システム１は、対象者の疾患や症状の診断又はその診断の補助をすることが可能となる。

【0013】

図１は、本開示の一実施形態に係る処理システム１の構成を示すブロック図である。図１によれば、処理システム１は、測定装置４００によって取得された医用画像を処理して医用情報を出力するための処理装置１００と、医用情報を表示するためのディスプレイ装置２００とを少なくとも含む。また、当該処理システム１は、医用画像を取得するための測定装置４００や、処理装置１００によって医用情報を出力するときに用いられる学習済み解析モデルを生成するためのモデル生成装置３００を含んでもよい。処理装置１００、ディスプレイ装置２００、モデル生成装置３００及び測定装置４００は、無線ネットワーク及び有線ネットワークの少なくともいずれかによって互いに通信可能に接続される。

【0014】

なお、本開示において、「測定装置４００」は、医用画像を取得するために用いられる装置であればいずれでもよく、特定のものに限定されるわけではない。このような測定装置の典型としてはＣＴ装置が挙げられるが、ほかにはＭＲＩ装置、レントゲン装置、超音波診断装置、内視鏡装置又はこれらの組み合わせなどが挙げられる。このような測定装置４００は、医療機関で用いられる場合に限らず、対象者の自宅や学校、職場など、その使用場所はいずれでもよい。なお、ＣＴ装置は、救急搬送されてきた対象者に対して少なくとも複数の部位に跨がって断層画像データを取得するために用いられ、疾患部位の特定やその重症度の判定をするために有益な情報を提供することが可能である。そのため、医用画像を解析して医用情報を生成可能な本開示の処理システム１においては、測定装置４００としてＣＴ装置が特に好ましい。以下の例では、主にＣＴ装置を測定装置として用いる場合について説明するが、当然これのみに限定されるわけではない。

【0015】

また、本開示において、「医用画像」は、測定装置４００によって撮影された画像であればいずれでもよく、特定のものに限定されるわけではない。このような医用画像の典型としてはＣＴ画像が挙げられるが、ほかにはＭＲＩ画像、レントゲン画像、超音波画像、内視鏡画像、その他の医用画像又はこれらの組み合わせなどが挙げられる。ＣＴ画像は、対象者の所定の範囲（例えば、複数の部位や全身）にまたがって、対象者の複数の断層面の状態を評価するために用いられる。したがって、特定の断層面の状態だけではなく、空間的に連続する複数の断層面の状態を評価することが可能である。そのため、医用情報を得るための医用画像としては、ＣＴ画像が特に好ましい。

【0016】

医用画像として用いることができるのは、上記のとおり「空間的に連続して測定された医用画像」である必要は必ずしもない。例えば、所定の周期で一定の期間にわたって特定の部位又は全身を撮影することで、時間的に連続して撮影された医用画像を取得することも可能である。このように、「時間的に連続して測定された医用画像」であっても、好適に本開示の医用画像として利用することが可能である。また、医用画像は学習済み解析モデルに入力されるが、これらに入力される医用画像は、撮影された医用画像の全てである必要はなく、少なくとも一部であればよい。また、学習済み解析モデルに入力される複数の医用画像は、それぞれ別種の画像データであってもよいし、同種の画像データであってもよい。以下の例では、主にＣＴ画像を医用画像として用いる場合について説明するが、当然これのみに限定されるわけではない。

【0017】

また、本開示において、「対象者」は、医用画像の撮影の対象となる者であればいずれでもよく、特定の属性を有する者のみに限定されるわけではない。したがって、このような対象者としては、患者、被検者、診断対象者、健常者など、あらゆるヒトを含む。加えて、本開示において、「操作者」は、少なくとも処理装置１００を操作するか、処理装置１００によって出力された医用情報を参照する者であればいずれでもよく、特定の属性を有する者のみに限定されるわけではない。したがって、このような操作者としては、医師、看護師、検査技師などの医療従事者に限らず、対象者自身などあらゆるヒトを含む。

【0018】

また、本開示において、所定の疾患や症状に対して、「判定」や「診断」等の用語を用いるが、これらは医師による確定的な判定や診断を必ずしも意味するものではない。例えば、これらの用語は、本開示の処理システム１を対象者自らが使用したり、医師以外の操作者が使用したりして、処理システム１に含まれる処理装置１００によって判定又は診断されることも当然に含む。また、これらの用語は、医師等が確定的な判定や診断をするためにその補助をすることも含む。

【0019】

２．処理装置１００の構成
図２は、本開示の一実施形態に係る処理装置１００の構成を示すブロック図である。図２によると、処理装置１００は、プロセッサ１１１、メモリ１１２、入力インターフェイス１１３、出力インターフェイス１１４及び通信インターフェイス１１５を含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、処理装置１００は、図２に示す構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。例えば、処理装置１００は、各構成要素を駆動するためのバッテリ等を含むことが可能である。

【0020】

このような処理装置１００としては、ラップトップパソコン、デスクトップパソコン、スマートフォン、タブレット端末など、本開示に係る処理を実行可能な装置であればいずれでも好適に適用することが可能である。また、処理装置１００は、少なくとも一部の処理をクラウド上のサーバ装置で行うことも可能である。したがって、処理装置１００には、当該サーバ装置、又は操作者が操作するラップトップパソコン等の装置と当該サーバ装置との組み合わせも含む。

【0021】

処理装置１００において、プロセッサ１１１は、メモリ１１２に記憶されたプログラムに基づいて処理装置１００又は処理システム１の他の構成要素の制御を行う制御部として機能する。具体的には、プロセッサ１１１は、「ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得する処理」、「取得した複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成する処理」、「複数の医用画像のうちの少なくとも一部を含む画像を学習済み解析モデルに入力することで身体の状態を示す解析結果を取得する処理」、「取得した解析結果を出力する処理」等を、メモリ１１２に記憶されたプログラムに基づいて実行する。プロセッサ１１１は、主に一又は複数のＣＰＵにより構成されるが、適宜ＧＰＵやＦＰＧＡなどを組み合わせてもよい。

【0022】

メモリ１１２は、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。メモリ１１２は、本実施形態に係る処理システム１の様々な制御のための指示命令をプログラムとして記憶する。具体的には、メモリ１１２は、「ヒトの身体の少なくとも一部を被写体として撮影された複数の医用画像を取得する処理」、「取得した複数の医用画像のうちの少なくとも一部が縦及び横方向の少なくともいずれか一方に複数配置されたタイル画像を生成する処理」、「複数の医用画像のうちの少なくとも一部を含む画像を学習済み解析モデルに入力することで身体の状態を示す解析結果を取得する処理」、「取得した解析結果を出力する処理」等、プロセッサ１１１が実行するためのプログラムを記憶する。また、メモリ１１２は、当該プログラムのほかに、対象者の属性情報、取得された医用画像、生成されたタイル画像、学習済み解析モデルに入力される入力情報、解析結果情報、医用情報等を記憶する。

【0023】

入力インターフェイス１１３は、処理装置１００に対する操作者の指示入力を受け付ける入力部として機能する。入力インターフェイス１１３の一例としては、キーボード、マウス等の各種ハードキーや、ディスプレイ装置２００のディスプレイに重畳して設けられ、ディスプレイの表示座標系に対応する入力座標系を有するタッチパネルが挙げられる。タッチパネルの場合、ディスプレイに入力したいコマンドに対応したアイコンが表示され、当該タッチパネルを介して操作者が指示入力を行うことで、各アイコンに対する選択が行われる。タッチパネルによる対象者の指示入力の検出方式は、静電容量式、抵抗膜式などいかなる方式であってもよい。入力インターフェイス１１３は、常に処理装置１００に物理的に備えられる必要はなく、有線や無線ネットワークを介して必要に応じて接続されてもよい。

【0024】

出力インターフェイス１１４は、処理装置１００によって得られた解析結果とタイル画像とを含む医用情報等の情報を出力するための出力部として機能する。出力インターフェイス１１４の一例としては、液晶パネル、有機ＥＬディスプレイ又はプラズマディスプレイ等から構成されるディスプレイ装置２００等の外部装置又は外部機器と接続するためのインターフェイスが挙げられる。しかし、処理装置１００そのものがディスプレイを有する場合には、当該ディスプレイが出力インターフェイスとして機能することが可能である。また、ディスプレイ装置２００などに対して通信インターフェイス１１５を介して接続されている場合には、当該通信インターフェイス１１５が出力インターフェイス１１４として機能することも可能である。

【0025】

通信インターフェイス１１５は、有線又は無線ネットワークを介して測定装置４００、ディスプレイ装置２００、モデル生成装置３００、他の処理装置、サーバ装置等との間で医用画像や医用情報等を送受信するための通信部として機能する。通信インターフェイス１１５の一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。

【0026】

なお、ディスプレイ装置２００の構成については特に具体的には説明しないが、上記のとおり液晶パネル、有機ＥＬディスプレイ又はプラズマディスプレイ等から構成されるディスプレイ、処理装置１００から各種情報の入力を受け付ける入力インターフェイス及び通信インターフェイスの少なくともいずれか、上記ディスプレイに受け付けられた各種情報を表示するための処理をするプロセッサ等を含む。

【0027】

また、学習済み解析モデルを生成するためのモデル生成装置３００の構成については特に具体的には説明しないが、処理装置１００と同様に、プロセッサ、メモリ、入力インターフェイス、出力インターフェイス及び通信インターフェイス等を含む。このような装置としては、ラップトップパソコン、デスクトップパソコン、スマートフォン、タブレット端末、サーバ装置又はこれらの組み合わせが用いられる。

【0028】

３．処理装置１００のメモリ１１２に記憶される情報
図３は、本開示の一実施形態に係る処理装置１００に記憶される対象者管理テーブルを概念的に示す図である。対象者管理テーブルに記憶される情報は、処理装置１００のプロセッサ１１１の処理の進行に応じて随時更新して記憶される。

【0029】

図３によれば、対象者管理テーブルには、対象者ＩＤ情報に対応付けて、属性情報、医用画像、タイル画像、入力情報、解析結果情報及び医用情報等が記憶される。「対象者ＩＤ情報」は、各対象者に固有の情報で各対象者を特定するための情報である。対象者ＩＤ情報は、操作者又は対象者自身によって新たな対象者が登録されるごとに生成される。属性情報は、各対象者の属性に関する情報である。このような属性情報の例としては、対象者名情報、生年月日情報、性別情報、住所情報などが挙げられる。

【0030】

「医用画像」は、測定装置４００において人の身体の少なくとも一部を被写体として撮影された複数の画像であり、測定装置４００から通信インターフェイス１１５を介して受信される情報である。医用画像としてＣＴ画像が用いられる場合は、所定の範囲（例えば、複数の部位や全身）にまたがって撮影された複数のＣＴ画像のそれぞれ、又は複数のＣＴ画像の全体のことを意味する。このようなＣＴ画像は、静止画又は動画のいずれであってもよいし、白黒画像、カラー画像などその画像形式はいずれであってもよい。

【0031】

「タイル画像」は、測定装置４００で撮影された複数の医用画像であって、通信インターフェイス１１５を介して処理装置１００で取得された複数の医用画像のうちの少なくとも一部を用いて、縦及び横方向の少なくともいずれか一方に複数配置した画像である。このようなタイル画像は、典型的にはｍ行×ｎ列のマトリックス上に複数の医用画像を配置することによって生成される。しかし、タイル画像は、縦方向及び横方向のいずれか一方のみに沿うように複数の医用画像を配置することによって生成してもよい。また、タイル画像は、必ずしも縦及び横方向に整列している必要はなく、縦方向及び横方向の少なくともいずれか一方に複数配置されていれば良い。したがって、タイル画像は、例えば、斜め方向に複数の医用画像が並んで配置される場合や、ランダムな位置に複数の医用画像が配置される場合も含む。さらに、タイル画像に用いられる複数の医用画像は、全てが同じサイズや同じ撮影条件で撮影された画像である必要はなく、配置する医用画像ごとにサイズが異なっていてもよいし、異なる撮影条件で撮影された画像であってもよい。当該タイル画像は、一例としては学習済み解析モデルに入力する入力情報として用いられたり、解析結果とともに出力されて医用情報として用いられる。

【0032】

「入力情報」は、解析結果情報を取得するために学習済み解析モデルに入力される情報である。医用画像として複数のＣＴ画像が用いられる場合、入力情報には、典型的には、複数の医用画像が配置されたタイル画像が用いられる。なお、タイル画像を入力情報として用いる場合であっても、生成されたタイル画像全体、生成されたタイル画像の少なくとも一部を切り出した画像、又は生成されたタイル画像の少なくとも一部を切り出した画像の複数の組み合わせを入力情報として用いてもよい。さらに、必ずしもタイル画像を入力情報として用いる必要はなく、取得された個々の医用画像そのもの（医用画像自体に加えて、前処理を行った後の医用画像も含む）や、個々の医用画像の複数の組み合わせを入力情報として用いてもよい。

【0033】

「解析結果情報」は、学習済み解析モデルに入力情報が入力されることによって取得された情報である。医用画像として複数のＣＴ画像が用いられる場合、解析結果情報には、典型的には、個々のＣＴ画像ごとに検出される特定の疾患の有無、その存在位置、及びその確度を示す情報である。このような疾患の確度としては、特定の数値だけでなく、数値に基づいて分けられた分類（例えば、「該当あり」又は「該当なし」や、「レベル１」、「レベル２」、「レベル３」又は「レベル４」、「軽度」、「中度」又は「重度」など、その分類の数はいずれでもよい）などが例として挙げられる。

【0034】

「医用情報」は、解析結果情報及びタイル画像に基づいて生成される情報である。当該医用情報は、出力インターフェイス１１４を介して、ディスプレイ装置２００に出力され、ディスプレイ装置２００に表示される。医用画像として複数のＣＴ画像が用いられる場合、医用情報としては、典型的には、図９Ａ及び図９Ｂに示す医用情報が挙げられる。また、これらの情報以外にも、例えば特定の疾患に対する対処法などを示した論文やＷＥＢサイト、特定の疾患に有用な医薬品に関する情報、特定の疾患を専門とする医療機関に関する情報、特定の疾患に対する処置のための装置・機器等に関する情報なども、医用情報として利用することが可能である。なお、図９Ａ及び図９Ｂでは、個々のＣＴ画像とともに識別表示が表示されているが、必ずしも個々のＣＴ画像は必須ではなく、解析結果情報のみが医用情報として表示されてもよい。

【0035】

なお、図３において具体的に記載はしていないものの、対象者管理テーブルには、対象者ＩＤ情報に対応付けて、各対象者の問診情報や所見情報、他の測定装置で取得された他の医用画像など、種々の情報を対応付けて記憶することが可能である。

【0036】

４．処理装置１００で実行される処理フロー
図４は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図４は、測定装置４００において医用画像が取得されてから医用情報を出力するまでに、処理装置１００のプロセッサ１１１によって実行される処理フローを示す図である。当該処理フローは、主に処理装置１００のプロセッサ１１１がメモリ１１２に記憶されたプログラムを読み出して実行することにより行われる。

【0037】

まず、特に図示はしていないものの、例えば対象者が医療機関に救急搬送されてくると、医療従事者によって測定装置４００（例えば、ＣＴ装置）が操作され、対象者の全身の複数枚のＣＴ画像が撮影される。そして、撮影された複数の医用画像として測定装置４００に取得され、測定装置４００の通信インターフェイスを介して、測定された対象者を特定するための対象者ＩＤ情報とともに、処理装置１００に送信される。

【0038】

処理装置１００のプロセッサ１１１は、通信インターフェイス１１５を介して測定装置４００から複数の医用画像を受信すると、対象者ＩＤ情報に対応付けて受信した複数の医用画像を対象者管理テーブルに記憶する（Ｓ１１１）。

【0039】

プロセッサ１１１は、受信した複数の医用画像のそれぞれに対して、所定の前処理を実施する（Ｓ１１２）。前処理は必須ではなく、所望に応じて実施すればよい。このような前処理としては、ハイパスフィルタやローパスフィルタを含むバンドパスフィルタ、平均化フィルタ、ガウシアンフィルタ、ガボールフィルタ、キャニーフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、メディアンフィルタ、バイラテラルフィルタなどのフィルタ処理、ヘッセ行列等を用いた血管抽出処理、機械学習を用いた特定領域（例えば、疾患領域）のセグメンテーション処理、セグメンテーションされた領域に対するトリミング処理、曇り除去処理、超解像処理、低解像処理及びこれらの組み合わせが挙げられる。このような前処理を実施することによって、受信した複数の医用画像のそれぞれに対して、高精細化、低解像化、領域抽出、ノイズ除去、エッジ強調、画像補正、画像変換などを実施することが可能である。プロセッサ１１１は、特に図示はしていないものの、前処理後の各医用画像を、対象者管理テーブルに対象者ＩＤ情報に対応付けて記憶する。

【0040】

次に、プロセッサ１１１は、前処理がなされた複数の医用画像のうちの少なくとも一部を用いてタイル画像を生成する（Ｓ１１３）。このようなタイル画像は、一例としては、ｍ行×ｎ列のマトリックス状に、複数の医用画像を所定の方向から順に配置したうえで合成することによって生成される。プロセッサ１１１は、タイル画像を生成すると、生成されたタイル画像を対象者管理テーブルに対象者ＩＤ情報に対応付けて記憶する。なお、このような生成方法は単なる一例であり、いずれの方法であってもよい。生成されるタイル画像の詳細は、図６Ｂ及び図７等において後述する。

【0041】

次に、プロセッサ１１１は、入力インターフェイス１１３を介して、対象者管理テーブルに記憶されている複数の対象者の中から医用画像の解析を行う所望の対象者ＩＤ情報を選択するために、操作者による操作入力を受け付ける。そして、プロセッサ１１１は、当該操作入力を受け付けると、対象者ＩＤ情報に対応付けられたタイル画像を対象者管理テーブルから読み出して、学習済み解析モデルに入力する入力情報として、対象者ＩＤ情報に対応付けて記憶する。プロセッサ１１１は、入力情報を学習済み解析モデルに入力することにより解析処理を実行する（Ｓ１１４）。なお、当該学習済み解析モデルの生成及び解析処理の詳細については、図５、図６Ｂ及び図８Ａ～図８Ｃにおいて後述する。

【0042】

次に、プロセッサ１１１は、解析処理において学習済み解析モデルから解析結果情報を取得すると、取得した解析結果情報を対象者ＩＤ情報に対応付けて対象者管理テーブルに記憶する（Ｓ１１５）。

【0043】

次に、プロセッサ１１１は、解析結果情報が取得されると、解析結果情報及びＳ１１３で生成されたタイル画像を用いて医用情報を生成する。プロセッサ１１１は、生成した医用情報を対象者ＩＤ情報に対応付けて対象者管理テーブルに記憶する。また、プロセッサ１１１は、出力インターフェイス１１４を介して、記憶した医用情報をディスプレイ装置２００等に出力する（Ｓ１１６）。医用情報の生成処理の一例としては、解析結果情報に基づいて特定の疾患が存在する確度を示す情報をタイル画像に重畳する処理が挙げられる（例えば、図９Ａ及び図９Ｂ等）。これにより、プロセッサ１１１は、医用画像が取得されてから医用情報を出力するまでの処理フローを終了する。

【0044】

なお、特に図示はしないものの、医用情報を受信したディスプレイ装置２００は、そのディスプレイに受信した医用情報を表示する。また、医用情報の出力先の一例としてディスプレイ装置２００を挙げたが、例えば操作者や他の医療従事者が所持する端末装置や、医療機関内にある他の処理装置や他の医療機器など、その出力先はいずれであってもよい。また、出力される医用情報において、タイル画像に解析結果情報に基づく情報を重畳して表示することは必須ではなく、タイル画像を構成する一又は複数のＣＴ画像に解析結果情報に基づく情報を重畳して表示してもよいし、解析結果情報に基づく情報だけを医用情報として表示してもよい。

【0045】

また、図４において、解析結果情報は、学習済み解析モデルに入力情報を入力することによって取得される場合について説明した。しかし、学習済み解析モデルを用いるのは単なる一例であって、当然他の方法を用いてもよい。例えば、入力情報としてタイル画像が用いられる場合には、疾患に対する罹患状態が解析された画像との一致度を比較する方法など、他の画像解析処理も用いたり、学習済み解析モデルとこれらの他の画像解析処理を併用することも可能である。

【0046】

また、図４の解析処理においては、処理装置１００のプロセッサ１１１がメモリ１１２に記憶された学習済み解析モデルで医用画像を処理することによって解析結果情報を取得する場合について説明した。しかし、これに限らず、プロセッサ１１１が例えばサーバ装置に入力情報を送信し、当該サーバ装置のプロセッサが当該サーバ装置に記憶された学習済み解析モデルで入力情報を処理し、処理装置１００に対して解析結果情報が出力されるようにしてもよい。

【0047】

５．モデル生成装置３００で実行される処理フロー
図５は、本開示の一実施形態に係るモデル生成装置３００において実行される処理フローを示す図である。具体的には、図５は、図４のＳ１１４の解析処理において用いられる学習済み解析モデルの生成に係る処理フローを示す図である。当該処理フローは、主にモデル生成装置３００のプロセッサがメモリに記憶されたプログラムを読み出して実行することにより行われる。

【0048】

図５によると、例えば測定装置４００で撮影された医用画像を学習用医用画像として取得するステップが実行され得る（Ｓ２１１）。例えば、測定装置４００としてＣＴ装置が用いられる場合には、学習用医用画像として対象者の全身を撮影した複数のＣＴ画像が用いられる。なお、学習用医用画像には、上記のような実際にＣＴ装置を用いて撮影されたＣＴ画像が用いられてもよいが、画像処理によるシミュレーションによって取得されたシミュレーション画像が用いられてもよい。以下では、学習用医用画像として複数のＣＴ画像を用いる場合を説明する。

【0049】

次に、撮影された複数の学習用医用画像のそれぞれに対して、各学習用医用画像中に見られる身体部位の疾患に関する情報（例えば、特定の疾患の有無、その存在する位置（部位）及びその度合い）を疾患情報としてラベル付けする処理が実行される（Ｓ２１２）。当該ラベル付けは、医師などの医療従事者によって、外科的な身体部位の損傷の種類やその度合い、内科的な身体部位の病変や炎症の種類とその度合い（例えば、大きさ）、これらが所見として見られる身体部位の位置情報（例えば、肝臓、すい臓、脾臓など）などが入力されることによって行われる。なお、上記度合いには、例えば、疾患に対して「該当あり」又は「該当なし」や、「レベル１」、「レベル２」、「レベル３」又は「レベル４」や、「軽度」、「中度」又は「重度」などが例として挙げられる。また、これに代えて、又はこれに加えて、あらかじめ用意された外科的な身体部位の損傷が見られるＣＴ画像や、内科的な身体部位の病変や炎症が見られるＣＴ画像を用意し、これらの画像との一致度を画像解析処理によって算出し、この一致度に基づいてラベル付けが行われてもよい。

【0050】

複数の学習用医用画像と、それに対応付けられたラベル情報がそれぞれ得られると、プロセッサによって、それらを用いて身体部位の疾患パターンの機械学習を行うステップが実行される（Ｓ２１３）。当該機械学習は、一例として、学習用医用画像とラベル情報の組を、ニューロンを組み合わせて構成されたニューラルネットワークに与え、ニューラルネットワークの出力がラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済み解析モデル（例えば、ニューラルネットワークとパラメータ）を取得するステップが実行される（Ｓ２１４）。これにより、プロセッサは学習済み解析モデルの生成を終了する。なお、取得された学習済み解析モデルは、通信インターフェイスを介して処理装置１００に送信され、処理装置１００のメモリ１１２に記憶されてもよい。また、モデル生成装置３００や他の処理装置、サーバ装置等のメモリに記憶されてもよい。

【0051】

６．医用画像
上記のとおり、医用画像は、測定装置４００において測定されたヒトの身体の少なくとも一部が被写体として撮影された画像であり、測定装置４００から通信インターフェイス１１５を介して受信される情報である。図６Ａは、本開示の一実施形態に係る医用画像の一例を概念的に示す図である。図６Ａによれば、医用画像として測定装置４００（例えば、ＣＴ装置）で撮影された複数のＣＴ画像が用いられる場合が示されている。

【0052】

このようなＣＴ画像は、典型的には、ヒトの身体において所定の範囲（少なくとも複数の部位（例えば、肝臓、すい臓、脾臓など）や全身）にわたって、空間的に一定の間隔（例えば、スライス間隔＝５ｍｍ）で、身体の頭部から脚部に向かう方向に、厚さ方向の断面を撮影することによって取得される。図６Ａでは、少なくとも医用画像としてＣＴ画像Ｄｍ－７～ＣＴ画像Ｄｍ、及びＣＴ画像Ｄｎ－７～ＣＴ画像Ｄｎを少なくとも含む複数のＣＴ画像が、空間的に一定の間隔（例えば、スライス間隔＝５ｍｍ）で、部位Ａ～部位Ｄの複数の部位（すなわち、全身）に跨って撮影されている。なお、図６Ａに示す各部位は説明の便宜のための一例であって、必ずしもヒトの身体の特定の部位を正確に示したものではない。

【0053】

このように取得された複数のＣＴ画像は、上記のとおり一定の間隔で、空間的に連続して撮影されたものである。そのため、例えば、ＣＴ画像Ｄｍ－７～ＣＴ画像Ｄｍ等の空間的に連続する複数のＣＴ画像を参照すると、各ＣＴ画像の含まれる部位に現れる疾患の様子を確認することが可能である。すなわち、個々のＣＴ画像に着目すると、各ＣＴ画像における疾患の有無、その断面上の位置（部位）及びその度合いを検出することができる。さらに、前後の連続する複数個のＣＴ画像に着目すると、疾患の有無、その断面上の位置、断面に垂直な方向における患部の大きさ、及びその度合いが変化する様子を検出することができる。

【0054】

ここで、ＣＴ画像は、救急医療の現場で疾患の有無の判断によく用いられる。しかし、このような場合、ＣＴ画像は少なくとも複数の部位（場合によっては全身）に跨って一定の間隔で撮影されるため、かなり多量のＣＴ画像を医療従事者が一つずつ確認して疾患の有無を判断する必要がある。本開示に係る処理システム１では、取得された医用画像である複数のＣＴ画像に基づいて解析処理を実行し、解析結果情報を医用情報として出力することが可能である。したがって、本開示に係る処理システム１は、特に救急医療における疾患の有無の判断において有益に用いることが可能である。ただし、当然に、救急医療における当該判断のみにその用途が限定されるわけではない。

【0055】

また、上記においては空間的に連続する複数の医用画像を用いる場合について説明したが、他の医用画像を用いることも可能である。例えば、所定の身体領域（全身又は特定の部位）を被写体として、一定の周期で時間的に連続して撮影された画像を、処理装置１００が処理する複数の医用画像として用いることも可能である。一例としては、腹部のある断面のみをある決められた時間に１日周期で連続して撮影する。このように、時間的に連続して撮影された複数の医用画像を用いることによって、疾患の有無、その断面における疾患の位置、患部の大きさ及びその度合いが時間の経過とともに変化する様子を検出することが可能となる。

【0056】

また、例えば、処理装置１００が処理する複数の医用画像は、複数の異なる撮影条件で撮影された画像であってもよいし、複数の異なるパラメータに基づき画像処理された画像であってもよい。一例としては、ＣＴ撮影時の造影条件を変えて撮影された複数のＣＴ画像を用いてもよい。別の一例としては、身体の同じ部位を撮影した輝度の異なる複数の画像が含まれてもよい。また、別の一例としては、身体の同じ部位を撮影した色チャネルの異なる複数の画像（例えばＲ，Ｇ，Ｂチャネルの画像）が含まれてもよい。このように、撮影条件又は画像処理条件が異なる複数の医用画像を用いることによって、解析に用いる情報量を増やして解析精度を向上することができる。

【0057】

７．医用情報の生成に係る処理
図６Ａで説明したとおり測定装置４００で撮影された医用画像（例えば、ＣＴ画像）が処理装置１００に送信され、処理装置１００のプロセッサ１１１によって処理されることによって医用情報が生成される。図６Ｂは、本開示の一実施形態に係る医用画像が処理されることによって医用情報が生成される過程の一例を概念的に示す図である。

【0058】

図６Ｂによると、図６Ａで示したとおり、測定装置４００で撮影されたＣＴ画像であって、身体の所定の範囲（例えば、複数の部位や全身）に跨って連続的に撮影された複数のＣＴ画像（ＣＴ画像Ｄ１－１～ＣＴ画像Ｄ１－５０）が、医用画像として処理装置１００において取得されたことを示している。

【0059】

次に、図６Ｂによると、これら複数のＣＴ画像に対して所定の前処理が必要に応じて実施されたのち、複数のＣＴ画像が配置されたタイル画像Ｅが生成される。図６Ｂにおいては、タイル画像Ｅとして、５行×１０列の合計５０枚のＣＴ画像が配置されている。具体的には、タイル画像Ｅには、撮影された順に、１行目にＣＴ画像Ｄ１－１～ＣＴ画像Ｄ１－１０の１０枚の画像が、２行目にＣＴ画像Ｄ１－１０に続くＣＴ画像Ｄ１－１１～ＣＴ画像Ｄ１－２０の１０枚の画像が、３行目にＣＴ画像Ｄ１－２０に続くＣＴ画像Ｄ１－２１～ＣＴ画像Ｄ１－３０の１０枚の画像が、４行目にＣＴ画像Ｄ１－３０に続くＣＴ画像Ｄ１－３１～ＣＴ画像Ｄ１－４０の１０枚の画像が、５行目にＣＴ画像Ｄ１－４０に続くＣＴ画像Ｄ１－４１～ＣＴ画像Ｄ１－５０の１０枚の画像が配置されている。生成されたタイル画像Ｅに配置されている各ＣＴ画像の位置は、左下を原点とするＸＹ座標空間における座標（Ｘ，Ｙ）として、各ＣＴ画像を特定する情報とともに、タイル画像の構成情報として記憶される。なお、このような配置は単なる一例である。当然に、配置する枚数が異なる枚数であってもよいし、その配置位置も周期的であってもよいしランダムであってもよい。また、図６Ｂの例では、説明の便宜のために、取得されたＣＴ画像の全て（５０枚）を用いてタイル画像Ｅを生成する場合について説明したが、当然すべてを用いる必要はない。具体的には図７において後述する。

【0060】

次に、上記のとおり生成されたタイル画像Ｅは、入力情報として、学習済み解析モデルに入力される（解析処理）。なお、ここでは生成されたタイル画像Ｅそのものを入力情報として入力する場合について説明するが、当然タイル画像Ｅそのものを入力情報として用いる必要はない。例えば、生成されたタイル画像Ｅから所定周期でその一部を切り出した切り出し画像を入力情報として用いることも可能である。その詳細は図８Ａ～図８Ｃにおいて後述する。

【0061】

次に、タイル画像Ｅが入力情報として学習済み解析モデルに入力されることによって、解析結果情報が生成される。ここで、図６Ｂに示すとおり、タイル画像Ｅを構成する各ＣＴ画像の一部には、疾患が見られる部位（部位１１～部位１６）が存在する。タイル画像Ｅが学習済み解析モデルに入力されることによって、部位１１～部位１６に特定の疾患があること、タイル画像ＥのＸＹ座標空間における位置情報及び各部位における疾患の度合いが解析結果情報として取得される。

【0062】

なお、タイル画像Ｅには複数の画像が含まれているため、タイル画像Ｅを入力情報として学習済み解析モデルに入力することで得られる解析結果は、複数の画像の情報に基づく解析結果となる。これにより、個々のＣＴ画像をそれぞれ解析する場合よりも解析の精度を向上することができる。例えば、ＣＴ画像Ｄ－１３の中に含まれる部位１２の疾患の画像が不明瞭だった場合、ＣＴ画像Ｄ－１３だけを入力画像として解析を実行すると部位１２の疾患を検出できないことが考えられる。一方、タイル画像Ｅには、ＣＴ画像Ｄ－１３と近似した位置に疾患を含むＣＴ画像Ｄ－１２及びＣＴ画像Ｄ－１４が含まれる。そのため、タイル画像Ｅを入力画像として解析を実行すると、これら複数のＣＴ画像が総合評価される結果、ＣＴ画像Ｄ－１３に含まれる部位１２の疾患を検出できることが考えられる。つまり、本開示の技術によれば、２次元画像の解析手法を用いながら、３次元方向の情報（ＣＴ撮影の断層面の情報に加え、断層面に垂直な方向の情報）に基づく解析結果を得ることができる。

【0063】

次に、取得された解析結果情報とその解析に用いられたタイル画像Ｅを用いて医用情報Ｇが生成される。このような医用情報Ｇの一例としては、まず疾患が見られる部位として特定された部位１１～部位１６の位置情報から、各部位が含まれるＣＴ画像が特定される。ここでは、タイル画像Ｅを構成するＣＴ画像のうち、部位１１を含むＣＴ画像Ｄ１－１２、部位１２を含むＣＴ画像Ｄ１－１３、部位１３を含むＣＴ画像Ｄ１－１４、部位１４を含むＣＴ画像Ｄ１－２０、部位１５を含むＣＴ画像Ｄ１－３８、及び部位１６を含むＣＴ画像Ｄ１－３９がそれぞれ特定される。そして、特定された各ＣＴ画像の枠に沿うように、特定の疾患が存在するＣＴ画像を識別可能に識別表示２１～２６が解析結果を示す情報としてタイル画像Ｅに重畳される。このように、医用情報Ｇには、解析結果を示す識別表示２１～２６とその解析に用いられたタイル画像Ｅが含まれ、いずれのＣＴ画像において疾患が検出されたのかが容易に識別可能になっている。なお、このような医用情報Ｇは単なる一例である。例えば、図６Ｂの例では、単に疾患が存在することのみを識別表示２１～２６で示したが、その度合いに応じて表示態様を異ならせてもよい。また、タイル画像Ｅのうち疾患が存在するＣＴ画像に対して識別表示２１～２６を重畳したが、疾患が存在する位置をより直接的に示すようにしてもよい。また、解析結果を示す情報をタイル画像に重畳して表示する必要はなく、タイル画像中の一又は複数のＣＴ画像に重畳して表示してもよいし、これらの画像に重畳することなく解析結果を示す情報のみを表示してもよい。その詳細は図９Ａ及び図９Ｂにおいて後述する。

【0064】

８．タイル画像の生成に係る処理
図４及び図６Ｂで説明したとおり、測定装置４００で撮影された医用画像（例えば、ＣＴ画像）を用いて処理装置１００のプロセッサ１１１により処理されることによって、タイル画像が生成される。図７は、本開示の一実施形態に係る処理装置１００において生成されるタイル画像の一例を示す図である。具体的には、図７には、プロセッサ１１１によって生成されるタイル画像３種類とその生成に用いられる医用画像との関係がそれぞれ示されている。

【0065】

図７によると、図６Ａに示されたとおり、身体の頭部から脚部に向かう方向に、厚さ方向の断面を撮影することによって複数の医用画像が取得されたことが示されている。まず、図７の（ａ）では、プロセッサ１１１の処理によって、取得された複数の医用画像の全てを用いて、所定枚数ずつを縦及び横方向の少なくともいずれか一方に配置して、１又は複数のタイル画像が生成されることが示されている。このように、取得された複数の医用画像の全てを用いて１又は複数のタイル画像を生成することにより、より細かな周期で疾患の有無、その位置、その度合いを解析することが可能となり、より詳細な医用情報を生成することができる。

【0066】

次に、図７の（ｂ）では、プロセッサ１１１の処理によって、取得された複数の医用画像から所定周期（例えば、図７（ｂ）の例では３枚周期）で複数の医用画像が選択され、選択された複数の医用画像を用いて１又は複数のタイル画像が生成されることが示されている。このように、取得された複数の医用画像のうちの一部を選択して用いてタイル画像を生成することにより、プロセッサ１１１の処理負担を軽減することができる。

【0067】

次に、図７の（ｃ）では、プロセッサ１１１の処理によって、取得された複数の医用画像が部位Ａ～部位Ｄなどの部位ごとに分割され、部位ごとに１又は複数のタイル画像が生成されることが示されている。部位ごとのタイル画像は、部位ごとに分割された複数の医用画像の全てを用いて生成されてもよいし、所定周期で選択された医用画像を用いて生成されてもよい。このように、取得された複数の医用画像を部位ごとに分割して、部位ごとに１又は複数のタイル画像を生成することによって、部位ごとに医用情報を生成することができる。また、部位ごとにタイル画像の生成に用いられる各医用画像のサイズや枚数、最終的に生成されるタイル画像のサイズを変更することが可能である。具体的には、図７の（ｃ）に示すように、部位Ａについては、５行×１０列の５０枚の医用画像を合成することによって１枚のタイル画像が生成されている。一方で、部位Ｂについては、２行×４列の８枚の医用画像を合成することによって１枚のタイル画像が生成されている。そのため、部位Ｂについては、タイル画像に含まれる個々の医用画像は、部位Ａの医用画像よりも相対的に大きく出力される。このように、部位ごとに生成するタイル画像を変更することによって、例えばサイズの大きい部位は各医用画像が大きく表示されるようにするなど、各部位に適した医用情報の出力をすることができる。

【0068】

９．入力情報の生成に係る処理
図４及び図６Ｂで説明したとおり、処理装置１００のプロセッサ１１１によって生成されたタイル画像は、プロセッサ１１１により処理されることによって、入力情報として学習済み解析モデルに入力される。図８Ａ～図８Ｃは、本開示の一実施形態に係る学習済み解析モデルに入力される画像の一例を示す図である。

【0069】

まず、図８Ａには、プロセッサ１１１が処理することによって、生成されたタイル画像から、当該タイル画像を構成する医用画像を所定数単位で切り出されることで生成された切り出し画像が入力情報として用いられることが示されている。具体的には、図８Ａには、５行×１０列のマトリックス状に、ＣＴ画像Ｄ１－１～ＣＴ画像Ｄ１－５０の合計５０枚の医用画像を用いて生成されたタイル画像Ｅが示されている。当該タイル画像Ｅにおいて、まずＣＴ画像Ｄ１－１を起点として、３行×３列で切り出すことによって、９枚のＣＴ画像（ＣＴ画像Ｄ１－１、ＣＴ画像Ｄ１－２、ＣＴ画像Ｄ１－３、ＣＴ画像Ｄ１－１１、ＣＴ画像Ｄ１－１２、ＣＴ画像Ｄ１－１３、ＣＴ画像Ｄ１－２１、ＣＴ画像Ｄ１－２２及びＣＴ画像Ｄ１－２３）から構成される切り出し画像が生成される。次に、起点となるＣＴ画像の位置を一つずらして、ＣＴ画像Ｄ１－２を起点として、３行×３列で切り出すことによって、９枚のＣＴ画像（ＣＴ画像Ｄ１－２、ＣＴ画像Ｄ１－３、ＣＴ画像Ｄ１－４、ＣＴ画像Ｄ１－１２、ＣＴ画像Ｄ１－１３、ＣＴ画像Ｄ１－１４、ＣＴ画像Ｄ１－２２、ＣＴ画像Ｄ１－２３及びＣＴ画像Ｄ１－２４）から構成される切り出し画像が生成される。以下同様に、起点となるＣＴ画像の位置を一つずつずらして、最終的にＣＴ画像Ｄ１－２８を起点とする切り出し画像が生成される。そして、生成された各切り出し画像は、それぞれ入力情報として学習済み解析モデルに入力され、それぞれにおいて解析結果が取得される。取得された各解析結果が処理（例えば、各ＣＴ画像ごとに平均化する処理）されることによって、タイル画像Ｅにおける解析結果が取得される。なお、図８Ａでは、３行×３列の９枚のＣＴ画像で切り出し画像を生成したが、当然切り出す画像の単位は任意の数であってもよい。

【0070】

次に、図８Ｂには、プロセッサ１１１が処理することによって、生成されたタイル画像から、当該タイル画像を構成する１枚の医用画像ごとに切り出されることで生成された切り出し画像が入力情報として用いられることが示されている。具体的には、図８Ｂには、５行×１０列のマトリックス状に、ＣＴ画像Ｄ１－１～ＣＴ画像Ｄ１－５０の合計５０枚の医用画像を用いて生成されたタイル画像Ｅが示されている。当該タイル画像Ｅにおいて、まずＣＴ画像Ｄ１－１のみが切り出され、ＣＴ画像Ｄ１－１からなる切り出し画像が生成される。次に、タイル画像ＥにおいてＣＴ画像Ｄ１－２のみが切り出され、ＣＴ画像Ｄ１－２からなる切り出し画像が生成される。以下同様に、ＣＴ画像Ｄ１－５０に至るまで、ＣＴ画像ごとに、各ＣＴ画像からなる切り出し画像が生成される。生成された各切り出し画像は、それぞれ入力情報として学習済み解析モデルに入力され、それぞれにおいて解析結果が取得される。取得された各解析結果に基づいて、疾患部位が検出された場合には、その位置座標をタイル画像ＥのＸＹ座標空間の位置座標に変換する処理がされ、タイル画像Ｅにおける解析結果が取得される。

【0071】

次に、図８Ｃには、プロセッサ１１１が処理することによって、生成されたタイル画像から、当該タイル画像を構成する複数の画素を所定画素数単位で切り出すことで生成された切り出し画像が入力情報として用いられることが示されている。具体的には、図８Ｃには、５行×１０列のマトリックス状に、ＣＴ画像Ｄ１－１～ＣＴ画像Ｄ１－５０の合計５０枚の医用画像を用いて生成されたタイル画像Ｅが示されている。当該タイル画像Ｅにおいて、左上の画素を起点として１０画素（Ｘ軸方向）×１０画素（Ｙ軸方向）ごとに切り出すことによって、合計１００画素からなる切り出し画像が生成される。次に、切り出された領域に隣接して、１０画素（Ｘ軸方向）×１０画素（Ｙ軸方向）の切り出し画像が生成され、最終的にタイル画像Ｅの右下の画素が切り出されるまで当該処理を継続する。生成された各切り出し画像は、それぞれ入力情報として学習済み解析モデルに入力され、それぞれにおいて解析結果が取得される。取得された各解析結果に基づいて、疾患部位が検出された場合には、その位置座標をタイル画像ＥのＸＹ座標空間の位置座標に変換する処理がされ、タイル画像Ｅにおける解析結果が取得される。なお、図８Ｃでは、１０画像×１０画像の切り出し画像を生成したが、当然切り出す画素の単位は任意の数であってもよい。

【0072】

なお、図８Ａ～図８Ｃでは、それぞれ切り出し画像を学習済み解析モデルに入力してタイル画像Ｅの解析結果を取得する場合について説明した。つまり、図８Ａ～図８Ｃの各処理は、いずれか一つの処理のみが実行されればタイル画像Ｅの解析結果を取得することが可能である。しかし、図８Ａ～図８Ｃに示された各解析結果をアンサンブル処理することも可能である。このように処理することによって、より確度の高い解析結果を取得することができる。

【0073】

また、図８Ａ～図８Ｃの例では、切り出された各切り出し画像がそれぞれ入力画像として学習済み解析モデルに入力される場合について説明した。しかし、これに限らず、複数の切り出し画像を組み合わせて入力情報とし、それを学習済み解析モデルに入力してもよい。例えば、図８Ａの例では９枚のＣＴ画像が組み合わされて１枚の切り出し画像が生成されているが、前後に隣接する２枚の切り出し画像と組み合わされて合計３枚の切り出し画像が１セットの入力情報とされてもよい。このように入力情報を生成することで、より効率的に解析を行うことが可能である。なお、組み合わせる他の切り出し画像は、必ずしも前後２枚である必要はなく、任意の枚数で任意の順番で組み合わされてよい。

【0074】

１０．出力される医用情報の例
図４及び図６Ｂで説明したとおり、医用画像を処理することによって解析結果情報が取得されると、処理装置１００のプロセッサ１１１によって処理されることによって、取得された解析結果情報とタイル画像に基づいて医用情報が出力される。図９Ａ～９Ｃは、本開示の一実施形態に係る処理装置１００において出力される医用情報の一例を示す図である。なお、図９Ａ及び図９Ｂでは、説明の便宜のため３行×６列のタイル画像を用いた場合について説明するが、当然図６Ｂ等に示すように５行×１０列のタイル画像を用いてもよいし、任意の医用画像が含まれるタイル画像を用いてもよい。

【0075】

図９Ａにおいては、解析結果情報として、ＣＴ画像Ｄ２－３～ＣＴ画像Ｄ２－１４において疾患が見られる部位がそれぞれ特定され、各部位の位置情報（座標情報）とその疾患の度合いが取得された場合を示す。図９Ａによると、医用情報は、ＣＴ画像Ｄ２－１～ＣＴ画像Ｄ２－１８から構成されるタイル画像を含む。また、各ＣＴ画像において疾患が特定された各部位の位置情報から、各部位が含まれるＣＴ画像が特定される。ここでは、疾患が特定された部位を含むＣＴ画像として、ＣＴ画像Ｄ２－３～ＣＴ画像Ｄ２－１４が特定されている。したがって、図９Ａの医用情報は、ＣＴ画像Ｄ２－３～ＣＴ画像Ｄ２－１４の枠に沿うように、特定の疾患が存在すること識別するための識別表示３１～４２を、解析結果情報の一つとして、タイル画像に重畳するように含む。

【0076】

ここで、解析結果情報には、各部位における疾患の度合いに関する情報も含む。したがって、図９Ａの例では、識別表示３１～４２をその度合いに応じて区別して出力している。一例としては、疾患の度合いが「軽度」である場合には識別表示３１～３３及び４１～４２のように破線によって示し、「中度」である場合には識別表示３４、３５及び３８～４０のように一点鎖線によって示し、「重度」である場合には識別表示３６及び３７のように実線によって示している。つまり、識別表示の表示態様は疾患の度合いに応じて変化させてもよい。このように、疾患の度合いに応じて識別表示の表示態様を変化させることによって、その疾患の度合いが変化する様子をより直感的に把握することが可能である。

【0077】

図９Ｂにおいては、図９Ａと同様に、解析結果情報として、ＣＴ画像Ｄ２－３～ＣＴ画像Ｄ２－１４において疾患が見られる部位がそれぞれ特定され、各部位の位置情報（座標情報）とその疾患の度合いが取得された場合を示す。図９Ｂによると、医用情報は、ＣＴ画像Ｄ２－１～ＣＴ画像Ｄ２－１８から構成されるタイル画像を含む。さらに、当該医用情報は、各ＣＴ画像において疾患が特定された各部位の位置情報から当該部位を囲むように識別表示５１～６２を、解析結果情報の一つとして、タイル画像に重畳するように含む。つまり、各ＣＴ画像に含まれる疾患部位の位置及び大きさの変遷を当該識別表示５１～６２に着目することによって把握することが可能である。

【0078】

ここで、解析結果情報には、各部位における疾患の度合いに関する情報も含む。したがって、図９Ｂの例では、識別表示５１～６２をその度合いに応じて区別して出力している。一例としては、疾患の度合いが「軽度」である場合には識別表示５１～５３及び６１～６２のように破線によって示し、「中度」である場合には識別表示５４、５５及び５８～６０のように一点鎖線によって示し、「重度」である場合には識別表示５６及び５７のように実線によって示している。つまり、識別表示の表示態様は疾患の度合いに応じて変化させてもよい。このように、疾患の度合いに応じて識別表示の表示態様を変化させることによって、その疾患の度合いが変化する様子をより直感的に把握することが可能である。すなわち、図９Ｂの例では、各ＣＴ画像に含まれる疾患部位の位置及び大きさ、さらには各部位の疾患度合いの変遷を一度に把握することが可能である。

【0079】

図９Ｃにおいては、図９Ａ及び図９Ｂと同様に、解析結果情報として、ＣＴ画像Ｄ２－３～ＣＴ画像Ｄ２－１４において疾患が見られる部位がそれぞれ特定され、各部位の位置情報（座標情報）とその疾患の度合いが取得された場合を示す。図９Ｃによると、医用情報は、タイル画像を構成するＣＴ画像のうちの特定の１枚のＣＴ画像（ＣＴ画像Ｄ２－９）を含む。また、当該医用情報は、当該ＣＴ画像Ｄ２－９に対応する解析結果情報により特定される識別表示７１を、ＣＴ画像Ｄ２－９に重畳するように含む。さらに、当該医用情報は、これらの情報に加えて、当該解析結果情報をテキストとして示したテキスト情報７２（疾患の有無、疾患が見られる部位、判定の確度等）を含む。これにより、特定の１枚のＣＴ画像に着目して、より詳細な情報を把握することが可能となる。

【0080】

ここで、図９Ｃの医用情報に含まれる１枚のＣＴ画像としてＣＴ画像Ｄ２－９を例として示したが、これは操作者により選択された任意のＣＴ画像や、疾患の度合いに応じて選択された任意のＣＴ画像など、いずれの画像が含まれていてもよい。また、含まれるＣＴ画像も、１枚ではなく、複数枚のＣＴ画像が含まれていてもよい。また、特に図示はしていないが、例えば画面上に操作アイコンを表示しておき、入力インターフェイス１１３を介して当該操作アイコンに対する操作者の操作入力を受け付けて、順次隣接するＣＴ画像に順送りで切り替えて出力できるようにしてもよい。

【0081】

なお、図９Ａ～図９Ｃに示すような医用情報は、解析結果情報とタイル画像又はＣＴ画像を組み合わせることによって生成される医用情報のうちの一例でしかない。例えば、図９Ｂでは各疾患部位の位置情報に応じて矩形の識別表示を用いた。しかし、これに代えて、疾患部位の形状に沿った多角形の識別表示や、疾患部位に対応する位置を他の位置とは異なる色彩で描画した識別表示などを用いることも可能である。

【0082】

また、図９Ａ～図９Ｃには、医用情報としてタイル画像又はＣＴ画像と解析結果情報が含まれる場合について説明したが、出力される医用情報には当然他の情報が含まれてもよい。例えば、解析処理によって特定された疾患の度合いを示す具体的な数値や文字（例えば、「ＣＴ画像Ｄ１－１に疾患を検出。軽度の腎損傷の疑いあり」など）、特定の疾患に対する対処法などを示した論文やＷＥＢサイト、特定の疾患に有用な医薬品に関する情報、特定の疾患を専門とする医療機関に関する情報、特定の疾患に対する処置のための装置・機器等に関する情報、対象者に対応付けられた問診情報、所見情報、他の医用画像、他の検査データなどを医用情報として含めてもよい。

【0083】

また、図９Ａ～図９Ｃの例では、いずれも医用情報としてタイル画像とＣＴ画像のいずれかと一緒に解析結果情報が出力される場合について説明した。しかし、これらの各画像は必ずしも必須ではなく、解析結果情報のみを医用情報として出力してもよい。このような医用情報としては、例えば図９Ｃのテキスト情報７２や、解析処理によって特定された疾患の度合いを示す具体的な数値や文字、特定の疾患に対する対処法などを示した論文やＷＥＢサイト、特定の疾患に有用な医薬品に関する情報、特定の疾患を専門とする医療機関に関する情報、特定の疾患に対する処置のための装置・機器等に関する情報、対象者に対応付けられた問診情報、所見情報、他の医用画像、他の検査データなどを医用情報が挙げられる。

【0084】

また、図９Ａ～図９Ｃ、及び上記において例示する種々の医用情報は、それぞれ組み合わせて出力することも可能である。例えば、図９Ａの医用情報を表示したのちに、入力インターフェイス１１３を介して任意の１枚のＣＴ画像に対する操作入力を受け付けると、図９Ｃに示すような特定の１枚のＣＴ画像に着目した詳細な医用情報を出力するようにしてもよい。

【0085】

また、医用情報の出力態様も、生成されたタイル画像そのものを医用情報として出力する必要はない。操作者からの指示入力を受け付けて、タイル画像のうち特定の領域を拡大縮小して出力してもよいし、タイル画像の輝度や彩度などを変更して出力してもよい。

【0086】

また、このような医用情報は、図９Ａ～図９Ｃの例では、ディスプレイ装置２００に出力される場合について説明したが、これに限らず、操作者や他の医療従事者が所持する端末装置や、医療機関内にある他の処理装置や他の医療機器など、その出力先はいずれであってもよい。

【0087】

１１．その他の変形例
図４に示す例では、いずれも医用画像を取得すると当該医用画像の少なくとも一部を用いてタイル画像を生成し、生成されたタイル画像の少なくとも一部を入力情報として学習済み解析モデルに入力する場合について説明した。しかし、これに限らず、取得された医用画像それぞれを学習済み解析モデルに入力して医用画像ごとに解析結果情報を取得し、次に入力された医用画像を用いてタイル画像を生成し、当該タイル画像に各解析結果情報を重畳するようにしてもよい。

【0088】

図１０は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図４は、測定装置４００において医用画像が取得され各医用画像に対して解析処理をし、そののちにタイル画像を生成して医用情報を出力するために、処理装置１００のプロセッサ１１１によって実行される処理フローを示す図である。当該処理フローは、主に処理装置１００のプロセッサ１１１がメモリ１１２に記憶されたプログラムを読み出して実行することにより行われる。

【0089】

処理装置１００のプロセッサ１１１は、図４のＳ１１１と同様に、通信インターフェイス１１５を介して測定装置４００から複数の医用画像を受信すると、対象者ＩＤ情報に対応付けて受信した複数の医用画像を対象者管理テーブルに記憶する（Ｓ５１１）。

【0090】

プロセッサ１１１は、受信した複数の医用画像のそれぞれに対して、所定の前処理を実施する（Ｓ５１２）。当該前処理の具体的な処理方法は、図４のＳ１１２と同様である。プロセッサ１１１は、前処理後の各医用画像を、対象者管理テーブルに対象者ＩＤ情報に対応付けて記憶する。

【0091】

次に、プロセッサ１１１は、前処理がなされた複数の医用画像を入力情報として対象者管理テーブルに対象者ＩＤ情報に対応付けて記憶する。なお、医用画像から入力情報を決定する処理は、図７に示す方法と同様に行われる。つまり、図７の（ａ）に示すように取得された医用画像の全てを入力情報として用いてもよいし、（ｂ）に示すように所定周期で選択された一部の医用画像を入力情報として用いてもよいし、（ｃ）に示すように部位ごとに分割された医用画像を入力情報として用いてもよい。

【0092】

次に、プロセッサ１１１は、図４のＳ１１４と同様に、操作者により操作入力を受け付けると、対象者ＩＤ情報に対応付けられた入力情報を対象者管理テーブルから読み出して、学習済み解析モデルに入力して解析処理を実行する（Ｓ５１３）。そして、プロセッサ１１１は、解析処理において学習済み解析モデルから解析結果情報を取得すると、取得した解析結果情報を対象者ＩＤ情報に対応付けて対象者管理テーブルに記憶する（Ｓ５１４）。

【0093】

次に、プロセッサ１１１は、図４のＳ１１３と同様に、入力情報として用いられた医用画像を用いてタイル画像を生成し、生成したタイル画像を対象者ＩＤ情報に対応付けて対象者管理テーブルに記憶する（Ｓ５１５）。プロセッサ１１１は、タイル画像が生成されると、Ｓ５１４で取得された解析結果情報及び当該タイル画像を用いて医用情報を生成する。プロセッサ１１１は、生成した医用情報を対象者ＩＤ情報に対応付けて対象者管理テーブルに記憶する。また、プロセッサ１１１は、出力インターフェイス１１４を介して、記憶した医用情報をディスプレイ装置２００等に出力する（Ｓ５１６）。これにより、プロセッサ１１１は、医用画像が取得されてから医用情報を出力するまでの処理フローを終了する。

【0094】

図１１は、本開示の一実施形態に係る医用画像が処理されることによって医用情報が生成される過程の一例を概念的に示す図である。具体的には、図１１は、図１０の処理フローによって医用情報が生成される場合の例を示す図である。図１０によると、図６Ｂと同様に、身体の所定の範囲（例えば、複数の部位や全身）に跨って連続的に撮影された複数のＣＴ画像（ＣＴ画像Ｄ１－１～ＣＴ画像Ｄ１－５０）が、医用画像として処理装置１００において取得されたことを示している。

【0095】

次に、図１０によると、処理装置１００のプロセッサ１１１の処理によって、これら複数のＣＴ画像に対して所定の前処理が必要に応じて実施されたのち、各ＣＴ画像が学習済み解析モデルに入力され、それぞれ解析結果情報が取得されている。そして、図１０によると、学習済み解析モデルに入力された各ＣＴ画像を用いてタイル画像Ｅが生成されている。さらに、生成されたタイル画像と解析結果情報に基づいて医用情報Ｇが生成される。ここで、図６Ｂと同様に、ＣＴ画像Ｄ１－１２には疾患が見られる部位として部位１１が、ＣＴ画像Ｄ１－１３には疾患が見られる部位として部位１２が、ＣＴ画像Ｄ１－１４には疾患が見られる部位として部位１３が、ＣＴ画像Ｄ１－２０には疾患が見られる部位として部位１４が、ＣＴ画像Ｄ１－３８には疾患が見られる部位として部位１５が、ＣＴ画像Ｄ１－３９には疾患が見られる部位として部位１６が存在している。したがって、医用情報Ｇにおいては、各ＣＴ画像の枠に沿うように、特定の疾患が存在するＣＴ画像を識別可能に識別表示２１～２６が解析結果を示す情報としてタイル画像Ｅに重畳される。

【0096】

このように、図４及び図６Ｂの例ではタイル画像を入力情報として学習済み解析モデルに入力したが、図１０及び図１１の例のように医用画像を入力情報として学習済み解析モデルに入力し、そののちにタイル画像を生成することも可能である。

【0097】

また、図１～図１１の例では、取得された医用画像に必要に応じて前処理を行ったグレースケール画像を用いる場合を前提として説明した。しかし、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３色それぞれの医用画像を解析処理し、その結果をアンサンブルして解析結果情報を取得するなど、複数種類の医用画像を用いてもよい。

【0098】

また、図１～図１１の例では、単一の学習済み解析モデルのみで説明しているが、タイル画像と問診情報を入力情報として解析する学習済み解析モデルとのアンサンブルをしたり、各部位ごとに用意された学習済み解析モデルを用いるなど、他の学習済み解析モデルを複数組み合わせてもよい。

【0099】

また、図６Ｂ等に示されるタイル画像は、各医用画像が余白なく配置されているが、医用画像間に余白が設けられていたり、その配置位置もランダムに配置されてもよい。

【0100】

また図５で説明した学習済み解析モデルは、ニューラルネットワークや畳み込みニューラルネットワークを用いて生成した。しかし、これらに限らず、ニアレストネイバー法、決定木、回帰木、ランダムフォレスト等の機械学習を用いて生成することも可能である。

【0101】

以上、本実施形態においては、ヒトの身体の医用画像に基づいてより有用な医用情報を出力することが可能な処理装置、処理プログラム、処理方法及び処理システムを提供することができる。

【0102】

本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、処理装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。

【0103】

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。

【符号の説明】

【0104】

１ 処理システム
１００ 処理装置
２００ ディスプレイ装置
３００ モデル生成装置
４００ 測定装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】

【図10】

【図11】