特開 2025-149688 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025149688

(43)【公開日】2025-10-08

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20251001BHJP

   G06T 7/00 20170101ALI20251001BHJP

【ＦＩ】

A61B6/03 560J

G06T7/00 350B

G06T7/00 612

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2024050491

(22)【出願日】2024-03-26

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】小池 樹

(72)【発明者】

【氏名】竹本 和馬

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093DA02

4C093FF16

4C093FF23

4C093FF42

4C093FG15

5L096AA03

5L096AA09

5L096BA06

5L096BA13

5L096CA02

5L096DA01

5L096EA02

5L096FA59

5L096FA69

5L096KA04

5L096KA15

(57)【要約】

【課題】２次元医療画像に対する臓器認識を高精度に行うことができる画像処理装置、画像処理方法、及び画像処理プログラムを得る。
【解決手段】画像処理装置は、第１の２次元医療画像を入力とし、第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置であって、被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、生成した第２の２次元医療画像、及び３次元医療画像における臓器認識結果に基づく第２の２次元医療画像に対応する臓器認識結果を正解データとして機械学習モデルを学習させる。
【選択図】図７

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、前記第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置であって、
前記プロセッサは、
被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、
生成した前記第２の２次元医療画像、及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして前記機械学習モデルを学習させる
画像処理装置。

【請求項2】

前記３次元医療画像は、被検体を撮影して得られた断層画像群を含み、
前記プロセッサは、
第１の３次元医療画像に基づいて、前記第１の３次元医療画像よりもスライス間隔が狭いか又はスライス厚が薄い第２の３次元医療画像を生成する
前記第２の３次元医療画像に基づいて前記第２の２次元医療画像を生成する
請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、
前記第２の３次元医療画像を前記第１の２次元医療画像の撮影方向に相当する方向に投影することによって前記第２の２次元医療画像を生成する
請求項２に記載の画像処理装置。

【請求項4】

前記プロセッサは、
前記第２の３次元医療画像に基づいて、エッジを強調させる画像処理を行うことによって前記第２の２次元医療画像を生成する
請求項３に記載の画像処理装置。

【請求項5】

前記プロセッサは、
前記第２の３次元医療画像を前記撮影方向に相当する方向に投影することによって投影画像を生成し、前記投影画像に対して前記画像処理を行うことによって前記第２の２次元医療画像を生成する
請求項４に記載の画像処理装置。

【請求項6】

前記プロセッサは、
前記第１の３次元医療画像の撮影に用いられた撮影装置又は認識対象の臓器に応じて異なる前記画像処理を行う
請求項４に記載の画像処理装置。

【請求項7】

前記臓器認識結果は、認識した臓器の範囲を表す情報である
請求項１から請求項６の何れか１項に記載の画像処理装置。

【請求項8】

前記プロセッサは、
更に、前記３次元医療画像が撮影された際の検査情報を用いて前記機械学習モデルを学習させる
請求項１から請求項６の何れか１項に記載の画像処理装置。

【請求項9】

前記プロセッサは、
更に、前記３次元医療画像が撮影された際の前記被検体の生体情報を用いて前記機械学習モデルを学習させる
請求項１から請求項６の何れか１項に記載の画像処理装置。

【請求項10】

前記機械学習モデルは、前記第１の２次元医療画像及び前記生体情報を入力とし、前記臓器認識結果を出力とする
請求項９に記載の画像処理装置。

【請求項11】

少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、前記第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置の前記プロセッサが、
被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、
生成した前記第２の２次元医療画像、及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして前記機械学習モデルを学習させる
処理を実行する画像処理方法。

【請求項12】

少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、前記第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置の前記プロセッサに、
被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、
生成した前記第２の２次元医療画像、及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして前記機械学習モデルを学習させる
処理を実行させるための画像処理プログラム。

【請求項13】

少なくとも一つのプロセッサを備える画像処理装置であって、
前記プロセッサは、
被検体を撮影して得られた２次元医療画像を取得し、
第１の２次元医療画像を入力とし、入力の第１の２次元医療画像に対する臓器認識結果を出力とする学習済みモデルであって、被検体を撮影して得られた３次元医療画像に基づいて生成された第２の２次元医療画像及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして学習された学習済みモデルに対して、取得した２次元医療画像を入力することによって、取得した２次元医療画像に対する臓器認識結果を取得する
画像処理装置。

【請求項14】

少なくとも一つのプロセッサを備える画像処理装置の前記プロセッサが、
被検体を撮影して得られた２次元医療画像を取得し、
第１の２次元医療画像を入力とし、入力の第１の２次元医療画像に対する臓器認識結果を出力とする学習済みモデルであって、被検体を撮影して得られた３次元医療画像に基づいて生成された第２の２次元医療画像及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして学習された学習済みモデルに対して、取得した２次元医療画像を入力することによって、取得した２次元医療画像に対する臓器認識結果を取得する
処理を実行する画像処理方法。

【請求項15】

少なくとも一つのプロセッサを備える画像処理装置の前記プロセッサに、
被検体を撮影して得られた２次元医療画像を取得し、
第１の２次元医療画像を入力とし、入力の第１の２次元医療画像に対する臓器認識結果を出力とする学習済みモデルであって、被検体を撮影して得られた３次元医療画像に基づいて生成された第２の２次元医療画像及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして学習された学習済みモデルに対して、取得した２次元医療画像を入力することによって、取得した２次元医療画像に対する臓器認識結果を取得する
処理を実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、疾患名を含む情報と被検体の位置合わせ画像とに基づいた出力情報を出力する学習済みモデルに対して、取得された疾患名を含む情報と被検体の位置合わせ画像とを入力し、出力情報に基づいたスキャン範囲を出力する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２３－０６５６６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＣＴ（Computed Tomography）装置等の３次元医療画像を撮影する撮影装置では、３次元医療画像の撮影前に、スカウト画像と呼ばれる２次元医療画像が撮影される場合がある。この場合、２次元医療画像に対する臓器認識結果に基づいて、３次元医療画像の撮影範囲が決定される。従って、２次元医療画像に対する臓器認識を高精度に行うことが求められる。なお、スカウト画像はスキャノグラムとも呼ばれる。

【0005】

例えば、スカウト画像に対する臓器認識のために、スカウト画像及びスカウト画像における臓器認識結果を正解データとして学習された学習済みモデルを用いることが考えられる。しかしながら、スカウト画像等の２次元医療画像では、臓器によっては、人では視認が難しい場合がある。このため、被検体を撮影して得られた２次元医療画像を用いて学習された学習済みモデルでは、臓器認識の精度に改善の余地がある。

【0006】

本開示は、以上の事情を鑑みてなされたものであり、２次元医療画像に対する臓器認識を高精度に行うことができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の画像処理装置は、少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置であって、プロセッサは、被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、生成した第２の２次元医療画像、及び３次元医療画像における臓器認識結果に基づく第２の２次元医療画像に対応する臓器認識結果を正解データとして機械学習モデルを学習させる。

【0008】

また、本開示の画像処理方法は、少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置のプロセッサが、被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、生成した第２の２次元医療画像、及び３次元医療画像における臓器認識結果に基づく第２の２次元医療画像に対応する臓器認識結果を正解データとして機械学習モデルを学習させる処理を実行する。

【0009】

また、本開示の画像処理プログラムは、少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置のプロセッサに、被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、生成した第２の２次元医療画像、及び３次元医療画像における臓器認識結果に基づく第２の２次元医療画像に対応する臓器認識結果を正解データとして機械学習モデルを学習させる処理を実行させる。

【発明の効果】

【0010】

本開示によれば、２次元医療画像に対する臓器認識を高精度に行うことができる。

【図面の簡単な説明】

【0011】

【図1】画像処理装置のハードウェア構成の一例を示すブロック図である。

【図2】ＣＴ画像及び臓器領域情報を説明するための図である。

【図3】第１実施形態に係る認識モデルを説明するための図である。

【図4】画像処理装置の機能的な構成の一例を示すブロック図である。

【図5】第１の３次元医療画像に基づいて第２の３次元医療画像を生成する処理を説明するための図である。

【図6】臓器領域情報の生成処理を説明するための図である。

【図7】正解データの生成処理を説明するための図である。

【図8】学習処理の一例を示すフローチャートである。

【図9】ＣＴ装置の概要を示す斜視図である。

【図10】コンソールのハードウェア構成の一例を示すブロック図である。

【図11】コンソールの機能的な構成の一例を示すブロック図である。

【図12】臓器認識処理の一例を示すフローチャートである。

【図13】第２実施形態に係る生体情報を説明するための図である。

【図14】第２実施形態に係る認識モデルを説明するための図である。

【図15】変形例に係る生体情報を説明するための図である。

【図16】変形例に係る生体情報を説明するための図である。

【図17】変形例に係る臓器認識結果の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0013】

［第１実施形態］
まず、本実施形態に係る学習フェーズについて説明する。図１を参照して、本実施形態に係る画像処理装置１０のハードウェア構成を説明する。図１に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２０、メモリ２１、ディスプレイ２４、入力装置２５、及びネットワークＩ／Ｆ（InterFace）２６を含む。画像処理装置１０の例としては、パーソナルコンピュータ又はサーバコンピュータ等のコンピュータが挙げられる。

【0014】

ＣＰＵ１０は、後述する記憶部２２に記憶されるプログラムを実行することにより、各種機能を実現する。ＣＰＵ２０は、開示の技術に係るプロセッサの一例である。

【0015】

メモリ２１は、記憶部２２及びＲＡＭ（Random Access Memory)２３を含む。ＲＡＭ２３は、一次記憶用のメモリであり、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ(Dynamic Random Access Memory)等のＲＡＭである。

【0016】

記憶部２２は、不揮発性のメモリであり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の少なくとも１つによって実現される。記憶媒体としての記憶部２２には、画像処理プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から画像処理プログラム３０を読み出してからＲＡＭ２３に展開し、展開した画像処理プログラム３０を実行する。

【0017】

ディスプレイ２４は、各種画面を表示する装置であり、例えば、液晶ディスプレイ又はＥＬ（Electro Luminescence）ディスプレイである。入力装置２５は、ユーザが入力を行うための装置であり、例えば、キーボード、マウス、音声入力用のマイク、接触を含む近接入力用のタッチパッド、及びジェスチャー入力用のカメラの少なくとも何れかである。ネットワークＩ／Ｆ２６は、ネットワークに接続するためのインタフェースである。バス２７は、ＣＰＵ２０、メモリ２１、ディスプレイ２４、入力装置２５、及びネットワークＩ／Ｆ２６を接続する。

【0018】

また、記憶部２２には、ＣＴ画像３２、臓器領域情報３４、及び認識モデル３６が記憶される。ＣＴ画像３２は、ＣＴ装置により患者等の被検体を撮影して得られた３次元画像である。一例として図２に示すように、本実施形態に係るＣＴ画像３２は、被検体の体軸方向に直交するアキシャル断面を表す断層画像群を含む。なお、断層画像群は、アキシャル断面以外の断面を表す断層画像群でもよい。また、ＣＴ画像３２は、ボリュームデータでもよい。ＣＴ画像３２は、認識モデル３６の学習に用いられるデータであり、予め撮影された複数のＣＴ画像３２が記憶部２２に記憶される。ＣＴ画像３２は、開示の技術に係る３次元医療画像の一例である。

【0019】

臓器領域情報３４は、複数のＣＴ画像３２それぞれに対応して複数用意される。臓器領域情報３４は、対応するＣＴ画像３２における認識対象の臓器の範囲を表す情報を含む。一例として図２に示すように、臓器領域情報３４は、ＣＴ画像３２を構成する各断層画像における臓器領域が特定の色で塗りつぶされたマスク画像群を含む。臓器領域情報３４は、ＣＴ画像３２に対応する臓器認識結果に相当する。ここでいう臓器には、肺及び肝臓等の胸腔及び腹腔に位置する器官以外の骨及び血管等も含まれる。

【0020】

認識モデル３６は、画像処理装置１０により機械学習が行われるモデルである。一例として図３に示すように、認識モデル３６は、第１の２次元医療画像を入力とし、入力の第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルである。認識モデル３６は、臓器認識結果として、認識した臓器の範囲を表す情報を出力する。具体的には、認識モデル３６は、臓器認識結果として、入力の第１の２次元医療画像から認識した臓器領域を特定の色で塗りつぶしたマスク画像を出力する。更に、認識モデル３６は、ＣＴ画像３２が撮影された際の検査情報も入力とする。検査情報の例としては、被検体の検査対象の部位又は臓器等が挙げられる。例えば、検査情報は、ＣＴ画像３２に付加されている。なお、認識モデル３６は、検査情報毎に用意されてもよい。この場合、ＣＰＵ２０は、検査情報に応じて認識モデル３６を使い分けてもよい。

【0021】

本実施形態では、第１の２次元医療画像として、被検体の前面から背面に向けて、すなわち、所謂ＡＰ（Anterior Posterior）方向にＸ線等の放射線を照射して得られる放射線画像を適用した例を説明する。認識モデル３６に入力される第１の２次元医療画像の例としては、スカウト画像等が挙げられる。すなわち、本実施形態に係る第１の２次元医療画像の撮影方向はＡＰ方向である。第１の２次元医療画像は、ＣＴ画像３２の断面の方向に対応して、被検体に対してＡＰ方向以外の方向に放射線を照射して得られる放射線画像でもよい。

【0022】

次に、図４を参照して、画像処理装置１０の機能的な構成について説明する。図４に示すように、画像処理装置１０は、取得部４０、生成部４２、及び学習部４４を含む。ＣＰＵ２０が画像処理プログラム３０を実行することにより、取得部４０、生成部４２、及び学習部４４として機能する。

【0023】

取得部４０は、ＣＴ画像３２及び臓器領域情報３４を記憶部２２から取得する。生成部４２は、取得部４０により取得されたＣＴ画像３２に基づいてＣＴ画像３３を生成する。以下、生成部４２によるＣＴ画像３３の生成処理の具体的な一例を説明する。

【0024】

生成部４２は、ＣＴ画像３２に基づいて、ＣＴ画像３２よりもスライス間隔が狭いか又はスライス厚が薄いＣＴ画像３３を生成する。一例として図５に示すように、本実施形態に係る生成部４２は、ＣＴ画像３２に基づいて、ＣＴ画像３２よりもスライス間隔が狭く、かつスライス厚が薄いＣＴ画像３３を生成する。スライス間隔とは、特定の方向に沿った断層画像間の距離を意味する。特定の方向とは、断層画像が表す断面に交差する方向であり、断層画像がアキシャル断面を表す画像である場合は、体軸方向に相当する。また、断層画像がコロナル断面を表す画像である場合は、ＡＰ方向が特定の方向に相当する。また、スライス厚とは、各断層画像が有する情報の上記特定の方向に沿った厚みを意味する。例えば、スライス厚が５ｍｍのアキシャル断面を表す断層画像は、体軸方向の上下それぞれ２．５ｍｍずつの臓器の情報が１枚の画像として表されたものである。

【0025】

例えば、生成部４２は、以下の参考文献１に記載のVirtual Thin Sliceの手法を用いて、ＣＴ画像３２からＣＴ画像３３を生成する。これにより、ＣＴ画像３２よりも高解像度のＣＴ画像３３が生成される。ＣＴ画像３２は、開示の技術に係る第１の３次元医療画像の一例であり、ＣＴ画像３３は、開示の技術に係る第２の３次元医療画像の一例である。

【0026】

参考文献１：Virtual Thin Slice: 3D Conditional GAN-based Super-resolution for CT Slice Interval, Akira Kudo et al., 30 Aug 2019, arXiv:1908.11506.

【0027】

また、図６に示すように、生成部４２は、ＣＴ画像３２、ＣＴ画像３３、及び臓器領域情報３４に基づいて、ＣＴ画像３３に対応するマスク画像群である臓器領域情報３５を生成する。臓器領域情報３５は、ＣＴ画像３２に基づくＣＴ画像３３に対応する臓器認識結果に相当する。

【0028】

次に、図７に示すように、生成部４２は、ＣＴ画像３３を第１の２次元医療画像の撮影方向に相当する方向（以下、「投影方向」という）に投影することによって２次元の投影画像Ｇ０を生成する。図７の例では、投影方向が矢印Ｙで示されている。この投影画像Ｇ０はレイサム画像とも呼ばれる。そして、生成部４２は、投影画像Ｇ０に対してエッジを強調させる画像処理を行うことによって２次元医療画像Ｇ１を生成する。すなわち、生成部４２は、ＣＴ画像３３に基づいて、エッジを強調させる画像処理を行うことによって２次元医療画像Ｇ１を生成する。このように生成された２次元医療画像Ｇ１は、ＣＴ装置により撮影されるスカウト画像を模擬した疑似スカウト画像である。２次元医療画像Ｇ１は、開示の技術に係る第２の２次元医療画像の一例である。

【0029】

なお、生成部４２は、３次元医療画像の撮影に用いられた撮影装置又は認識対象の臓器に応じて異なる画像処理を行ってもよい。例えば、生成部４２は、撮影装置毎に予め設定された強調度に従ってエッジを強調させる画像処理を行ってもよい。また、生成部４２は、認識対象の臓器毎に予め設定された強調度に従ってエッジを強調させる画像処理を行ってもよい。例えば、生成部４２は、頭部等の骨がある臓器に対しては、相対的に強調度を高くしてエッジを強調させる画像処理を行い、肺に対しては相対的に強調度を低くしてエッジを強調させる画像処理を行ってもよい。これにより、生成部４２は、撮影装置の特性又は認識対象の臓器に応じて、よりスカウト画像に類似する２次元医療画像Ｇ１を生成することができる。

【0030】

また、図７に示すように、生成部４２は、臓器領域情報３５を、投影画像Ｇ０を生成する際の投影方向と同じ方向に対して投影することによって、２次元医療画像Ｇ１に対応する臓器認識結果を表すマスク画像Ｇ２を生成する。

【0031】

学習部４４は、生成部４２により生成された２次元医療画像Ｇ１及びマスク画像Ｇ２を正解データとして認識モデル３６を学習させる。例えば、学習部４４は、検査情報及び２次元医療画像Ｇ１を認識モデル３６に対して入力した場合の認識モデル３６の出力と、２次元医療画像Ｇ１に対応するマスク画像Ｇ２との誤差が最小となるように認識モデル３６を学習させる。学習部４４は、複数組のＣＴ画像３２及び臓器領域情報３４に基づく複数組の正解データを用いて認識モデル３６を学習させる。

【0032】

次に、図８を参照して、画像処理装置１０の作用を説明する。ＣＰＵ２０が画像処理プログラム３０を実行することによって、図８に示す学習処理が実行される。この学習処理は、例えば、ユーザにより実行開始の指示が入力された場合に実行される。

【0033】

図８のステップＳ１０で、取得部４０は、ＣＴ画像３２及び臓器領域情報３４を記憶部２２から取得する。ステップＳ１２で、生成部４２は、前述したように、ステップＳ１０で取得されたＣＴ画像３２に基づいてＣＴ画像３３を生成する。ステップＳ１４で、生成部４２は、ＣＴ画像３２、ＣＴ画像３３、及び臓器領域情報３４に基づいて、ＣＴ画像３３に対応する臓器領域情報３５を生成する。

【0034】

ステップＳ１６で、生成部４２は、ＣＴ画像３３を投影方向に投影することによって投影画像Ｇ０を生成する。ステップＳ１８で、生成部４２は、投影画像Ｇ０に対してエッジを強調させる画像処理を行うことによって２次元医療画像Ｇ１を生成する。ステップＳ２０で、生成部４２は、臓器領域情報３５を、投影画像Ｇ０を生成する際の投影方向と同じ方向に対して投影することによって、２次元医療画像Ｇ１に対応するマスク画像Ｇ２を生成する。

【0035】

ステップＳ２２で、学習部４４は、前述したように、ステップＳ１８で生成された２次元医療画像Ｇ１及びステップＳ２０で生成されたマスク画像Ｇ２を正解データとして認識モデル３６を学習させる。ステップＳ２２の処理が終了すると、学習処理が終了する。

【0036】

次に、上記の学習フェーズにより学習された認識モデル３６を用いた運用フェーズについて説明する。図９を参照して、ＣＴ装置１の構成を説明する。図９に示すように、本実施形態に係るＣＴ装置１は、ガントリ２、寝台３、及びコンソール４を備える。コンソール４は、開示の技術に係る画像処理装置の一例である。なお、コンソール４と画像処理装置１０は、異なる装置であってもよい。また、例えば、画像処理装置１０は、ネットワークを介してコンソール４、又はコンソール４から画像を取得し、かつ保管する画像保管サーバと接続されてもよい。また、例えば、画像処理装置１０は、コンソール４又は画像保管サーバからスカウト画像を取得し、スカウト画像の臓器認識結果をコンソール４又は画像保管サーバに出力する構成としてもよい。

【0037】

ガントリ２は、その中央に開口部５を有するトンネル状の構造を有する。ガントリ２の内部には、Ｘ線を放射する線源部及びＸ線を検出して放射線画像を生成する検出部が設けられている（いずれも不図示）。線源部及び検出部は、それぞれ、互いに対向する位置関係を維持した状態でガントリ２の環状形状に沿って回転することが可能である。また、ガントリ２の内部には、ＣＴ装置１の動作を制御する制御部が設けられている。

【0038】

寝台３には、被検体Ｈが載せられる。寝台３は、被検体Ｈが横たわる寝台部３Ａ、寝台部３Ａを支持する基部３Ｂ、及び寝台部３Ａを矢印Ａ方向に往復移動させる駆動部３Ｃを有する。寝台部３Ａは、駆動部３Ｃにより基部３Ｂに対して矢印Ａ方向にスライド可能である。ＣＴ画像の撮影を行う場合、寝台部３Ａがスライドすることで、寝台部３Ａに横たわる被検体Ｈはガントリ２の開口部５内に搬送される。

【0039】

ガントリ２の駆動及び寝台３の駆動は、コンソール４からの技師等のユーザの入力により行われる。

【0040】

次に、図１０を参照して、本実施形態に係るコンソール４のハードウェア構成を説明する。図１０に示すように、コンソール４は、ＣＰＵ６０、メモリ６１、ディスプレイ６４、入力装置６５、及びネットワークＩ／Ｆ６６を含む。コンソール４の例としては、パーソナルコンピュータ又はサーバコンピュータ等のコンピュータが挙げられる。

【0041】

ＣＰＵ６０は、後述する記憶部６２に記憶されるプログラムを実行することにより、各種機能を実現する。ＣＰＵ６０は、開示の技術に係るプロセッサの一例である。

【0042】

メモリ６１は、記憶部６２及びＲＡＭ６３を含む。ＲＡＭ６３は、一次記憶用のメモリであり、例えば、ＳＲＡＭ又はＤＲＡＭ等のＲＡＭである。

【0043】

記憶部６２は、不揮発性のメモリであり、例えば、ＨＤＤ、ＳＳＤ、及びフラッシュメモリ等の少なくとも１つによって実現される。記憶媒体としての記憶部６２には、画像処理プログラム７０が記憶される。ＣＰＵ６０は、記憶部６２から画像処理プログラム７０を読み出してからＲＡＭ６３に展開し、展開した画像処理プログラム７０を実行する。

【0044】

ディスプレイ６４は、各種画面を表示する装置であり、例えば、液晶ディスプレイ又はＥＬディスプレイである。入力装置６５は、ユーザが入力を行うための装置であり、例えば、キーボード、マウス、音声入力用のマイク、接触を含む近接入力用のタッチパッド、及びジェスチャー入力用のカメラの少なくとも何れかである。ネットワークＩ／Ｆ６６は、ネットワークに接続するためのインタフェースである。コンソール４は、ネットワークＩ／Ｆ６６を介して、ガントリ２が備える制御部との各種通信を行う。バス６７は、ＣＰＵ６０、メモリ６１、ディスプレイ６４、入力装置６５、及びネットワークＩ／Ｆ６６を接続する。

【0045】

また、記憶部６２には、認識モデル３６が記憶される。認識モデル３６は、前述した学習フェーズにより学習された学習済みモデルの一例である。

【0046】

次に、図１１を参照して、コンソール４の機能的な構成について説明する。図１１に示すように、コンソール４は、取得部８０及び認識部８２を含む。ＣＰＵ６０が画像処理プログラム７０を実行することにより、取得部８０及び認識部８２として機能する。

【0047】

取得部８０は、ＣＴ装置１により被検体Ｈの前面から背面に向けて放射線を照射して撮影された２次元医療画像を取得する。この２次元医療画像はスカウト画像と称される。また、取得部８０は、記憶部６２に記憶された撮影オーダー等から、被検体Ｈの検査情報を取得する。

【0048】

認識部８２は、認識モデル３６に対して、取得部８０により取得された検査情報及び２次元医療画像を入力する。これにより、認識モデル３６は、入力の検査情報及び２次元医療画像に対応する臓器認識結果を出力する。認識部８２は、認識モデル３６から出力された臓器認識結果を取得することによって、２次元医療画像における臓器範囲を認識する。

【0049】

次に、図１２を参照して、コンソール４の作用を説明する。ＣＰＵ６０が画像処理プログラム７０を実行することによって、図１２に示す臓器認識処理が実行される。この臓器認識処理は、例えば、ユーザにより実行開始の指示が入力された場合に実行される。

【0050】

図１２のステップＳ３０で、取得部８０は、前述したように、検査情報及び２次元医療画像を取得する。ステップＳ３２で、認識部８２は、認識モデル３６に対して、ステップＳ３０で取得された検査情報及び２次元医療画像を入力することによって、当該２次元医療画像に対する臓器認識結果を取得する。ステップＳ３２の処理が終了すると、臓器認識処理が終了する。臓器認識処理により認識された臓器範囲は、ＣＴ装置１によるＣＴ画像の撮影範囲の決定に使用される。

【0051】

以上説明したように、本実施形態によれば、２次元医療画像に対する臓器認識を高精度に行うことができる。

【0052】

［第２実施形態］
開示の技術の第２実施形態を説明する。本実施形態では、認識モデル３６、学習部４４の機能、及び認識部８２の機能が第１実施形態とは異なるのみであるため、認識モデル３６、学習部４４の機能、及び認識部８２の機能について説明する。本実施形態では、認識モデル３６の入力に、被検体の生体情報を用いる点が第１実施形態とは異なる。また、本実施形態では、認識対象の臓器が心臓であり、被検体の生体情報が心臓の大きさを表すサイズ情報である場合を例に説明する。

【0053】

一例として図１３のグラフに示すように、心電波形と心臓の大きさとを対応付けることができる。そこで、本実施形態では、画像処理装置１０の記憶部２２に生体データ３８が記憶される。図１３に示すように、生体データ３８では、心電波形の時間ｔ１～ｔ６のそれぞれに対応して、心臓の大きさを表すサイズ情報が記憶される。本実施形態では、サイズ情報は、心臓の大きさの割合で表される。また、心臓の大きさの割合は、最小のタイミングの大きさを１とした比率で表される。なお、生体データ３８は、被検体の過去の測定データに基づくものであってもよい。また、生体データ３８は、例えば、被検体と同じ体格及び性別の複数の被検体の測定データの平均値等の一般的な測定データに基づくものであってもよい。また、本実施形態では、ＣＴ画像３２に、そのＣＴ画像３２が時間ｔ１～ｔ６の何れのタイミングで撮影されたものであるかを表すタイミング情報が付加されているものとする。

【0054】

図１４に示すように、本実施形態に係る認識モデル３６は、認識対象の臓器の大きさを表すサイズ情報及び第１の２次元医療画像を入力とし、入力の第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルである。

【0055】

本実施形態に係る学習部４４は、更に、ＣＴ画像３２が撮影された際のサイズ情報を用いて認識モデル３６を学習させる。具体的には、学習部４４は、生体データ３８を参照し、２次元医療画像Ｇ１を生成するために用いられたＣＴ画像３２に付加されたタイミング情報に対応するサイズ情報を取得する。そして、学習部４４は、サイズ情報及び２次元医療画像Ｇ１を認識モデル３６に対して入力した場合の認識モデル３６の出力と、２次元医療画像Ｇ１に対応するマスク画像Ｇ２との誤差が最小となるように認識モデル３６を学習させる。

【0056】

本実施形態では、運用フェーズにおいて、２次元医療画像の撮影時に被検体が心電センサを装着している場合を例に説明する。本実施形態に係る認識部８２は、心電センサにより測定された心電波形の取得時刻及び２次元医療画像の撮影時刻に基づいて、２次元医療画像が撮影されたタイミングが時間ｔ１～ｔ６の何れに相当するかを特定する。認識部８２は、特定したタイミングに対応するサイズ情報を生体データ３８から取得する。

【0057】

認識部８２は、認識モデル３６に対して、取得したサイズ情報及び取得部８０により取得された２次元医療画像を入力することによって、２次元医療画像に対する臓器認識結果を取得する。

【0058】

以上説明したように、本実施形態によれば、被検体の生体情報に基づいて、２次元医療画像に対する臓器認識を高精度に行うことができる。

【0059】

なお、第２実施形態において、認識対象の臓器として肺野を適用し、被検体の生体情報として肺野の大きさを表すサイズ情報を適用する形態としてもよい。一例として図１５のグラフに示すように、被検体の呼吸情報と肺野の大きさとを対応付けることができる。そこで、この形態例では、図１５に示すように、生体データ３８において、呼吸情報の時間ｔ１～ｔ５のそれぞれに対応して、肺野の大きさを表すサイズ情報が記憶される。本実施形態では、サイズ情報は、肺野の大きさの割合で表される。また、肺野の大きさの割合は、呼吸の一つの周期の中間のタイミングにおける大きさを１とした比率で表される。この形態例では、学習部４４及び認識部８２は、第２実施形態における心電波形及び心臓の大きさを表すサイズ情報に代えて、呼吸情報及び肺野の大きさを表すサイズ情報を使用する。

【0060】

また、第２実施形態において、認識対象の臓器として肝臓を適用し、被検体の生体情報として肝臓の体軸方向（すなわち、２次元医療画像における上下方向）の位置を表す位置情報を適用する形態としてもよい。一例として図１６に示すように、被検体の呼吸情報と肝臓の位置情報とを対応付けることができる。そこで、この形態例では、生体データ３８において、呼吸情報の時間ｔ１～ｔ５のそれぞれに対応して、肝臓の位置情報が記憶される。この形態例では、学習部４４及び認識部８２は、第２実施形態における心電波形及び心臓の大きさを表すサイズ情報に代えて、呼吸情報及び肝臓の位置情報を使用する。

【0061】

また、上記各実施形態において、認識部８２は、ＣＴ画像３２に基づいて生成された２次元医療画像Ｇ１を用いて学習された第１の認識モデル３６と、実際に被検体に対して放射線を照射して撮影された２次元医療画像を用いて学習された第２の認識モデル３６と、を使い分けてもよい。この場合、認識部８２は、ＣＴ装置１により撮影された２次元医療画像における視認し易い臓器として設定された臓器については、第２の認識モデル３６を使用することによって臓器認識結果を取得してもよい。また、この場合、認識部８２は、ＣＴ装置１により撮影された２次元医療画像における視認し難い臓器として設定された臓器（例えば、頸椎の棘突起等）については、第１の認識モデル３６を使用することによって臓器認識結果を取得してもよい。また、ＣＰＵ６０は、第１の認識モデル３６を使用して得られた臓器認識結果と、第２の認識モデル３６を使用して得られた臓器認識結果とを識別可能に表示する制御を行ってもよい。この場合、ユーザは、臓器認識結果における２次元医療画像から認識できた部分と、３次元医療画像から認識できた部分とを識別することができる。

【0062】

また、上記各実施形態において、一例として図１７に示すように、ＣＰＵ６０は、臓器認識結果として、認識した臓器の範囲を特定の一色で塗りつぶすのではなく、認識した臓器の範囲を確信度に応じて異なる色で塗りつぶすことによって確信度を識別可能としてもよい。臓器の確信度とは、臓器の範囲内である可能性の高さを表す指標値の一例である。図１７では、撮影方向が被検体の左右方向であり、かつこの形態例における認識対象の臓器として頸椎を適用した場合の臓器認識結果の例を示している。スカウト画像上で境界が不明瞭な部分は物理的に撮影方向の厚みが薄いことが多く、境界が不明瞭な部分の確信度が低下する傾向にある。このため、ＣＰＵ６０が、認識した臓器の範囲を確信度に応じて異なる表示態様で表示する制御を行うことによって臓器の３次元構造を把握可能に表示することができる。ここでいう表示態様とは、色以外にも透明度、枠線の太さ、及び枠線の種類等を含む。

【0063】

また、上記各実施形態では、３次元医療画像として、ＣＴ画像を適用した場合について説明したが、開示の技術はこの態様に限定されない。３次元医療画像として、ＭＲＩ（Magnetic Resonance Imaging）装置により撮影された３次元画像、又はＰＥＴ（Positron Emission Tomography）装置により撮影された３次元画像を適用してもよい。

【0064】

また、上記各実施形態において、３次元医療画像がＭＲＩ画像である場合、３次元医療画像は、２次元医療画像の一例であるスカウト画像よりもスライス厚が薄く、かつスライス間隔が狭い断層画像群を含んでもよい。

【0065】

また、上記各実施形態において、例えば、コンソール４の各機能部及び画像処理装置１０の各機能部のような各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0066】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0067】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0068】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0069】

また、上記各実施形態では、画像処理プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム３０は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0070】

また、上記実施形態では、画像処理プログラム７０が記憶部６２に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム７０は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、及びＵＳＢメモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム７０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0071】

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、前記第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置であって、
前記プロセッサは、
被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、
生成した前記第２の２次元医療画像、及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして前記機械学習モデルを学習させる
画像処理装置。

【0072】

（付記２）
前記３次元医療画像は、被検体を撮影して得られた断層画像群を含み、
前記プロセッサは、
第１の３次元医療画像に基づいて、前記第１の３次元医療画像よりもスライス間隔が狭いか又はスライス厚が薄い第２の３次元医療画像を生成する
前記第２の３次元医療画像に基づいて前記第２の２次元医療画像を生成する
付記１に記載の画像処理装置。

【0073】

（付記３）
前記プロセッサは、
前記第２の３次元医療画像を前記第１の２次元医療画像の撮影方向に相当する方向に投影することによって前記第２の２次元医療画像を生成する
付記２に記載の画像処理装置。

【0074】

（付記４）
前記プロセッサは、
前記第２の３次元医療画像に基づいて、エッジを強調させる画像処理を行うことによって前記第２の２次元医療画像を生成する
付記３に記載の画像処理装置。

【0075】

（付記５）
前記プロセッサは、
前記第２の３次元医療画像を前記撮影方向に相当する方向に投影することによって投影画像を生成し、前記投影画像に対して前記画像処理を行うことによって前記第２の２次元医療画像を生成する
付記４に記載の画像処理装置。

【0076】

（付記６）
前記プロセッサは、
前記第１の３次元医療画像の撮影に用いられた撮影装置又は認識対象の臓器に応じて異なる前記画像処理を行う
付記４又は付記５に記載の画像処理装置。

【0077】

（付記７）
前記臓器認識結果は、認識した臓器の範囲を表す情報である
付記１から付記６の何れか１つに記載の画像処理装置。

【0078】

（付記８）
前記プロセッサは、
更に、前記３次元医療画像が撮影された際の検査情報を用いて前記機械学習モデルを学習させる
付記１から付記７の何れか１つに記載の画像処理装置。

【0079】

（付記９）
前記プロセッサは、
更に、前記３次元医療画像が撮影された際の前記被検体の生体情報を用いて前記機械学習モデルを学習させる
付記１から付記８の何れか１つに記載の画像処理装置。

【0080】

（付記１０）
前記機械学習モデルは、前記第１の２次元医療画像及び前記生体情報を入力とし、前記臓器認識結果を出力とする
付記９に記載の画像処理装置。

【0081】

（付記１１）
少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、前記第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置の前記プロセッサが、
被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、
生成した前記第２の２次元医療画像、及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして前記機械学習モデルを学習させる
処理を実行する画像処理方法。

【0082】

（付記１２）
少なくとも一つのプロセッサを備え、かつ第１の２次元医療画像を入力とし、前記第１の２次元医療画像に対する臓器認識結果を出力とする機械学習モデルを学習させる画像処理装置の前記プロセッサに、
被検体を撮影して得られた３次元医療画像に基づいて第２の２次元医療画像を生成し、
生成した前記第２の２次元医療画像、及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして前記機械学習モデルを学習させる
処理を実行させるための画像処理プログラム。

【0083】

（付記１３）
少なくとも一つのプロセッサを備える画像処理装置であって、
前記プロセッサは、
被検体を撮影して得られた２次元医療画像を取得し、
第１の２次元医療画像を入力とし、入力の第１の２次元医療画像に対する臓器認識結果を出力とする学習済みモデルであって、被検体を撮影して得られた３次元医療画像に基づいて生成された第２の２次元医療画像及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして学習された学習済みモデルに対して、取得した２次元医療画像を入力することによって、取得した２次元医療画像に対する臓器認識結果を取得する
画像処理装置。

【0084】

（付記１４）
少なくとも一つのプロセッサを備える画像処理装置の前記プロセッサが、
被検体を撮影して得られた２次元医療画像を取得し、
第１の２次元医療画像を入力とし、入力の第１の２次元医療画像に対する臓器認識結果を出力とする学習済みモデルであって、被検体を撮影して得られた３次元医療画像に基づいて生成された第２の２次元医療画像及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして学習された学習済みモデルに対して、取得した２次元医療画像を入力することによって、取得した２次元医療画像に対する臓器認識結果を取得する
処理を実行する画像処理方法。

【0085】

（付記１５）
少なくとも一つのプロセッサを備える画像処理装置の前記プロセッサに、
被検体を撮影して得られた２次元医療画像を取得し、
第１の２次元医療画像を入力とし、入力の第１の２次元医療画像に対する臓器認識結果を出力とする学習済みモデルであって、被検体を撮影して得られた３次元医療画像に基づいて生成された第２の２次元医療画像及び前記３次元医療画像における臓器認識結果に基づく前記第２の２次元医療画像に対応する臓器認識結果を正解データとして学習された学習済みモデルに対して、取得した２次元医療画像を入力することによって、取得した２次元医療画像に対する臓器認識結果を取得する
処理を実行させるための画像処理プログラム。

【符号の説明】

【0086】

１ ＣＴ装置
２ ガントリ
３ 寝台
３Ａ 寝台部
３Ｂ 基部
３Ｃ 駆動部
４ コンソール
５ 開口部
１０ 画像処理装置
２０、６０ ＣＰＵ
２１、６１ メモリ
２２、６２ 記憶部
２３、６３ ＲＡＭ
２４、６４ ディスプレイ
２５、６５ 入力装置
２６、６６ ネットワークＩ／Ｆ
２７、６７ バス
３０、７０ 画像処理プログラム
３２、３３ ＣＴ画像
３４、３５ 臓器領域情報
３６ 認識モデル
３８ 生体データ
４０、８０ 取得部
４２ 生成部
４４ 学習部
８２ 認識部
Ｇ０ 投影画像
Ｇ１ ２次元医療画像
Ｇ２ マスク画像
Ａ、Ｙ 矢印
Ｈ 被検体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】