特開2023-178943画像処理方法、画像処理システム及び画像処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023178943
(43)【公開日】2023-12-18
(54)【発明の名称】画像処理方法、画像処理システム及び画像処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231211BHJP
G06T 7/11 20170101ALI20231211BHJP
G06V 10/82 20220101ALI20231211BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 612
G06T7/11
G06V10/82
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023064768
(22)【出願日】2023-04-12
(31)【優先権主張番号】202210630102.6
(32)【優先日】2022-06-06
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ワン シャ
(72)【発明者】
【氏名】ハン ビン
(72)【発明者】
【氏名】モン ファンジエ
(72)【発明者】
【氏名】シュ チチ
(72)【発明者】
【氏名】イュー イェ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA06
5L096BA13
5L096DA02
5L096FA02
5L096GA30
5L096HA11
5L096KA04
(57)【要約】
【課題】深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ること。
【解決手段】実施形態に係る画像処理方法は、特定ステップと、推論ステップと、統合ステップとを含む。特定ステップは、画像における、対象の解剖学的部位に対応する領域を含む第一部分と、前記解剖学的部位と異なる領域を含む第二部分とを特定する。推論ステップは、深層学習モデルを利用して、前記第一部分に対して前記解剖学的部位に対応する領域を特定するセグメンテーション処理を行い、前記第二部分に対して前記解剖学的部位と異なる領域を特定するセグメンテーション処理を行う、又は、前記第一部分に対して前記解剖学的部位に対応する領域を含む画像を分類検出する分類処理を行い、前記第二部分に対して前記解剖学的部位と異なる領域を含む画像を分類検出する分類処理を行う。統合ステップは、各処理の結果を統合して出力する。
【選択図】図３
【解決手段】実施形態に係る画像処理方法は、特定ステップと、推論ステップと、統合ステップとを含む。特定ステップは、画像における、対象の解剖学的部位に対応する領域を含む第一部分と、前記解剖学的部位と異なる領域を含む第二部分とを特定する。推論ステップは、深層学習モデルを利用して、前記第一部分に対して前記解剖学的部位に対応する領域を特定するセグメンテーション処理を行い、前記第二部分に対して前記解剖学的部位と異なる領域を特定するセグメンテーション処理を行う、又は、前記第一部分に対して前記解剖学的部位に対応する領域を含む画像を分類検出する分類処理を行い、前記第二部分に対して前記解剖学的部位と異なる領域を含む画像を分類検出する分類処理を行う。統合ステップは、各処理の結果を統合して出力する。
【選択図】図３
【特許請求の範囲】
【請求項1】
トレーニングされた深層学習モデルを利用して画像データに対して推論処理を行う画像処理方法であって、
画像を受信する受信ステップと、
対象の解剖学的部位を設定する設定ステップと、
前記画像における、前記対象の解剖学的部位に対応する領域を含む第一部分と、前記対象の解剖学的部位と異なる領域を含む第二部分とを特定する特定ステップと、
前記深層学習モデルを利用して、前記第一部分に対して前記対象の解剖学的部位に対応する領域を特定するセグメンテーション処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を特定するセグメンテーション処理を第二の推論処理として行う、又は、前記第一部分に対して前記対象の解剖学的部位に対応する領域を含む画像を分類検出する分類処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を含む画像を分類検出する分類処理を第二の推論処理として行う推論ステップと、
前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する統合ステップと
を含む、画像処理方法。
画像を受信する受信ステップと、
対象の解剖学的部位を設定する設定ステップと、
前記画像における、前記対象の解剖学的部位に対応する領域を含む第一部分と、前記対象の解剖学的部位と異なる領域を含む第二部分とを特定する特定ステップと、
前記深層学習モデルを利用して、前記第一部分に対して前記対象の解剖学的部位に対応する領域を特定するセグメンテーション処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を特定するセグメンテーション処理を第二の推論処理として行う、又は、前記第一部分に対して前記対象の解剖学的部位に対応する領域を含む画像を分類検出する分類処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を含む画像を分類検出する分類処理を第二の推論処理として行う推論ステップと、
前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する統合ステップと
を含む、画像処理方法。
【請求項2】
前記特定ステップは、前記深層学習モデルを利用して前記画像に対してセグメンテーションを実行し、セグメンテーション結果を示す前記画像における各画素の推論結果指標を取得し、前記推論結果指標が所定の下限値と所定の上限値との間にある画素からなる領域を前記第一部分として特定し、それ以外の領域を前記第二部分として特定し、
前記推論ステップは、前記第一部分に対して拡張推論に基づく拡張セグメンテーションを行い、その結果を前記第一部分の推論結果として用い、前記特定ステップにおける前記第二部分のセグメンテーション結果をそのまま前記第二部分の推論結果として用いる、
請求項１に記載の画像処理方法。
前記推論ステップは、前記第一部分に対して拡張推論に基づく拡張セグメンテーションを行い、その結果を前記第一部分の推論結果として用い、前記特定ステップにおける前記第二部分のセグメンテーション結果をそのまま前記第二部分の推論結果として用いる、
請求項１に記載の画像処理方法。
【請求項3】
前記推論結果指標は、推論確率である、
請求項２に記載の画像処理方法。
請求項２に記載の画像処理方法。
【請求項4】
前記推論結果指標は、推論不確実性である、
請求項２に記載の画像処理方法。
請求項２に記載の画像処理方法。
【請求項5】
前記拡張推論は、前記第一部分を中心に、推論処理時に用いられる画像パッチを分割すること、前記第一部分を含む前記画像パッチをフリップさせた後に再度推論すること、及び、前記第一部分に対して推論処理を行う際の各画像パッチ間のオーバーラップ率を大きくすることのうちの少なくとも一つを行う、
請求項２に記載の画像処理方法。
請求項２に記載の画像処理方法。
【請求項6】
前記受信ステップは、連続する複数枚の画像を受信し、
前記特定ステップは、多チャネルの深層学習モデルを利用して、前記複数枚の画像を分類検出し、前記複数枚の画像のうち、分類検出結果が急転する画像近傍の所定の枚数範囲を前記第一部分として特定し、それ以外の枚数範囲を前記第二部分として特定し、
前記推論ステップは、単一チャネルの深層学習モデルを利用して、前記第一部分を分類検出し、その結果を前記第一部分の推論結果として用い、前記特定ステップにおける前記第二部分の分類検出結果をそのまま前記第二部分の推論結果として用いる、
請求項１に記載の画像処理方法。
前記特定ステップは、多チャネルの深層学習モデルを利用して、前記複数枚の画像を分類検出し、前記複数枚の画像のうち、分類検出結果が急転する画像近傍の所定の枚数範囲を前記第一部分として特定し、それ以外の枚数範囲を前記第二部分として特定し、
前記推論ステップは、単一チャネルの深層学習モデルを利用して、前記第一部分を分類検出し、その結果を前記第一部分の推論結果として用い、前記特定ステップにおける前記第二部分の分類検出結果をそのまま前記第二部分の推論結果として用いる、
請求項１に記載の画像処理方法。
【請求項7】
前記第一部分を調整することにより、前記統合された結果を修正する修正ステップをさらに含む、
請求項１～６のいずれか一つに記載の画像処理方法。
請求項１～６のいずれか一つに記載の画像処理方法。
【請求項8】
トレーニングされた深層学習モデルを利用して画像データに対して推論処理を行う画像処理システムであって、
画像を受信する受信装置と、
対象の解剖学的部位を設定する設定し、前記画像における、前記対象の解剖学的部位に対応する領域を含む第一部分と、前記対象の解剖学的部位と異なる領域を含む第二部分とを特定する特定装置と、
前記深層学習モデルを利用して、前記第一部分に対して前記対象の解剖学的部位に対応する領域を特定するセグメンテーション処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を特定するセグメンテーション処理を第二の推論処理として行う、又は、前記第一部分に対して前記対象の解剖学的部位に対応する領域を含む画像を分類検出する分類処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を含む画像を分類検出する分類処理を第二の推論処理として行う推論装置と、
前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する統合装置と
を備える、画像処理システム。
画像を受信する受信装置と、
対象の解剖学的部位を設定する設定し、前記画像における、前記対象の解剖学的部位に対応する領域を含む第一部分と、前記対象の解剖学的部位と異なる領域を含む第二部分とを特定する特定装置と、
前記深層学習モデルを利用して、前記第一部分に対して前記対象の解剖学的部位に対応する領域を特定するセグメンテーション処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を特定するセグメンテーション処理を第二の推論処理として行う、又は、前記第一部分に対して前記対象の解剖学的部位に対応する領域を含む画像を分類検出する分類処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を含む画像を分類検出する分類処理を第二の推論処理として行う推論装置と、
前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する統合装置と
を備える、画像処理システム。
【請求項9】
トレーニングされた深層学習モデルを利用して画像データに対して推論処理を行う画像処理プログラムであって、
画像を受信する受信ステップと、
対象の解剖学的部位を設定する設定ステップと、
前記画像における、前記対象の解剖学的部位に対応する領域を含む第一部分と、前記対象の解剖学的部位と異なる領域を含む第二部分とを特定する特定ステップと、
前記深層学習モデルを利用して、前記第一部分に対して前記対象の解剖学的部位に対応する領域を特定するセグメンテーション処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を特定するセグメンテーション処理を第二の推論処理として行う、又は、前記第一部分に対して前記対象の解剖学的部位に対応する領域を含む画像を分類検出する分類処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を含む画像を分類検出する分類処理を第二の推論処理として行う推論ステップと、
前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する統合ステップと
をコンピュータに実行させる、画像処理プログラム。
画像を受信する受信ステップと、
対象の解剖学的部位を設定する設定ステップと、
前記画像における、前記対象の解剖学的部位に対応する領域を含む第一部分と、前記対象の解剖学的部位と異なる領域を含む第二部分とを特定する特定ステップと、
前記深層学習モデルを利用して、前記第一部分に対して前記対象の解剖学的部位に対応する領域を特定するセグメンテーション処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を特定するセグメンテーション処理を第二の推論処理として行う、又は、前記第一部分に対して前記対象の解剖学的部位に対応する領域を含む画像を分類検出する分類処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を含む画像を分類検出する分類処理を第二の推論処理として行う推論ステップと、
前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する統合ステップと
をコンピュータに実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、画像処理方法、画像処理システム及び画像処理プログラムに関する。
【背景技術】
【0002】
深層学習は、現在、画像に対してセグメンテーション（segmentation）、分類（classification）及び検出（detection）などの画像処理を行う重要な技術手段である。完全な深層学習フレームワークは、トレーニング（training）プロセス及び推論（inference）プロセスという２つの主要部分を含む。トレーニングプロセスは、ラベル（真値：ＧＴ、Ground Truthともいう）付きのトレーニングデータセットを用いてモデルをトレーニングするプロセスである。また、推論プロセスは、既にトレーニングされたモデルにラベル無しのライブデータ（live data）を入力し、実際の検出値を取得するプロセスである。
【0003】
ここで、推論プロセスにおいて、トレーニングされたモデルを用いて画像を推論する際に、推論結果が不正確になる場合がある。このような不正確な推論結果は、画像の特定部分、例えば、器官の縁、腫瘍の縁、器官の一部切除などによる器官欠損部位などの境界部分に関して、特に顕著である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開第２０１９／０２０５６０６号明細書
【特許文献2】米国特許第１０８２５１６８号明細書
【特許文献3】特開２０２２-００２０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面に開示の実施形態が解決しようとする課題の１つは、深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る画像処理方法は、トレーニングされた深層学習モデルを利用して画像データに対して推論処理を行う画像処理方法であって、受信ステップと、設定ステップと、特定ステップと、推論ステップと、統合ステップとを含む。受信ステップは、画像を受信する。設定ステップは、対象の解剖学的部位を設定する。特定ステップは、前記画像における、前記対象の解剖学的部位に対応する領域を含む第一部分と、前記対象の解剖学的部位と異なる領域を含む第二部分とを特定する。推論ステップは、前記深層学習モデルを利用して、前記第一部分に対して前記対象の解剖学的部位に対応する領域を特定するセグメンテーション処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を特定するセグメンテーション処理を第二の推論処理として行う、又は、前記第一部分に対して前記対象の解剖学的部位に対応する領域を含む画像を分類検出する分類処理を第一の推論処理として行い、前記第二部分に対して前記対象の解剖学的部位と異なる領域を含む画像を分類検出する分類処理を第二の推論処理として行う。統合ステップは、前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、本願に係る画像処理システム、画像処理方法及び画像処理プログラムの実施形態について説明する。
【0009】
本実施形態は、画像処理方法、画像処理システム及び画像処理プログラムに関する。特に、本実施形態は、深層学習に基づく画像処理方法において、深層学習における推論（inference）プロセスの精度と速度とを両立させることが可能な画像処理方法及び画像処理システムに関する。
【0010】
深層学習は、現在、画像に対してセグメンテーション（segmentation）、分類（classification）及び検出（detection）などの画像処理を行う重要な技術手段である。完全な深層学習フレームワークは、トレーニング（training）プロセス及び推論（inference）プロセスという２つの主要部分を含む。トレーニングプロセスは、モデルにラベル（真値：ＧＴ、Ground Truthともいう）付きのトレーニングデータセットを入力し、出力された検出結果と真値との目標関数（損失関数）を算出し、損失関数を最小化させるように、勾配降下法、確率的勾配降下法などの方法で、ネットワークパラメータを補正する。そして、トレーニングプロセスは、ネットワーク出力の検出結果と真値との間の誤差が所定の精度を満足するまで、このプロセスを繰り返すことにより、モデルを収束状態にし、モデルの予測値の誤差を低減させて、モデルのトレーニングを完成させる。また、推論プロセスは、既にトレーニングされたモデルにラベル無しのライブデータ（live data）を入力し、実際の検出値を取得するプロセスである。
【0011】
ここで、推論プロセスにおいて、トレーニングされたモデルを用いて画像を推論する際に、推論結果が不正確になる場合がある。このような不正確な推論結果は、画像の特定部分、例えば、器官の縁、腫瘍の縁、器官の一部切除などによる器官欠損部位などの境界部分に関して、特に顕著である。
【0012】
従来技術では、深層学習における推論の精度を改善するためのいくつかの方法が提案されている。例えば、特許文献１には、同じ画像セットに対して適応的に、適切なアルゴリズムを採用して推論処理を行うことができる、人工知能に基づく医用画像セグメンテーション方法及びシステムが開示されている。具体的には、特許文献１の技術は、画像のスキャンプロトコルや画像の器官特徴などの特徴に応じて１つ又は複数の適切な深層学習モデルを自動的に選択してセグメンテーションを行うものである。複数のモデルを選択した場合、モデル連結（concatenate）の方式で、前のモデルの推論結果と元画像を連結して次のモデルの入力とする。
【0013】
特許文献２には、器官のセグメンテーションに注目し、異なるサイズの画像パッチ（patch）を用いて多チャネルの推論を行い、多チャネル推論の結果を連結して深層学習ネットワークの最後の層の入力とする、自動的な器官セグメンテーションの機械学習方法及びシステムが開示されている。
【0014】
特許文献３には、対象画像データが推論処理の推論結果を容易に予測できる予測可能領域を有しているか否かを判定し、予測可能領域とされたデータ領域に所定のデータ処理を実行するとともに、予測可能領域ではない領域を推論するのに必要なデータを機械学習モデルに出力することにより、データ処理の平均時間を短縮する機械学習モデルを用いた学習装置及び推論装置が開示されている。
【0015】
従来技術では、推論プロセスの精度を向上させるために、改良された推論アルゴリズムを用いてより精細な処理を行うことも試みられており、このような改良された推論処理は、「拡張推論（enhanced inference）」と呼ばれる。拡張推論の具体例としては、例えば、画像をセグメンテーションする際に、推論時に用いられる画像パッチ（patch）間のオーバーラップ率（overlap ration）を大きくすることや、画像を分類する際に、全ての画像に推論を行うこと、画像を検出する際に、画像に対してフリップ（flip）、スケール（scale）などをした上で再度推論することなどがある。
【0016】
従来技術では、上述した拡張推論を実行する際に、処理対象である全ての画像に対してこれらの拡張的な推論処理を採用することになり、これにより、アルゴリズムの処理時間が長くなる。このため、従来技術では、拡張推論を用いた画像処理において、精度と処理速度とを両立させることができないという技術課題があった。
【0017】
本実施形態は、上記従来技術の問題点を解決するためになされたものである。本実施形態は、深層学習アルゴリズムにおける推論処理の精度と速度とを両立させる新たな方法を提案する。本実施形態は、まず、処理対象画像を第一部分と第二部分とに分ける。ここで、第一部分とは、処理対象画像のうち、深層学習アルゴリズムが不正確な結果を得やすい部分であり、例えば、画像中の推論処理の結果が急転する箇所近傍の部分である。また、第二部分とは、処理対象画像のうち、第一部分以外の部分である。そして、本実施形態は、第一部分と第二部分とに対して、それぞれ異なる推論処理である第一の推論処理と第二の推論処理とを行う。例えば、本実施形態は、第一部分に対して精細な拡張推論を行い、第二部分に対して速度がより速い通常推論を行う。その後、本実施形態は、拡張推論及び通常推論の処理結果を画像全体の処理結果として合成する。
【0018】
具体的には、本実施形態の一態様は、トレーニングされた深層学習モデルを利用して画像データに対して推論処理を行う画像処理方法であって、画像を受信する受信ステップと、受信された画像における、第一部分と第二部分とを特定する特定ステップと、前記深層学習モデルを利用して、特定された前記第一部分に対して第一の推論処理を行い、特定された前記第二部分に対して第一の推論処理とは異なる推論処理である第二の推論処理を行う推論ステップと、前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する統合ステップとを含む、画像処理方法を提供する。
【0019】
また、本実施形態の別の様態は、トレーニングされた深層学習モデルを利用して画像データに対して推論処理を行う画像処理システムであって、画像を受信する受信装置と、受信された画像における、第一部分と第二部分とを特定する特定装置と、前記深層学習モデルを利用して、特定された前記第一部分に対して第一の推論処理を行い、特定された前記第二部分に対して第一の推論処理とは異なる第二の推論処理を行う推論装置と、前記第一の推論処理と前記第二の推論処理との結果を統合し、統合された結果を出力する統合装置とを備える、画像処理システムを提供する。
【0020】
本実施形態によれば、処理対象画像を、前記画像中の前記推論処理の結果が急転する箇所近傍の部分である第一部分と、それ以外の第二部分とに分ける。第一部分と第二部分とに対してそれぞれ異なる推論処理を行う。具体的には、第一部分に対して精細な拡張推論を行い、第二部分に対して速度がより速い通常推論を行う。その後、拡張推論及び通常推論の処理結果を統合し、画像全体の処理結果とする。これにより、深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ることができる。
【0021】
以下、添付図面を参照して、本願に係る画像処理システム、画像処理方法及び画像処理プログラムの実施形態について詳細に説明する。なお、本願に係る画像処理システム、画像処理方法及び画像処理プログラムは、以下に示す実施形態によって限定されるものではない。また、以下の説明では、同様の構成要素には共通の符号を付与するとともに、重複する説明を省略する。
【0022】
まず、本実施形態に係る画像処理システムの概要について説明する。本願の画像処理システムは、超音波診断装置、ＣＴ（Computed Tomography）イメージング装置、ＭＲＩ（Magnetic Resonance Imaging）イメージング装置等の医用画像診断装置の形で存在してもよいし、ワークステーション等の形で独立して存在してもよい。
【0023】
図１は、本実施形態に係る画像処理システムの構成の一例を示すブロック図である。
【0024】
本実施形態に係る画像処理システム１は、深層学習ニューラルネットワークを利用して入力画像に対して推論処理を行う。図１に示すように、画像処理システム１は、受信装置１０と、特定装置２０と、推論装置３０と、統合装置４０とを主に備えている。受信装置１０は、処理対象の画像を受信する。特定装置２０は、対象の解剖学的部位を設定する設定し、受信装置１０が受信した画像における、対象の解剖学的部位に対応する領域を含む第一部分と、対象の解剖学的部位と異なる領域を含む、第一部分以外の第二部分とを特定する。本実施形態において、第一部分とは、処理対象画像のうち、深層学習モデルのアルゴリズムが不正確な結果を得やすい部分であり、例えば、画像中の推論処理の結果が急転する箇所近傍の部分である。なお、第一部分の詳細については後述する。推論装置３０は、トレーニングされた深層学習モデルを利用して、特定装置２０により特定された第一部分と第二部分とに対してそれぞれ異なる推論処理である第一の推論処理と第二の推論処理とを行う。統合装置４０は、異なる推論処理のそれぞれが取得した推論結果を統合し、統合された結果を出力する。
【0025】
画像処理システム１は、例えば、超音波診断装置などの画像処理システムに装備されてもよい。この場合、画像処理システム１は、図示を省略した制御部、超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体などをさらに備える。受信装置１０、特定装置２０、推論装置３０及び統合装置４０は、制御部に装備され、これらの超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体などと通信可能に接続されている。制御部、超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体の構成や機能などは当業者に周知であるため、その詳細な説明を省略する。
【0026】
以下、本実施形態に係る画像処理システム１が実行する処理について、詳細に説明する。
【0027】
図２は、本実施形態に係る画像処理システムが実行する処理の特徴を説明するための比較図である。
【0028】
図２は、従来技術のフローと比較する方式により、本実施形態に係る処理の特徴を示す。ここで、左側は、従来技術における画像処理のフローチャートであり、右側は、本実施形態に係る画像処理システムが実行する処理のフローチャートである。図２に示すように、本実施形態に係る画像処理システムが実行する処理のうち、ステップＳ１００、ステップＳ２００及びステップＳ３００は、本実施形態の特徴ステップである。ここで、従来技術は、ステップＳ２０’において画像全体に対して拡張推論を行うのに対し、本実施形態は、まず、ステップＳ１００において、処理対象の画像における第一部分と第二部分とを特定する。そして、本実施形態は、ステップＳ２００において、特定された第一部分と第二部分とに対してそれぞれ異なる推論処理である第一の推論処理と第二の推論処理とを行う。具体的には、図３を参照して後述するように、第一部分に対しては、精細な拡張推論を用い、第二部分に対しては、速度のより速い通常推論を用いる。続いて、本実施形態は、ステップＳ３００において、拡張推論と通常推論の処理結果を統合し、画像全体の処理結果とする。本実施形態に係る画像処理システムは、処理対象の画像を第一部分と第二部分とに分け、異なる推論処理である第一の推論処理と第二の推論処理とをそれぞれ実行するので、処理対象の画像全体に対して拡張推論を行う従来技術と異なり、本実施形態は、深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ることができる。
【0029】
以下、図３を利用して、本実施形態に係る画像処理システムが実行する処理の詳細について説明する。
【0030】
図３は、本実施形態に係る画像処理システムが実行する処理の一例を示すフローチャートである。
【0031】
まず、ステップＳ１０において、画像処理システム１は、受信装置１０により処理対象の医用画像データを受信する。
【0032】
続くステップＳ１００～ステップＳ３００、及びステップＳ３０の処理は、図２を参照して前述したので、ここでは説明を省略する。
【0033】
本実施形態に係る画像処理システムによれば、ステップＳ３００とステップＳ３０との間に判断ステップＳ４００及び修正ステップＳ５００をさらに備えてもよい。ステップＳ４００において、画像処理システム１は、統合後のアルゴリズム結果が満足しているか否かを判断する。このステップは、推論処理の結果を示す技術指標に対して所定の閾値を予め設定しておき、統合結果の当該指標と当該閾値とを比較することによって行ってもよいし、画像処理システム１のユーザが人為的に判断することによって行ってもよい。
【0034】
ステップＳ４００の判断結果が統合後の結果が満足している場合（ステップＳ４００、ＹＥＳ）、処理はステップＳ３０に進み、アルゴリズム結果を出力して処理を終了する。逆に、ステップＳ４００の判断結果が統合後のアルゴリズム結果が満足していない場合（ステップＳ４００、ＮＯ）、処理はステップＳ５００に進み、ステップＳ１００で特定された第一部分を修正する。ステップＳ４００の判断結果が「ＹＥＳ」になるまで、修正された第一部分とそれ以外の第二部分とに対してステップＳ２００及びステップＳ３００の処理をさらに行い、統合後のアルゴリズム結果に対して再びステップＳ４００の判断を実行する。ステップＳ５００の処理は、画像処理システム１の修正機能により予め設定されたルールに従い自動的に修正してもよいし、ユーザが画像処理システム１のユーザインタフェースを介して人為的に修正してもよい。
【0035】
なお、ステップＳ４００及びステップＳ５００は必須ではない。図２に示すように、ステップＳ１０、ステップＳ１００～ステップＳ３００、及びステップＳ３０のみを備える方法であっても、本実施形態の目的を達成し、本実施形態の效果を奏することができる。
【0036】
以上、本実施形態に係る画像処理システムが実行する処理の概要について説明した。以下、本実施形態について、セグメンテーション処理及び分類処理のそれぞれを例として詳細に説明する。
【0037】
（第１の実施形態）
第１の実施形態は、本実施形態に係る画像処理システムを画像のセグメンテーションに適用した場合の例である。
第１の実施形態は、本実施形態に係る画像処理システムを画像のセグメンテーションに適用した場合の例である。
【0038】
【0039】
【0040】
図４は、第１の実施形態に係る画像処理システムによる第一部分と第二部分とを特定する処理手順の前処理を示す模式図である。
【0041】
図４には、１枚の処理対象画像に対してセグメンテーション処理を実行する場合の例が示されている。図中の大きな四角枠が処理対象の画像全体を表し、四角枠内の４つの大きなブロックがセグメンテーション処理の対象となる画像パッチを表し、画像パッチ内の濃色の小さなブロックが単一画素を表し、小さなブロック中の数字が当該画素の推論確率を表す。ここでの四角枠、ブロックのサイズ及び数は、いずれも説明の便宜上、概略的に示されたものに過ぎない。また、図中のサイズの対比は、実際のサイズの縮尺に合わせるものではなく、実際の数は図示された数以外の数であってもよい。この点は、全ての附図においても同様である。
【0042】
図４に示すように、第１の実施形態に係る画像処理システムは、医用画像データに対して肝臓へのセグメンテーション処理を行う際に、まず、ステップＳ１００において、特定装置２０が、深層学習モデルにより一枚の処理対象画像全体に対して通常推論を実行する。本実施形態における「通常推論」とは、拡張推論よりも精度が低く、処理負荷が低く、速度が速い軽度推論（light inference）を意味する。具体的には、本実施形態の通常推論は、例えば、図４に示すように、大きな画像パッチを用いて行った推論である。特定装置２０は、一枚の処理対象画像全体に対して軽度推論を行うことで、画像全体における各画素の推論確率（inference probability）からなる行列を取得する。ここで、推論確率は、本実施形態における「推論結果指標」の一例であり、処理対象画像に対して目標領域（例えば肝臓）のセグメンテーションを行う場合に、セグメンテーション結果が示す当該画素が目標領域（肝臓）に属する確率である。図４において、画像中の濃色の部分が目標領域（肝臓）であり、淡色の背景の部分が目標領域（肝臓）以外の領域である。
【0043】
図４に示すように、濃色の肝臓領域の内部では、軽度推論によって得られた各画素のセグメンテーション結果は、当該画素が肝臓領域に属していることから、それに応じて得られた各画素の推論確率が１.０になる。また、淡色領域では、各画素のセグメンテーション結果は、当該画素が肝臓領域に属していないことから、それに応じて得られた各画素の推論確率が０.０になる。また、濃色領域と淡色領域との境界の近傍では、各画素のセグメンテーション結果は、当該画素が０.０と１.０との間の一定の確率で肝臓領域に属していることから、それに応じて、図４に示すように、例えば、境界にある４つの画素のそれぞれの推論確率が０.５２、０.５０、０.５０、０.４８などになる。このように、図４に示す処理対象画像では、濃色領域と淡色領域との境界の近傍領域に、本実施形態の推論処理の結果である推論確率が、例えば、０.０から、０.０より大きく１.０より小さい値に急転したり、１.０から、０.０より大きく１.０より小さい値に急転したりするような、急転する箇所が存在する。本実施形態では、このような、処理対象画像中の推論処理結果が急転する箇所近傍の領域を第一部分として特定する。
【0044】
画像に対してセグメンテーションを行う第１の実施形態の場合、本実施形態における画像中の第一部分及び第二部分は、１枚の画像中の異なる領域であって、具体的には、それぞれ、セグメンテーションにおいて重要な重要領域、及び、セグメンテーションにおいて重要でない非重要領域を指す。
【0045】
以下、第１の実施形態に係る画像処理システムによる第一部分と第二部分とを特定する手順について詳細に説明する。
【0046】
【0047】
【0048】
まず、図５Ａに示すように、本実施形態では、特定装置２０は、得られた推論確率行列に基づいて、下限値が０．０より大きく、上限値が１．０より小さい重要領域推論確率範囲を設定し、推論確率の値が設定された当該重要領域推論確率範囲内にある画素からなる画像領域を第一部分として特定し、それ以外の画像領域を第二部分として特定する。
【0049】
図５Ａでは、一例として、下限値を０.０５とし、上限値を０.９５とし、第一部分に対応する重要領域推論確率範囲を下記のように設定する。
０.０５≦推論確率≦０.９５
０.０５≦推論確率≦０.９５
【0050】
つまり、第１の実施形態によれば、本実施形態は、推論確率が０.０５～０.９５の画素からなる画像領域、即ち、図５Ｂにおける濃色の一定幅付きの肝臓外郭領域を重要領域として特定し、それ以外の画素、即ち、
０．０≦推論確率＜０.０５
或いは、
０.９５＜推論確率≦１.０
を満足する画素からなる画像領域、即ち、図５Ｂにおける淡色領域を非重要領域として特定する。本実施形態では、重要領域及び非重要領域は、それぞれ第一部分及び第二部分の一例である。
０．０≦推論確率＜０.０５
或いは、
０.９５＜推論確率≦１.０
を満足する画素からなる画像領域、即ち、図５Ｂにおける淡色領域を非重要領域として特定する。本実施形態では、重要領域及び非重要領域は、それぞれ第一部分及び第二部分の一例である。
【0051】
【0052】
図６Ａ～図６Ｃは、肝臓、腫瘍、肝臓の欠損部分のセグメンテーションを例に、第１の実施形態に係る画像処理システムによる第一部分と第二部分とを特定する原理及びその効果を示す模式図である。図６Ａは、処理対象としての実画像を示す模式図である。図６Ｂは、重要領域推論確率範囲を設定する原理及びその効果を説明するための模式図である。図６Ｃは、セグメンテーション後の第一部分と第二部分とが表示された画像を示す模式図である。
【0053】
図６Ａに示すように、処理対象としての実医用画像には、セグメンテーション対象である肝臓（図６Ａ中の斜線部分）と、肝臓中の腫瘍又は手術切除などによる欠損部分（図６Ａ中の格子線部分）とが含まれている。上述したように、特定装置２０が軽度推論を利用して図６Ａ中のセグメンテーション対象である肝臓、腫瘍、欠損部分に対してセグメンテーションを行うことで、図６Ｂに示す推論確率分布が得られる。図６Ｂにおいて、横軸は各画素の推論確率を示し、縦軸は正規化された推論確率に対応する画素の数を示している。図６Ｂから、推論処理結果では、推論確率が０及び１の付近にある画素数が最も多く、推論確率が０から少し離れて０より大きい下限値（例えば０.０５）と、１から少し離れて１より小さい上限値（例えば０.９５）との間の範囲では、いずれも画素数が著しく少ないことが分かった。そこで、本実施形態は、このような画素数が著しく少ない推論確率範囲を重要領域推論確率範囲として選択し、これにより、重要領域推論確率範囲に対応する重要領域（第一部分）及びそれ以外の非重要領域（第二部分）を特定する。
【0054】
なお、本実施形態では、重要領域推論確率範囲を０.０５～０.９５に設定しているが、これはあくまで一例であり、本実施形態の重要領域推論確率範囲はこれに限定されるものではない。また、本実施形態では、重要領域推論確率範囲を、下限値と０との差が０.０５－１＝０.０５、上限値と１との差が１－０.９５＝０.０５というように、下限値と０との差及び上限値と１との差が等しくなるように設定したが、本実施形態はこれに限定されるものではなく、重要領域推論確率範囲を、下限値と０との差及び上限値と１との差が異なるように設定してもよい。本実施形態によれば、推論確率が０及び１の付近にある画素数の分布が著しく少ない推論確率範囲を重要領域推論確率範囲として選択すればよい。また、本実施形態では、画素数に対して正規化処理を行うことにより、正規化処理された画素の分布から画素数の分布が著しく少ない範囲を判断するが、本実施形態は、これに限定されるものではない。なお、画素数の分布が著しく少ないことの定義及びその特定方式は、従来技術中の当業者に周知の他の方式を採用することができ、これは本実施形態の重要なポイントではないため、ここでは詳細に説明しない。
【0055】
第１の実施形態に係る画像処理システムによれば、重要領域推論確率範囲を０.０５～０.９５に設定することで、図６Ｃに示すような重要領域（第一部分）が特定される。図６Ｃから明らかなように、推論確率範囲が０.０５と０.９５との間にある画素は、一定幅を有する肝臓の外郭と腫瘍又は欠損部分の輪郭とを構成しており、この肝臓の外郭と腫瘍又は欠損部分の輪郭とが、処理対象の医用画像に対してセグメンテーションを行う重要目標である。本実施形態の特定ステップＳ１００によって、上記肝臓の外郭及び腫瘍又は欠損部分の輪郭領域が重要領域（第一部分）として特定され、それ以外の領域が非重要領域（第二部分）として特定される。
【0056】
以上は、第１の実施形態におけるステップＳ１００の第一部分及び第二部分の特定処理についての説明である。
【0057】
第一部分と第二部分とを特定する処理が終了した後、本実施形態は、ステップＳ２００の推論処理に進む。
【0058】
以下、図７を参照して、第１の実施形態におけるステップＳ２００の推論処理について説明する。
【0059】
図７は、第１の実施形態に係る画像処理システムによるステップＳ２００の処理状況を示す模式図である。
【0060】
ステップＳ１００で第一部分（重要領域）と第二部分（非重要領域）とが特定された後に、ステップＳ２００において、推論装置３０が、第一部分（重要領域）と第二部分（非重要領域）とに対してそれぞれ異なる推論である第一の推論処理と第二の推論処理とを行う。具体的には、推論装置３０は、特定された第一部分に対して、第一の推論処理として、拡張推論を行う。ここで、拡張推論としては、図７に示すように、第一部分を中心に画像パッチを新たに分割して推論することができる。
【0061】
なお、拡張推論としては、この他に、第一部分を含む画像パッチをフリップ（flip）させた後に再度推論したり、第一部分に対して推論処理を行う際の各画像パッチ間のオーバーラップ率（patch overlap ration）を大きくしたりするなどのテスト時の拡張（Test Time Augmentation）手法が挙げられる。また、本実施形態はこれに限定されるものではなく、拡張推論として、当業者に周知の他のセグメンテーションのための拡張推論方式を採用してもよい。また、推論装置３０は、第二部分に対して、第二の推論処理として、処理負荷がより小さく、速度がより速い軽度推論を行う。ここでは、推論装置３０は、ステップＳ１００で第一部分と第二部分とを特定する際に第二部分に対して行った軽度推論の結果をそのまま利用することができる。ステップＳ１００における軽度推論の結果をそのまま利用することは、処理時間を節約し、処理負荷を軽減し、さらに処理速度を速くすることができるので好適である。また、本実施形態はこれに限定されるものではなく、第二部分に対して、第二の推論処理として、新たに他の軽度推論を行うようにしてもよい。
【0062】
推論処理が終了した後に、本実施形態は、ステップＳ３００の統合処理に進む。
【0063】
次に、図８を参照して、第１の実施形態におけるステップＳ３００の統合処理について説明する。
【0064】
図８は、第１の実施形態に係る画像処理システムによるステップＳ３００の処理状況を示す模式図である。
【0065】
図８に示すように、ステップＳ３００において、統合装置４０が、ステップＳ２００で得られた第一部分の拡張推論と第二部分の軽度推論の結果を統合し、統合された結果を完全な推論結果とする。
【0066】
具体的には、統合装置４０は、第一部分の拡張推論の結果と第二部分の軽度推論の結果とを直接に重畳することによって、推論結果を統合してもよい。ステップＳ２００において、ステップＳ１００で第一部分と第二部分とを特定する際に第二部分に対して行った軽度推論の結果をそのまま利用するという好適な形態である場合、統合装置４０は、ステップＳ２００で得られた第一部分に対して行った拡張推論の処理結果を、ステップＳ１００で得られた第二部分の軽度推論の結果に直接に上書きしてもよい。また、第一部分の拡張推論の結果と第二部分の軽度推論の結果とを、一定の重みで融合処理してもよい。肝臓をセグメンテーション対象とする場合、ステップＳ３００の統合処理の結果は、図８に示すような完全な肝臓セグメンテーション結果となる。
【0067】
そして、統合装置４０は、ステップＳ３００の処理結果を推論処理の最終結果として出力する。
【0068】
なお、本実施形態に係る画像処理システム１によれば、好適な実施形態として、前述したように、ステップＳ３００とステップＳ３０との間に判断ステップＳ４００及び修正ステップＳ５００をさらに備えてもよい。ステップＳ４００では、画像処理システム１は、統合後のアルゴリズム結果が満足しているか否かを判断する。ステップＳ４００の判断結果が「ＹＥＳ」である場合、処理がステップＳ３０に進み、アルゴリズム結果を出力して処理を終了する。逆に、ステップＳ４００の判断結果が「ＮＯ」である場合、処理がステップＳ５００に進み、ステップＳ１００で特定された第一部分と第二部分とを修正して、再びステップＳ２００の処理に戻る。
【0069】
【0070】
【0071】
図９Ａに示すように、ステップＳ５００の処理は、重要領域推論確率範囲の下限値と上限値とを調整することによって実現することができる。このような調整は、画像処理システム１の修正機能が予め設定されたルールに従って自動的に行うようにしてもよいし、ユーザが人為的に行うようにしてもよい。なお、図９Ｂに示すように、ステップＳ５００の処理は、例えば、図６Ｃのように既に得られた重要領域（第一部分）及び非重要領域（第二部分）の画像において、直接ユーザインタフェースを介して修正することにより実現されてもよい。このような修正は、ユーザが画像中の該当領域をマウスでクリックしてドラッグ＆ドロップするなどによって実現してもよいし、システムが自動的に行うようにしてもよい。
【0072】
ステップＳ５００が実行された後に、本実施形態に係る画像処理システムは、ステップＳ４００の判断結果が「ＹＥＳ」になるまで、修正された第一部分とそれ以外の第二部分とに対してステップＳ２００及びステップＳ３００の処理をさらに行い、統合後のアルゴリズム結果に対して再びステップＳ４００の判断を実行する。
【0073】
なお、前述したように、ステップＳ４００及びステップＳ５００は必須ではない。ステップＳ４００及びステップＳ５００の処理を行わなくても、同様に、本実施形態の目的を達成し、本実施形態の效果を奏することができる。
【0074】
（第１の実施形態のまとめ）
第１の実施形態によれば、本実施形態の推論処理は、画像に対してセグメンテーションを行うためのものである。第一部分は、画像のセグメンテーションにおいて重要な領域である重要領域であり、第二部分は、画像のセグメンテーションにおいて重要でない領域である非重要領域である。特定ステップは、深層学習モデルを利用して画像に対してセグメンテーションを実行し、セグメンテーション結果を示す画像における各画素の推論結果指標を取得し、推論結果指標が所定の下限値と所定の上限値との間にある画素からなる領域を重要領域として特定し、それ以外の領域を非重要領域として特定する。推論ステップは、重要領域に対して拡張推論に基づく拡張セグメンテーションを行い、その結果を重要領域の推論結果として用い、特定ステップにおける非重要領域のセグメンテーション結果をそのまま非重要領域の推論結果として用いる。このように、本実施形態によれば、処理対象の画像を第一部分とそれ以外の第二部分とに分け、第一部分と第二部分とに対してそれぞれ異なる推論処理である第一の推論処理と第二の推論処理とを行う。具体的には、第一部分に対して精細な拡張推論を行い、第二部分に対して速度のより速い通常推論を行う。その後、拡張推論と通常推論との結果を統合し、画像全体の処理結果とする。これにより、深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ることができる。
第１の実施形態によれば、本実施形態の推論処理は、画像に対してセグメンテーションを行うためのものである。第一部分は、画像のセグメンテーションにおいて重要な領域である重要領域であり、第二部分は、画像のセグメンテーションにおいて重要でない領域である非重要領域である。特定ステップは、深層学習モデルを利用して画像に対してセグメンテーションを実行し、セグメンテーション結果を示す画像における各画素の推論結果指標を取得し、推論結果指標が所定の下限値と所定の上限値との間にある画素からなる領域を重要領域として特定し、それ以外の領域を非重要領域として特定する。推論ステップは、重要領域に対して拡張推論に基づく拡張セグメンテーションを行い、その結果を重要領域の推論結果として用い、特定ステップにおける非重要領域のセグメンテーション結果をそのまま非重要領域の推論結果として用いる。このように、本実施形態によれば、処理対象の画像を第一部分とそれ以外の第二部分とに分け、第一部分と第二部分とに対してそれぞれ異なる推論処理である第一の推論処理と第二の推論処理とを行う。具体的には、第一部分に対して精細な拡張推論を行い、第二部分に対して速度のより速い通常推論を行う。その後、拡張推論と通常推論との結果を統合し、画像全体の処理結果とする。これにより、深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ることができる。
【0075】
なお、深層学習の詳細、及び、深層学習モデルを利用して画像をセグメンテーションする方法については、本分野の周知のものであり、本実施形態の重要なポイントではないため、ここでは詳細に説明しない。
【0076】
また、上述した説明では、第１の実施形態の推論結果指標について、推論確率を用いる場合を例にして説明したが、本実施形態はこれに限定されるものではなく、推論確率に加えて、例えば、深層学習モデルの推論不確実性（inference uncertainty）を推論結果指標として用いてもよい。または、従来の画像処理方法を利用して画像の画素の差異を検出し、検出した差異を推論結果指標として、画像の第一部分を特定してもよい。なお、推論不確実性の詳細については、例えばAlex Kendall及びYarin Galの論文”What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?”（31st Conference on Neural Information Processing Systems（NIPS 2017），Long Beach，CA，USA．）に詳しく記載されており、ここでは詳細な説明を省略する。
【0077】
（第２の実施形態）
上述した第１の実施形態では、本実施形態に係る画像処理システムを画像のセグメンテーションに適用した場合の例を説明したが、実施形態はこれに限定されるものではない。例えば、本実施形態に係る画像処理システムを画像の分類に適用することも可能である。
上述した第１の実施形態では、本実施形態に係る画像処理システムを画像のセグメンテーションに適用した場合の例を説明したが、実施形態はこれに限定されるものではない。例えば、本実施形態に係る画像処理システムを画像の分類に適用することも可能である。
【0078】
第２の実施形態は、本実施形態に係る画像処理システムを画像の分類に適用した場合の例である。
【0079】
【0080】
なお、第２の実施形態の説明では、上述した第１の実施形態との相違点を主に説明することとし、上述した第１の実施形態と同一の構成については、同一の符号を付して説明を省略する。
【0081】
【0082】
画像に対して器官位置決めのための分類処理を行う第２の実施形態の場合、本実施形態における画像中の第一部分及び第二部分は、複数枚の画像中の異なる枚数範囲である。具体的には、第一部分及び第二部分は、それぞれ、複数枚の画像中の分類において重要な重要枚数範囲、及び、分類において重要でない非重要枚数範囲を指す。
【0083】
図１０は、第２の実施形態に係る画像処理システムによれば、第一部分と第二部分とを特定する処理手順を示す模式図である。
【0084】
図１０には、一連の処理対象画像に対して、例えば、肝臓の位置決めのための分類処理を実行する場合の例が示されている。図１０に示すように、第２の実施形態に係る画像処理システムは、例えば、人体の上半身について得られた連続する複数枚の２Ｄ画像の集合に対して、多チャネルの深層学習モデルを利用して、複数枚の画像を分類検出し、当該複数枚の画像うち、分類検出結果が急転する画像近傍の所定の枚数範囲を重要枚数範囲（第一部分）として特定し、それ以外の枚数範囲を非重要枚数範囲（第二部分）として特定する。具体的には、第２の実施形態に係る画像処理システムは、多チャネル入力の深層学習モデルを用いて、画像のグループ毎に分類検出を行い、分類検出結果に急転を含む画像が存在するグループを重要枚数範囲として特定する。ここでいう「画像のグループ」は、図１０において［１］～［１１］の番号が付されている、人体の左右方向に延びる長尺な矩形で示される範囲内の複数枚の連続する２Ｄ画像の集合であり（図１０では、各グループの画像の範囲のみが示されており、各グループ内の各々の画像は示されていない）、各グループの画像の枚数とモデルの入力チャネル数とが等しい。
【0085】
図１０に示す例では、分類検出により、例えば、図中の濃色部分の画像グループ［４］～［６］が、肝臓を含む画像グループであり、それ以外の画像グループ［１］～［３］及び［７］～［１１］が、肝臓を含まない画像グループであると特定される。さらに、肝臓を含む画像グループ［４］～［６］のうち、画像グループ［４］及び画像グループ［６］は、それぞれ、肝臓のない画像から肝臓のある画像へ、及び、肝臓のある画像から肝臓のない画像への急転が発生した部分を含む。一方、画像グループ［５］は、各画像がいずれも肝臓を含み、急転が発生した部分を含まない。したがって、第２の実施形態に係る特定装置２０は、画像グループ［４］及び画像グループ［６］を重要枚数範囲（第一部分）として特定し、それ以外の画像グループ［１］～［３］、画像グループ［５］及び画像グループ［７］～［１１］を非重要枚数範囲（第二部分）として特定する。
【0086】
図１１は、第２の実施形態に係る画像処理システムによる深層学習モデルのステップＳ１００における処理状況を示す模式図である。
【0087】
図１１に示すように、ステップＳ１００において、特定装置２０が、多チャネルの深層学習モデルにより１グループの画像の分類結果を一回で推論してもよい。例えば、チャネル数を１０とした場合、１０枚の２Ｄ画像をモデルの入力とし、一回の推論を経て、当該１０枚の画像に肝臓が存在するか否かの結果が得られる。本実施形態では、１グループの画像の推論結果、例えば、１０枚の画像の推論結果が、少なくとも１枚の画像に肝臓が存在することであった場合に、当該グループの画像に肝臓が存在すると考えられる。ここでは、チャネル数を調整することにより、各グループ内の画像数及びそれに応じたグループ数を調整する。
【0088】
多チャネル深層学習モデルに基づく推論は、相対的に、処理速度が速く、処理負荷が低いが、分類精度が低く、多チャネル深層学習モデルによる推論だけでは、不正確な結果を生じる可能性がある。第２の実施形態に係る特定装置２０は、一連の処理対象画像に対して多チャネル深層学習モデルに基づく推論を行った後に、画像全体中の各グループの画像の分類結果に急転する部分が含まれているか否かを示す結果を得て、分類結果に急転する部分が含まれている画像グループを重要枚数範囲（第一部分）として特定し、それ以外の画像グループを非重要枚数範囲（第二部分）として特定する。そして、本実施形態に係る画像処理システムは、重要枚数範囲（第一部分）に対してより精細な拡張推論を行う。
【0089】
以下、図１２を参照して、第２の実施形態におけるステップＳ２００の処理について説明する。
【0090】
図１２は、第２の実施形態に係る画像処理システムによるステップＳ２００の処理状況を示す模式図である。
【0091】
ステップＳ１００で第一部分（重要枚数範囲）と第二部分（非重要枚数範囲）とが特定された後に、ステップＳ２００において、推論装置３０が、第一部分（重要枚数範囲）と第二部分（非重要枚数範囲）とに対してそれぞれ異なる推論処理である第一の推論処理と第二の推論処理とを行う。具体的には、推論装置３０は、図１２に示すように、特定された第一部分に対して、第一の推論処理として、拡張推論を行う。ここで、拡張推論としては、図１２に示すように、特定された第一部分における各画像に対して単一チャネル深層学習モデルに基づく推論を行うことができる。第一部分における各画像に対して、単一チャネルの深層学習モデルを用いてより精細な推論を実行することにより、各画像のより精確な分類結果を得ることができる。
【0092】
なお、図１２は、単一チャネル深層学習モデルに基づく推論を拡張推論とした例を示しているが、本実施形態はこれに限定されるものではなく、第２の実施形態の拡張推論として、当業者に周知の他の分類のための拡張推論方式を採用してもよい。
【0093】
また、推論装置３０は、第二部分に対して、第二の推論処理として、処理負荷がより小さく、速度がより速い軽度推論を行う。ここでは、第２の実施形態の推論装置３０は、第１の実施形態と同様に、ステップＳ１００で第一部分と第二部分とを特定する際に第二部分に対して行った軽度推論の結果をそのまま利用することができる。また、本実施形態はこれに限定されるものではなく、第二部分に対して、第二の推論処理として、新たに他の軽度推論を行うようにしてもよい。
【0094】
推論処理が終了した後に、本実施形態は、ステップＳ３００の統合処理に進む。
【0095】
次に、図１３を参照して、第２の実施形態におけるステップＳ３００の統合処理について説明する。
【0096】
図１３は、第２の実施形態に係る画像処理システムによるステップＳ３００の処理状況を示す模式図である。
【0097】
図１３に示すように、ステップＳ３００において、統合装置４０が、ステップＳ２００で得られた第一部分の拡張推論と第二部分の軽度推論の結果を統合し、統合された結果を完全な推論結果とする。
【0098】
なお、ステップＳ３００の詳細については、第１の実施形態と同様であるので、ここでは重複した説明を省略する。
【0099】
図１３に示すように、第２の実施形態に係る画像処理システムによれば、破線で示す当該位置に肝臓が存在しない画像と、実線で示す当該位置に肝臓が存在する画像というようなより精確な分類結果を、重要枚数範囲（第一部分）（グループ［４］及びグループ［６］）において得ることができる。
【0100】
そして、統合装置４０は、ステップＳ３００の処理結果を推論処理の最終結果として出力する。
【0101】
なお、第２の実施形態に係る画像処理システム１によれば、第１の実施形態と同様に、好適な形態として、前述したように、ステップＳ３００とステップＳ３０との間に判断ステップＳ４００及び修正ステップＳ５００をさらに備えてもよい。
【0102】
【0103】
図１４は、第２の実施形態に係る画像処理システムによるステップＳ５００の処理状況を示す模式図である。
【0104】
図１４に示すように、ステップＳ５００の処理は、重要枚数範囲（第一部分）の境界を調整することにより実現することができる。このような調整は、第１の実施形態と同様に、画像処理システム１の修正機能が予め設定されたルールに従って自動的に行うようにしてもよいし、ユーザが画像中の該当領域をマウスでクリックしてドラッグ＆ドロップするなどによって実現してもよい。
【0105】
ステップＳ５００が実行された後に、本実施形態に係る画像処理システムは、ステップＳ４００の判断結果が「ＹＥＳ」になるまで、修正された重要枚数範囲（第一部分）とそれ以外の非重要枚数範囲（第二部分）とに対してステップＳ２００及びステップＳ３００の処理をさらに行い、統合後のアルゴリズム結果に対してス再びステップＳ４００の判断を実行する。
【0106】
なお、本実施形態においても、第１の実施形態と同様に、ステップＳ４００及びステップＳ５００は必須ではない。ステップＳ４００及びステップＳ５００の処理を行わなくても、同様に、本実施形態の目的を達成し、本実施形態の效果を奏することができる。
【0107】
（第２の実施形態のまとめ）
第２の実施形態によれば、本実施形態の推論処理は、画像分類に基づいて、画像に含まれる器官を位置決めするためものである。受信ステップは、連続する複数枚の画像を受信する。第一部分は、複数枚の画像の分類において重要な枚数範囲である重要枚数範囲であり、第二部分は、複数枚の画像の分類において重要でない枚数範囲である非重要枚数範囲である。特定ステップは、多チャネルの深層学習モデルを利用して、複数枚の画像を分類検出し、複数枚の画像のうち、分類検出結果が急転する画像近傍の所定の枚数範囲を重要枚数範囲として特定し、それ以外の枚数範囲を非重要枚数範囲として特定する。推論ステップは、単一チャネルの深層学習モデルを利用して、重要枚数範囲を分類検出し、その結果を重要枚数範囲の推論結果として用い、特定ステップにおける非重要枚数範囲の分類検出結果をそのまま非重要枚数範囲の推論結果として用いる。このように、本実施形態によれば、第１の実施形態と同様に、処理対象の画像を第一部分とそれ以外の第二部分とに分け、第一部分と第二部分とに対してそれぞれ異なる推論処理である第一の推論処理と第二の推論処理とを行う。具体的には、第一部分に対して精細な拡張推論を行い、第二部分に対して速度がより速い通常推論を行う。その後、拡張推論と通常推論の結果を統合し、画像全体の処理結果とする。これにより、深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ることができる。
第２の実施形態によれば、本実施形態の推論処理は、画像分類に基づいて、画像に含まれる器官を位置決めするためものである。受信ステップは、連続する複数枚の画像を受信する。第一部分は、複数枚の画像の分類において重要な枚数範囲である重要枚数範囲であり、第二部分は、複数枚の画像の分類において重要でない枚数範囲である非重要枚数範囲である。特定ステップは、多チャネルの深層学習モデルを利用して、複数枚の画像を分類検出し、複数枚の画像のうち、分類検出結果が急転する画像近傍の所定の枚数範囲を重要枚数範囲として特定し、それ以外の枚数範囲を非重要枚数範囲として特定する。推論ステップは、単一チャネルの深層学習モデルを利用して、重要枚数範囲を分類検出し、その結果を重要枚数範囲の推論結果として用い、特定ステップにおける非重要枚数範囲の分類検出結果をそのまま非重要枚数範囲の推論結果として用いる。このように、本実施形態によれば、第１の実施形態と同様に、処理対象の画像を第一部分とそれ以外の第二部分とに分け、第一部分と第二部分とに対してそれぞれ異なる推論処理である第一の推論処理と第二の推論処理とを行う。具体的には、第一部分に対して精細な拡張推論を行い、第二部分に対して速度がより速い通常推論を行う。その後、拡張推論と通常推論の結果を統合し、画像全体の処理結果とする。これにより、深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ることができる。
【0108】
上述したように、本実施形態に係る画像処理システムによれば、深層学習モデル推論時の精度と速度のバランスを実現することができる。例えば、画像のセグメンテーションのための第１の実施形態では、推論精度を変えることなく、本実施形態の画像推論の画像パッチ数を従来の方法の半分以下に減らすことができる。また、画像分類のための第２の実施形態では、推論精度を変えることなく、１０００枚の全身ＣＴ画像を例にすると、軽度推論が１０枚の画像毎に一回推論し、拡張推論が１枚の画像毎に推論する場合、本実施形態の画像推論処理の次数は従来の方法の２０％以下に減らすことができる。
【0109】
（その他の実施形態）
なお、上述した実施形態では、肝臓のセグメンテーション及び分類を例にして説明したが、本実施形態は、肝臓以外の他の器官や組織構造のセグメンテーション及び分類、並びに、セグメンテーション及び分類以外の他の画像処理にも適用することができる。
なお、上述した実施形態では、肝臓のセグメンテーション及び分類を例にして説明したが、本実施形態は、肝臓以外の他の器官や組織構造のセグメンテーション及び分類、並びに、セグメンテーション及び分類以外の他の画像処理にも適用することができる。
【0110】
また、上述した実施形態で説明した画像処理、セグメンテーション、分類、深層学習モデル及びニューラルネットワークのトレーニングや推論などは、いずれも従来技術中の種々の方式で実現することができるため、ここでは詳細な説明を省略する。
【0111】
また、本実施形態は、上述した画像処理システムとして実現されてもよいし、画像処理方法、画像処理プログラム、又は、画像処理プログラムが記憶された記録媒体として実現されてもよい。
【0112】
また、本願に係る画像処理システムは、医用画像診断装置に組み込まれてもよいし、画像処理システムが単独で処理を実行するものでもよい。その場合には、画像処理システムは、上述した各ステップと同様の処理を実行する処理回路と、各機能に対応するプログラムや各種の情報などを記憶するメモリとを有する。そして、処理回路は、ネットワークを経由して、超音波診断装置等の医用画像診断装置或いは画像保管装置から、２次元又は３次元の医用画像データを取得し、取得した医用画像データを用いて上述した処理を実行する。ここで、処理回路は、メモリからプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。
【0113】
また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、又は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
【0114】
なお、上記の実施形態の説明で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0115】
また、上述した実施形態で説明した処理方法は、あらかじめ用意された処理プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、この処理プログラムは、ハードディスク、フレキシブルディスク（Flexible Disk：ＦＤ）、ＣＤ（Compact Disk）－ＲＯＭ（Read Only Memory）、ＭＯ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ及びＳＤ（Secure Digital）カードメモリなどのＦｌａｓｈメモリなどのコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって非一時的な記録媒体から読み出されることによって実行することもできる。
【0116】
なお、本明細書において扱う各種データは、典型的にはデジタルデータである。
【0117】
以上説明した少なくとも１つの実施形態によれば、深層学習モデル推論時の精度と速度のバランスを実現し、より望ましい推論結果を得ることができる。
【0118】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0119】
１ 画像処理システム
１０ 受信装置
２０ 特定装置
３０ 推論装置
４０ 統合装置
１０ 受信装置
２０ 特定装置
３０ 推論装置
４０ 統合装置
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】