(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183385
(43)【公開日】2023-12-27
(54)【発明の名称】医用画像処理装置および医用画像処理方法
(51)【国際特許分類】
A61B 6/00 20060101AFI20231220BHJP
G16H 30/40 20180101ALI20231220BHJP
A61B 5/055 20060101ALI20231220BHJP
A61B 8/00 20060101ALI20231220BHJP
【ＦＩ】
A61B6/00 350Z
G16H30/40
A61B6/00 350D
A61B5/055 380
A61B8/00
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023088109
(22)【出願日】2023-05-29
(31)【優先権主張番号】202210676793.3
(32)【優先日】2022-06-15
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ヤン シゥウ
(72)【発明者】
【氏名】モン ファンジエ
(72)【発明者】
【氏名】リ ティンホン
(72)【発明者】
【氏名】リ シンヨウ
【テーマコード（参考）】
4C093
4C096
4C601
5L099
【Ｆターム（参考）】
4C093AA26
4C093CA17
4C093CA18
4C093FF15
4C093FF18
4C093FF19
4C093FG04
4C096AB38
4C096AB41
4C096AC04
4C096AC05
4C096AC07
4C096AD14
4C096AD24
4C096DC19
4C096DC20
4C096DC28
4C096DC30
4C096DD08
4C096DD20
4C601EE11
4C601JC06
4C601JC13
4C601JC37
4C601KK46
5L099AA26
(57)【要約】
【課題】ユーザのラベリングの効率を向上させること。
【解決手段】本実施形態に係る医用画像処理装置は、取得部と、受付部と、解析部と、ツールセット作成部と、を備える。前記取得部は、ラベリング対象としての医用画像を取得する。前記受付部は、前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける。前記解析部は、前記受付部がラベリングタスクのラベリング過程を受け付けている間に医用画像におけるラベリング目標としての目標構造の局所特徴を解析する。前記ツールセット作成部は、前記局所特徴に基づいて、前記医用画像のラベリングタスクに対応する利用可能なツールセットを作成する。
【選択図】図１
【解決手段】本実施形態に係る医用画像処理装置は、取得部と、受付部と、解析部と、ツールセット作成部と、を備える。前記取得部は、ラベリング対象としての医用画像を取得する。前記受付部は、前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける。前記解析部は、前記受付部がラベリングタスクのラベリング過程を受け付けている間に医用画像におけるラベリング目標としての目標構造の局所特徴を解析する。前記ツールセット作成部は、前記局所特徴に基づいて、前記医用画像のラベリングタスクに対応する利用可能なツールセットを作成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ラベリング対象としての医用画像を取得する取得部と、
前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける受付部と、
前記受付部がラベリングタスクのラベリング過程を受け付けている間に前記医用画像におけるラベリング目標としての目標構造の局所特徴を解析する解析部と、
前記局所特徴に基づいて、前記医用画像のラベリングタスクに対応する利用可能なツールセットを作成するツールセット作成部と、
を備える医用画像処理装置。
前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける受付部と、
前記受付部がラベリングタスクのラベリング過程を受け付けている間に前記医用画像におけるラベリング目標としての目標構造の局所特徴を解析する解析部と、
前記局所特徴に基づいて、前記医用画像のラベリングタスクに対応する利用可能なツールセットを作成するツールセット作成部と、
を備える医用画像処理装置。
【請求項2】
前記利用可能なツールセットは、複数のラベリングツールを含むツールセットである
請求項１に記載の医用画像処理装置。
請求項１に記載の医用画像処理装置。
【請求項3】
ツールセット最適化部、
をさらに備え、
前記解析部は、前記受付部がラベリングタスクのラベリング過程を受け付けることが終了した後に、前記目標構造の全体特徴を解析し、
前記ツールセット最適化部は、前記目標構造の全体特徴に基づいて、既存の前記利用可能なツールセットを最適化する
請求項１に記載の医用画像処理装置。
をさらに備え、
前記解析部は、前記受付部がラベリングタスクのラベリング過程を受け付けることが終了した後に、前記目標構造の全体特徴を解析し、
前記ツールセット最適化部は、前記目標構造の全体特徴に基づいて、既存の前記利用可能なツールセットを最適化する
請求項１に記載の医用画像処理装置。
【請求項4】
前記受付部に受け付けられたラベリングタスクのラベリング過程を記録し、前記医用画像のラベリングタスクに対応する、前記医用画像のラベリング過程を示すワークフローを作成するワークフロー作成部、
をさらに備える請求項１に記載の医用画像処理装置。
をさらに備える請求項１に記載の医用画像処理装置。
【請求項5】
前記医用画像のラベリングタスクに対応する利用可能なツールセットが存在するか否かを検索する検索部、
をさらに備える請求項１に記載の医用画像処理装置。
をさらに備える請求項１に記載の医用画像処理装置。
【請求項6】
前記検索部が前記利用可能なツールセットを検索した場合に、前記利用可能なツールセットを候補ラベリングツールとして出力するラベリング支援部、
をさらに備える請求項５に記載の医用画像処理装置。
をさらに備える請求項５に記載の医用画像処理装置。
【請求項7】
ラベリング対象としての医用画像を取得する取得部と、
前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける受付部と、
前記受付部に受け付けられたラベリングタスクのラベリング過程を記録し、前記医用画像のラベリング過程を示すワークフローを作成するワークフロー作成部と、
を備える医用画像処理装置。
前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける受付部と、
前記受付部に受け付けられたラベリングタスクのラベリング過程を記録し、前記医用画像のラベリング過程を示すワークフローを作成するワークフロー作成部と、
を備える医用画像処理装置。
【請求項8】
前記医用画像のラベリングタスクに対応する既存ワークフローが存在するか否かを検索する検索部、
をさらに備える請求項７に記載の医用画像処理装置。
をさらに備える請求項７に記載の医用画像処理装置。
【請求項9】
前記ワークフローに基づいて前記医用画像のラベリングを支援し、前記医用画像のラベリング過程の少なくとも一部を前記ワークフローに一致させるラベリング支援部、
をさらに備える請求項７に記載の医用画像処理装置。
をさらに備える請求項７に記載の医用画像処理装置。
【請求項10】
前記ワークフローは、表示状態を調整する過程を示す表示部分と、ラベリングツールを用いてラベリングを行う過程を示すラベリング部分と、を含む
請求項７に記載の医用画像処理装置。
請求項７に記載の医用画像処理装置。
【請求項11】
前記ワークフローは、表示状態を調整する過程を示す表示部分を含み、
前記検索部が前記既存ワークフローを検索した場合に、前記既存ワークフローにおける前記表示部分の最終的な表示結果に応じて、表示された前記医用画像の表示状態を調整するラベリング支援部、
をさらに備える請求項８に記載の医用画像処理装置。
前記検索部が前記既存ワークフローを検索した場合に、前記既存ワークフローにおける前記表示部分の最終的な表示結果に応じて、表示された前記医用画像の表示状態を調整するラベリング支援部、
をさらに備える請求項８に記載の医用画像処理装置。
【請求項12】
前記ワークフローは、ラベリングツールを用いてラベリングを行う過程を示すラベリング部分を含み、
前記検索部が前記既存ワークフローを検索した場合に、前記既存ワークフローにおける前記ラベリング部分に従って、ラベリングツールを用いてラベリングを行うフローチャートを形成して表示するラベリング支援部、
をさらに備える請求項８に記載の医用画像処理装置。
前記検索部が前記既存ワークフローを検索した場合に、前記既存ワークフローにおける前記ラベリング部分に従って、ラベリングツールを用いてラベリングを行うフローチャートを形成して表示するラベリング支援部、
をさらに備える請求項８に記載の医用画像処理装置。
【請求項13】
前記受付部に受け付けられたラベリングタスクのラベリング結果の全体特徴を解析する解析部と、
既存の前記ワークフローを補正することにより、前記ワークフローを最適化するワークフロー最適化部と、
をさらに備える請求項７に記載の医用画像処理装置。
既存の前記ワークフローを補正することにより、前記ワークフローを最適化するワークフロー最適化部と、
をさらに備える請求項７に記載の医用画像処理装置。
【請求項14】
前記ワークフロー最適化部は、前記解析部に解析された前記ラベリング結果の全体特徴に基づいて、前記ワークフローに用いられるパラメータを補正する
請求項１３に記載の医用画像処理装置。
請求項１３に記載の医用画像処理装置。
【請求項15】
前記ワークフローは、複数の操作ステップで構成されており、
前記ワークフロー最適化部は、前記解析部に解析された前記ラベリング結果の全体特徴に基づいて、前記ワークフローに新たな操作ステップを追加する
請求項１３に記載の医用画像処理装置。
前記ワークフロー最適化部は、前記解析部に解析された前記ラベリング結果の全体特徴に基づいて、前記ワークフローに新たな操作ステップを追加する
請求項１３に記載の医用画像処理装置。
【請求項16】
前記ワークフローは、複数の操作ステップで構成されており、
前記ワークフロー最適化部は、前記ワークフローにおける一部の操作ステップを新たな操作ステップに置き換える
請求項１３に記載の医用画像処理装置。
前記ワークフロー最適化部は、前記ワークフローにおける一部の操作ステップを新たな操作ステップに置き換える
請求項１３に記載の医用画像処理装置。
【請求項17】
前記ワークフローは、表示範囲を調整するための操作ステップを含み、
前記ワークフロー最適化部は、前記表示範囲を調整するための操作ステップを、ランドマークの検出により表示範囲を特定する操作ステップに置き換える
請求項１６に記載の医用画像処理装置。
前記ワークフロー最適化部は、前記表示範囲を調整するための操作ステップを、ランドマークの検出により表示範囲を特定する操作ステップに置き換える
請求項１６に記載の医用画像処理装置。
【請求項18】
ラベリング対象としての医用画像を取得する取得ステップと、
前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける受付ステップと、
受付ステップでラベリングタスクのラベリング過程を受け付けている間に医用画像におけるラベリング目標としての目標構造の局所特徴を解析する解析ステップと、
前記局所特徴に基づいて、前記医用画像のラベリングタスクに対応する利用可能なツールセットを作成するツールセット作成ステップと、
を含む医用画像処理方法。
前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける受付ステップと、
受付ステップでラベリングタスクのラベリング過程を受け付けている間に医用画像におけるラベリング目標としての目標構造の局所特徴を解析する解析ステップと、
前記局所特徴に基づいて、前記医用画像のラベリングタスクに対応する利用可能なツールセットを作成するツールセット作成ステップと、
を含む医用画像処理方法。
【請求項19】
ラベリング対象としての医用画像を取得する取得ステップと、
前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける受付ステップと、
前記受付ステップで受け付けられたラベリングタスクのラベリング過程を記録し、前記医用画像のラベリング過程を示すワークフローを作成するワークフロー作成ステップと、
を含む医用画像処理方法。
前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける受付ステップと、
前記受付ステップで受け付けられたラベリングタスクのラベリング過程を記録し、前記医用画像のラベリング過程を示すワークフローを作成するワークフロー作成ステップと、
を含む医用画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用画像処理装置および医用画像処理方法に関する。
【背景技術】
【0002】
読影医であるユーザは、Ｘ線画像、ＣＴ（Computed Tomography：コンピュータ断層撮影）画像、超音波画像等の医用画像を読影する際、これらの医用画像をディスプレイに表示させる。そして、ユーザがアプリケーションとしての各種ツールを用いてセグメンテーション、分類、検出等のラベリング（アノテーションともいう）を行い、所望の領域の画像又はラベリングされた医用画像を取得する。
【0003】
医用画像のラベリングを行うためのソフトウェアは複数種類のツールを提供しているが、使用時に、ツールの種類が多いため、ユーザは現在のラベリングタスクに最適なツールを迅速に見つけることができない。また、同じラベリングタスクに対しても、ユーザは大量のデータに対してラベリングし、いくつかの重複した表示調整等の操作を手動で行う必要がある。そのため、現在のラベリングツールの使用現状に関しては、ラベリングに時間がかかり、効率が低い。
【0004】
上記問題に対して、特定のセグメンテーションタスクに対して使用する必要があるツールを含むワークフローを指定し、Ｗｉｚａｒｄにより、ユーザの操作を指導する方法が提案されている。
【0005】
しかし、上記方法は特定のセグメンテーションタスクにのみ用いられ、他のラベリングタスクのニーズを満たすことができない。また、異なるセグメンテーションタスクに対して異なるＷｉｚａｒｄを開発する必要があり、ユーザのニーズをタイムリーにサポートすることができない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１９－０５３７４８号公報
【非特許文献】
【0007】
【非特許文献1】Daniela Franz 著、「Wizard-Based Image Processing for the Life Sciences」Friedrich-Alexander-Universitat Erlangen-Nurnberg (FAU) 出版、２０１６年、ｐ．４７－５５
【非特許文献2】「人工知能医療器械品質要求および評価 第１部分」国家薬品監督管理局 発行、本稿完成日期：２０２０年６月２４日
【発明の概要】
【発明が解決しようとする課題】
【0008】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、ユーザのラベリングの効率を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0009】
本実施形態に係る医用画像処理装置は、取得部と、受付部と、解析部と、ツールセット作成部と、を備える。前記取得部は、ラベリング対象としての医用画像を取得する。前記受付部は、前記医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける。前記解析部は、前記受付部がラベリングタスクのラベリング過程を受け付けている間に医用画像におけるラベリング目標としての目標構造の局所特徴を解析する。前記ツールセット作成部は、前記局所特徴に基づいて、前記医用画像のラベリングタスクに対応する利用可能なツールセットを作成する。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、図面を参照して、医用画像処理装置及び医用画像処理方法の実施形態について詳細に説明する。
【0012】
本実施形態に係る医用画像処理装置は、複数の機能モジュールから構成され、独立したコンピュータ等のＣＰＵ（Central Processing Unit）およびメモリを有するデバイスに、各機能モジュールをソフトウェアとしてインストールしたり、複数のデバイスに各機能モジュールを分散してインストールしたりして、メモリに記憶された医用画像処理装置の各機能モジュールをプロセッサが実行することにより実現される。また、医用画像処理装置の各機能を実行可能な回路としてハードウェアの形態で実現されてもよい。医用画像処理装置を実現する回路は、インターネット等のネットワークを介してデータの送受信やデータの収集を行うことができる。また、本実施形態に係る医用画像処理装置は、ＣＴ装置や磁気共鳴イメージング装置等の医用画像収集装置における一部として医用画像収集装置に直接設けられてもよい。
【0013】
【0014】
図１は、第１の実施形態に係る医用画像処理装置１００の機能構成を示すブロック図である。図１に示すように、医用画像処理装置１００は、入力インターフェース２０１と、通信インターフェース２０２と、ディスプレイ２０３と、記憶回路２０４と、処理回路２０５と、を備える。本実施形態において、医用画像処理装置１００は、医師（例えば、読影医）等のユーザが医用画像の観察や読影に用いる装置である。医用画像処理装置１００は、ユーザの端末でもよい。
【0015】
入力インターフェース２０１は、種々の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース２０１は、処理回路２０５に接続されており、医師などのユーザから受け付けた入力操作を電気信号に変換して処理回路２０５に出力する。なお、図１において、入力インターフェース２０１は、医用画像処理装置１００内に設けられているが、外部に設けられてもよい。
【0016】
通信インターフェース２０２は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。例えば、通信インターフェース２０２は、処理回路２０５に接続されており、超音波システムである超音波診断装置や、超音波システム以外の他のモダリティーであるＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置から、医用画像を収集して処理回路２０５に出力する。
【0017】
ディスプレイ２０３は、処理回路２０５に接続され、処理回路２０５から出力される各種情報及び各種画像を表示する。例えば、ディスプレイ２０３は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。例えば、ディスプレイ２０３は、ユーザの指示を受け付けるためのＧＵＩ（Graphical User Interface）や、種々の表示画像、処理回路２０５による種々の処理結果を表示する。なお、図１において、ディスプレイ２０３は、医用画像処理装置１００内に設けられているが、外部に設けられてもよい。
【0018】
記憶回路２０４は、処理回路２０５に接続され、各種データを記憶する。具体的には、記憶回路２０４は、少なくとも画像レジストレーション用の各種の医用画像及びレジストレーション後に得られた融合画像等を記憶する。例えば、記憶回路２０４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。また、記憶回路２０４は、処理回路２０５によって実行される各処理機能に対応するプログラムを記憶する。なお、図１において、記憶回路２０４は、医用画像処理装置１００内に設けられているが、外部に設けられてもよい。
【0019】
また、記憶回路２０４は、ラベリング支援情報テーブル２５１、解剖学類似テーブル２５２、ツール管理テーブル２５３を記憶する。ラベリング支援情報テーブル２５１、解剖学類似テーブル２５２、ツール管理テーブル２５３に格納される情報については後述する。
【0020】
例えば、処理回路２０５は、プロセッサによって実現される。図１に示すように、処理回路２０５は、取得機能１０と、受付機能２０と、検索機能３０と、解析機能４０と、ツールセット作成機能５０と、ワークフロー作成機能６０と、ラベリング支援機能７０とを備える。ここで、図１に示す処理回路２０５の構成要素である取得機能１０、受付機能２０、検索機能３０、解析機能４０、ツールセット作成機能５０、ワークフロー作成機能６０、ラベリング支援機能７０が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で医用画像処理装置１００の記憶回路２０４に記録されている。処理回路２０５は、各プログラムを記憶回路２０４から読み出し、実行することで各プログラムに対応する処理機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路２０５は、図１の処理回路２０５内に示された各機能を有することとなる。
【0021】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路２０４に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路２０４にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0022】
次に、処理回路２０５が実行する取得機能１０、受付機能２０、検索機能３０、解析機能４０、ツールセット作成機能５０、ワークフロー作成機能６０、ラベリング支援機能７０の処理内容について説明する。
【0023】
取得機能１０は、病院等の医療施設のデータベースや超音波診断装置、Ｘ線照射装置等の画像収集装置から、被検体を走査することにより収集され、ラベリングが必要な医用画像を取得する。上記医用画像は、各種ラベリングツールのラベリング対象である。即ち、取得機能１０は、ラベリング対象としての医用画像を取得する。取得機能１０は、「取得部」の一例である。
【0024】
受付機能２０は、取得機能１０に取得された医用画像に対して行われるラベリングタスクのラベリング過程を受け付ける。受付機能２０は、「受付部」の一例である。
【0025】
ラベリングとは、医用画像に対して、セグメンテーション、分類、検出等の処理を行って、医用画像にラベリング情報を示す記号を付加する過程である。なお、ラベリングは、アノテーションともいう。ラベリングにおいて注目される領域を関心領域とし、本実施形態では、ラベリング目標である目標構造とすることで、ラベリングされる重要領域を強調させてＡＩ（Artificial Intelligence；人工知能）のモデル訓練に利用することができる。また、目標構造は、モデル訓練の目的に応じてユーザ等により設定された構造であり、例えば、肝臓セグメンテーションを行うためのＡＩモデルを訓練する場合に、目標構造として肝臓が設定される。腫瘍の良性・悪性分類を行うためのＡＩモデルを訓練する場合に、目標構造として腫瘍領域が設定される。肺結節の検出を行うためのＡＩモデルを訓練する場合に、目標構造として肺結節が設定される。目標構造は、本分野の業界標準に従い自動的に設定されてもよく、例えば、医薬業界標準『人工知能医療器械品質要求および評価 第１部分』（非特許文献２）を参照して目標構造を决定することができる。
【0026】
本実施形態では、医師等のユーザが、ヒューマンマシンインタフェース等の入出力装置を介して、医用画像に目標構造をセグメンテーションするラベリングタスクを例に説明する。
【0027】
ラベリングの過程は、一般に、ユーザによるラベリングタスクの定義と、表示状態を調整する表示過程と、ラベリングツールを利用して画像にラベリングする過程と、を含む。受付機能２０は、ヒューマンマシンインタフェース等の入出力装置を介して、上記のラベリングの過程で生じたデータ、および、医用画像に対する各種処理を受け付ける。例えば、受付機能２０は、ディスプレイに表示されたインターフェースを介して、ユーザにより定義されたラベリングタスク、データのロード、および、ユーザがラベリングツールを用いてラベリングを行うことを受け付ける。ラベリングタスクは、ユーザの入力を介して定義され、例えばラベリングタイプ（セグメンテーション等）、ターゲットビュー（２次元等）、セグメンテーションしようとする目標構造（肝臓等）、収集のデバイス（ＣＴ等）等のタスクを識別するための関連情報が規定されている。
【0028】
検索機能３０は、受付機能２０に受け付られたラベリングタスクに基づいて、取得した医用画像のラベリングタスクに対応する利用可能なツールセットが存在するか否かを検索する。また、検索機能３０は、当該医用画像のラベリングタスクに対応する既存ワークフローが存在するか否かを検索する。検索機能３０は、「検索部」の一例である。
【0029】
利用可能なツールセット（単に、ツールセットともいう）は、ラベリング過程に利用可能なツールの集合である。ツールは、ソフトウェアベンダにより提供される、ユーザによるラベリングを支援するソフトウェアアプリケーションである。利用可能なツールセットの詳細は後述する。
【0030】
既存ワークフロー（単に、ワークフローともいう）は、ラベリング過程を規定するラベリングフローである。医用画像処理装置１００は、予め複数のツールセット及び複数のワークフローを保存しておき、ラベリングを行う際にラベリングタスクに適したツールセット及びワークフローを検索して使用することができる。ワークフローの詳細は後述する。
【0031】
検索機能３０は、予め記憶された、ラベリングタスクとツールセットの識別子又はワークフローの識別子とが対応付けて記憶されたラベリング支援情報テーブル２５１を参照することにより、ツールセット及びワークフローを検索する。
【0032】
図２Ａは、ラベリング支援情報テーブル２５１の一例を示す模式図であり、図２Ａに示すように、ラベリング支援情報テーブル２５１には、タスクタイプ、解剖学目標構造、ターゲットビュー、ツールセットＩＤ、ワークフローＩＤおよびその他の情報（事前訓練モデル、事前ラベリング結果）が対応付けて記憶されている。ユーザがラベリングタスクを定義した場合、検索機能３０は、ユーザにより入力されたタスクタイプと解剖学目標構造等のタスク情報との少なくとも１つに基づいて、ラベリング支援情報テーブル２５１を検索し、利用可能なツールセット及び既存ワークフローが存在するか否かを判定する。例えば、タスクタイプがセグメンテーションであり、かつ目標構造が肝臓であるとする。この場合に、検索機能３０は、セグメンテーションと肝臓とをキーワードとして、ラベリング支援情報テーブル２５１により検索する。図２Ａに示す例では、検索機能３０は、２番目のエントリに対応するツールセットＩＤ「ツールセット２」とワークフローＩＤ「ワークフロー２」を見つけて、上記タスクに対して利用可能なツールセット及び既存ワークフローが存在すると判定する。
【0033】
また、検索機能３０は、ラベリングタスクにおける少なくとも１つの情報に基づいて検索を行うことができ、これにより、他の情報に差異がある場合でも（例えば、１つの情報だけが異なる場合でも）、当該差異を無視して、検索した利用可能なツールセットと既存ワークフローを採用することができる。さらに、検索機能３０がキーワードにより対応する利用可能なツールセットと既存ワークフローをラベリング支援情報テーブル２５１により検索できない場合、所定のキーワードに類似する他のキーワードを用いて検索することができる。例えば、目標構造をキーワードとした場合に、解剖学類似テーブル２５２に記載された類似臓器に応じて他の目標構造を用いて検索することができる。
【0034】
図２Ｂは、解剖学類似テーブル２５２の一例を示す模式図である。図２Ｂに示すように、「肝」、「腎」、「脾」はいずれも実質臓器に属し、ラベリングタスクが腎臓をセグメンテーションするタスクであるとする。この場合、検索機能３０は、まず、図２Ａのラベリング支援情報テーブル２５１から検索する。ここで、検索機能３０は、対応する腎臓セグメンテーションのエントリを見つけられない場合、図２Ｂの解剖学類似テーブル２５２を参照して、肝臓及び脾臓を腎臓の類似構造とし、肝臓及び脾臓をキーワードとする。そして、検索機能３０は、肝臓及び脾臓をキーワードとして、図２Ａのラベリング支援情報テーブル２５１により検索する。図２Ａに示す例では、検索機能３０は、２番目のエントリに対応するツールセットＩＤ「ツールセット２」とワークフローＩＤ「ワークフロー２」を見つけ、上記タスクの利用可能なツールセットと既存ワークフローが存在すると判定する。
【0035】
また、医用画像処理装置１００に利用可能なツールセットと既存ワークフローの情報が記憶されていない場合や、医用画像処理装置１００に既存の利用可能なツールセットと既存ワークフローを使用しない場合には、検索機能３０を省略してもよい。
【0036】
解析機能４０は、受付機能２０がラベリングタスクのラベリング過程を受け付けている間に医用画像におけるラベリング目標としての目標構造の局所特徴を解析する。これにより、ツールセット作成機能５０は、解析機能４０により解析された局所特徴に基づいて、医用画像のラベリングタスクに対応する利用可能なツールセットを作成する。解析機能４０は、「解析部」の一例であり、ツールセット作成機能５０は、「ツールセット作成部」の一例である。
【0037】
具体的には、解析機能４０は、ラベリングが開始した後に、ラベリング過程中の異なる段階で発生した部分ラベリングに基づいて、目標構造の局所特徴を解析する。例えば、解析機能４０がラベリングとして肺血管のセグメンテーションを開始したときに、肺血管の一部に対して行われたセグメンテーションを部分ラベリングという。そして、解析機能４０は、肺血管の一部に対して行われた部分ラベリングに基づいて、目標構造の局所特徴を解析する。局所特徴は、あるツールが今回のラベリングタスクに適しているか否かを判定するために用いられる。解析が必要な局所特徴の種類については、候補ツールの影響要因に応じて設定してもよいし、複数種類の局所特徴を事前に設定して複数のツールの判定に用いてもよい。
【0038】
また、ツールセット作成機能５０は、解析機能４０により解析された局所特徴に基づいて、医用画像のラベリングタスクに対応する利用可能なツールセットであり、かつ、複数のツールから構成されたツールセットを作成する。例えば、ツールセット作成機能５０は、局所特徴に基づいて、ユーザが利用可能又は把握可能な全ての候補ツールに対して、順次に、医用画像のラベリングタスクに適しているか否かを判定する。そして、ツールセット作成機能５０は、医用画像のラベリングタスクに適していると判定した場合、上記ツールをツールセットに追加する。
【0039】
このように、本実施形態では、ユーザにツールを選択させるために、利用可能なツールセットに、ラベリング過程に使用することを推奨される各種ツールを追加することができる。ラベリング過程に用いられるツールは、ソフトウェアベンダにより提供される、ユーザがラベリングを行うことを支援するソフトウェアアプリケーションである。一般的には、一回のラベリングに複数の異なるツールを用いる必要があり、ツールが用途から区別される場合に、利用可能なツールセットは、画像表示のためのアプリケーションとしての表示ツール、事前ラベリングを行うための事前ラベリングツール、ラベリングを行うためのラベリングツールを含む。ここで、候補ツールとしてラベリングツールを選択することは、ユーザにとって難しい。そこで、本実施形態では、複数のラベリングツールから構成されたツールセットを例にして説明する。即ち、本実施形態では、利用可能なツールセットが、複数のラベリングツールを含むツールセットである場合を例にして説明する。
【0040】
例えば、候補ツールがＴｈｒｅｓｈｏｌｄ（階調閾値分割）ツールである場合に、肺血管をセグメンテーションするタスクを例に説明する。
【0041】
まず、解析機能４０は、ユーザがラベリング過程中にラベリングタスクを設定して、データを呼び出すことで、肺部の医用画像をディスプレイに表示させる。次に、解析機能４０は、表示ツールにより表示状態を調整した後、医師等のユーザは、表示画面上に表示された肺部画像やスライス画像中の血管部分をラベリングし、各血管部分を順次描画する。本実施形態では、部分ラベリングを行うラベリングツールは限定されない。例えば、図３Ａ中の左側の画像において、矢印が指す白色領域は、ユーザが医用画像上に肺血管に対して行った部分ラベリング（２箇所）であり、一部の血管部分が描画されているとする（ラベリングタスクが完了していないとする）。この場合、解析機能４０は、図３Ａ、図３Ｂに示すように、上記医用画像の階調ヒストグラムにおけるラベリングされた血管部分の階調値範囲Ｈ１、および、当該血管部分の周辺領域の階調値範囲Ｈ２を抽出する。
【0042】
例えば、図３Ａの右側は、図３Ａの左側の肺部画像の階調ヒストグラムを示している。ここで、図３Ａの右側において、横軸は画素の階調値であり、縦軸は同一階調値を有する画素の個数であり、階調値範囲Ｈ１の間の画素値範囲は、ラベリングされた血管部分の画素値範囲である。また、図３Ｂの左側は、ラベリングされた血管部分の周辺領域を示し、図３Ｂの左側では、当該周辺領域を、矢印が指す黒色領域で示している。図３Ｂの右側は、図３Ａの右側の階調ヒストグラムと同じ階調ヒストグラムにおける階調値範囲Ｈ２を示している。図３Ｂの右側において、横軸は画素の階調値であり、縦軸は同一階調値を有する画素の個数であり、階調値範囲Ｈ２の間の画素値範囲は、ラベリングされた血管部分の周辺領域の画素値範囲である。
【0043】
解析機能４０は、このように医用画像の階調ヒストグラムと部分ラベリングとに基づいて、血管部分の階調値範囲Ｈ１および血管部分の周辺領域の階調値範囲Ｈ２を局所特徴として得る。これにより、ツールセット作成機能５０は、上記局所特徴をＴｈｒｅｓｈｏｌｄツールの判定条件に代入して、Ｔｈｒｅｓｈｏｌｄツールが使用に適するか否かを判定する。
【0044】
図４Ａおよび図４Ｂは、それぞれＴｈｒｅｓｈｏｌｄツールの適用性を満たす２つの判定条件の様子を示している。図４Ａ、図４Ｂにおいて、横軸は画素の階調値であり、縦軸は同一階調値を有する画素の個数である。例えば、ツールセット作成機能５０は、図４Ａに示すように判定条件Ｈ２_ｍｉｎ＞Ｈ１_ｍａｘ＋偏差を満たすと判定した場合、Ｔｈｒｅｓｈｏｌｄツールが使用に適すると判定する。又は、ツールセット作成機能５０は、図４Ｂに示すように判定条件Ｈ２_ｍａｘ＜Ｈ１_ｍｉｎ－偏差を満たすと判定した場合に、Ｔｈｒｅｓｈｏｌｄツールが使用に適すると判定する。ここで、Ｈ１_ｍｉｎ、Ｈ１_ｍａｘは、それぞれＨ１の最小値及び最大値を示し、Ｈ２_ｍｉｎ、Ｈ２_ｍａｘは、それぞれＨ２の最小値及び最大値を示す。「偏差」は、閾値処理に加えた固定的な偏差値である。
【0045】
図５は、Ｔｈｒｅｓｈｏｌｄツールの適用性を判定するフローチャートである。図５に示すように、ユーザがデータに対してラベリングする過程（ステップＳ５０１）において、解析機能４０は、部分ラベリングが行われた後の階調ヒストグラム中の情報を解析する（ステップＳ５０２）。このとき、ステップＳ５０２において、解析機能４０は、ラベリングされた血管部分の階調値範囲Ｈ１および血管部分の周辺領域の階調値範囲Ｈ２を局所特徴として抽出する。ここで、部分ラベリングの実行タイミングは、予め設定されている。例えば、受け付けたラベリングのパターンの長さや面積が、ある程度に達したときに、解析機能４０による解析を行うように設定してもよいし、連続してラベリングした個数に応じて、解析機能４０による解析を行うようにしてもよい。
【0046】
次に、ステップＳ５０３において、ツールセット作成機能５０は、階調値範囲Ｈ１、Ｈ２が所定のＴｈｒｅｓｈｏｌｄツールの判定条件を満たすか否かを判定する。ここで、Ｔｈｒｅｓｈｏｌｄツールの判定条件を満たす場合（ステップＳ５０３：ＹＥＳ）、ツールセット作成機能５０は、Ｔｈｒｅｓｈｏｌｄツールをツールセットに追加する（ステップＳ５０４）。Ｔｈｒｅｓｈｏｌｄツールの判定条件を満たさない場合（ステップＳ５０３：ＮＯ）、ツールセット作成機能５０は、次の候補ツールについて判定する（ステップＳ５０５）。
【0047】
また、例えば、候補ツールがＬｉｖｅｗｉｒｅ（マグネット選択）ツールである場合に、肺をセグメンテーションするラベリングタスクを例に説明する。ここで、関心領域の輪郭を抽出する画像分割法をＬｉｖｅｗｉｒｅ法といい、Ｌｉｖｅｗｉｒｅ法では、開始点と終了点の２点を与えることで、与えた２点間の関心領域の輪郭を抽出するものであり、Ｌｉｖｅｗｉｒｅツールでは、Ｌｉｖｅｗｉｒｅ法を用いたツールである。
【0048】
例えば、肺セグメンテーションを行う際に、肺全体から複数のスライス画像を選択し、複数のスライス画像に一度に分割線をラベリングした後に補間処理等の統合処理を行うことが多い。そのため、本実施形態では、第１のスライス画像に、ある閉領域（左肺又は右肺）がラベリングされている場合に、即ち部分ラベリングが行われている場合に、Ｌｉｖｅｗｉｒｅツールが使用に適するか否かを判定する。
【0049】
図６は、Ｌｉｖｅｗｉｒｅツールの適用性を判定するフローチャートである。図６に示すように、ユーザがデータに対してラベリングする過程（ステップＳ６０１）中に、解析機能４０は、ユーザにより部分的にラベリングされた局部領域の形状特徴を局所特徴として抽出する（ステップＳ６０２）。
【0050】
続いて、ステップＳ６０３において、ツールセット作成機能５０は、抽出された形状特徴に基づいて、部分ラベリングの局部領域の輪郭が規則的であるか否かを判定する。ここで、輪郭が規則的であるか否かの判定基準は、既存技術における種々の判定基準を採用することができる。ツールセット作成機能５０は、輪郭が規則的であると判定した場合（ステップＳ６０３：ＹＥＳ）、Ｌｉｖｅｗｉｒｅツールをツールセットに追加する（ステップＳ６０４）。ツールセット作成機能５０は、輪郭が規則的ではないと判定した場合（ステップＳ６０３：ＮＯ）、次の候補ツールについて判定する（ステップＳ６０５）。
【0051】
上述したように、本実施形態では、複数の候補ツールに対して使用の適否の判定を行うことにより、使用に適していると判定されたツールをツールセットに追加して該当類別のラベリングタスクに対応するツールセットを形成する。
【0052】
また、第１の実施形態に係る医用画像処理装置１００は、ワークフローを作成することもできる。図１の説明に戻り、ワークフロー作成機能６０は、医用画像のラベリング過程中に、受付機能２０に受け付けられたラベリングタスクのラベリング過程を記録し、医用画像のラベリング過程を示すワークフローを作成する。ワークフロー作成機能６０は、「ワークフロー作成部」の一例である。
【0053】
具体的には、ワークフロー作成機能６０は、ユーザ動作、ツールの使用及び使用の結果等の内容をワークフローに記録することができる。ラベリング過程は、一般に、医用画像に対して各種ツールを順次使用する過程である。そのため、ワークフロー作成機能６０は、予めツールを識別するツール管理テーブル２５３を参照することで、後述のようにツールを分類し、種別毎に種別番号を設定し、ツール毎にツール番号を設定する。ワークフロー作成機能６０は、種別番号とツール番号の組み合わせを用いてツールを識別する。
【0054】
図７は、ツール管理テーブル２５３の一例を示す模式図である。例えば、図７に示すように、ツールを、「表示ツール」、「事前ラベリングツール」、「ラベリングツール」などの３種類のツールに分類し、各ツールが、一つの処理プログラム（処理プロセス）に対応している。上記３種類のツール分類にはそれぞれ種別番号１～３が付与されている。ここで、種別名称「表示ツール」は、ウィンドウ（画面）サイズを最大化して画面を表示させる「最大ウィンドウ」、画面を並べて表示させる「並進」、流し見しやすいようにデータや情報を画面に表示させる「ブラウズ」、画面内のデータや情報を拡大または縮小して表示させる「ズーム」などのツールを含む。種別名称「事前ラベリングツール」は、事前訓練モデルなどのツールを含む。種別名称「ラベリングツール」は、Ｌｉｖｅｗｉｒｅ法を用いてラベリングを行うツールである「Ｌｉｖｅｗｉｒｅ（マグネット選択）」、ユーザがフリーハンドでラベリングを行うツールである「フリーハンド」、ユーザがブラシを用いてラベリングを行うツールである「ブラシ」、ユーザによる入力履歴を用いてラベリングを行うツールである「自動補間」、上述のＴｈｒｅｓｈｏｌｄ（階調閾値分割）ツールである「閾値」などのツールを含む。これらのツールには、それぞれツール番号１～１０が付与されている。ツール管理テーブル２５３により、ツール番号に基づいてツールを識別し、種別番号に基づいてツールが所属する種別を識別することができ、これにより、異なる種別のツールに対して異なる処理方式を採用することができる。
【0055】
ワークフロー作成機能６０は、ラベリング過程中に、ラベリング過程に用いられるツールの種別番号及びツール番号を取得し、ツールの使用および使用の結果を順次記録し、ワークフローを形成する。また、ワークフロー作成機能６０は、所定のルールに従って、いくつかのツールを使用しなかったり、重複したツールを使用しなかったりすることで、ワークフローの記録を簡略化してもよい。例えば、ユーザが初めてラベリングツールを用いて表示状態が調整された医用画像をラベリングした後、表示状態に対する更なる調整操作はあまり再現価値がないと考えられるため、図８に示すように、初めてラベリングツールを用いる前の表示ツールの使用のみを記録するようにしてもよい。
【0056】
図８は、第１の実施形態に係る医用画像処理装置１００におけるワークフロー作成機能６０がユーザ操作と画像状態を記録する一例を示している。ユーザがラベリングタスクを定義してディスプレイの表示画面に医用画像をロードした後、ワークフロー作成機能６０は、当該ラベリングタスクに対して、発生した操作に使用されたツールの記録を開始する。図８には、一回の操作が発生した場合に操作ツールを記録するフローが示されている。ここでいう操作は、ユーザによる人工的な操作およびデバイスが自動的に行う操作を含む。
【0057】
まず、一回の操作が発生すると、ワークフロー作成機能６０は、現在の操作ツールの種別番号とツール番号を取得し（ステップＳ８０１）、種別番号に基づいて、現在使用中の操作ツールが、図７に示す表示ツールに属するか否かを判定する（ステップＳ８０２）。表示ツールに属していない場合（ステップＳ８０２：ＮＯ）、ワークフロー作成機能６０は、ワークフローの記録に現在の操作ツールの情報および操作結果を追加する（ステップＳ８０８）。
【0058】
一方、現在の操作ツールが表示ツールに属すると判定した場合（ステップＳ８０２：ＹＥＳ）、ワークフロー作成機能６０は、ラベリングツールを使用したか否か、即ち、記録されたワークフローにラベリングツールの記録が存在するか否かをさらに判定する（ステップＳ８０３）。ワークフロー作成機能６０は、ラベリングツールを使用したと判定した場合（ステップＳ８０３：ＹＥＳ）に、今回の操作を記録しない（ステップＳ８０７）。
【0059】
一方、ワークフロー作成機能６０は、ラベリングツールを使用していないと判定した場合（ステップＳ８０３：ＮＯ）に、ワークフローの記録に現在のツールの情報があるか否かを調べる（ステップＳ８０４）。ここで、ワークフロー作成機能６０は、現在のツールの情報があると判定した場合（ステップＳ８０５：ＹＥＳ）、記録中の現在のツールの操作結果を更新する（ステップＳ８０６）。
【0060】
一方、ワークフロー作成機能６０は、現在のツールの情報がないと判定した場合（ステップＳ８０５：ＮＯ）、ワークフローの記録に現在の操作ツールの情報および操作結果を追加する（ステップＳ８０８）。
【0061】
このように、本実施形態では、各操作ツールを一つずつ記録することにより、例えば図９に示すようなワークフロー記録を形成することができる。図９には、ワークフローの構成の一例が示されている。図９中のワークフローは、表示状態を調整する過程を示す表示部分と、ラベリングツールを用いてラベリングを行う過程を示すラベリング部分との２つの部分に大きく分けられる。
【0062】
表示部分は、主に、ディスプレイの表示中に表示された医用画像を位置決めする操作である。ＷＷ／ＷＬ（ウィンドウ幅／ウィンドウレベル）操作、ズーム操作、並進操作、最大ウィンドウ操作、ブラウズ操作を含む。ＷＷ／ＷＬツール、ズームツール、並進ツール、最大ウィンドウツール、表示スライス決定のツールのそれぞれに対応している。ディスプレイのウィンドウの位置決めには様々な操作を頻繁に行う可能性があるため、ワークフローの表示部分中に同一のツールを使用する複数の操作が統合され、対応する最終的な操作結果のみが記録される。
【0063】
一方、ラベリング部分は、主に、ラベリングツールを用いて医用画像をセグメンテーションラベリングする過程であり、図９には、フリーハンド操作、ブラウズ操作、自動補間操作を含む。フリーハンドツールの操作、スライス画像の切替選択操作および自動補間ツールの使用のそれぞれに対応している。
【0064】
ここで、図９の例では、表示部分とラベリング部分とにはいずれもブラウズ操作が記録されている。表示部分でのブラウズ操作は、表示しようとするビューを最終的に決定する操作であり、表示ツールに属するが、ラベリング部分でのブラウズ操作は、表示されたビューを切り替えて次の処理すべきスライス画像に切り替える操作であり、ラベリングツールに属する。当該ブラウズ操作に使用されるツールは、同一ツールであってもよく、即ち、表示ツールとラベリングツールの両方に属するツールも存在する。
【0065】
また、図９では、スライス画像毎にブラウズ操作とフリーハンド操作を行う必要があるため、複数組のブラウズ操作とフリーハンド操作が存在する。フリーハンド操作に使用されるフリーハンドツール等のラベリングツールは、ユーザによりツールセット作成機能５０で作成されたツールセットから選択されたラベリングツールであってもよいし、ユーザにより別途ロードされ使用されるラベリングツールであってもよい。
【0066】
図９のワークフローの構成は一例であり、他の構造やルールを用いてワークフローを記録してもよいことは勿論であり、例えば、画像表示の各変動およびそれに応じて使用されるツールを順次記録してもよいし、誤操作と思われる動作を事前に設定してこれらの動作の記録を省略してもよい。図９のワークフローのフォーマットも当然、限定されない。
【0067】
また、図１の説明に戻り、ラベリング支援機能７０は、ツールセットとワークフローを利用してラベリングタスクを支援することができる。例えば、ラベリング支援機能７０は、検索機能３０が利用可能なツールセットを検索した場合に、ラベリングタスクに対応する利用可能なツールセットを候補ラベリングツールとして出力する。また、ラベリング支援機能７０は、ラベリングタスクに対応するワークフローに基づいて医用画像のラベリングを支援し、医用画像のラベリングの過程の少なくとも一部を上記ワークフローに一致させる。ラベリング支援機能７０は、「ラベリング支援部」の一例である。
【0068】
例えば、ラベリングタスクが受け付けられた後、検索機能３０が受け付けられたラベリングタスクに対応する利用可能なツールセットが存在することを検索したとする。この場合に、ラベリング支援機能７０は、ユーザに対してラベリング過程中に上記利用可能なツールセットを使用することを推奨するように、スピーカ、スクリーン等の出力デバイスを介してユーザに上記利用可能なツールセットを提示する。例えば、ラベリング支援機能７０は、ヒューマンマシンインタフェースを介して、ユーザに対して、図１０に示すような推奨ツールパネルを提示する。このとき、ラベリング支援機能７０は、推奨ツールパネルに、ツールセットに含まれるマグネット選択、２Ｄブラシ、フリーハンド、自動補間等の各ラベリングツールおよび関連ツールの注釈部分を列挙することで、ユーザは該当するツールを直接クリックして上記ツールのアプリケーションを呼び出して使用することができる。
【0069】
また、例えば、検索機能３０は、受け付けられたラベリングタスクに対応する既存ワークフローが存在することを検索したとする。即ち、検索機能３０は、受け付けられたラベリングタスクと同じ種別のラベリングタスクに対して先に生成され保存されたワークフローを見つけたとする。この場合に、ラベリング支援機能７０は、上記既存ワークフローを利用して、ラベリングタスクの実行を支援する。
【0070】
具体的には、ラベリング支援機能７０は、既存ワークフローを参照し、上記既存ワークフローのフローとツールに従って、受け付けられたラベリングタスクを実行することができる。また、ラベリング支援機能７０は、既存ワークフローをユーザに通知し、上記既存ワークフローと同一又は部分的に同一のフローを採取するか否かをユーザに選択させるようにしてもよい。
【0071】
例えば、既存ワークフローが、図９に示すように表示部分とラベリング部分との２つの部分を含むワークフローであるとする。この場合に、ラベリング支援機能７０は、まず、医用画像のデータを呼び出して表示する際に、ワークフローにおける表示部分を先に適用する。次に、ラベリング支援機能７０は、表示部分における最終的な操作結果としてのウィンドウ幅／ウィンドウレベル、ズームスケール、最大ウィンドウ等の情報を抽出し、これらのパラメータの情報に応じて画像の表示状態を自動的に調整する。このように、ワークフローは、表示状態を調整する過程を示す表示部分を含み、ラベリング支援機能７０は、検索機能３０が既存ワークフローを検索した場合に、既存ワークフローにおける表示部分の最終的な表示結果に応じて、表示された医用画像の表示状態を調整する。
【0072】
図１１は、ワークフローにおける表示部分を適用した場合の表示例を示す模式図である。図１１に示すように、適用前の画面は、ラベリングタスクを受け付けた後にスクリーン上にデータを初期呼び出しする際に表示した初期画面である。図１１に示す例では、適用前の画面に対してウィンドウ幅／ウィンドウレベル４００／４０、最大化アキシャルビュー、およびズーム２１４％の処理を行った後、表示画面が自動的に適用後の画像となる。適用後の画像は、ユーザのラベリングにとってより有効であり、ユーザが画像状態を調整する手間を省くことができ、ラベリングの効率向上させることができる。
【0073】
また、ラベリング支援機能７０は、既存ワークフローにおけるラベリング部分の内容に応じて、ラベリングツールを用いてラベリングを行うフローチャートを形成して表示してもよい。具体的には、ワークフローは、ラベリングツールを用いてラベリングを行う過程を示すラベリング部分を含み、ラベリング支援機能７０は、検索機能３０が既存ワークフローを検索した場合に、既存ワークフローにおけるラベリング部分に従って、ラベリングツールを用いてラベリングを行うフローチャートを形成して表示する。
【0074】
図１２は、ワークフローにおけるラベリング部分を適用した場合の表示例を示す模式図である。例えば、医用画像処理装置１００（ここで、医用画像処理装置１００はユーザの端末でもよい）の画面（ディスプレイ２０３）に、図１２の示すようなセグメンテーションワークフローを表示し、ユーザによるセグメンテーションラベリングの過程を案内する。ユーザは、上記セグメンテーションワークフローに示すように、スライス画像毎にフリーハンドツールを使用してラベリングを行った後に、自動補間ツールを実行させることで自動的に補間を行い、最後にブラシツール又はフリーハンドツールを使用して補正することができる。ユーザは、上記セグメンテーションワークフローにおける一部のフローを選択してラベリングしてもよく、例えば、最後の補正ステップを省略する。ユーザは、上記セグメンテーションワークフローのルールに従わずに、検索機能３０に検索されたツールセットからラベリングツールを選択してラベリングを行ってもよい。
【0075】
検索機能３０は、同一ラベリングタスクについて利用可能なツールセットと既存ワークフローの両方を検索した場合に、両者を全てユーザに推奨してもよいし、ワークフローがない場合にのみ利用可能なツールセットを推奨してもよい。
【0076】
また、ツールセット作成機能５０がツールセットを作成した場合に、作成されたツールセットは、同一ラベリングタスクの後期ラベリングに使用されてもよいし、保存して別のラベリングタスクに使用されてもよい。
【0077】
また、医用画像処理装置１００は、生成されたツールセット又はワークフローを保存して製品として他の装置に送信して使用してもよい。このような場合に、ラベリング支援機能７０を省略してもよい。
【0078】
次に、第１の実施形態に係る医用画像処理装置１００の全体処理について説明する。図１３は、第１の実施形態に係る医用画像処理装置１００による処理（医用画像処理方法）の手順を示すフローチャートである。
【0079】
まず、ユーザは、ヒューマンマシンインタフェースを介してラベリングタスクを定義する（ステップＳ１３０１）ことにより、受付機能２０が上記ラベリングタスクの定義を受け付けてラベリングの過程の受け付けを開始する。次に、ステップＳ１３０２において、医用画像データがロードされて表示される。このとき、検索機能３０は、受付機能２０に受け付されたラベリングタスクに基づいて、取得された医用画像のラベリングタスクに対応する利用可能なツールセットと既存ワークフローを検索する（ステップＳ１３０３）。
【0080】
検索機能３０が利用可能なツールセット又はワークフローを見つけた場合（ステップＳ１３０３：ＹＥＳ）、ラベリング支援機能７０は、利用可能なツールセット又は既存ワークフローを適用して医用画像のラベリングを支援する（ステップＳ１３０７）。
【0081】
一方、検索機能３０が利用可能なツールセットもワークフローも見つけていない場合（ステップＳ１３０３：ＮＯ）、ステップＳ１３０４において、ツールセット作成機能５０は、ユーザ操作中に、目標構造の部分ラベリングされた局所の特徴に基づいて、医用画像のラベリングタスクに対応する利用可能なツールセットを作成する。そして、ステップＳ１３０５において、ワークフロー作成機能６０は、ユーザ操作中に、ユーザ操作、ツールおよび操作結果を記録し、医用画像のラベリング過程を示すワークフローを作成する。ここで、ステップＳ１３０４で作成されたツールセットを後続のラベリング過程中に適用しても良い。その場合に、ワークフローの作成には、ユーザがステップＳ１３０４で作成されたツールセットから選択したツールを利用し実行された操作を含むことができる。続いて、ステップＳ１３０６において、作成されたツールセットとワークフローを保存してラベリング処理を終了する。
【0082】
従来のラベリング作業では、利用可能な全てのツールをユーザに提供し、マニュアル上に各ツールが適したセグメンテーション種類等の情報を記述していた。しかし、特定のセグメンテーション作業に対するツールセットがないので、ユーザが自ら探して選択する必要がある。一方、本実施形態では、画像の特徴に対してツールセットを作成する。ここで、画像特徴とツールとの間の関連を予め設定してもよく、特徴が特定の条件を満たすか否かに基づいてツールセットを選択してもよい。これにより、本実施形態では、より適切なツールを推奨することができ、また、ユーザがラベリングする時間を短縮し、ラベリングの効率を向上させることができる。
【0083】
また、従来技術では、ユーザが人工的にツールを適用して画像に対してセグメンテーション等の処理を行っていたが、人工的な操作には随意性があり、固定なパターンではなく、誰も使い慣れたワークフローを有する可能性があった。一方、本実施形態では、ラベリング過程中の各ステップを記録してワークフローを作成する。これにより、以降、同じ種類の画像ラベリング処理に対して、作成されたワークフローをそのまま適用することができ、ラベリングの効率を向上することができる。
【0084】
特に、本実施形態では、ワークフローを作成し、既存ワークフローを利用して画像の初期表示を自動的に設置することにより、あるラベリング目標に対して大量のデータラベリングを行う場合、ユーザの操作時間を大幅に短縮することができる。例えば、従来の画像状態調整には、少なくとも、（Ｉ）データのロード→（ＩＩ）ウィンドウ幅／ウィンドウレベルの調整→（ＩＩＩ）最大化アキシャルビューに調整→（ＩＶ）ズームの実行という４つのステップが必要である例について、本実施形態を適用した場合、（Ｉ）データのロードというステップだけで、従来の（Ｉ）～（ＩＶ）実行後の表示状態に達することができ、ステップ（ＩＩ）～（ＩＶ）の実行時間が節約される。これにより、本実施形態では、ユーザのラベリングの効率を向上することができる。
【0085】
また、第１の実施形態によれば、ユーザにより定義されたラベリングタスクに基づいて適切なツールセット及びワークフローを自動的に推奨し、固定的なフローでユーザの操作をガイドする必要がないため、ラベリング作業の支援をより柔軟にすることができ、同様にユーザのラベリングの効率を向上することができる。
【0086】
（第１の実施形態の変形例）
本実施形態は、上述した第１の実施形態の構成に限定されるものではなく、種々の変形も可能である。
本実施形態は、上述した第１の実施形態の構成に限定されるものではなく、種々の変形も可能である。
【0087】
例えば、第１の実施形態の構成において、医用画像処理装置１００は、検索機能３０により利用可能なツールセット又は既存ワークフローを検索するが、例えば、既存の利用可能なツールセット及びワークフローが存在しないとする。この場合に、かつ医用画像処理装置１００がツールセット又はワークフローを作成してから保存して製品として他の装置に提供し、他の装置でツールセット又はワークフローを適用する場合に、検索機能３０及びラベリング支援機能７０は省略してもよい。検索機能３０及びラベリング支援機能７０を省略した場合、図１３のフローチャートにおいて、ステップＳ１３０３及びＳ１３０７は省略される。
【0088】
また、ツールセットの使用及び作成は、ワークフローの使用及び作成とは独立してもよく、即ち、ワークフローにはツールセットを参照する過程がなくてもよい。
【0089】
このように、例えば、医用画像処理装置１００は、ツールセットの作成に関する構成のみを有しており、解析機能４０及びワークフロー作成機能６０が省略される。このような場合に、図１３のフローチャートにおいて、ステップＳ１３０５は省略される。
【0090】
また、例えば、医用画像処理装置１００はワークフローの作成に関する構成のみを有しており、ワークフロー作成機能６０が省略されており、このような場合に、図１３のフローチャートにおいて、ステップＳ１３０４は省略される。
【0091】
（第２の実施形態）
図１４～図２０を参照して、第２の実施形態について説明する。第２の実施形態に係る医用画像処理装置１００ａは、第１の実施形態と比較して、主に最適化機能８０をさらに有している点で異なる。以下、主に相違点について説明し、第１の実施形態と同一又は類似の部分に同一の符号を付し、重複する説明は適宜省略する。
図１４～図２０を参照して、第２の実施形態について説明する。第２の実施形態に係る医用画像処理装置１００ａは、第１の実施形態と比較して、主に最適化機能８０をさらに有している点で異なる。以下、主に相違点について説明し、第１の実施形態と同一又は類似の部分に同一の符号を付し、重複する説明は適宜省略する。
【0092】
図１４は、第２の実施形態に係る医用画像処理装置１００ａの機能構成を示すブロック図である。
【0093】
図１４に示すように、医用画像処理装置１００ａの処理回路２０５は、取得機能１０と、受付機能２０と、検索機能３０と、解析機能４０と、ツールセット作成機能５０と、ワークフロー作成機能６０と、ラベリング支援機能７０と、最適化機能８０とを有している。
【0094】
ここで、図１４に示す処理回路２０５の構成要素である取得機能１０、受付機能２０、検索機能３０、解析機能４０、ツールセット作成機能５０、ワークフロー作成機能６０、ラベリング支援機能７０、最適化機能８０が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で医用画像処理装置１００ａの記憶回路２０４に記録されている。
【0095】
次に、処理回路２０５が実行する取得機能１０、受付機能２０、検索機能３０、解析機能４０、ツールセット作成機能５０、ワークフロー作成機能６０、ラベリング支援機能７０、最適化機能８０の処理内容について説明する。
【0096】
取得機能１０は、被検体を走査することにより収集され、ラベリングが必要な医用画像を画像収集装置から取得する。上記医用画像は、各種ラベリングツールのラベリング対象である。即ち、取得機能１０は、ラベリング対象としての医用画像を取得する。取得機能１０は、「取得部」の一例である。
【0097】
受付機能２０は、取得機能１０に取得された医用画像に対して行われたラベリングタスクのラベリング過程を受け付ける。受付機能２０は、「受付部」の一例である。
【0098】
検索機能３０は、受付機能２０に受け付されたラベリングタスクに基づいて、取得された医用画像のラベリングタスクに対応する利用可能なツールセットと既存ワークフローを検索する。検索機能３０は、「検索部」の一例である。
【0099】
解析機能４０は、受付機能２０がラベリングタスクのラベリング過程を受け付けている間に解析医用画像におけるラベリング目標としての目標構造の局所特徴を解析する。これにより、ツールセット作成機能５０は、解析機能４０に解析された局所特徴に基づいて、医用画像のラベリングタスクに対応する利用可能なツールセットを作成する。解析機能４０は、「解析部」の一例であり、ツールセット作成機能５０は、「ツールセット作成部」の一例である。
【0100】
ワークフロー作成機能６０は、受付機能２０に受け付けられたラベリングタスクのラベリング過程を記録し、医用画像のラベリング過程を示すワークフローを作成する。ワークフロー作成機能６０は、「ワークフロー作成部」の一例である。
【0101】
また、ラベリング支援機能７０は、ツールセットとワークフローを利用してラベリングタスクを支援することができる。例えば、ラベリング支援機能７０は、検索機能３０が利用可能なツールセットを検索した場合に、ラベリングタスクに対応する利用可能なツールセットを候補ラベリングツールとして出力する。また、ラベリング支援機能７０は、ラベリングタスクに対応するワークフローに基づいて医用画像のラベリングを支援し、医用画像のラベリングの過程の少なくとも一部を上記ワークフローに一致させる。ラベリング支援機能７０は、「ラベリング支援部」の一例である。
【0102】
第２の実施形態の取得機能１０、受付機能２０、検索機能３０、解析機能４０、ツールセット作成機能５０、ワークフロー作成機能６０およびラベリング支援機能７０の構成及び動作は、第１の実施形態とほぼ同様であるので、本実施形態では詳細な説明を省略する。
【0103】
また、最適化機能８０は、ツールセットを最適化するためのツールセット最適化モジュール８１と、ワークフローを最適化するためのワークフロー最適化モジュール８２とを含む。
【0104】
ここで、解析機能４０は、受付機能２０がラベリングタスクのラベリング過程を受け付けることが終了した後に、目標構造の全体特徴を解析し、ツールセット最適化モジュール８１は、さらに、目標構造の全体特徴に基づいて、既存の利用可能なツールセットを最適化する。例えば、ラベリングタスクが完了した後、ツールセット最適化モジュール８１は、ラベリングタスクのラベリング結果における目標構造の全体特徴に基づいて、利用可能なツールセットには無い候補ツールを評価する。そして、ツールセット最適化モジュール８１は、当該候補ツールを評価した結果、完成したラベリングタスクに適すると判定されたツールを、上記ラベリングタスクに対応する利用可能なツールセットに追加することで、当該利用可能なツールセットを最適化する。ツールセット最適化モジュール８１は、「ツールセット最適化部」の一例である。
【0105】
以下、肺部をセグメンテーションするラベリングタスクを例にして説明する。以下の例では、当該セグメンテーションラベリングタスクに用いられるツールセット、又は、当該セグメンテーションラベリングタスクの過程で生成されたツールセットには、自動補間ツールが含まれていないこととする。
【0106】
セグメンテーションラベリングタスクにより、図１５に示すような目標構造としての３次元肺部画像が得られたとする。この場合、ツールセット最適化モジュール８１は、当該目標構造の形状特徴を抽出し、当該形状特徴に基づいて、このような肺部セグメンテーションラベリングタスクに自動補間ツールが適するか否かを判定する。ラベリングタスクの実行時に自動補間ツールが選択されると、ユーザは、いくつかの、例えば、図１５中のスライス画像Ａ１～Ａ７（キースライス）をセグメンテーションした後、自動補間ツールによって他の部分におけるセグメンテーション結果を生成する。
【0107】
例えば、肺部は比較的規則的な形状であるため、肺部画像を複数の区域に分割できる。そこで、ユーザが、手動で、肺部画像について、スライス画像Ａ１～Ａ７をセグメンテーションした後、自動補間ツールにより他の区域を生成できる。例えば、図１５において、ユーザが、手動で、肺部の右肺の画像について、スライス画像Ａ１～Ａ７をセグメンテーションした後、自動補間ツールにより、各スライス画像Ａ１～Ａ７の間の区域を補間することで、右肺の他の区域の画像を生成できる。あるいは、図１５において、ユーザが、手動で、肺部の右肺の画像について、スライス画像Ａ１～Ａ７をセグメンテーションした後、自動補間ツールにより、各スライス画像Ａ１～Ａ７を用いて左肺を補間することで、左肺の画像を生成できる。
【0108】
図１６は、ツールセット最適化処理において自動補間ツールの適用性を判定するフローチャートである。図１６に示すように、ラベリングタスクが終了した後（ステップＳ１６０１）、ツールセット最適化モジュール８１は、ラベリング結果としての全体領域に対して形状特徴を抽出する（ステップＳ１６０２）。続いて、ステップＳ１６０３において、ツールセット最適化モジュール８１は、抽出された形状特徴に基づいて、ラベリング結果が規則的で、かつ当該ラベリング結果を１つ又は複数のサブ領域に分割可能であるか否かを判定する。ここで、ツールセット最適化モジュール８１が、ラベリング結果が規則的で、かつ当該ラベリング結果を複数のサブ領域に分割し、例えば図１５のように肺部画像を左右２つのサブ領域に分割することができると判定したとする（ステップＳ１６０３：ＹＥＳ）。この場合、ツールセット最適化モジュール８１は、自動補間ツールを作成済みのツールセットに追加して更新する（ステップＳ１６０４）。一方、ツールセット最適化モジュール８１が、ラベリング結果が不規則的であるか、又は当該ラベリング結果を１つ又は複数のサブ領域に分割することができないと判定したとする（ステップＳ１６０３：ＮＯ）。この場合、ツールセット最適化モジュール８１は、次の候補ツールについて判定する（ステップＳ１６０５）。
【0109】
このように、本実施形態では、複数の候補ツールを判定してツールセットを更新することができる。候補ツールは、ツールセット作成機能５０がツールセットを作成する際に適否を判断されたツールを選択してもよいし、ツールセット作成機能５０がツールセットを作成する際に適否を判定されていないツールを選択してもよい。
【0110】
また、解析機能４０がラベリングタスクの目標構造の全体特徴を解析し、ツールセット最適化モジュール８１に供給することで、ツールセット最適化モジュール８１が、当該全体特徴に基づいて、上記ツールをツールセットに追加する必要があるか否かを判定するようにしてもよい。
【0111】
図１４の説明に戻り、ワークフロー最適化モジュール８２は、既存ワークフローを補正することによりワークフローを最適化する。具体的には、解析機能４０は、受付機能２０に受け付けられたラベリングタスクのラベリング結果の全体特徴を解析し、ワークフロー最適化モジュール８２は、既存のワークフローを補正することにより、ワークフローを最適化する。ワークフロー最適化モジュール８２は、「ワークフロー最適化部」の一例である。
【0112】
ワークフロー最適化モジュール８２が最適化を行う方法は特に限定されず、ワークフロー最適化モジュール８２は、解析機能４０に解析されたラベリング結果の全体特徴に基づいて、ワークフローに用いられるパラメータを補正してもよい。例えば、ワークフロー最適化モジュール８２は、ラベリング結果の特徴、又は、本分野の業界標準等の基準に基づいて、ワークフローにおける表示パラメータ又はラベリングパラメータを補正する。
【0113】
また、本実施形態では、ワークフローに新たな操作を追加し、例えば新たなラベリングツールの使用操作を追加してラベリングの精度をさらに向上させてもよい。あるいは、ワークフローにおける一部の操作に対して、例えば、原操作の代わりにより正確且つ先進的な新たなツールの操作を使用してもよい。
【0114】
ワークフローの最適化の例示として、例えば、ワークフロー最適化モジュール８２は、ラベリング結果の特徴解析に基づいて、ワークフローにおける表示部分のツール使用結果としての各表示位置決めパラメータに対してさらに最適化を行ってもよい。
【0115】
【0116】
ワークフロー最適化モジュール８２は、図１７Ａに示すように、ユーザによりラベリングされた肝臓のラベリング結果と、取得機能１０によりラベリング対象として取得された医用画像の原画像とを比較することで、原画像における肝臓の領域（即ち、図１７Ａにおけるラベリング目標の原画像）を決定する。このとき、ワークフロー最適化モジュール８２は、ワークフローにおける表示部分の表示状態として、例えば、最適なウィンドウ幅／ウィンドウレベルで、原画像における肝臓の領域を表示することにより、ユーザのラベリングにとって、より有効である。
【0117】
そこで、ワークフロー最適化モジュール８２は、ラベリング目標の全体領域において、図１７Ｂに示すような階調ヒストグラムを解析する。例えば、ワークフロー最適化モジュール８２は、階調ヒストグラムにおける画素の最小値Ｉ_ｍｉｎと画素の最大値Ｉ_ｍａｘとを取得し、例えば下記の式（１）により、最適なウィンドウ幅／ウィンドウレベルとして、ウィンドウ幅／ウィンドウレベルを算出する。そして、ワークフロー最適化モジュール８２は、既存のワークフローにおけるウィンドウ幅／ウィンドウレベルを、算出されたウィンドウ幅／ウィンドウレベルに切り替える。
【0118】
【数1】
【0119】
ここで、ｌｅｆｔとｒｉｇｈｔは、変数であり、ｓｌｏｐｅは、傾きを示し、ｉｎｔｅｒｃｅｐｔは、切片を示す。
【0120】
これにより、更新後のワークフローは、ラベリング目標が存在する領域をまとめて表示することができ、ラベリングにとって、より有効である。
【0121】
また、ワークフローは、複数の操作ステップで構成されており、ワークフロー最適化モジュール８２は、解析機能４０に解析されたラベリング結果の全体特徴に基づいて、ワークフローに新たな操作ステップを追加してもよい。例えば、ワークフロー最適化モジュール８２は、ワークフローのラベリング部分に対して、いくつかのラベリングツールを候補ツールとして選択し、ラベリング目標の全体特徴に基づいて、候補ツールの追加使用の適否を判定する。ワークフロー最適化モジュール８２は、候補ツールの追加使用が適切であると判定した場合に、当該候補ツールの操作をワークフローに追加する。
【0122】
例えば、原ワークフローが、図１８に示すような複数の操作ステップからなる構成であるとする。この場合に、ワークフロー最適化モジュール８２は、自動補間ツールを候補ツールとして判断を行い、自動補間ツールが記録されていないワークフローのラベリングタスクのラベリング結果に対して形状特徴を抽出する。このとき、ワークフロー最適化モジュール８２は、形状が規則的で、かつ当該ラベリング結果としての全体領域を１つ又は複数のサブ領域に分割可能であるか否かを判定する。ここで、ワークフロー最適化モジュール８２は、形状が規則的で、かつ当該ラベリング結果としての全体領域を１つ又は複数のサブ領域に分割可能であると判定した場合に、自動補間ツールが使用にも適すると判定する。この場合、ワークフロー最適化モジュール８２は、図１８の右側に示すように、最適化後のワークフローとして、図１８の左側に示す最適化前のワークフローの最後に自動補間操作を挿入する。
【0123】
また、ワークフローは、複数の操作ステップで構成されており、ワークフロー最適化モジュール８２は、ワークフローにおける一部の操作ステップを新たな操作ステップに置き換えてもよい。例えば、ワークフロー最適化モジュール８２は、ワークフローにおける機能的等価又は類似の操作ステップを置き換え、ある操作ステップを性能がよりよい操作ステップに置き換えてワークフローを最適化する。
【0124】
具体的には、ワークフローは、表示範囲を調整するための操作ステップを含み、ワークフロー最適化モジュール８２は、表示範囲を調整するための操作ステップを、ランドマークの検出により表示範囲を特定する操作ステップに置き換える。例えば、原ワークフローが、図１９に示すような構成である場合、ワークフロー最適化モジュール８２は、ワークフローの本来のズーム操作と並進操作をランドマーク検出及び調整操作に置き換えることもできる。具体的には、ワークフロー最適化モジュール８２は、図１９の右側に示すように、最適化後のワークフローとして、図１９の左側に示す最適化前のワークフローにおけるユーザがズームツールと並進ツールを使用して表示状態を手動で調整するステップを、ランドマークツールが医用画像に対して自動的にランドマークを検出し、ランドマークに基づいて表示パラメータを自動的に算出するステップに置き換える。
【0125】
ランドマークツールの具体的な使用方法は、従来技術における既に成熟した様々な利用方法を参照することができる。例えば、本実施形態では、医用画像に対して複数のランドマークを検出し、ランドマークに基づいて、全てのランドマークを含み、かつ範囲が最も小さい範囲枠を設定し、範囲枠の座標情報と中心位置情報とに基づいてビューの中心位置情報を算出することで、原画像に対してズーム及び並進すべきパラメータ値を特定することができる。このように、本実施形態では、ワークフローを適用した場合に、適切なズーム及び並進のパラメータ値を自動的に算出して適切なビューに自動的に調整することができる。
【0126】
以下、第２の実施形態に係る医用画像処理装置１００ａの全体処理について説明する。図２０は、第２の実施形態に係る医用画像処理装置１００ａによる処理（医用画像処理方法）の手順を示すフローチャートである。
【0127】
まず、ユーザは、ヒューマンマシンインタフェースを介してラベリングタスクを定義する（ステップＳ２００１）ことにより、受付機能２０が当該ラベリングタスクの定義を受け付けてラベリングの過程の受け付けを開始する。次に、ステップＳ２００２において、医用画像データがロードされて表示され、検索機能３０は、受付機能２０に受け付されたラベリングタスクに基づいて、取得された医用画像のラベリングタスクに対応する利用可能なツールセットと既存ワークフローを検索する（ステップＳ２００３）。
【0128】
ここで、検索機能３０が利用可能なツールセット又はワークフローを検索した場合（ステップＳ２００３：ＹＥＳ）、ラベリング支援機能７０は、利用可能なツールセット又は既存ワークフローを適用して医用画像のラベリングを支援する（ステップＳ２００９）。そして、適用の過程中又は適用の終了後、ツールセット最適化モジュール８１は、ラベリング目標の特徴に基づいてツールセットを最適化し、ワークフロー最適化モジュール８２は、既存ワークフローを最適化する（ステップＳ２０１０）。これにより、ツールセット又はワークフローが更新される（ステップＳ２０１１）。
【0129】
一方、検索機能３０が利用可能なツールセットもワークフローも検索していない場合（ステップＳ２００３：ＮＯ）、ステップＳ２００４において、ツールセット作成機能５０は、ユーザ操作中に、目標構造の部分ラベリングされた局所の特徴に基づいて、医用画像のラベリングタスクに対応する初期ツールセットを作成する。そして、ステップＳ２００５において、ツールセット最適化モジュール８１は、ラベリングタスクが終了した後に、ラベリング結果としての目標構造の全体特徴を解析し、当該全体特徴に基づいて初期ツールセットを最適化する。
【0130】
また、ステップＳ２００４と並行して、ステップＳ２００６において、ワークフロー作成機能６０は、ユーザ操作中に、ユーザ操作、ツールおよび操作結果を記録し、医用画像のラベリング過程を示す初期ワークフローを作成する。ここで、ステップＳ２００４で作成されたツールセットを後続のラベリング過程中に適用することもでき、ワークフローの作成中に、ユーザによりステップＳ２００４で作成されたツールセットから選択されたツールを利用して行われた操作を含むようにしてもよい。続いて、ステップＳ２００７において、ラベリングタスクが終了した後に、ワークフロー最適化モジュール８２は、初期ワークフローを最適化し、最適化されたツールセットとワークフローを保存してラベリング処理を終了する（ステップＳ２００８）。
【0131】
第２の実施形態によれば、第１の実施形態と同様な效果を得ることができる。また、ラベリングタスクが終了した後でも、ラベリング結果を利用してツールセットを最適化するができるので、それ以降、更新後のツールセットを利用して類似のラベリングタスクを実行する際に、より適切なツールを推奨することができ、ラベリングの効率をさらに向上させることができる。
【0132】
また、第２の実施形態によれば、ワークフローを最適化して、ユーザのラベリングの効率を向上させることができ、例えば、自動補間ツールを有効に利用することで、ユーザのラベリング時間を大幅に短縮してラベリングの効率を向上させることができる。さらに、ツールセット及びワークフローを自動的に最適化できるので、追加のＷｉｚａｒｄを必要としなくなる。
【0133】
上述した実施形態に係る医用画像処理装置の各構成要素は、機能の・概念的なものであり、物理的には、必ずしも図示するように構成される必要はない。すなわち、医用画像処理装置の分散・統合の具体的な形態は、図示のものに限定されず、その全部または一部を各種の負荷や使用状況等に応じて任意の単位で機能のまたは物理的に分散・統合的に構成することができる。さらに、医用画像処理装置において行われる各処理・機能の全部または任意の一部は、ＣＰＵおよび該ＣＰＵによって解析・実行されるプログラムによって実現され得、あるいは、配線ロジックに基づいたハードウェアとして実現され得る。
【0134】
また、上述した実施形態で説明した医用画像処理装置は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、インターネット等のネットワークを介して配信され得る。また、このプログラムは、さらに、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータ読み取り可能な非一時的な記録媒体に記録されて、コンピュータにより記録媒体から読み出されて実行されることができる。
【0135】
また、医用画像処理装置に生成されたツールセットやワークフローを製品として記憶媒体等に記録して輸送し、その製品を他のラベリング装置にロードして使用するようにしてもよい。
【0136】
以上説明した少なくとも１つの実施形態によれば、ユーザのラベリングの効率を向上させることことができる。
【0137】
いくつかの実施形態について説明したが、これらの実施形態は例として提示されたものであり、本発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更が可能である。これらの実施形態およびその変形は、発明の範囲および要旨に含まれており、同様に特許請求の範囲に記載された発明及びその均等の範囲にも含まれている。
【符号の説明】
【0138】
１０ 取得機能
２０ 受付機能
４０ 解析機能
５０ ツールセット作成機能
６０ ワークフロー作成機能
１００、１００ａ 医用画像処理装置
２０ 受付機能
４０ 解析機能
５０ ツールセット作成機能
６０ ワークフロー作成機能
１００、１００ａ 医用画像処理装置
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】