(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-11
(45)【発行日】2024-07-22
(54)【発明の名称】対話的な反復的画像注釈付け
(51)【国際特許分類】
G06T 7/00 20170101AFI20240712BHJP
G06N 20/00 20190101ALI20240712BHJP
G09G 5/00 20060101ALI20240712BHJP
G09G 5/37 20060101ALI20240712BHJP
【ＦＩ】
G06T7/00 350B
G06N20/00 130
G06T7/00 U
G09G5/00 510A
G09G5/00 510H
G09G5/37 300
G09G5/37 600
【請求項の数】
14
(21)【出願番号】P 2021527965
(86)(22)【出願日】2019-11-15
(65)【公表番号】
(43)【公表日】2022-01-20
(86)【国際出願番号】 EP2019081422
(87)【国際公開番号】W WO2020104301
(87)【国際公開日】2020-05-28
【審査請求日】2022-11-10
(31)【優先権主張番号】18207896.4
(32)【優先日】2018-11-22
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ウェーゼ ユルゲン
(72)【発明者】
【氏名】ブラッフェルト トーマス
(72)【発明者】
【氏名】ブロシュ トム
(72)【発明者】
【氏名】バルシュドルフ ハンス
【審査官】藤原 敬利
(56)【参考文献】
【文献】国際公開第２０１８／１０４３４２（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／０２５６０５２（ＵＳ，Ａ１）
【文献】特表２０１１－５０１２５２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １／００－１８／４０
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｖ １０／００－２０／９０
Ｇ０９Ｇ ５／００、 ５／３６
(57)【特許請求の範囲】
【請求項1】
画像データの注釈付けのためのシステムであって、該システムは、注釈付けされるべき画像データにアクセスするための入力インターフェースと、
ユーザにより操作可能なユーザ入力装置からユーザ入力データを受信するためのユーザ入力インターフェース及び当該システムの出力を視覚化するためにディスプレイに表示データを供給する表示出力インターフェースを有するユーザインターフェースサブシステムと、
前記ユーザインターフェースサブシステムを使用して前記ユーザが前記画像データに反復的に注釈付けすることを可能にするユーザインターフェースを確立するプロセッサと、
を有し、前記反復的に注釈付けすることの反復は、
前記プロセッサが現在の画像データ部分のためのラベルを以前の画像データ部分のユーザ検証済ラベルに基づいて生成する動作と、
－ 前記ユーザインターフェースを介し、前記ユーザが前記生成されたラベルを検証及び補正して前記現在の画像データ部分のためのユーザ検証済ラベルを得ることを可能にする動作と
を有し、
前記プロセッサが、更に、
前記以前の画像データ部分のユーザ検証済ラベルを前記現在の画像データ部分に伝搬させるラベル伝搬アルゴリズムの出力、及びユーザ検証済ラベル及び画像データに対して訓練されると共に前記現在の画像データ部分の画像データに適用される画像データのラベル付けのための機械学習分類器の出力を重み付けにより合成することにより、前記現在の画像データ部分のためのラベルを生成し、
前記機械学習分類器を前記現在の画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練し、再訓練された機械学習分類器を得る、
システム。
【請求項2】
前記プロセッサが、前記機械学習分類器を、反復的な前記注釈付けの反復の間に又は異なる画像データの反復的な注釈付けの間に再訓練する、請求項１に記載のシステム。
【請求項3】
前記プロセッサが、前記重み付けを、前記画像データの反復的な前記注釈付けの間に又は異なる画像データの反復的な注釈付けの間に調整する、請求項１に記載のシステム。
【請求項4】
前記プロセッサが、前記重み付けを、前記ラベル伝搬アルゴリズム及び／又は前記機械学習分類器の注釈付け精度を定量化する尺度に基づいて決定する、請求項１又は請求項３に記載のシステム。
【請求項5】
前記尺度が、前記注釈付け精度を、ｉ）前記ラベル伝搬アルゴリズムの出力及び／又は前記機械学習分類器の出力と、ii）前記ユーザが補正したラベルとの間の差に基づいて定量化する、請求項４に記載のシステム。
【請求項6】
前記プロセッサが、前記重み付けを、前記ラベル伝搬アルゴリズムの出力に対して前記機械学習分類器の出力の重み付けを増加させることにより調整する、請求項３に記載のシステム。
【請求項7】
前記プロセッサが、前記機械学習分類器の出力の重み付けを、反復的な前記注釈付けの開始時にゼロで又は実質的にゼロで開始する、請求項６に記載のシステム。
【請求項8】
前記重み付けが、画像データ部分毎の全体的重み付け及び／又はピクセル、ボクセル若しくは他の画像部分領域毎の局部的重み付けを有する、請求項１から７の何れか一項に記載のシステム。
【請求項9】
前記ラベル伝搬アルゴリズムの出力及び／又は前記機械学習分類器の出力が、確率マップ又は輪郭を画定する１以上の制御点である、請求項１から８の何れか一項に記載のシステム。
【請求項10】
前記ラベル伝搬アルゴリズムが、前記以前の画像データ部分のユーザ検証済ラベルを前記現在の画像データ部分に、前記以前の画像データ部分と前記現在の画像データ部分との間の画像データの類似性に基づいて伝搬させる、請求項１から９の何れか一項に記載のシステム。
【請求項11】
前記ラベル伝搬アルゴリズムがパッチベースのラベル伝搬アルゴリズムである、請求項１０に記載のシステム。
【請求項12】
請求項１から１１の何れか一項に記載のシステムを有する、ワークステーション又は画像化装置。
【請求項13】
画像データの注釈付けのためのコンピュータ実施方法であって、該方法は、注釈付けされるべき画像データにアクセスするステップと、
ユーザインターフェースを使用してユーザが前記画像データに反復的に注釈付けすることを可能にするステップと、
を有し、反復的な前記注釈付けの反復が、
現在の画像データ部分のためのラベルを、以前の画像データ部分のユーザ検証済ラベルに基づいて生成するステップと、
前記ユーザインターフェースを介して、前記ユーザが前記生成されたラベルを検証及び補正して前記現在の画像データ部分のためのユーザ検証済ラベルを得ることを可能にするステップであって、前記現在の画像データ部分のためのラベルが、前記以前の画像データ部分のユーザ検証済ラベルを前記現在の画像データ部分に伝搬させるラベル伝搬アルゴリズムの出力、及びユーザ検証済ラベルに対して訓練されると共に前記現在の画像データ部分の画像データに適用される画像データのラベル付けのための機械学習分類器の出力を重み付けにより合成することにより生成される、ステップと、
前記機械学習分類器を前記現在の画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練し、再訓練された機械学習分類器を得るステップと
を有する、コンピュータ実施方法。
【請求項14】
プロセッサシステムに請求項１３に記載のコンピュータ実施方法を実行させるための命令を表す一時的又は非一時的データを有する、コンピュータ読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば医療画像内に解剖学的構造を描くための、対話的画像注釈付けのためのシステム及びコンピュータ実施方法に関する。本発明は、更に、コンピュータ実施方法を実行するための命令を有するコンピュータ読取可能な媒体に関する。
【0002】
本発明は、更に、上記システムを有するワークステーション及び画像化装置に並びにプロセッサシステムに、上記コンピュータ実施方法を実行させる命令を有するコンピュータ読取可能な媒体にも関する。
【背景技術】
【0003】
画像注釈付けは、限定されるものではないが医療分野を含む種々の分野において広く使用されている。医療分野の例において、画像注釈付けは、例えば解剖学的構造の境界を描くことにより、及び境界により囲まれるボクセルのラベル付けによる等により、しばしば解剖学的構造を識別するために使用される。このような画像注釈付けは、セグメンテーション又は描画とも称される。医療分野以外でも、他の分野における画像注釈付けの種々の使用が存在する。
【0004】
画像注釈付けを実行することが知られている。しかしながら、完全に自動的な画像注釈付けは、難題であり、しばしば所要の精度を生じない。例えば、医療分野において、放射線治療計画、術前計画等の臨床的アプリケーションは、信頼性のある結果を生じさせるために十分に正確な注釈付けを必要とし得る。近年、モデルベースのセグメンテーション又は深層（機械）学習アプローチ等の学習ベースの方法が、自動画像注釈付けに対する大きな有望性を示している。しかしながら、これらの方法は、時間が掛かり面倒な、従って得るのが高価となる大量の手動ラベル付けを典型的に必要とする。加えて、事前に訓練されたアルゴリズムは最も普通な臨床的作業に対してしか提供され得ず、画像注釈付けが効率的且つ正確に実行されることを要する多様な更なる作業が存在する。
【0005】
例えば、Pace,D.F.他による文献“Interactive Whole-Heart Segmentation in Congenital Heart Disease”, MICCAI 2015, pp. 80 - 88に記載されているように、画像注釈付けを半自動的に実行することも知られている。この技術は、大量の手動でラベル付けされるデータの必要性は回避するが、このような画像注釈付けは、良く訓練された学習ベースのアプローチよりも正確ではなく、及び／又は十分に大きな量の画像データに対して訓練される学習ベースのアプローチと比較してユーザの一層多い対話時間を要し得る。
【0006】
米国特許出願公開第２０１８／０６１０９１号公報は、解剖学的ラベルを事前にラベル付けされたアトラスから目標画像に伝搬させるために画像位置合わせを適用すると共に、複数のアトラスを歪めることにより生成される矛盾した解剖学的ラベルを解決するためにラベル融合を適用する複アトラスセグメンテーションを記載している。ホスト自動セグメンテーション方法により生じる体系的エラーを自動的に検出及び補正するために学習技術を用いることができる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
少ない手動ラベル付けデータしか必要とせずに、及び／又はユーザの少ない対話時間しか要せずに正確な注釈付けを可能にするシステム及び方法を得ることが有利であろう。
【課題を解決するための手段】
【0008】
本発明の第１態様によれば、画像データの注釈付けのためのシステムが提供される。該システムは、
－ 注釈付けされるべき画像データにアクセスするように構成された入力インターフェースと；
－ ユーザにより操作可能なユーザ入力装置からユーザ入力データを受信するように構成されたユーザ入力インターフェース及び当該システムの出力を視覚化するためにディスプレイに表示データを供給するように構成された表示出力インターフェースを有するユーザインターフェースサブシステムと；
－ 前記ユーザインターフェースサブシステムを使用して、前記ユーザが前記画像データに反復的に注釈付けすることを可能にするユーザインターフェースを確立するように構成されたプロセッサと；
を有し、前記反復的注釈付けの反復は、
－ 前記プロセッサが現在の画像データ部分のためのラベルを以前の画像データ部分のユーザにより検証されたラベル（ユーザ検証済ラベル）に基づいて生成する動作と；
－ 前記ユーザインターフェースを介して、前記ユーザが前記生成されたラベルを検証及び補正して前記現在の画像データ部分のためのユーザ検証済ラベルを得ることを可能にする動作と；
を有し、
前記プロセッサは、更に、
－ 前記現在の画像データ部分のためのラベルを、前記以前の画像データ部分のユーザ検証済ラベルを前記現在の画像データ部分に伝搬させるラベル伝搬アルゴリズムの出力及びユーザ検証済ラベル及び画像データに対して訓練されると共に前記現在の画像データ部分の画像データに適用される画像データのラベル付けのための機械学習分類器の出力を重み付けにより合成することにより生成し；及び
－ 前記機械学習分類器を前記現在の画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練して、再訓練された機械学習分類器を得る；
ように構成される。
－ 注釈付けされるべき画像データにアクセスするように構成された入力インターフェースと；
－ ユーザにより操作可能なユーザ入力装置からユーザ入力データを受信するように構成されたユーザ入力インターフェース及び当該システムの出力を視覚化するためにディスプレイに表示データを供給するように構成された表示出力インターフェースを有するユーザインターフェースサブシステムと；
－ 前記ユーザインターフェースサブシステムを使用して、前記ユーザが前記画像データに反復的に注釈付けすることを可能にするユーザインターフェースを確立するように構成されたプロセッサと；
を有し、前記反復的注釈付けの反復は、
－ 前記プロセッサが現在の画像データ部分のためのラベルを以前の画像データ部分のユーザにより検証されたラベル（ユーザ検証済ラベル）に基づいて生成する動作と；
－ 前記ユーザインターフェースを介して、前記ユーザが前記生成されたラベルを検証及び補正して前記現在の画像データ部分のためのユーザ検証済ラベルを得ることを可能にする動作と；
を有し、
前記プロセッサは、更に、
－ 前記現在の画像データ部分のためのラベルを、前記以前の画像データ部分のユーザ検証済ラベルを前記現在の画像データ部分に伝搬させるラベル伝搬アルゴリズムの出力及びユーザ検証済ラベル及び画像データに対して訓練されると共に前記現在の画像データ部分の画像データに適用される画像データのラベル付けのための機械学習分類器の出力を重み付けにより合成することにより生成し；及び
－ 前記機械学習分類器を前記現在の画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練して、再訓練された機械学習分類器を得る；
ように構成される。
【0009】
本発明の他の態様は、画像データの注釈付けのためのコンピュータ実施方法を提供する。該方法は、
－ 注釈付けされるべき画像データにアクセスするステップと；
－ ユーザインターフェースを使用して、ユーザが前記画像データに反復的に注釈付けすることを可能にするステップと；
を有し、前記反復的注釈付けの反復は、
－ 現在の画像データ部分のためのラベルを以前の画像データ部分のユーザ検証済ラベルに基づいて生成するステップと；
－ 前記ユーザインターフェースを介して、前記ユーザが前記生成されたラベルを検証及び補正して前記現在の画像データ部分のためのユーザ検証済ラベルを得ることを可能にするステップであって、前記現在の画像データ部分のためのラベルが、前記以前の画像データ部分のユーザ検証済ラベルを前記現在の画像データ部分に伝搬させるラベル伝搬アルゴリズムの出力、及びユーザ検証済ラベル及び画像データに対して訓練されると共に前記現在の画像データ部分の画像データに適用される画像データのラベル付けのための機械学習分類器の出力を合成することにより生成される、ステップと；
－ 前記機械学習分類器を前記現在の画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練し、再訓練された機械学習分類器を得るステップと；
を有する。
－ 注釈付けされるべき画像データにアクセスするステップと；
－ ユーザインターフェースを使用して、ユーザが前記画像データに反復的に注釈付けすることを可能にするステップと；
を有し、前記反復的注釈付けの反復は、
－ 現在の画像データ部分のためのラベルを以前の画像データ部分のユーザ検証済ラベルに基づいて生成するステップと；
－ 前記ユーザインターフェースを介して、前記ユーザが前記生成されたラベルを検証及び補正して前記現在の画像データ部分のためのユーザ検証済ラベルを得ることを可能にするステップであって、前記現在の画像データ部分のためのラベルが、前記以前の画像データ部分のユーザ検証済ラベルを前記現在の画像データ部分に伝搬させるラベル伝搬アルゴリズムの出力、及びユーザ検証済ラベル及び画像データに対して訓練されると共に前記現在の画像データ部分の画像データに適用される画像データのラベル付けのための機械学習分類器の出力を合成することにより生成される、ステップと；
－ 前記機械学習分類器を前記現在の画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練し、再訓練された機械学習分類器を得るステップと；
を有する。
【0010】
本発明の更なる態様は、プロセッサシステムに前記コンピュータ実施方法を実行させるように構成された命令を表す一時的又は非一時的データを有するコンピュータ読取可能な媒体を提供する。
【0011】
上記手段は、注釈付けされるべき画像データにアクセスするための入力インターフェースを提供する。例えば、当該画像データは２Ｄ又は３Ｄ医療画像であり得、該医療画像は画像データのピクセル又はボクセル等の画像エレメントの注釈付けによりセグメント化されるべき解剖学的構造を有する。
【0012】
対話的且つ反復的注釈付けメカニズムは、以下のようにして確立される。当該画像データは、明示的又は暗黙的に、画像スライス又は画像部分ボリューム等の画像データ部分に区分けされる。これらの画像データ部分は反復的に注釈付けされる。該反復的注釈付けの間において、以前の画像データ部分は該以前の画像データ部分の注釈付けを提供するユーザ検証済ラベルを含み得る。例えば斯様な以前の画像データ部分に続く（後続する）画像データ部分を表す現在の画像データ部分は、以下のようにして注釈付けされる。ここで、“続く（後続する）”なる用語は、現在の画像データ部分が以前の画像データ部分の後の“続く”反復において注釈付けされることを指すのみならず、例えば隣接する画像スライスを表すことにより又は、一般的に、以前の画像データ部分と現在の画像データ部分との間に空間的及び／又は時間的（空間／時間画像データの場合）関係が存在することにより当該画像データ内で現在の画像データ部分が以前の画像データ部分に“続く”ことも指し得る。
【0013】
以前の画像データ部分のラベルを現在の画像データ部分に伝搬させるためにラベル伝搬アルゴリズムが使用される。このようなラベル伝搬アルゴリズムは、例えばそれ自体が背景技術の節で引用したＰａｃｅ他の文献から知られており、ラベルを以前の画像データ部分から現在の画像データ部分に伝搬させるために、典型的に、該以前の画像データ部分と現在の画像データ部分との間の画像データの類似性を用いる。加えて、機械学習分類器が使用され、該機械学習分類器はユーザ検証済ラベル及び画像データ、例えば以前の画像データ部分のユーザ検証済ラベル及び画像データ、又は他の画像データ（例えば、以前の画像の）のユーザ検証済ラベルに関して訓練され得る。該機械学習分類器は現在の画像データ部分に適用され、これにより該現在の画像データ部分のラベル付けを行う。上記ラベル伝搬アルゴリズム及び機械学習分類器の出力は合成されて、現在の画像データ部分に関する合成されたラベル（“生成されたラベル”とも呼ぶ）を得る。
【0014】
このようにして生成されたラベルは不完全であり得るので、ユーザは該生成されたラベルを、例えばグラフィックユーザインターフェース等のユーザインターフェースを用いて検証できるようにされ、これによりユーザ検証済ラベルを得るようにする。ラベルを補正するメカニズムは、それ自体、画像注釈付け分野において既知である。
【0015】
当該反復的注釈付けの続く（後続の）反復において、これらのユーザ検証済ラベルを、注釈付けされるべき後続の画像データ部分に対するラベルを生成するために使用することができる。即ち、ユーザ検証済ラベルは、続く画像データ部分に伝搬される。更に、前記機械学習分類器は、現在の画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練される。ここで、“再訓練”なる用語は当該機械学習分類器の包括的再訓練及び部分的再訓練の両方を含む。例えば、当該機械学習分類器が各画像スライス又は部分ボリュームの後に再訓練されるニューラルネットワークである場合、例えば再訓練の計算的複雑さを制限するために、該ニューラルネットワークの選択されたレイヤ又はノードのみが再訓練される。他の実施形態において、再訓練は、異なる画像データの反復的注釈付けの間に、例えば当該画像データの反復的注釈付けを完了した後に実行される。特定の例においては、機械学習分類器を再訓練するために、全ての画像データ部分のユーザ補正済ラベルを、対応する画像データと共に用いることができる。
【0016】
これにより、後続する反復又は後続する画像データに対して当該機械学習分類器を改善するためにユーザ検証済ラベルが使用される。例えば、当該画像データが２Ｄ又は３Ｄ医療画像の時間系列からの２Ｄ又は３Ｄ医療画像を表す場合、当該画像注釈付けが適用される後続の画像データは、上記時間系列からの後続の２Ｄ又は３Ｄ医療画像であり得る。
【0017】
上記対策は、実効的に、Ｐａｃｅ他から既知のもの等の対話的且つ反復的注釈付けメカニズムと、機械学習分類器との固有の組み合わせに対応する。当該機械学習分類器は、周期的に、例えば反復的注釈付けの反復の間又は異なる画像データの間に、ユーザにより検証され、必要なら補正された自動的に生成されるラベルを用いて再訓練される。このように、ユーザ検証済ラベルは、反復的注釈付けにより時間にわたって利用可能になると共に機械学習分類器を再訓練するために使用することが可能な、機械学習分類器のための追加の訓練データを表す。かくして、当該機械学習分類器は、典型的に、時間にわたって（例えば各反復により又は各画像により）向上する。
【0018】
同時に、ユーザは訓練データの全てを供給する必要はなく、実際に、自動的に生成されたラベルを検証及び補正する必要があるだけである。即ち、これらのラベルは、以前の画像データ部分のラベルを伝搬させることにより、及び今まで訓練された機械学習分類器により生成される。機械学習分類器によるラベル付けの精度は徐々に向上するので、ユーザは徐々に少ない補正を行うだけでよい。当該反復的注釈付けは、このように、徐々に一層自動的になると共に一層少ないユーザ補正しか必要としなくなる。
【0019】
上記方策において、ラベル伝搬アルゴリズムは、初期的に僅かな訓練データしか又は全く訓練データを有さず、従ってラベル伝搬アルゴリズムのものより（大幅に）低い可能性のある相対的に低い精度を持つ機械学習分類器に効果的に対処する。該ラベル伝搬アルゴリズムは、このように、初期的には十分な自動的ラベル付けを保証すると共に、さもなければユーザが初期的に全てのラベルを手作業で生成しなければならないであろう、自動ラベル付けのためのブートストラップとして効果的に作用し得る。上記方策は、これにより、正確な画像注釈付けを容易化し、その場合において、ラベルを検証及び補正することにより精度を保証する際のユーザ側の役割は、機械学習分類器の精度が時間にわたり向上するにつれて徐々に減少される。上記方策は、更に、ユーザが訓練データの全てを手作業でラベル付けしなければならない伝統的機械学習手法よりも少ない手作業によりラベル付けされるデータしか必要としない。
【0020】
上記及び以下において、“現在の（現）”及び“以前の”なる表示は、単に当該注釈付けの異なる反復の間における画像データ部分間を区別するために使用されている。このように、再訓練における“現在の”画像データ部分の後の使用は、如何なる他の現在性も意味することなく、当該特定の画像データを指す。従って、“現在の画像データ部分のユーザ検証済ラベル及び画像データを用いて機械学習分類器を再訓練する”なる言い方は、当該画像データにおける該ユーザ検証済ラベルが生成された部分を指す。
【0021】
オプションとして、前記プロセッサは前記機械学習分類器を前記反復的注釈付けの反復の間に又は異なる画像データ（例えば、異なる画像又は画像の組）の反復的注釈付けの間に再訓練するよう構成される。
【0022】
前記プロセッサは、現在の画像データ部分に関するラベルを、前記ラベル伝搬アルゴリズム及び機械学習分類器の各出力を重み付けによって合成することにより生成するよう構成され得る。例えば、前記ラベル伝搬アルゴリズム及び機械学習分類器が、各々、確率マップ又は関数を供給する場合、両出力を加重して（例えば、凸加重関数：convex weighting functionを用いて）、ラベルを表す若しくは提供する合成された確率マップ又は関数を得ることができる。この点に関し、確率関数は、確率を当該アルゴリズム／分類器が適用される画像データ部分の各画像要素に関するマップ状フォーマットで示す確率マップをもたらすことに注意されたい。
【0023】
オプションとして、前記プロセッサは前記重み付けを前記画像データの反復的注釈付けの間に又は異なる画像データの反復的注釈付けの間に調整するよう構成される。前記ラベル伝搬アルゴリズムと前記機械学習分類器との間の重み付けは、画像データの反復的注釈付けの間に（例えば、反復の間に）、又は画像データの間に（例えば、異なる画像の反復的注釈付けの間に）調整され得る。
【0024】
オプションとして、前記プロセッサは前記反復的注釈付けの重み付けを前記ラベル伝搬アルゴリズム及び／又は前記機械学習分類器の注釈付け精度を定量化する尺度に基づいて決定するよう構成される。画像注釈付けの分野には、本明細書で説明したＤＩＣＥ係数等の注釈付け精度を定量化するための尺度が存在する。このような尺度は、例えば、ユーザ補正済ラベルを“グラウンドトルース”として使用できるが、注釈付け精度の粗い指示情報を供給するために、グラウンドトルースに依存しないアプリケーション固有の尺度を生成することもできる。例えば、注釈が予測される物体形状を考慮した特定の形状を有する期待が存在し得る。この期待された形状からの大きな逸脱は、このような尺度では低い注釈付け精度を示すと見なされ得る。ラベル伝搬アルゴリズム及び機械学習分類器の何れか又は両方の注釈付け精度を推定することにより、重み付けを、該尺度により一層低い注釈付け精度を表すと見なされる出力に対して、該尺度により一層高い注釈付け精度を表すと見なされる出力の重み付けを増加させることにより調整できる。特定の例において、当該重み付けは、反復的の間に又は画像データの間に（例えば、異なる画像の反復的注釈付けの間に）調整される。
【0025】
オプションとして、前記尺度は前記注釈付け精度を、ｉ）前記ラベル伝搬アルゴリズムの出力及び／又は前記機械学習分類器の出力と、ii）前記ユーザが補正した（ユーザ補正済）ラベルとの間の差に基づいて定量化する。上記ユーザ補正済ラベルは、有利には、当該尺度に関する“グラウンドトルース”として使用され得る。即ち、前記出力とユーザ補正済ラベルとの間の大きな差は、小さな又は全くない差と比較して低い注釈付け精度を示し得る。
【0026】
オプションとして、前記プロセッサは前記重み付けを、前記ラベル伝搬アルゴリズムの出力に対して前記機械学習分類器の出力の重み付けを増加させることにより調整するよう構成される。機械学習分類器の出力の相対的重み付けは、機械学習分類器の注釈付け精度が時間に伴い向上するとの知識又は仮定に基づいて増加され得る。
【0027】
オプションとして、前記プロセッサは前記機械学習分類器の出力の重み付けを、前記反復的注釈付けの開始時にゼロで又は実質的にゼロで開始するよう構成される。機械学習分類器の出力の相対的重み付けは、初期的には、該機械学習分類器が訓練不足であり、従って不十分な注釈付け精度しかもたらさないとの知識又は仮定に基づいて、実質的にゼロとすることができる。初期的に、生成されるラベルは主にラベル伝搬アルゴリズムにより決定され得る。
【0028】
オプションとして、前記ラベル伝搬アルゴリズムの出力及び／又は前記機械学習分類器の出力は、確率マップ又は輪郭を画定する１以上の制御点である。当該反復的注釈付けは、主に、確率マップに関連して説明されるが、他のタイプの注釈付けもラベル伝搬により及び機械学習分類器により提供され得るという点で、これは制限ではない。例えば、当該注釈付けは制御点に基づいた輪郭であり得る。ラベル伝搬アルゴリズム及び機械学習分類器によって提供される各輪郭の重み付けは、例えば、制御点の相対若しくは絶対位置及び／又は他の側面を規定する重み付けパラメータを含み得る。
【0029】
オプションとして、前記ユーザインターフェースはユーザが注釈付けタスクを選択又は定義することを可能にし、前記プロセッサは複数の機械学習分類器のうちの１つを該注釈付けタスクに基づいて、例えば内部又は外部データベースから選択する。各機械学習分類器はタスク固有のラベル付けを行うことが意図され、例えば、異なるタイプの注釈付け構造、異なる臨床的タスク等を可能にする。反復的注釈付けの間又は後に、選択された機械学習分類器はユーザ検証済ラベル及び画像データに基づいて再訓練され得る。従って、時間にわたって、対応する注釈付けタスクに対して良好に訓練された複数の機械学習分類器が得られる。
【0030】
当業者によれば、本発明の上述した実施形態、構成例及び／又はオプション的態様の２以上を何らかの有効と見なされる方法によって組み合わせることができることが分かるであろう。
【0031】
当該システムの記載された修正例及び変形例に対応する、ワークステーション、画像化装置、方法及び／又はコンピュータプログラム製品の修正例及び変形例は、当業者によれば、本説明に基づいて実施することができる。
【0032】
当業者であれば、当該システム及び方法は、限定されるものではないが標準のＸ線撮像、コンピュータトモグラフィ（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、超音波（ＵＳ）、陽電子放射トモグラフィ（ＰＥＴ）、単一光子放射コンピュータトモグラフィ（ＳＰＥＣＴ）及び核医学（ＮＭ）等の種々の取得方式により取得された二次元（２Ｄ）、三次元（３Ｄ）又は四次元（４Ｄ）画像データに適用可能であることを理解するであろう。
【0033】
本発明の上記及び他の態様は、後述の記載において添付図面を参照して例示的に説明される実施形態から明らかとなり、実施形態を参照して解説される。
【0034】
尚、各図は純粋に概念的なものであり、寸法通りには描かれていないことに注意すべきである。各図において、既に記載された要素に対応する要素は同一の参照符号を有し得る。
【図面の簡単な説明】
【0035】
【図1】図１は画像データの反復的注釈付けのためのシステムを示し、例えばラベルを検証及び補正するために反復的注釈付けの間にユーザが該システムと対話することを可能にするユーザインターフェースシステムを有する。
【発明を実施するための形態】
【0036】
以下の実施形態は、医療分野に関連して説明される。しかしながら、この明細書に記載される技術は、画像注釈付けが望まれる又は必要とされる他の技術分野においても適用され得る。従って、“医療画像（医用画像）”、“解剖学的構造”等の如何なる参照も、他のタイプの被写体を含む他のタイプの画像にも等しく当てはまると解釈されるべきである。
【0037】
当該機械学習アルゴリズムは、例示として、ニューラルネットワークである。しかしながら、これらに限定されるものではないがサポートベクターマシン（ＳＶＭ）、アダブースト及びランダムフォレストを含む他のタイプの機械学習分類器も使用することができる（例えば、L. Lefkovits他による文献‘Comparison of Classifiers for Brain Tumor Segmentation’IFMBE Proceedings, Volume 59参照）。
【0038】
図１は、画像データの注釈付けのためのシステム１００を示す。システム１００は画像データにアクセスするように構成された入力インターフェース１２０を有する。図１の例において、入力インターフェース１２０は、画像データ０３０を有する外部データ記憶部０２０に接続されるものとして図示されている。データ記憶部０２０は、例えば、システム１００が接続され得る又は含まれ得る病院情報システム（ＨＩＳ）の画像管理通信システム（ＰＡＣＳ）により構成され又は該システムの一部であり得る。従って、システム１００は画像データ０３０に対し外部データ通信部０２２を介してアクセスを得ることができる。代わりに、画像データ０３０はシステム１００の内部データ記憶部（図示略）からアクセスされ得る。一般的に、入力インターフェース１２０は、ローカルエリアネットワーク（ＬＡＮ）又はインターネット等の広域ネットワーク（ＷＡＮ）に対するネットワークインターフェース、内部又は外部データ記憶部に対する記憶インターフェース等の種々の形態をとり得る。
【0039】
システム１００は、更に、データ通信部１２２を介して入力インターフェース１２０と内部的に通信するように構成されたプロセッサ１４０、及びデータ通信部１４２を介してプロセッサ１４０によりアクセス可能なメモリを有するように示されている。プロセッサ１４０は、更に、データ通信部１４４を介してユーザインターフェースシステム１８０と内部的に通信するように図示されている。
【0040】
システム１００は、更に、ユーザインターフェースサブシステム１８０を有するように示され、該ユーザインターフェースサブシステムは、システム１００の動作の間において、ユーザが例えばグラフィックユーザインターフェースを用いて該システム１００と対話することを可能にするように構成される。ユーザインターフェースサブシステム１８０は、ユーザにより操作可能なユーザ入力装置０８０から入力データ０８２を受信するように構成されたユーザ入力インターフェース１８４を有するものとして示されている。ユーザ入力装置０８０は、限定されるものではないがコンピュータマウス、タッチスクリーン、キーボード、マイクロフォン等を含む種々の形態をとり得る。図１は、当該ユーザ入力装置がコンピュータマウス０８０であることを示している。一般的に、ユーザ入力インターフェース１８４はユーザ入力装置０８０のタイプに対応するタイプのものであり得る。即ち、ユーザ入力装置はユーザ入力インターフェース１８４に対応するタイプであり得る。
【0041】
ユーザインターフェースサブシステム１８０は、更に、システム１００の出力を視覚化するためにディスプレイ０６０に表示データ０６２を供給するように構成された表示出力インターフェース１８２を有するものとして示されている。図１の例において、当該ディスプレイは外部ディスプレイ０６０である。他の例として、該ディスプレイは内部ディスプレイであり得る。表示出力インターフェース１８２の代わりに、ユーザインターフェースサブシステム１８０は、出力データをユーザに対して感覚的に認識可能な態様でレンダリングするように構成された他のタイプの出力インターフェース（例えば、スピーカ）を有することもできることに注意されたい。
【0042】
プロセッサ１４０は、システム１００の動作中においてユーザインターフェースサブシステム１８０を用いて、ユーザが画像データに反復的に注釈付けすることを可能にするユーザインターフェースを確立するよう構成される。この場合において、該反復的注釈付けの反復は、プロセッサ１４０が現画像データ部分に対するラベルを以前の画像データ部分のユーザにより検証されたラベルに基づいて生成するステップ、及び、前記ユーザインターフェースを介して、ユーザが該生成されたラベルを検証及び補正して現画像データ部分に対するユーザにより検証されたラベルを得ることを可能にするステップを有する。プロセッサ１４０は、更に、現画像データ部分に対するラベルを、上記以前の画像データ部分のユーザ検証済ラベルを現画像データ部分に伝搬させるラベル伝搬アルゴリズム及び画像データのラベル付けのためのニューラルネットワークの各出力を組み合わせる（合成する）ことにより生成するように構成される。上記ニューラルネットワークは、ユーザ検証済ラベル及び画像データに対して訓練され、プロセッサ１４０により現画像データ部分の画像データに適用され得る。プロセッサ１４０は、更に、該ニューラルネットワークを現画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練し、再訓練されたニューラルネットワークを得るように構成することができる。例えば、このような再訓練は、例えば後続の反復のための再訓練されたニューラルネットワークを得るために反復の間において、又は異なる画像データの間において実行され得る。
【0043】
画像データ０３０３の反復的注釈付けの結果として、画像データ０３０３の注釈付けを表すラベルデータ０３２が得られる。ラベルデータ０３２は、システム１００により例えばデータ記憶部０２０内若しくは何処かに例えば画像データ０３０と関連させて記憶することができ、又はユーザ等に表示することができる。
【0044】
【0045】
通常、システム１００は、ワークステーション、画像化装置又はモバイル装置等の単一の機器若しくは装置として、又は斯様な単一の機器若しくは装置内で具現化され得る。該機器若しくは装置は、適切なソフトウェアを実行する１以上のマイクロプロセッサを有し得る。該ソフトウェアは、対応するメモリ（例えばＲＡＭ等の揮発性メモリ又はフラッシュメモリ等の不揮発性メモリ）にダウンロード及び／又は記憶されたものとすることができる。代わりに、例えば前記入力インターフェース、オプションとしてのユーザ入力インターフェース、オプションとしての表示出力インターフェース及びプロセッサ等の当該システムの機能ユニットは、前記機器若しくは装置内で例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックの形態で実施化され得る。通常、当該システムの各機能ユニットは、回路の形で実施化される。システム１００は、例えば異なる機器若しくは装置を含む分散態様で実施化することもできることに注意されたい。例えば、このような分散は、例えばサーバ及びシンクライアントを用いるクライアント／サーバモデルによるものであり得る。例えば、前記（再）訓練は例えば１以上のクラウドベースのサーバ（又は複数のサーバ）又は高性能コンピュータシステム等の１以上のサーバにより実行される。
【0046】
当該ラベル伝搬アルゴリズム及びニューラルネットワークは、プロセッサ１４０に対して、例えばアルゴリズムデータ及びニューラルネットワークデータとしてのように、各データ表現として利用可能であり得る。このようなデータ表現は、例えば、メモリ１６０及び／又はデータ記憶部０２０に記憶することができ、これらからアクセス可能であり得る。
【0047】
図２～図４を参照して説明される以下の実施形態は、画像データが複数の画像スライスを有すると仮定する。例えば、画像データは画像スライスにおいて元々区切られた３Ｄ画像データとすることができ、又は斯様な画像スライスを例えば多面再フォーマット技術により生成することができる。しかしながら、このことは、下記の実施形態が画像データの各画像データ部分への他の分割にも当てはまるという点で制限ではない。
【0048】
ごく短く説明すると、図１のシステム１００は、例えば前景（例えば、注釈付けされるべき解剖学的構造）及び背景（該解剖学的構造の周囲）に関するラベルを用いて、異なる解剖学的構造に関する異なるラベルを用いて、又は或る解剖学的構造の異なる部分に関する異なるラベルを用いて等々のようにして、ユーザが３Ｄ画像データの２Ｄ画像スライスに反復的に注釈付けすることを可能にする。このような反復的２Ｄ注釈付けは、例えばZhao,F.及びXie,X.による文献“Overview on interactive medical segmentation”，Annals of the BMVA 2013, No. 7, pp. 1-22から既知の注釈付けツール（該文献は、例えばユーザがスプライン輪郭を反復的に定めることを可能にする注釈付けツールを記載しており、該スプライン輪郭は該注釈付けツールによりラベルが適用される対応する領域に変換される）、反復的ラベル編集のためのペイント・ブラシツール、又は他の一層改良された対話的方法を使用して実行できる。２Ｄ画像スライスに注釈付けした後、該注釈付けは、これも図２～図４を参照して一層詳細に説明されるように、隣接する画像スライスに伝搬され得る。該隣接する画像スライスは次いで注釈付けと共に視覚化され、ユーザは該注釈付けを再び使用して注釈付けを補正することができる。この処理は、全ての画像データ部分又は当該画像データ部分のうちの少なくともユーザが注釈付けしたいと欲する部分組が注釈付けされるまで、繰り返される。
【0049】
図２は、反復的注釈付けの１つの反復を示す。即ち、画像スライスＩｉ（ｘ）２１０に注釈付けする場合、ラベルＬｉ－１（ｘ）２００を現画像スライスに伝搬させるためにラベル伝搬アルゴリズムが使用される。ここで、Ｉｉ（ｘ）及びＬｉ－１（ｘ）は、スライスｉにおける画像座標ｘの関数であり得る。ラベルＬｉ－１（ｘ）は、隣接する画像スライスＩｉ－１（ｘ）（図２には明示的に示されていない）に関して予測並びにユーザによる後続する検証及び補正により予め取得されたものであり得、両画像スライスにおける画像データの類似性に基づいて現画像スライスＩｉ（ｘ）に伝搬され得る。当該ラベル伝搬アルゴリズムは、例えば、Ｐａｃｅ他の文献に記載されているような“機械論的”ラベル伝搬アルゴリズムである。ここで、“機械論的”なる用語は、例えば機械学習に依存しない発見的に設計されたアルゴリズムを指す。
【0050】
上記ラベル伝搬は予測関数２００をもたらし得る。更に、当該ニューラルネットワークが既に十分に訓練されている場合、該ニューラルネットワークをＩｉ（ｘ）に適用して更なる予測関数２３０をもたらすことができる。これら両関数は、例えば、ファジーラベル予測関数（例えば、０～１の間の値の）であり得る。図２の特定の例において、これらのファジーラベルは、パッチベースのラベル伝搬の場合は入力画像スライスＩｉ－１（ｘ）及びＩｉ（ｘ）並びにラベルＬｉ－１（ｘ）の関数ｆｐ（Ｉｉ－１（ｘ），Ｌｉ－１（ｘ），Ｉｉ（ｘ））であり得、ニューラルネットワーク予測の場合は関数ｆｎ，ｉ（Ｉ（ｘ））であり得る。
【0051】
これら両予測関数２２０、２３０は、例えば重み付けにより、合成予測関数２４０に合成することができる。例えば、該合成は両予測関数２２０，２３０の凸結合：ｆα＝ｆｎα＋ｆｐ（１－α）であり得、この場合において、当該ニューラルネットワークの出力は０と１との間の重み係数αにより加重される。図２は、α＝０.６による重み付けを示す。
【0052】
合成された予測関数２４０は、例えば該合成予測関数２４０の値に例えば０.５の閾値を適用することにより、予測されたラベルＬｐ，ｉ（ｘ）２５０に変換される。例えば、０.５未満の何らかの値をラベル“背景”に割り当てると共に、０.５以上の何らかの値をラベル“前景”に割り当て、これにより、予測ラベルＬｐ，ｉ（ｘ）２５０を得るようにする。該予測ラベルＬｐ，ｉ（ｘ）２５０は、次いで、ユーザに対して表示され、ユーザは該ラベルを検証及び補正することができる。このようにして得られたユーザ検証及び補正済ラベルＬｉ（ｘ）（図２には別途示されていない）及び画像スライスＩｉ（ｘ）２１０は、このデータを用いて幾つかの訓練反復を実行することにより、当該ニューラルネットワークを改良するために使用できる。図２は、予測ラベルＬｐ，ｉ（ｘ）２５０の、本例ではユーザ検証及び補正済ラベルであるグラウンドトルースとの差２６０も示している。
【0053】
他の例として、例えば単一の画像スライスのユーザ検証及び補正済ラベルが再訓練のための十分な訓練データを表さない場合、複数の画像スライス（例えば、現画像の全ての画像スライス）のユーザ検証及び補正済ラベルを一緒に使用して当該ニューラルネットワークを再訓練することができる。
【0054】
例示として、図３は、ラベル伝搬アルゴリズムの他の予測関数３００（左欄）、ニューラルネットワークの他の予測関数３０１（中央の欄）及び両予測関数の６０％－４０％加重合成の他の予測関数３０２（右欄）、並びに各予測関数３００～３０２に基づいて生成されたラベル３１０～３１２及び各関数のグラウンドトルースラベル付けとの差分３２０～３２２を示す。ラベル伝搬アルゴリズムの予測関数３００及びラベル３１０は解剖学的構造の“セグメンテーション不足”をもたらすことが分かる。予測関数３００をニューラルネットワークの予測関数３０１と組み合わせることにより、解剖学的構造の改善された注釈付けが得られ、グラウンドトルースラベル付けとの差が減少する。
【0055】
ニューラルネットワーク及び訓練技術として、これらに限定されるものではないが、Ronneberger,O.、Fischer,P.、Brox,T.による文献“U-net: Convolutional networks for biomedical image segmentation”MICCAI 2015, LNCS 9351, pp. 234 - 241（以下、単に‘U-Net’とも称する）又はBrosch,T.、Saalbach,A.による文献“Foveal fully convolutional nets for multi-organ segmentation”SPIE Medical Imaging 2018; SPIE Proc. 105740U（以下、単に“Ｆ－Ｎｅｔ”とも称する）に記載されたものを含む如何なる好適なニューラルネットワーク及び訓練技術も使用できる。
【0056】
一般的に、当該ニューラルネットワークを訓練するための多数の変形例が存在する。例えば、ニューラルネットワークは、現反復において得られたラベル、例えばＬｐ，ｉ（ｘ）２５０のユーザにより検証及び補正されたバージョン、及び関連する画像データ部分に対してのみ再訓練される。このような再訓練は、ニューラルネットワークの“改良（調整）”とも呼ばれる部分的訓練であり得る。代わりに、ニューラルネットワークは全ての以前のユーザ検証及び補正済ラベル及び関連する画像データ部分に対して再訓練することもできる。このような再訓練は、例えば、反復注釈付けセッションの後、例えば異なる注釈付けセッションの間に、又は夜間に、等において実行される。幾つかの実施形態において、再訓練は当該反復的注釈付け機能を提供する主体以外の主体により実行される。例えば、当該システムは、反復的注釈付け機能を提供するワークステーション及びニューラルネットワークを再訓練するためのサーバにより代表され得る。
【0057】
ラベル伝搬アルゴリズム及びニューラルネットワークの出力を合成するための重みを発生するための多数の方法が存在する。例えば、現在のユーザ検証及び補正済ラベルを用いてニューラルネットワークを再訓練する前に、以前のラベルを用いて重みを推定できる。この目的のために、注釈付けされたスライスを開始点として使用でき、該注釈はラベル伝搬：ｆｐ，ｉ（ｘ）＝ｆｐ（Ｉｉ－１（ｘ），Ｌｉ－１（ｘ），Ｉｉ（ｘ））を用いて次の画像スライスに伝搬され、結果として、要素０≦ｆｐ，ｉ（ｘ）≦１のファジーラベルマップが得られる。ここで、Ｉｉ（ｘ）は現在注釈付けされる画像Ｉのスライスｉを示す。また、ｆｐ，ｉ（ｘ）はファジーラベル画像を示し、ｐはラベル伝搬アルゴリズムを示す。閾値ｔを適用することにより、該ファジーラベル画像はラベル画像に変換することができる：Ｌｉ
ｔ（ｘ）＝Ｔ（ｆｐ，ｉ（ｘ），ｔ）。
【0058】
重みαを用いて、伝搬されたファジーラベル画像ｆｐ，ｉ（ｘ）は、ニューラルネットワークにより発生されたファジーラベル画像ｆｎ，ｉ（ｘ）と組み合わせることができる。ラベルは閾値ｔの適用により得られ、Dice,L.R.による文献“Measures of the amount of ecologic association between species”Ecology, 1945, volume 26(3), pp. 297-302に記載されたＤＩＣＥ値（ＤＩＣＥ係数とも呼ばれる）等の、注釈付け精度を特徴付ける尺度Ｍが算出され得る。該尺度Ｍはユーザ検証及び補正済ラベルを伴う全ての画像スライスにわたって合計され、重み及び閾値の最適値は注釈付け精度を最大化することにより得られる。
【数1】
【0059】
ラベル伝搬アルゴリズム及びニューラルネットワークを合成するための多くの可能性も存在する。例えば、新たな画像の第１及び第２スライスの注釈付けを完了した後、重みα及び閾値ｔを上述した手順により最適化して、目下の実際の画像に対する最適な結果を得る。このアプローチは、ニューラルネットワークに自身の性能を幾らか気付かせるものである。即ち、ニューラルネットワークが得意なケースに遭遇した場合、自身の重み付けは増加する一方、不得意なケースでは自身の重み付けは減少して、ラベルは主にラベル伝搬アルゴリズムから得られるようになる。
【0060】
最適な重みを以前に注釈付けされた画像データ部分（例えば、以前の画像スライス）又は以前に注釈付けされた画像データ（例えば、以前の画像）から決定する代わりに、例えば、
のように、以前に注釈付けされた画像データセットの数ｍにのみ又は該数ｍに主に依存する経験的重みを使用することもできる。
【数2】
【0061】
他の例として、経験的重みを、以前に注釈付けされた画像データ部分、例えば画像スライスの数に依存させてもよい。
【0062】
通常、当該重みは、ラベル伝搬（ＭＰ）及びニューラルネットワーク（ＭＮ）により得られた尺度Ｍの以前の値（例えば、以前の例に関する平均尺度）に依存して選択される。重みαは、より良好なセグメンテーション結果をもたらすアルゴリズムに対して一層大きな重みを付与するように選択され得る。
【0063】
前記ファジー予測関数に関しては、下記の通りである。ファジー予測関数は暗黙的な確実性尺度を含む。即ち、当該値が０又は１に近い場合、導出されたラベルが正しいことは相対的に確かである。しかしながら、当該値が例えば０.５なる閾レベルに一層近い場合、この確実性は低い。この特性は、ラベル伝搬予測関数及びニューラルネットワーク予測関数の重みの混合を局部的に変化させるために使用することができ、このことは、当該決定関数の“有効性”又は該決定関数が有効である確率として解釈できる。
【0064】
例えば、有効性関数（validity function）は以下のように定義され得る：
該有効性関数は：
なる局部的合成加重であり得る。
【数3】
【数4】
【0065】
有効性関数の一例が、図４に、画像スライス４００、グラウンドトルーススライスラベル付け４１０、ラベル伝搬アルゴリズムによりもたらされる予測関数ｆｐ４２０、ニューラルネットワークによりもたらされる予測関数ｆｎ４３０、並びに有効性関数νｐ４２５及び有効性関数νｎ４３５に関して示されている。
【0066】
有効性関数は、ファジーラベル画像を構築するために種々の方法で使用及び組み合わせることができる。例えば、両有効性加重ファジーラベル画像は重みβにより以下のように合成され：
結果としての関数ｆβは、重みγによりｆαと以下のように最終的ファジーラベル画像ｆγへと合成される：
【数5】
【数6】
【0067】
ここで、β及びγは共に０～１の間である。大まかに言うと、α及びβはラベル伝搬に対するニューラルネットワークの寄与度であり、γは加重関数に対する有効性関数の寄与度である。
【0068】
適切な混合係数α、β及びγは、ラベル伝搬のパラメータ最適化に関して前述したのと同じ最適化処理により得られる。ニューラルネットワーク予測関数ｆｎは最適化の間に変化しないので、該関数はルックアップテーブル関数として実施化できる。全てのラベル伝搬パラメータが当該混合係数の最適化の間に一定であったとしたら、ラベル伝搬予測関数ｆｐは一度だけ計算し、ルックアップを使用するだけでも十分である。
【0069】
図５は、画像データの注釈付けのためのコンピュータ実施方法５００のフローチャートを示す。方法５００は図１のシステム１００の動作に対応し得る。しかしながら、これは限定ではなく、方法５００は他のシステム、装置又は機器を用いて実行することもできる。
【0070】
方法５００は、“ACCESSING IMAGE DATA OF TO BE ANNOTATED”なる題名の処理において、注釈付けされるべき画像データにアクセスするステップ５１０を有する。方法５００は、更に、ユーザインターフェースを用いてユーザが当該画像データに反復的に注釈付けすることを可能にするステップを有し、この場合において、該反復的注釈付けの１つの反復は、“GENERATING LABELS”なる題名の処理において、現在の画像データ部分のためのラベルを以前の画像データ部分のユーザ検証済ラベルに基づいて生成するステップ５２０、及び“ENABLING USER TO VERIFY AND CORRECT LABELS”なる題名の処理において、ユーザインターフェースを介しユーザが該生成されたラベルを検証及び補正することを可能にして現画像データ部分のためのユーザ検証済ラベルを得るステップ５３０を有する。方法５００は、更に、“RETRAINING NEURAL NETWORK”なる題名の処理において、当該ニューラルネットワークを現画像データ部分の上記ユーザ検証済ラベル及び画像データを用いて再訓練し、再訓練されたニューラルネットワークを得るステップ５４０を有する。
【0071】
通常、図５の方法５００の処理は、当てはまる場合には特定の順序が必要とされる（例えば、入力／出力関係により）こともあるが、例えば連続的、同時的又はこれらの組合せ等の如何なる適切な順序でも実行できる。当該方法の処理は、図５においてブロック５４０からブロック５１０へのループにより示されたように、連続する各反復において繰り返すことができる。幾つかの実施形態において、ブロック５４０は、ブロック５１０～５３０の幾つかの反復の後に、例えば当該画像データの全ての画像部分が注釈付けされた後に、実行される。
【0072】
当該方法（又は複数の方法）は、コンピュータ上でコンピュータ実施法として、専用のハードウェアとして、又は両者の組合せとして実施化され得る。図６にも示されるように、上記コンピュータのための命令（例えば、実行可能なコード）は、コンピュータ読取可能な媒体６００上に、例えばマシン読取可能な物理的マークの系列６１０、及び／又は異なる電気的（例えば、磁気的）又は光学的特性若しくは値を有する一連の要素の形で記憶できる。上記実行可能なコードは、一時的又は非一時的態様で記憶され得る。上記コンピュータ読取可能な媒体の例は、メモリ装置、光記憶装置、集積回路、サーバ、オンラインソフトウェア等を含む。図６は光ディスク６００を示している。
【0073】
本発明の一態様によれば、画像データの注釈付けのためのシステム及びコンピュータ実施方法が提供される。ユーザは画像データに反復的に注釈付けすることを可能にされる。該反復的注釈付けの１つの反復は、現画像データ部分のためのラベルを以前の画像データ部分のユーザ検証済ラベルに基づいて生成するステップ、及びユーザが該生成されたラベルを検証及び補正することを可能にして、現画像データ部分のためのユーザ検証済ラベルを得るステップを有する。現画像データ部分のためのラベルは、ラベル伝搬アルゴリズム、及びユーザ検証済ラベル及び画像データに対して訓練されると共に現画像データ部分の画像データに適用されるニューラルネットワークの各出力を合成することにより生成される。該ニューラルネットワークは現画像データ部分のユーザ検証済ラベル及び画像データを用いて再訓練され、再訓練されたニューラルネットワークを得るようにし得る。
【0074】
例、実施形態又はオプションとしてのフィーチャは、制限するものでないと示されているか否かに拘わらず、請求項に記載される本発明を限定するものと理解されるべきでない。
【0075】
上述した実施形態は、本発明を限定するというより解説するものであり、当業者であれば添付請求項の範囲から逸脱することなしに多数の代替実施形態を設計することができることに注意されたい。請求項において、括弧内に記載された如何なる符号も当該請求項を限定するものと見なしてはならない。“有する”なる動詞及びその活用形は、請求項に記載されたもの以外の要素及び段階を除外するものではない。単数形の要素は、複数のこのような要素の存在を除外するものではない。要素のリスト又は群に先行する“の少なくとも１つ”等の表現は、該リスト若しくは群の全ての要素又は該リスト若しくは群の要素の何れかの部分組からの選択を表すものである。例えば、“Ａ、Ｂ及びＣの少なくとも１つ”なる表現は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの両方、Ａ及びＣの両方、Ｂ及びＣの両方、又はＡ、Ｂ及びＣの全てを含むと理解されるべきである。本発明は、幾つかの別個の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施され得る。幾つかの手段を列挙する装置の請求項において、これら手段の幾つかは１つの同一の品目のハードウェアにより実施化できる。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これら手段の組合せを有利に使用することができないということを示すものではない。
【符号の説明】
【0076】
参照符号の以下のリストは、図面の解釈を容易にするために提供されるものであり、請求項を限定すると見なされるべきでない。
０２０ データ記憶部
０２２ データ通信部
０３０ 画像データ
０３２ ラベルデータ
０６０ ディスプレイ
０６２ 表示データ
０８０ ユーザ入力装置
０８２ ユーザ入力データ
１００ 対話型反復的注釈付けのためのシステム
１２０ 入力インターフェース
１２２ 内部データ通信部
１４０ プロセッサ
１４２ 内部データ通信部
１４４ 内部データ通信部
１６０ メモリ
１８０ ユーザインターフェースサブシステム
１８２ 表示出力インターフェース
１８４ ユーザ入力インターフェース
２００ ラベル画像
２１０ 画像スライス
２２０ 伝搬ベースの予測関数
２３０ ニューラルネットワークベースの予測関数
２４０ 合成予測関数
２５０ 予測されたラベル画像
２６０ グラウンドトルースラベル付けとの差
３００～３０２ 予測関数
３１０～３１２ 導出されたラベル
３２０～３２２ グラウンドトルースラベル付けに対する差
４００ 画像スライス
４１０ グラウンドトルーススライスのラベル付け
４２０ 伝搬ベースの予測関数
４２５ 伝搬ベースの有効性関数
４３０ ニューラルネットワークベースの予測関数
４３５ ニューラルネットワークベースの有効性関数
５００ 対話型反復的注釈付けのための方法
５１０ 注釈付けされるべき画像データにアクセスするステップ
５２０ ラベルを生成するステップ
５３０ ユーザがラベルを検証及び補正することを可能にするステップ
５４０ ニューラルネットワークを再訓練するステップ
６００ コンピュータ読取可能な媒体
６１０ 非一時的データ
０２０ データ記憶部
０２２ データ通信部
０３０ 画像データ
０３２ ラベルデータ
０６０ ディスプレイ
０６２ 表示データ
０８０ ユーザ入力装置
０８２ ユーザ入力データ
１００ 対話型反復的注釈付けのためのシステム
１２０ 入力インターフェース
１２２ 内部データ通信部
１４０ プロセッサ
１４２ 内部データ通信部
１４４ 内部データ通信部
１６０ メモリ
１８０ ユーザインターフェースサブシステム
１８２ 表示出力インターフェース
１８４ ユーザ入力インターフェース
２００ ラベル画像
２１０ 画像スライス
２２０ 伝搬ベースの予測関数
２３０ ニューラルネットワークベースの予測関数
２４０ 合成予測関数
２５０ 予測されたラベル画像
２６０ グラウンドトルースラベル付けとの差
３００～３０２ 予測関数
３１０～３１２ 導出されたラベル
３２０～３２２ グラウンドトルースラベル付けに対する差
４００ 画像スライス
４１０ グラウンドトルーススライスのラベル付け
４２０ 伝搬ベースの予測関数
４２５ 伝搬ベースの有効性関数
４３０ ニューラルネットワークベースの予測関数
４３５ ニューラルネットワークベースの有効性関数
５００ 対話型反復的注釈付けのための方法
５１０ 注釈付けされるべき画像データにアクセスするステップ
５２０ ラベルを生成するステップ
５３０ ユーザがラベルを検証及び補正することを可能にするステップ
５４０ ニューラルネットワークを再訓練するステップ
６００ コンピュータ読取可能な媒体
６１０ 非一時的データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】