特開2025-15513 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 宏達國際電子股▲ふん▼有限公司の特許一覧

特開2025-15513画像分割方法及び画像処理システム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8A
8B

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025015513

(43)【公開日】2025-01-30

(54)【発明の名称】画像分割方法及び画像処理システム

(51)【国際特許分類】

G06T 7/12 20170101AFI20250123BHJP

G06T 7/00 20170101ALI20250123BHJP

【ＦＩ】

G06T7/12

G06T7/00 350B

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024115615

(22)【出願日】2024-07-19

(31)【優先権主張番号】63/514,791

(32)【優先日】2023-07-20

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502160992

【氏名又は名称】宏達國際電子股▲ふん▼有限公司

(74)【代理人】

【識別番号】100206335

【弁理士】

【氏名又は名称】太田和宏

(72)【発明者】

【氏名】范聖宏

(72)【発明者】

【氏名】彭宇劭

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA02

5L096DA01

5L096FA06

5L096GA10

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】画像分割方法を提供する。
【解決手段】入力画像を指示器モデルに提供することで、指示器モデルのタスクタイプに基づいて第１指示マークを生成するステップと、指示器モデルのタスクタイプを参照して第１指示マークに対して、タスクタイプを参照して第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って第２指示マークを生成するステップと、入力画像及び第２指示マークを分割基礎モデルに提供し、第２指示マークに基づいて入力画像において出力分割マスクを生成するステップとを含む画像分割方法。
【選択図】図３

【特許請求の範囲】

【請求項1】

入力画像を指示器モデルに提供することで、前記指示器モデルのタスクタイプに基づいて第１指示マークを生成するステップと、
前記指示器モデルの前記タスクタイプを参照して前記第１指示マークに対して、前記タスクタイプを参照して前記第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って前記第２指示マークを生成するステップと、
前記入力画像及び前記第２指示マークを分割基礎モデルに提供し、前記分割基礎モデルによって前記第２指示マークに基づいて前記入力画像において出力分割マスクを生成するステップとを含む、画像分割方法。

【請求項2】

前記指示器モデルの前記タスクタイプが物体検知タイプであることに応答して、前記指示器モデルにより生成された前記第１指示マークは、第１エッジボックスであり、
前記第１指示マークに対して行う前記指示強化プログラムは、前記第１エッジボックスの位置を移動して第２エッジボックスを形成すること、前記第１エッジボックスのサイズを前記第２エッジボックスに拡大すること、又は前記第１エッジボックスの前記サイズを前記第２エッジボックスに縮小することを含み、
前記第２指示マークは、前記第２エッジボックスを含む、請求項１に記載の画像分割方法。

【請求項3】

前記指示器モデルの前記タスクタイプが前記物体検知タイプであることに応答して、前記第１指示マークに対して行う前記指示強化プログラムは、前記第２エッジボックス内で第１ノードを選択すること、又は前記第２エッジボックスの外で第２ノードを選択することをさらに含み、
前記第２指示マークは、前記第１ノードに位置する正方向クリック又は前記第２ノードに位置する負方向クリックをさらに含む、請求項２に記載の画像分割方法。

【請求項4】

前記指示器モデルの前記タスクタイプが画像分割タイプであることに応答して、前記指示器モデルにより生成された前記第１指示マークは、第１分割マスクであり、
前記第１指示マークに対して行う前記指示強化プログラムは、前記第１分割マスクの位置を移動して第２分割マスクを形成すること、前記第１分割マスクのサイズを前記第２分割マスクに拡大すること、前記第１分割マスクの前記サイズを前記第２分割マスクに縮小すること、又は前記第１分割マスクの複数のエッジノードに基づいてエッジボックスを取得することを含み、
前記第２指示マークは、前記第２分割マスク又は前記エッジボックスを含む、請求項１に記載の画像分割方法。

【請求項5】

前記指示器モデルの前記タスクタイプが前記画像分割タイプであることに応答して、前記第１指示マークに対して行う前記指示強化プログラムは、前記第２分割マスク内で第１ノードを選択すること、又は前記第２分割マスクの外で第２ノードを選択することをさらに含み、
前記第２指示マークは、前記第１ノードに位置する正方向クリック又は前記第２ノードに位置する負方向クリックをさらに含む、請求項４に記載の画像分割方法。

【請求項6】

前記指示器モデルの前記タスクタイプが分類タイプであることに応答して、前記指示器モデルにより生成された前記第１指示マークは、ヒートマップであり、
前記第１指示マークに対して行う前記指示強化プログラムは、
前記ヒートマップにおける複数の特徴点の値と閾値とを比較することと、
前記ヒートマップにおける前記閾値を超える複数の第１特徴点を位置決めするとともに、前記ヒートマップにおける前記閾値よりも低い複数の第２特徴点を位置決めすることと、
前記複数の第１特徴点の複数のエッジノードに基づいてエッジボックスを取得し、又は前記複数の第１特徴点に基づいて分割マスクを取得することとを含み、前記第２指示マークは、前記エッジボックス又は前記分割マスクを含む、請求項１に記載の画像分割方法。

【請求項7】

前記指示器モデルの前記タスクタイプが前記分類タイプであることに応答して、前記第１指示マークに対して行う前記指示強化プログラムは、前記複数の第１特徴点から第１ノードを選択すること、又は前記複数の第２特徴点から第２ノードを選択することをさらに含み、
前記第２指示マークは、前記第１ノードに位置する正方向クリック又は前記第２ノードに位置する負方向クリックをさらに含む、請求項６に記載の画像分割方法。

【請求項8】

出力された前記分割マスク及び前記入力画像に基づいて出力画像を生成することをさらに含む、請求項１に記載の画像分割方法。

【請求項9】

前記分割基礎モデルは、
前記入力画像を受信し、且つ前記入力画像を入力画像埋め込みベクトルに変換するための画像エンコーダと、
前記第２指示マークを受信し、且つ前記第２指示マークを指示ベクトルに変換するための指示エンコーダと、
前記入力画像埋め込みベクトル及び前記指示ベクトルに基づいて前記出力分割マスクを生成するためのマスクデコーダとを含む、請求項１に記載の画像分割方法。

【請求項10】

複数のコンピュータ実行可能な命令を記憶するための記憶ユニットと、
前記記憶ユニットに結合される処理ユニットであって、前記複数のコンピュータ実行可能な命令を実行するために用いられ、
入力画像を指示器モデルに提供することで、前記指示器モデルのタスクタイプに基づいて第１指示マークを生成すること、
前記指示器モデルの前記タスクタイプを参照して前記第１指示マークに対して、前記タスクタイプを参照して前記第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って前記第２指示マークを生成すること、
前記入力画像及び前記第２指示マークを分割基礎モデルに提供し、前記分割基礎モデルによって前記第２指示マークに基づいて前記入力画像において出力分割マスクを生成することに用いられる処理ユニットと、
を含む、画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像分割方法及び画像処理システムに関し、特に分割基礎モデルと統合された画像分割方法及び画像処理システムに関する。

【背景技術】

【0002】

近年、人工知能は、急速に発展し、工業、商業、医療などの様々な応用分野ではすでに人工知能技術を広く採用してその運営を支援し始めている。しかしながら、多くの企業では、自分のニーズに合った人工知能モデルを構築するための対応する能力が不足している。そのため、多くの企業は、自動化機械学習プラットフォームを用いたり、人工知能モデルを構築するために協力を求めたりする傾向がある。自動化機械学習プラットフォームにより、人工知能の基礎知識を持つ企業ユーザーは、自動化トレーニング方法を通じて企業専用の人工知能モデルを構築することができる。これらのプラットフォームは、ユーザーにさまざまなモデル選択を提供し、それにより、彼らは、それぞれのニーズに応じて対応する能力を備えたモデルを選択し、収集したデータセットを用いて選択されたモデルをトレーニングすることができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

自動化機械学習プラットフォームは、ユーザーが選択できるように、複数のモデルを提供していたが、トレーニングに必要な重要な部分、すなわち正確なラベルを有するトレーニングデータは、ユーザー自分が用意する必要がある。大量かつ正確なラベルを有するトレーニングデータをどのように確立するかは、マーキングルールの設定、マーキングされていないデータセットの用意に関し、及び専門家（例えば、生産ライン技術者、品質管理者、放射線科医）が既定のルールに基づいてマーキングし、ラベルデータを生成する必要があるため、ユーザーにとって大きな負担となる。タスクが画像分割に関する場合は、さらに時間がかかる。画像分割タスクは、画素ごとにマーキングする必要があり、経験のあるマーキング者にとっても大量の時間がかかる。一般的に、機械学習モデルのトレーニングには、大量のラベルトレーニングデータ、一定の時間及びトレーニングを行うために必要な演算機器を必要とする。

【0004】

以上のことから、従来の画像分割モデルトレーニング過程は、データを収集するステップと、データマーキングを行うステップと、適切なモデルを選択するステップと、ラベルデータセットをロードするステップと、モデルをトレーニングするステップと、トレーニング後のモデルを取得するステップとを含む。例えば、ラベルに犬が含まれる画像データに基づいてモデルのトレーニングを行うことができ、それにより、入力画像に犬の位置を識別し且つ位置決めすることができる。トレーニング後のモデルを改善する（例えば、猫に関する分割機能を追加する）必要がある場合に、モデルを再トレーニングするために少なくとも一部のトレーニングステップを繰り返す必要があり、これらの再トレーニングステップは、多くの時間、労力、計算リソースを消費することになる。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、画像分割方法であって、入力画像を指示器モデルに提供することで、前記指示器モデルのタスクタイプに基づいて第１指示マークを生成するステップと、前記指示器モデルの前記タスクタイプを参照して前記第１指示マークに対して、前記タスクタイプを参照して前記第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って前記第２指示マークを生成するステップと、前記入力画像及び前記第２指示マークを分割基礎モデルに提供し、前記分割基礎モデルによって前記第２指示マークに基づいて前記入力画像において出力分割マスクを生成するステップとを含む、画像分割方法を開示する。

【0006】

本開示の別の態様によれば、画像処理システムであって、複数のコンピュータ実行可能な命令を記憶するための記憶ユニットと、記憶ユニットに結合され、前記複数のコンピュータ実行可能な命令を実行するために用いられ、入力画像を指示器モデルに提供することで、前記指示器モデルのタスクタイプに基づいて第１指示マークを生成すること、前記指示器モデルの前記タスクタイプを参照して前記第１指示マークに対して、前記指示強化プログラムが前記タスクタイプを参照して前記第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って前記第２指示マークを生成すること、前記入力画像及び前記第２指示マークを分割基礎モデルに提供し、前記分割基礎モデルによって前記第２指示マークに基づいて前記入力画像において出力分割マスクを生成することに用いられる処理ユニットとを含む、画像処理システムを開示する。

【0007】

なお、上記説明及び後続の詳細な説明は、本願を実施形態で例示的に説明し、本願が要求する発明内容の解釈及び理解を支援するために用いられる。

【図面の簡単な説明】

【0008】

本開示の上記及びその他の目的、特徴及び実施例をより明確にわかりやすくするために、添付の図面は以下のように説明する。

【図1】本開示のいくつかの実施例による画像処理システムの概略図である。

【図2】本開示のいくつかの実施例における画像分割方法のフローチャートである。

【図3】いくつかの実施例における画像分割方法の実行中に入力画像に基づいて生成された第１指示マーク、第２指示マーク、出力分割マスク及び出力画像の概略図である。

【図4】本開示のいくつかの実施例による指示器モデルのトレーニング方法の方法フローチャートである。

【図5】１つの例示的な例における指示器モデルのタスクタイプが物体検知タイプである場合に対応する入力画像、第１指示マーク及び第２指示マークの概略図である。

【図6】別の例示的な例における指示器モデルのタスクタイプが画像分割タイプである場合に対応する入力画像、第１指示マーク及び第２指示マークの概略図である。

【図7】別の例示的な例における指示器モデルのタスクタイプが分類タイプである場合に対応する入力画像、第１指示マーク及び第２指示マークの概略図である。

【図8A】いくつかの実施例における分割基礎モデルが異なる指示マークに基づいて生成する異なる出力分割マスクの概略図である。

【図8B】いくつかの実施例における分割基礎モデルが異なる指示マークに基づいて生成する異なる出力分割マスクの概略図である。

【発明を実施するための形態】

【0009】

以下の開示は、本開示の異なる特徴を実施するための多くの異なる実施例又は例証を提供する。特別な例証における素子及び構成は、以下の議論で本開示を簡略化するために用いられる。議論されているいかなる例証は、解説の目的でのみ用いられ、本開示又はその例証の範囲と意味をいかなる方式で制限することはない。適切な場合は、図面間及び対応するテキスト説明に同じ符号を用いて、同じ又は類似した素子を表す。

【0010】

図１を参照されたい。それは、本開示のいくつかの実施例による画像処理システム１００の概略図である。いくつかの実施例では、画像処理システム１００は、入力画像ＩＭＧｉに対して特定の画像分割タスクを実行することができる。例えば、画像処理システム１００は、磁気共鳴イメージング（ＭＲＩ）スキャン画像における潜在的腫瘍位置をマークし、交通モニタリング画像におけるナンバープレートを識別し、芝生背景中の猫をマークし、又は前景人物と背景景色を分離するために用いることができる。いくつかの実施例では、画像処理システム１００は、分割基礎モデル（ＳＦＭ）１９２と共同で動作して上記画像分割タスクを実行するために用いられる。

【0011】

いわゆる分割基礎モデル１９２は、様々な画像分割タスクを実行するための総合的な深さ学習フレームワークである。分割基礎モデル１９２は、コンピュータ視覚における汎用ツールとして機能し、画像を有意義な部分又は局所に分割するために用いることができる。分割基礎モデル１９２は、一般的には先進的なニューラルネットワークアーキテクチャ、例えば、コンバータ、畳み込みニューラルネットワーク（ＣＮＮ）又は全畳み込みネットワーク（ＦＣＮ）に基づく。分割基礎モデル１９２は、様々な異なるタイプの画像と様々な分割タスクに広く応用できるために、大規模かつ多様なタイプのデータセットに基づいてトレーニングされる。いくつかの実施例では、分割基礎モデル１９２は、画像処理システム１００の外の外部サーバー１９０上で動作することができる。

【0012】

いくつかの実施例では、分割基礎モデル１９２は、セグメントエニシングモデル（ＳＡＭ）によって実現されてもよい。セグメントエニシングモデルは、指示ワード命令に基づいて画像分割タスクを完了することができる。セグメントエニシングモデルは、複数のタイプの指示マーク（例えば正方向クリック、負方向クリック、エッジボックス又はテキスト記述）をサポートする。しかしながら、セグメントエニシングモデルは、カスタマイズされた物体分割タスクに用いられる場合にいくつかの制限がある。まず、セグメントエニシングモデルは、目標分割タスクの意図を明確に示すために、正確かつ適切な指示マークが必要である。次に、セグメントエニシングモデルは、最適な分割効果を達成するために追加の特定のトレーニング（目標分割タスクに関する）が必要である。

【0013】

本開示における画像処理システム１００は、入力画像ＩＭＧｉに基づいて適切な指示マークを生成し且つ適切な指示マークを分割基礎モデル１９２に提供することができる解決手段を提供する。図１に示すように、いくつかの実施例では、画像処理システム１００は、記憶ユニット１２０、処理ユニット１４０、インタフェース１６０及び通信回路１８０を含む。処理ユニット１４０は、記憶ユニット１２０、インタフェース１６０及び通信回路１８０に結合される。いくつかの実施例では、記憶ユニット１２０は、メモリ、高速アクセスメモリ、又はハードディスクによって実現されてもよい。処理ユニット１４０は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）又は特定用途向け集積回路（ＡＳＩＣ）によって実現されてもよく、インタフェース１６０は、入力端（例えばコネクタ、画像スキャナ又はカメラ）と出力端（例えばディスプレイ、コネクタ又はプロジェクタ）とを含んでもよく、通信回路１８０は、ネットワークアダプタ、電信通信回路又は無線通信回路によって実現されてもよい。

【0014】

記憶ユニット１２０は、コンピュータ実行可能な命令を記憶するために用いられる。これらのコンピュータ実行可能な命令は、画像分割方法を実行するために処理ユニット１４０によって実行されてもよい。図２及び図３を併せて参照されたい。図２は、本開示のいくつかの実施例における画像分割方法２００のフローチャートであり、図３は、いくつかの実施例における画像分割方法２００の実行中に入力画像ＩＭＧｉに基づいて生成された第１指示マークＰＭ１、第２指示マークＰＭ２、出力分割マスクＳＭＫ及び出力画像ＩＭＧｏの概略図である。

【0015】

新しいタスク目標は、猫と背景を分割できる新しい画像分割モデルを確立するものであると仮定する。この新しいタスク目標を実現するために、画像処理システム１００は、指示器モデル１４２及び指示強化プログラム１４４を利用して、分割基礎モデル１９２の動作に必要な適切な指示マーク（例えば、猫に対する正方向クリック、背景に対する負方向クリック、猫を取り囲むエッジボックス、又は猫に対する粗い分割マスク）を生成する。この例では、分割基礎モデル１９２は、指示器モデル１４２と指示強化プログラム１４４により生成された適切な指示マークに基づいて、猫に関する正確分割マスクを生成することができる。指示器モデル１４２及び指示強化プログラム１４４のより多くの詳細については、後続の段落で説明する。

【0016】

図１、図２及び図３に示すように、画像処理システム１００は、入力画像ＩＭＧｉをインタフェース１６０を介して受信する。ステップＳ２１０において、処理ユニット１４０は、指示器モデル１４２のタスクタイプに基づいて、入力画像ＩＭＧｉを指示器モデル１４２に提供して第１指示マークＰＭ１（例えばエッジボックスＰＭ１ａ、第１分割マスクＰＭ１ｂ又はヒートマップＰＭ１ｃ）を生成する。ステップＳ２２０において、処理ユニット１４０は、指示器モデル１４２のタスクタイプに基づいて、第１指示マークＰＭ１に対して指示強化プログラム１４４を実行して、第２指示マークＰＭ２（例えば正方向クリックＰＭ２ａ、負方向クリックＰＭ２ｂ、第２エッジボックスＰＭ２ｃ、正方向軌跡ＰＭ２ｄ、負方向軌跡ＰＭ２ｅ又は第２分割マスクＰＭ２ｆ）を生成する。ステップＳ２３０において、画像処理システム１００は、入力画像ＩＭＧｉ及び第２指示マークＰＭ２を分割基礎モデル１９２に通信回路１８０を介して提供することで、分割基礎モデル１９２は、第２指示マークＰＭ２に基づいて、入力画像ＩＭＧｉにおいて出力分割マスクＳＭＫを生成することができる。

【0017】

分割基礎モデル１９２との協働により、画像処理システム１００は、出力分割マスクＳＭＫを取得することができる。図１、図２及び図３に示すように、ステップＳ２４０において、処理ユニット１４０により実行される結果生成装置１４６は、出力分割マスクＳＭＫと入力画像ＩＭＧｉに基づいて出力画像ＩＭＧｏを生成することができる。

【0018】

いくつかの実施例では、指示器モデル１４２、指示強化プログラム１４４及び結果生成装置１４６は、処理ユニット１４０により実行されるソフトウェア命令によって実現されてもよい。指示器モデル１４２のタスクタイプは、物体検知タイプ、画像分割タイプ及び分類タイプなど複数の候補タスクタイプから選択されてもよい。指示器モデル１４２は、トレーニングデータセットに基づいてトレーニングされ、さらに物体検知、画像分割又は分類タスクのうちの１つを完了することができる。トレーニングデータセットは、複数のトレーニング画像及び複数のトレーニング画像に対応するラベルデータを含む。

【0019】

図４を併せて参照されたい。図４は、本開示のいくつかの実施例による指示器モデル１４２のトレーニング方法４００の方法フローチャートである。図４に示すように、トレーニング方法４００は、ステップＳ４１０を実行して、複数のトレーニング画像（例えば猫に関する画像）を収集する。ステップＳ４２０を実行し、トレーニング画像をマーキングしてラベルデータを生成する。ステップＳ４３０を実行して、指示器モデル１４２のタスクタイプを選択する。例えば、指示器モデル１４２のタスクタイプは、物体検出タイプ（例えば指示器モデル１４２は、ＹＯＬＯ又はＦａｓｔｅｒＲ－ＣＮＮモデルを用いてもよい）、画像分割タイプ（例えば指示器モデル１４２は、Ｕｎｅｔ又はＤｅｅｐｌａｂモデルを用いてもよい）及び分類タイプ（例えば指示器モデル１４２は、ＶＧＧＮｅｔ又はＲｅｓＮｅｔモデルを用いてもよい）のうちの１つを選択してもよい。ステップＳ４４０を実行して、データセット（複数のトレーニング画像と対応するラベルデータを含む）をロードしてトレーニングのために用意する。ステップＳ４５０を実行して、指示器モデル１４２をトレーニングする。いくつかの実施例では、ステップＳ４５０は、指示器モデル１４２がトレーニング画像の予測結果を生成することと、予測結果とラベルデータとを比較することと、上記比較結果に基づいて指示器モデル１４２のパラメータを調整することとを含む。ステップＳ４６０を実行し、トレーニング後の指示器モデル１４２を得る。

【0020】

いくつかの実施例では、分割基礎モデル１９２と比較して、指示器モデル１４２は、小規模で特定のタイプのデータセットを用いてトレーニングされる。これは、指示器モデル１４２が正確な画像分割マスク位置を生成する必要がなく、指示器モデル１４２の出力が指示マーク（分割基礎モデル１９２の分割意図の表示／手がかりとして）を生成するためだけに用いられ、正確な画像分割マスク位置を生成するような負担が重いタスクが、分割基礎モデル１９２により、受信された指示マークに基づいて行われるからである。なお、指示器モデル１４２は、特定の目的（例えば猫探し）を実現するために特化することができるため、様々な種類の入力画像を処理する必要がない。そのため、指示器モデル１４２は、簡単なモデルに基づいて、限られた計算リソースで実現することができ、また、小規模で特定のタイプのデータセットに基づいて、より迅速にトレーニングを完了することができる。

【0021】

図４に記載されるように、指示器モデル１４２は、物体検知タイプ、画像分割タイプ又は分類タイプを含む複数の異なるタスクタイプに対応する様々なモデルから選択することができる。いくつかの実施例では、指示器モデル１４２は、様々な異なるタスクタイプから選択されるため、指示器モデル１４２により生成された第１指示マークＰＭ１は、指示器モデル１４２のタスクタイプを参照してさらに異なるフォーマットを有する。図３に示すように、指示器モデル１４２により生成された第１指示マークＰＭ１は、エッジボックスＰＭ１ａ、第１分割マスクＰＭ１ｂ又はヒートマップＰＭ１ｃのうちの１つであってもよい。第１指示マークＰＭ１を処理するための指示強化プログラム１４４は、第１指示マークＰＭ１の様々なタイプ（即ちエッジボックスＰＭ１ａ、第１分割マスクＰＭ１ｂ、又はヒートマップＰＭ１ｃ）に応じて異なる。

【0022】

図５を併せて参照されたい。それは、１つの例示的な例における指示器モデル１４２のタスクタイプが物体検知タイプである場合に対応する入力画像ＩＭＧｉ、第１指示マークＰＭ１及び第２指示マークＰＭ２の概略図である。

【0023】

この例では、指示器モデル１４２は、猫に関する限られた数の画像を用いてトレーニングされた物体検知モデルであるとともに、入力画像ＩＭＧｉに猫を含むエッジボックスをマークするために用いられる。図５に示すように、いくつかの実施例では、指示器モデル１４２のタスクタイプが物体検知タイプである場合に、指示器モデル１４２は、第１エッジボックスＰＭ１ａを含む第１指示マークＰＭ１を生成し、この第１エッジボックスＰＭ１ａは、興味のある物体（例えば猫）の近似位置に対応する。

【0024】

図５に示すように、指示強化プログラム１４４は、第１指示マークＰＭ１（即ち第１エッジボックスＰＭ１ａ）を変換することで、第１エッジボックスＰＭ１ａを第２エッジボックスＰＭ２ｃに変換するために用いられる。

【0025】

いくつかの実施例では、前述変換は、（１）第１エッジボックスＰＭ１ａの位置を移動して第２エッジボックスＰＭ２ｃを形成すること、（２）第１エッジボックスＰＭ１ａのサイズを第２エッジボックスＰＭ２ｃに拡大すること、（３）第１エッジボックスＰＭ１ａのサイズを第２エッジボックスＰＭ２ｃに縮小すること、又は（４）第１エッジボックスＰＭ１ａを第２エッジボックスＰＭ２ｃにコピーすることであってもよい。

【0026】

図５の実施例では、第１エッジボックスＰＭ１ａのサイズを縮小して第２指示マークＰＭ２の第２エッジボックスＰＭ２ｃを形成する。しかしながら、本開示は、これに限定されない。変換方式は、分割基礎モデル１９２の特性に基づいて決定される。

【0027】

図５に示すように、指示強化プログラム１４４が第１指示マークＰＭ１を変換することは、第２エッジボックスＰＭ２ｃ内の１つのノードを正方向クリックＰＭ２ａの位置として選択することをさらに含む。いくつかの例では、第２エッジボックスＰＭ２ｃの中心点を正方向クリックＰＭ２ａの位置として選択してもよく、第２指示マークＰＭ２は、正方向クリックＰＭ２ａも併せて含んでもよい。

【0028】

図５に示すように、指示強化プログラム１４４が第１指示マークＰＭ１を変換することは、第２エッジボックスＰＭ２ｃ外の１つ又は複数のノードを負方向クリックＰＭ２ｂの位置として選択することをさらに含む。いくつかの例では、第２エッジボックスＰＭ２ｃから離れるランダムなノードを負方向クリックＰＭ２ｂの位置として選択してもよく、第２指示マークＰＭ２は、負方向クリックＰＭ２ｂも併せて含んでもよい。

【0029】

いくつかの実施例では、第２指示マークＰＭ２は、図５に示す正方向クリックＰＭ２ａ、負方向クリックＰＭ２ｂと第２エッジボックスＰＭ２ｃの組み合わせを含んでもよい。正方向クリックＰＭ２ａ、負方向クリックＰＭ２ｂと第２エッジボックスＰＭ２ｃの３つを統合して分割基礎モデル１９２に指示入力として送信することができる。

【0030】

図６を併せて参照されたい。それは、別の例示的な例における指示器モデル１４２のタスクタイプが画像分割タイプである場合に対応する入力画像ＩＭＧｉ、第１指示マークＰＭ１及び第２指示マークＰＭ２の概略図である。

【0031】

この例では、指示器モデル１４２は、猫に関する限られた数の画像を用いてトレーニングされた画像分割モデルであるとともに、入力画像ＩＭＧｉに猫が位置する領域を覆う分割マスクをマークするために用いられる。図６に示すように、いくつかの実施例では、指示器モデル１４２のタスクタイプが画像分割タイプである場合に、指示器モデル１４２により生成された第１指示マークＰＭ１は、第１分割マスクＰＭ１ｂを含み、この第１分割マスクＰＭ１ｂは、興味のある物体（例えば猫）の近似領域を覆う。

【0032】

図６に示すように、指示強化プログラム１４４は、第１指示マークＰＭ１（即ち第１分割マスクＰＭ１ｂ）を変換することで、第１分割マスクＰＭ１ｂを第２分割マスクＰＭ２ｆに変換するために用いられる。

【0033】

いくつかの実施例では、前述変換は、（１）第１分割マスクＰＭ１ｂの位置を移動して第２分割マスクＰＭ２ｆを形成すること、（２）第１分割マスクＰＭ１ｂのサイズを第２分割マスクＰＭ２ｆに拡大すること、（３）第１分割マスクＰＭ１ｂのサイズを第２分割マスクＰＭ２ｆに縮小すること、又は（４）第１分割マスクＰＭ１ｂを第２分割マスクＰＭ２ｆにコピーすることであってもよい。

【0034】

図６に示す実施例では、第１分割マスクＰＭ１ｂのサイズを縮小して第２指示マークＰＭ２の第２分割マスクＰＭ２ｆを形成する。しかしながら、本開示は、これに限定されない。

【0035】

図６に示すように、指示強化プログラム１４４が第１指示マークＰＭ１を変換することは、第１分割マスクＰＭ１ｂのエッジノードの位置に基づいて第２エッジボックスＰＭ２ｃを取得することをさらに含む。いくつかの例では、第１分割マスクＰＭ１ｂの頂点、底点、最右側点、最左側点に基づいて第２エッジボックスＰＭ２ｃのサイズと位置を決定してもよく、第２指示マークＰＭ２は、第２エッジボックスＰＭ２ｃも併せて含んでもよい。

【0036】

図６に示すように、指示強化プログラム１４４が第１指示マークＰＭ１を変換することは、第２分割マスクＰＭ２ｆ内の１つのノードを正方向クリックＰＭ２ａの位置として選択することをさらに含む。いくつかの例では、第２分割マスクＰＭ２ｆの中心点を正方向クリックＰＭ２ａの位置として選択してもよく、第２指示マークＰＭ２は、正方向クリックＰＭ２ａも併せて含んでもよい。

【0037】

図６に示すように、指示強化プログラム１４４が第１指示マークＰＭ１を変換することは、第２分割マスクＰＭ２ｆ外の１つ又は複数のノードを負方向クリックＰＭ２ｂの位置として選択することをさらに含む。いくつかの例では、第２分割マスクＰＭ２ｆから離れるランダムなノードを負方向クリックＰＭ２ｂの位置として選択してもよく、第２指示マークＰＭ２は、負方向クリックＰＭ２ｂも併せて含んでもよい。

【0038】

いくつかの実施例では、第２指示マークＰＭ２は、図６に示す正方向クリックＰＭ２ａ、負方向クリックＰＭ２ｂ、第２エッジボックスＰＭ２ｃと第２分割マスクＰＭ２ｆの組み合わせを含んでもよい。正方向クリックＰＭ２ａ、負方向クリックＰＭ２ｂ、第２エッジボックスＰＭ２ｃと第２分割マスクＰＭ２ｆの４つを統合して一緒に分割基礎モデル１９２に指示入力として送信することができる。

【0039】

図７を併せて参照されたい。それは、別の例示的な例における指示器モデル１４２のタスクタイプが分類タイプである場合に対応する入力画像ＩＭＧｉ、第１指示マークＰＭ１及び第２指示マークＰＭ２の概略図である。

【0040】

この例では、指示器モデル１４２は、猫に関する限られた数の画像を用いてトレーニングされた分類モデルであるとともに、１つのヒートマップＰＭ１ｃを生成するために用いられる。ヒートマップＰＭ１ｃにおける複数の特徴点の数値は、興味のある物体（例えば猫）が位置する領域に属するか否かの確率値に応じて変化する。例えば、特徴点が高い確率で猫と重なる場合、ヒートマップでは濃い色（例えば数値が高い）である一方、特徴点が低い確率で猫と重なる場合、ヒートマップでは薄い色（例えば数値が低い）であり、図７に示す。

【0041】

図７に示すように、第１指示マークＰＭ１（例えばヒートマップＰＭ１ｃ）に対して行う指示強化プログラム１４４は、（１）ヒートマップＰＭ１ｃにおける複数の特徴点の値と閾値とを比較することと、（２）ヒートマップＰＭ１ｃにおける閾値を超える複数の第１特徴点を位置決めするとともに、ヒートマップＰＭ１ｃにおける閾値よりも低い複数の第２特徴点を位置決めすることと、（３）これらの第１特徴点の複数のエッジノードに基づいて第２エッジボックスＰＭ２ｃを取得し、又はこれらの第１特徴点に基づいて第２分割マスクＰＭ２ｆを取得することとを含む。この例では、第２エッジボックスＰＭ２ｃ及び／又は第２分割マスクＰＭ２ｆを統合して第２指示マークＰＭ２の組み合わせに追加することができる。

【0042】

図７に示す実施例では、ヒートマップＰＭ１ｃにおける高い確率値に対応する内側部分（即ち閾値を超えるこれらの第１特徴点）は、第２分割マスクＰＭ２ｆを形成する。第２分割マスクＰＭ２ｆのエッジノードは、第２エッジボックスＰＭ２ｃを形成する。

【0043】

図７に示すように、指示強化プログラム１４４が第１指示マークＰＭ１を変換することは、閾値を超えるこれらの第１特徴点（第２分割マスクＰＭ２ｆ以内の領域に対応する）から第１ノードを正方向クリックＰＭ２ａの位置として選択することをさらに含む。この例では、第２分割マスクＰＭ２ｆの中心点は、正方向クリックＰＭ２ａの位置として選択されてもよい。第２指示マークＰＭ２は、正方向クリックＰＭ２ａも併せて含んでもよい。

【0044】

図７に示すように、指示強化プログラム１４４が第１指示マークＰＭ１を変換することは、閾値よりも低いこれらの第２特徴点（第２分割マスクＰＭ２ｆ以外の領域に対応する）から１つ又は複数の第２ノードを負方向クリックＰＭ２ｂの位置として選択することをさらに含む。いくつかの例では、第２分割マスクＰＭ２ｆから離れるランダムなノードを負方向クリックＰＭ２ｂの位置として選択してもよく、第２指示マークＰＭ２は、負方向クリックＰＭ２ｂも併せて含んでもよい。

【0045】

いくつかの実施例では、第２指示マークＰＭ２は、図７に示す正方向クリックＰＭ２ａ、負方向クリックＰＭ２ｂ、第２エッジボックスＰＭ２ｃと第２分割マスクＰＭ２ｆの組み合わせを含んでもよい。正方向クリックＰＭ２ａ、負方向クリックＰＭ２ｂ、第２エッジボックスＰＭ２ｃ及び第２分割マスクＰＭ２ｆの４つを統合して一緒に分割基礎モデル１９２に指示入力として送信することができる。

【0046】

図３に示すように、分割基礎モデル１９２は、画像エンコーダ１９２ａ、指示エンコーダ１９２ｂ及びマスクデコーダ１９２ｃを含む。画像エンコーダ１９２ａは、入力画像ＩＭＧｉを受信し、且つ入力画像ＩＭＧｉを入力画像埋め込みベクトルＩＭＧｅに変換するために用いられる。指示エンコーダ１９２ｂは、第２指示マークＰＭ２を受信し、且つ第２指示マークＰＭ２を指示ベクトルＰＶに変換するために用いられる。マスクデコーダ１９２ｃは、画像エンコーダ１９２ａにより生成された入力画像埋め込みベクトルＩＭＧｅと指示エンコーダ１９２ｂにより生成された指示ベクトルＰＶに基づいて、さらに出力分割マスクＳＭＫを生成するために用いられる。

【0047】

いくつかの実施例では、分割基礎モデル１９２は、セグメントエニシングモデル（ＳＡＭ）によって実現されてもよい。しかしながら、本開示は、これに限定されない。分割基礎モデル１９２は、コンバータアーキテクチャに基づく他の類似するベースモデル、又はエンコーダ－デコーダアーキテクチャに基づく他の類似するベースモデルによって実現されてもよい。

【0048】

図８Ａ及び図８Ｂを併せて参照されたい。それは、いくつかの実施例における分割基礎モデル１９２が異なる指示マークに基づいて生成する異なる出力分割マスクの概略図である。

【0049】

図８Ａは、分割基礎モデル１９２が入力画像ＩＭＧｉ及び第１指示マークＰＭ１を受信する例である。この例では、分割基礎モデル１９２に入力された指示は、指示強化プログラム１４４により処理されていない第１指示マークＰＭ１である。図８Ａに示すように、第１指示マークＰＭ１は、１つのエッジボックスのみを含み、このエッジボックスは、肝臓の近似位置をマークする。しかしながら、エッジボックスは、さらに肝臓の周囲のいくつかの領域を覆う。第１指示マークＰＭ１（即ちエッジボックス）により提供される指示に基づいて、図８Ａに示す分割基礎モデル１９２により生成された出力分割マスクＳＭＫ１は、肝臓の周囲のその他の物体も覆う可能性がある。言い換えれば、第１指示マークＰＭ１に基づいて生成された出力分割マスクＳＭＫ１は、正確ではない。

【0050】

図８Ｂは、分割基礎モデル１９２が入力画像ＩＭＧｉ及び第２指示マークＰＭ２を受信する別の例である。この場合に、分割基礎モデル１９２に入力された指示は、指示強化プログラム１４４により処理された第２指示マークＰＭ２である。図８Ｂに示すように、第２指示マークＰＭ２は、１つの正方向クリック、３つの負方向クリックと１つのエッジボックスの組み合わせを含む。このエッジボックスは、肝臓の近似位置をマークする。正方向クリックは、分割しようとする目標（即ち肝臓）をマークする。これらの負方向クリックは、分割目標に含めるべきではない部分をマークする。第２指示マークＰＭ２により提供される指示に基づいて、分割基礎モデル１９２により生成された出力分割マスクＳＭＫ２は、図８Ｂに示すように、この例における目標（即ち肝臓）をより正確に分割することができる。

【0051】

前述した実施例で説明されたように、画像処理システム１００は、大量のラベルデータを用いて大規模のモデルをレーニングすることなく画像分割を行うことができる。画像処理システム１００は、小規模の指示器モデル１４２をトレーニングすることができ、指示器モデル１４２と指示強化プログラム１４４を利用して第２指示マークＰＭ２を生成し、且つ分割基礎モデル１９２に送信して出力分割マスクＳＭＫを生成する。分割基礎モデル１９２は、外部で動作するプリトレーニングモデルであってもよい。通常、分割基礎モデル１９２は、優れた汎用性（即ち異なる画像を処理する能力）を有し、分割基礎モデル１９２と統合して動作する画像処理システム１００は、異なるタイプの画像（例えば、医学画像、交通画像、顔識別画像、指紋画像）を処理することもできる。

【0052】

本開示のフレームワークでは、計算の複雑さが低い小型モデルを指示器モデル１４２として選択することができ、データマーキング（指示器モデル１４２をトレーニングするために用いられる）のタスク難易度を簡略化することができる。この例では、指示器モデル１４２は、限られた数のラベルデータと簡略化されたラベルタイプによりトレーニングすることができる。新しいタスク目標時（例えば、犬に関する画像分割）を追加する必要がある場合に、画像処理システム１００は、犬に関するトレーニングデータを用いて大規模のモデルを再トレーニングする必要がなく、犬に関する限られた数のラベルデータを用いて指示器モデル１４２をトレーニングすることができ、指示器モデル１４２をトレーニングするマーキングコスト（例えば時間コストと人件費）の低減に寄与する。また、分割基礎モデル１９２によって適切な指示入力（例えば第２指示マークＰＭ２）に基づいて分割結果（例えば出力分割マスクＳＭＫ）を生成することができ、それにより出力分割マスクＳＭＫの正確性を維持する。

【0053】

本開示の特定の実施例は、上記実施例について開示しているが、これらの実施例は、本開示を限定することを意図していない。様々な代替及び改良は、本開示の原理及び精神から逸脱することなく、当業者によって本開示において実行されることができる。したがって、本開示の保護範囲は、添付の特許出願の範囲によって決定される。

【符号の説明】

【0054】

１００：画像処理システム
１２０：記憶ユニット
１４０：処理ユニット
１４２：指示器モデル
１４４：指示強化プログラム
１４６：結果生成装置
１６０：インタフェース
１８０：通信回路
１９０：サーバー
１９２：分割基礎モデル
１９２ａ：画像エンコーダ
１９２ｂ：指示エンコーダ
１９２ｃ：マスクデコーダ
２００：画像分割方法
４００：トレーニング方法
ＩＭＧｅ：入力画像埋め込みベクトル
ＩＭＧｉ：入力画像
ＩＭＧｏ：出力画像
ＰＭ１：第１指示マーク
ＰＭ１ａ：エッジボックス
ＰＭ１ｂ：第１分割マスク
ＰＭ１ｃ：ヒートマップ
ＰＭ２：第２指示マーク
ＰＭ２ａ：正方向クリック
ＰＭ２ｂ：負方向クリック
ＰＭ２ｃ：第２エッジボックス
ＰＭ２ｄ：正方向軌跡
ＰＭ２ｅ：負方向軌跡
ＰＭ２ｆ：第２分割マスク
ＰＶ：指示ベクトル
Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０：ステップ
Ｓ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４６０：ステップ
ＳＭＫ、ＳＭＫ１、ＳＭＫ２：出力分割マスク

【図1】