IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 宏達國際電子股▲ふん▼有限公司の特許一覧

特開2024-68659インライヤーとアウトライヤーデータを分類するためのデータ分類方法
<>
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図1
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図2
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図3
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図4
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図5A
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図5B
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図5C
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図6
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図7
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図8
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図9
  • 特開-インライヤーとアウトライヤーデータを分類するためのデータ分類方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024068659
(43)【公開日】2024-05-20
(54)【発明の名称】インライヤーとアウトライヤーデータを分類するためのデータ分類方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240513BHJP
   G06V 10/70 20220101ALI20240513BHJP
   G06F 18/24 20230101ALI20240513BHJP
   G06N 20/00 20190101ALI20240513BHJP
【FI】
G06T7/00 350B
G06V10/70
G06F18/24
G06N20/00
【審査請求】有
【請求項の数】10
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023190037
(22)【出願日】2023-11-07
(31)【優先権主張番号】63/382,723
(32)【優先日】2022-11-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/488,976
(32)【優先日】2023-03-08
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502160992
【氏名又は名称】宏達國際電子股▲ふん▼有限公司
(74)【代理人】
【識別番号】100206335
【弁理士】
【氏名又は名称】太田 和宏
(72)【発明者】
【氏名】蔡 承翰
(72)【発明者】
【氏名】彭 宇劭
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096JA03
5L096JA11
5L096JA22
5L096KA04
(57)【要約】      (修正有)
【課題】マークなし画像をインライヤーとアウトライヤーデータを分類するためのデータ分類方法を提供する。
【解決手段】インライヤーとアウトライヤーデータを分類するためのデータ分類方法であって、複数のマークなし画像を取得するステップと、マークなし画像の中から指定インライヤー画像を選択するステップと、マークなし画像の指定インライヤー画像に対する第1類似度スコアを含む類似度行列を計算するステップと、マークなし画像のそれぞれを類似度行列に基づいてインライヤーデータセット又はアウトライヤーデータセットに分類して、マークなし画像の複数のインライヤー-アウトライヤー予測データを生成するステップと、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
複数のマークなし画像を取得するステップと、
前記マークなし画像に対してQ個の予測ラウンドを実行し、Qは正の整数であり、前記Q個の予測ラウンドのそれぞれは、前記マークなし画像の中から複数のデフォルトインライヤー画像をランダムに選択することと、前記マークなし画像の前記デフォルトインライヤー画像に対する複数の第1類似度スコアを含む第1類似度行列を計算することと、前記第1類似度行列に基づいて、そのうちの1つの予測ラウンドにおける前記マークなし画像に関する複数の中間インライヤー-アウトライヤー予測データを生成することと、を含むステップと、
前記Q個の予測ラウンドのそれぞれにおいて生成された前記マークなし画像の前記中間インライヤー-アウトライヤー予測データを集合して、前記マークなし画像の中から複数の集合予測インライヤー画像を選択するステップと、
前記マークなし画像の前記集合予測インライヤー画像に対する複数の第2類似度スコアを含む第2類似度行列を計算するステップと、
前記第2類似度行列に基づいて、前記マークなし画像のそれぞれをインライヤーデータセット又はアウトライヤーデータセットに分類して、前記マークなし画像の複数のインライヤー-アウトライヤー予測データを生成するステップと、
を含むデータ分類方法。
【請求項2】
前記マークなし画像に関する前記中間インライヤー-アウトライヤー予測データは、
全ての前記Q個の予測ラウンドにおいて、インライヤーに分類された前記マークなし画像の一部を前記集合予測インライヤー画像として選択することによって集合される請求項1に記載のデータ分類方法。
【請求項3】
前記第1類似度スコアは、前記マークなし画像から取得された複数の特徴ベクトルと前記デフォルトインライヤー画像との間で類似度アルゴリズムを実行する方法によって計算される請求項1に記載のデータ分類方法。
【請求項4】
前記類似度アルゴリズムは、コサイン類似度アルゴリズム、ユークリッド距離類似度アルゴリズム、マンハッタン距離アルゴリズム、又はハミング距離アルゴリズムである請求項3に記載のデータ分類方法。
【請求項5】
前記中間インライヤー-アウトライヤー予測データは、
前記マークなし画像の前記第1類似度スコアと閾値類似度値とを比較するステップと、
前記マークなし画像のうちの1つに含まれる前記第1類似度スコアが前記閾値類似度値より高いことに応答して、前記マークなし画像のうちの1つを前記中間インライヤー-アウトライヤー予測データにおけるインライヤーとして予測するステップと、
前記マークなし画像のうちのもう1つに含まれる前記第1類似度スコアが前記閾値類似度値より低いことに応答して、前記マークなし画像のうちのもう1つを前記中間インライヤー-アウトライヤー予測データにおけるアウトライヤーとして予測するステップと、
によって生成される請求項1に記載のデータ分類方法。
【請求項6】
前記インライヤーデータセットは、機械学習モデルを訓練する訓練データとして用いられ、前記アウトライヤーデータセットは、前記訓練データとして用いられない請求項1に記載のデータ分類方法。
【請求項7】
Qは、約10~約20の範囲にある請求項1に記載のデータ分類方法。
【請求項8】
複数のマークなし画像を取得するステップと、
前記マークなし画像の中から指定インライヤー画像を選択するステップと、
前記マークなし画像の前記指定インライヤー画像に対する複数の第1類似度スコアを含む類似度行列を計算するステップと、
前記類似度行列に基づいて、前記マークなし画像のそれぞれをインライヤーデータセット又はアウトライヤーデータセットに分類して、前記マークなし画像の複数のインライヤー-アウトライヤー予測データを生成するステップと、
を含むデータ分類方法。
【請求項9】
前記マークなし画像の中から指定アウトライヤー画像を選択するステップを更に含み、
前記類似度行列は、前記マークなし画像の前記指定アウトライヤー画像に対する複数の第2類似度スコアを含み、前記類似度行列における前記第1類似度スコア及び前記第2類似度スコアに基づいて、前記マークなし画像のそれぞれを分類する請求項8に記載のデータ分類方法。
【請求項10】
複数のマークなし画像を取得するステップと、
前記マークなし画像に対してQ個の予測ラウンドを実行し、Qは正の整数であり、前記Q個の予測ラウンドのそれぞれは、前記マークなし画像の中から複数のデフォルトインライヤー画像をランダムに選択することと、前記マークなし画像の前記デフォルトインライヤー画像に対する第1類似度スコアを含む第1類似度行列を計算することと、前記第1類似度行列に基づいて、そのうちの1つの予測ラウンドにおける前記マークなし画像に関する複数の中間インライヤー-アウトライヤー予測データを生成することと、を含むステップと、
前記Q個の予測ラウンドのそれぞれにおいて生成された前記マークなし画像の前記中間インライヤー-アウトライヤー予測データを集合して、前記マークなし画像の中から複数の集合予測インライヤー画像を選択するステップと、
前記マークなし画像の前記集合予測インライヤー画像に対する複数の第2類似度スコアを含む第2類似度行列を計算するステップと、
前記第2類似度行列に基づいて、前記マークなし画像のそれぞれをインライヤーデータセット又はアウトライヤーデータセットに分類して、前記マークなし画像の複数の第1インライヤー-アウトライヤー予測データを生成するステップと、
前記マークなし画像の前記第1インライヤー-アウトライヤー予測データの一部を表示するステップと、
前記第1インライヤー-アウトライヤー予測データに基づいて修正された調整入力データを取得するステップと、
前記マークなし画像の前記調整入力データに対する複数の第3類似度スコアを含む第3類似度行列を計算するステップと、
前記第3類似度行列に基づいて、前記マークなし画像のそれぞれを前記インライヤーデータセット又は前記アウトライヤーデータセットに分類して、前記マークなし画像の複数の第2インライヤー-アウトライヤー予測データを生成するステップと、
を含むデータ分類方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、分類方法に関し、特に、マークなし画像をインライヤーデータ又はアウトライヤーデータに分類するための分類方法に関する。
【背景技術】
【0002】
機械学習技術におけるアウトライヤー検出は、正規分布から大きく逸脱するデータセット内のデータインスタンスを識別するためのプロセスである。アウトライヤー検出は、医療保健又は産業プロセスにおける医療予測、不正行為検出、ネットワークセキュリティ、品質管理、及び異常検出等の様々な応用において非常に重要である。
【発明の概要】
【0003】
本開示の一実施例は、複数のマークなし画像を取得するステップと、前記マークなし画像に対してQ個の予測ラウンドを実行し、Qは正の整数であり、前記Q個の予測ラウンドのそれぞれは、前記マークなし画像の中から複数のデフォルトインライヤー画像をランダムに選択することと、前記マークなし画像の前記デフォルトインライヤー画像に対する複数の第1類似度スコアを含む第1類似度行列を計算することと、前記第1類似度行列に基づいて、そのうちの1つの予測ラウンドにおける前記マークなし画像に関する複数の中間インライヤー-アウトライヤー予測データを生成することと、を含むステップと、前記Q個の予測ラウンドのそれぞれにおいて生成された前記マークなし画像の前記中間インライヤー-アウトライヤー予測データを集合して、前記マークなし画像の中から複数の集合予測インライヤー画像を選択するステップと、前記マークなし画像の前記集合予測インライヤー画像に対する複数の第2類似度スコアを含む第2類似度行列を計算するステップと、第2類似度行列に基づいて、前記マークなし画像のそれぞれをインライヤーデータセット又はアウトライヤーデータセットに分類して、前記マークなし画像の複数のインライヤー-アウトライヤー予測データを生成するステップと、を含むデータ分類方法を提供する。
【0004】
本開示の他の実施例は、複数のマークなし画像を取得するステップと、前記マークなし画像の中から指定インライヤー画像を選択するステップと、前記マークなし画像の前記指定インライヤー画像に対する複数の第1類似度スコアを含む類似度行列を計算するステップと、前記類似度行列に基づいて、前記マークなし画像のそれぞれをインライヤーデータセット又はアウトライヤーデータセットに分類して、前記マークなし画像の複数のインライヤー-アウトライヤー予測データを生成するステップと、を含むデータ分類方法を提供する。
【0005】
本開示の他の実施例は、複数のマークなし画像を取得するステップと、前記マークなし画像に対してQ個の予測ラウンドを実行し、Qは正の整数であり、前記Q個の予測ラウンドのそれぞれは、前記マークなし画像の中から複数のデフォルトインライヤー画像をランダムに選択することと、前記マークなし画像の前記デフォルトインライヤー画像に対する複数の第1類似度スコアを含む第1類似度行列を計算することと、前記第1類似度行列に基づいて、そのうちの1つの予測ラウンドにおける前記マークなし画像に関する複数の中間インライヤー-アウトライヤー予測データを生成することと、を含むステップと、前記Q個の予測ラウンドのそれぞれにおいて生成された前記マークなし画像の前記中間インライヤー-アウトライヤー予測データを集合して、前記マークなし画像の中から複数の集合予測インライヤー画像を選択するステップと、前記マークなし画像の前記集合予測インライヤー画像に対する複数の第2類似度スコアを含む第2類似度行列を計算するステップと、前記第2類似度行列に基づいて、前記マークなし画像のそれぞれをインライヤーデータセット又はアウトライヤーデータセットに分類して、前記マークなし画像の複数の第1インライヤー-アウトライヤー予測データを生成するステップと、前記マークなし画像の前記第1インライヤー-アウトライヤー予測データの一部を表示するステップと、前記第1インライヤー-アウトライヤー予測データに基づいて修正された調整入力データを取得するステップと、前記マークなし画像の前記調整入力データに対する複数の第3類似度スコアを含む第3類似度行列を計算するステップと、前記第3類似度行列に基づいて、前記マークなし画像のそれぞれを前記インライヤーデータセット又は前記アウトライヤーデータセットに分類して、前記マークなし画像の複数の第2インライヤー-アウトライヤー予測データを生成するステップと、を含むデータ分類方法を提供する。
【0006】
前述の一般的な説明及び以下の具体的な説明は例示的なものに過ぎず、本開示を更に解釈するのを目的とするものであることを理解されたい。
【図面の簡単な説明】
【0007】
以下の実施例の詳細な説明を読んで、図面を参照すれば、本開示をより全面的に理解することができる。
図1】本開示の幾つかの実施例によるデータ分類方法を示すフローチャートである。
図2】本開示の幾つかの実施例による図1のデータ分類方法を実現するための電子装置を示す模式図である。
図3】マークなし画像の例示的な例を示す模式図である。
図4】一部の画像における手動入力マークを示す模式図である。
図5A】例示的な例における類似度行列を示す模式図である。
図5B】例示的な例における類似度行列が、インライヤー-アウトライヤー予測データを生成するために、どのように実際に作成されるかを示す模式図である。
図5C】例示的な例における類似度行列が、インライヤー-アウトライヤー予測データを生成するために、どのように実際に作成されるかを示す模式図である。
図6】幾つかの実施例によるインライヤー-アウトライヤー予測データをディスプレイに表示する模式図である。
図7】本開示の幾つかの実施例による別のデータ分類方法を示すフローチャートである。
図8】本開示の幾つかの実施例による全ての予測ラウンドの集合予測データを示す模式図である。
図9】本開示の幾つかの実施例によるデータ分類方法を示すフローチャートである。
図10】幾つかの実施例によるディスプレイに表示された第1インライヤー-アウトライヤー予測データの一部の予測データ及び調整入力データを示す模式図である。
【発明を実施するための形態】
【0008】
以下、本開示の実施例を詳細に説明し、その例は図面に示される。可能な状況において、図面及び説明では、同じ又は類似の構成要素を表すために同じ番号が使用される。
【0009】
図1を参照されたい。それは本開示の幾つかの実施例によるデータ分類方法100のフローチャートを示す。データ分類方法100は、マークなし画像をインライヤーデータセット又はアウトライヤーデータセットに分類して、データセットにおけるマークなし画像のインライヤー-アウトライヤー予測データを生成する。
【0010】
最も良い場合は、外れていない訓練データセットに基づいて機械学習モデルを訓練することである。訓練データセットがアウトライヤーを含むと、機械学習モデルのパフォーマンス及び行為に様々な影響を与える可能性がある。例えば、訓練データセットにおけるアウトライヤーは、モデル偏差、モデル複雑性の増加、過剰フィッティング、安定性の低下、及び異常検出の困難等の問題を引き起こす可能性がある。
【0011】
医療保健の応用分野において、マークなし画像は異なるタイプの医用検査画像、例えば胸部X線画像、脳部MRI画像及び腹部超音波画像を含んでよい。異なる医用検査画像は、異なる診断において異なる用途を有する。
【0012】
例えば、胸部X線画像は肺炎を検出するための機械学習モデルの訓練に有利であるが、脳部MRI画像及び腹部超音波画像は肺炎の検出に適さない。訓練データセットには脳部MRI画像と腹部超音波画像が含まれ、肺炎検出モデルの訓練に悪影響を及ぼす可能性がある。この場合、胸部X線画像はインライヤーと見なすべきであり、脳部MRI画像及び腹部超音波画像はアウトライヤーと見なすべきである。
【0013】
データセットのインライヤーとアウトライヤーを手動でマークすることは、特に大規模なデータセットを処理する場合、時間がかかり、且つコストが高いプロセスとなる可能性がある。当該方法は、人間の専門家が審査し、インライヤーとアウトライヤーを識別する必要があるが、これは大量のデータセットに対しては現実的ではない可能性がある。
【0014】
幾つかの実施例において、データ分類方法100は、データセットにおけるマークなし画像のインライヤー-アウトライヤー予測データをより簡単な方式で生成する。更に図2を参照されたい。それは本開示の幾つかの実施例による図1のデータ分類方法100を実現するための電子装置200の模式図を示す。図2に示すように、電子装置200は、入力インターフェース220、処理ユニット240、記憶ユニット260及びディスプレイ280を含む。幾つかの実施例において、電子装置200は、コンピュータ、スマートフォン、タブレットコンピュータ、画像処理サーバ、データサーバ、又は任意の同等の画像処理機器であってよい。
【0015】
入力インターフェース220は、マークなし画像ULIMG及び他の手動命令を受信するために使用される。幾つかの実施例において、電子装置200は、マークなし画像ULIMGを分類し、その後にディスプレイ280に分類結果(即ち、マークなし画像ULIMGのインライヤー-アウトライヤー予測データPRED)を表示することができる。入力インターフェース220は、データ伝送インターフェース、無線通信回路、キーボード、マウス、マイクロフォン、又は任意の同等の入力機器を含んでよい。処理ユニット240は、入力インターフェース220、記憶ユニット260及びディスプレイ280に接続される。記憶ユニット260は、プログラムコードを記憶するために用いられる。記憶ユニット260に記憶されるプログラムコードは、図1に示すデータ分類方法100の実行を処理部240に指示するために用いられる。幾つかの実施例において、処理ユニット240は、プロセッサ、グラフィックスプロセッサ、特定用途向け集積回路、又は任意の同等の処理回路であってよい。
【0016】
更に図3を参照されたい。それはマークなし画像ULIMGの例示的な例の模式図を示す。
【0017】
幾つかの実施例において、図1及び図2に示すように、処理ユニット240は、ステップS110を実行して、入力インターフェース220を介して外部ソース(例えば、病院の医用画像サーバ)からマークなし画像ULIMGを取得する。他の実施例において、マークなし画像ULIMGは記憶ユニット260に記憶されてよく、処理ユニット240は記憶ユニット260からマークなし画像ULIMGを取得することができる。図3に示すように、マークなし画像ULIMGは、6つの画像IMG1-IMG6を含み、この例示的な例では、それらは4つの胸部X線画像IMG1-IMG4と2つの脳部MRI画像IMG5-IMG6との組み合わせである。
【0018】
なお、図3に示すマークなし画像ULIMGのうちの6つの画像IMG1-IMG6は、簡単に表示するためのものであるが、本開示はそれに限定されない。実際の応用において、マークなし画像ULIMGは数百、数千、更にはそれ以上の画像を含む可能性がある。
【0019】
図1図2及び図3に示すように、処理ユニット240は、ステップS112を実行し、マークなし画像ULIMGを前処理する。マークなし画像ULIMGにおける画像IMG1-IMG6は、様々な検査機器によって取得され、様々なファイルフォーマットで記憶されてよい。ステップS112の前処理プロセスにおいて、処理ユニット240は、マークなし画像ULIMGに対して画素値ウィンドウ化、強度スケーリング、サイズスケーリング及び/又は正規化を行って、複数のマークなし画像ULIMGを同じフォーマット、同じサイズ比率及び/又は同じ色比率に変換するために用いられる。
【0020】
図1図2及び図3に示すように、処理ユニット240は、前処理の後にステップS114を実行して、前処理後のマークなし画像ULIMGの中から対応する特徴ベクトルを抽出する。幾つかの実施例において、処理ユニット240は、ニューラルネットワークモデル(例えば、対照的な言語-画像事前訓練ニューラルネットワーク又は残差ネットワーク)を操作して特徴ベクトルを抽出することができる。マークなし画像ULIMGにおけるそれぞれの画像IMG1-IMG6から1つの特徴ベクトルを抽出する。
【0021】
一方、ステップS116は、入力インターフェース220を介して幾つかの手動入力マークMLBを収集するために実行される。幾つかの実施例において、ユーザは、マークなし画像ULIMGにおける画像IMG1-IMG6に対応する手動入力マークMLBを手動で割り当ててよい。更に図4を参照されたい。それは幾つかの実施例において一部の画像IMG1-IMG6における手動入力マークMLBの模式図を示す。図4に示す例示的な例では、ユーザが手動入力マークMLBを入力して、1つの画像IMG1を「インライヤー」に指定し、もう1つの画像IMG5を「アウトライヤー」に指定すると仮設する。ユーザが収集した手動入力マークMLBに応答して、処理ユニット240は、ステップS120を実行して、マークなし画像ULIMGにおいて手動入力マークMLBに基づいて画像IMG1を指定インライヤー画像INLとして選択し、且つマークなし画像ULIMGにおいて手動入力マークMLBに基づいて画像IMG5を指定アウトライヤー画像OUTLとして選択する。
【0022】
なお、この場合、ユーザは、マークなし画像ULIMGにおける一部の画像(例えば、2つの画像IMG1及びIMG5)に手動入力マークMLBを提供する。残りの4つの画像IMG2、IMG3、IMG4及びIMG6は、まだマークされていない。図1に示すデータ分類方法100は、少量の手動マーク画像(例えば、指定インライヤー画像INL及び指定アウトライヤー画像OUTL)に基づいて、マークなし画像IMG2、IMG3、IMG4及びIMG6のインライヤー-アウトライヤー予測データを生成するために用いられる。本開示は、ここでのマークなし画像と手動入力マークの数に限定されない。実際の応用において、例えば、マークなし画像ULIMGは5000枚の画像を含んでよく、ユーザは5枚の画像を手動でマークしてよく、データ分類方法100は、他の4995枚の画像のインライヤー-アウトライヤー予測データPREDを生成するために用いられる。
【0023】
上記実施例において、手動入力マークMLBは、インライヤーマークとアウトライヤーマークを含むことで、指定インライヤー画像INLと指定アウトライヤー画像OUTLを選択する。しかしながら、本開示はそれに限定されない。
【0024】
他の実施例において、手動入力マークMLBは、1、2、3又はそれ以上のインライヤーマークを含むことで、少なくとも1つの指定インライヤー画像INLを選択する。手動入力マークMLBは、0、1、2、3又はそれ以上のアウトライヤーマークを含む。言い換えれば、指定アウトライヤー画像OUTLは、インライヤー-アウトライヤー予測データPREDを生成する際に必ずしも必要ではない。
【0025】
図1図2及び図4に示すように、処理ユニット240は、ステップS130を実行して、マークなし画像ULIMGと手動マーク画像(例えば、指定インライヤー画像INL及び指定アウトライヤー画像OUTL)との間の類似度行列を計算する。更に図5Aを参照されたい。それは例示的な例における類似度行列SMX1の図5Aの模式図を示す。
【0026】
図5Aに示すように、類似度行列SMX1は、類似度行列SMX1の第1列に示すように、マークなし画像(例えば、IMG1-IMG6)の指定インライヤー画像INLに対する第1類似度スコアSSc1を含む。また、図5Aに示すように、類似度行列SMX1は、マークなし画像(例えば、IMG1-IMG6)の指定アウトライヤー画像OUTLに対する第2類似度スコアSSc2をも含む。
【0027】
幾つかの実施例において、処理ユニット240は、マークなし画像(例えば、IMG1-IMG6)から抽出された特徴ベクトルと指定インライヤー画像INLとの間の類似度アルゴリズムを実行して、第1類似度スコアSSc1を計算するために用いられる。類似度アルゴリズムは、コサイン類似度アルゴリズム、ユークリッド距離類似度アルゴリズム、マンハッタン距離アルゴリズム、又はハミング距離アルゴリズムから選択されてよい。
【0028】
処理ユニット240は、コサイン類似度アルゴリズムを実行して、コサイン類似度方程式における第1類似度スコアSSc1を計算することができる。
【数1】
【0029】
上記方程式(1)において、AとBは比較対象の2枚の画像の特徴ベクトルである。
【0030】
例えば、処理ユニット240は、コサイン類似度アルゴリズムを実行して、コサイン類似度方程式において画像IMG2と指定インライヤー画像INL(即ち、画像IMG1)との間の類似度スコアSS21を計算することができる。
【数2】
【0031】
上記方程式(2)において、V1は画像IMG1の特徴ベクトルであり、V2は画像IMG2の特徴ベクトルである。同様に、類似度アルゴリズムに基づいて第1類似度スコアSSc1における他の類似度スコアを計算することができる。
【0032】
2つの画像IMG2、IMG1の特徴ベクトルが互いに類似していれば、類似度スコアSS21は1に近づく。この場合、画像IMG2とIMG1とは互いに類似しているため、類似度スコアSS21は1に近い0.92となる。一方、2枚の画像の特徴ベクトルが互いに類似しなければ、類似度スコアはより0に近づく。
【0033】
同様に、処理ユニット240は、コサイン類似度アルゴリズムを実行して、画像IMG1-IMG6と指定アウトライヤー画像OUTL(即ち、画像IMG5)との間の第2類似度スコアSSc2を計算することができる。
【0034】
例えば、処理ユニット240は、コサイン類似度アルゴリズムを実行して、コサイン類似度方程式において画像IMGlと指定アウトライヤー画像OUTL(即ち、画像IMG5)との間の類似度スコアSS15を計算することができる。
【数3】
【0035】
上記方程式(3)において、V1は画像IMG1の特徴ベクトルであり、V5は画像IMG5の特徴ベクトルである。この場合、画像IMG1とIMG5とは互いに類似していないため、類似度スコアSS15は1に近くない0.53となる。
【0036】
図1図2及び図5Aに示すように、処理ユニット240は、ステップS140を実行し、類似度行列SMX1に基づいて各マークなし画像ULIMGをインライヤーデータセット又はアウトライヤーデータセットに分類して、マークなし画像ULIMGのインライヤー-アウトライヤー予測データPREDを生成する。更に図5B及び図5Bを参照されたい。それは、例示的な例における類似度行列SMX1が、インライヤー-アウトライヤー予測データを生成するように、どのように実際に作成されるかを示す模式図である。幾つかの実施例において、ステップS140は、3つの具体的なステップS141-S143を更に含む。
【0037】
図5Bに示すように、処理ユニット240は、ステップS141を実行し、類似度行列SMX1の各行に沿って最大値を選択して、別の行列SMX1aを生成する。次に、処理ユニット240は、ステップS142を実行し、行列SMX1aに重み付け行列WMXを乗算して、別の行列SMX1bを生成する。重み付け行列WMXにおける重み付け値は、ステップS141で選択された最大値が指定インライヤー画像INL又は指定アウトライヤー画像OUTLに対応するか否かを判断することによって決定される。行列SMX1bに示すように、画像IMG5とIMG6に対応する類似度スコアは、ステップS142で負の値に変換される。
【0038】
図1図2及び図5Cに示すように、処理ユニット240は、ステップS143を実行し、行列SMX1b(画像IMG1-IMG6に対応)における類似度スコアを閾値類似度値と比較して、画像IMG1-IMG6のインライヤー-アウトライヤー予測データを予測する。ここでは閾値類似度値のデフォルト値が0.93に設定されていると仮設する。
【0039】
図5Cに示すように、画像IMG3は、閾値類似度値「0.93」を超える類似度スコア「0.94」を有することで、インライヤー-アウトライヤー予測データPREDにおいてインライヤーと予測される。
【0040】
図5Cに示すように、画像IMG2、IMG4、IMG5及びIMG6は、対応する類似度スコア「0.92」、「0.91」、「-1.0」及び「-0.86」を有し、それらはいずれも閾値類似度値「0.93」より低いため、画像IMG2、IMG4、IMG5及びIMG6は、インライヤー-アウトライヤー予測データPREDにおいてアウトライヤーと予測される。
【0041】
上記図5A図5Cに示す実施例において、類似度行列SMX1における第1類似度スコアSSc1及び第2類似度スコアSSc2は、処理されて行列SMX1bとなり、それはインライヤー-アウトライヤー予測データPREDを生成するために用いられる。
【0042】
幾つかの他の実施例において、指定アウトライヤー画像OUTLは、インライヤー-アウトライヤー予測データPREDを生成する際に必ずしも必要ではない。手動入力マークに指定インライヤー画像INLのみを選択し、指定アウトライヤー画像OUTLを選択しない場合、処理ユニット240は、ステップS140を実行してよく、図5Aにおけるマークなし画像(例えば、IMG1-IMG6)の第1類似度SSc1と閾値類似度値「0.93」を比較することにより、それぞれのマークなし画像ULIMGを分類し、且つ第2類似度スコアSSc2を考慮せずに、第1類似度スコアSSc1に基づいてインライヤー-アウトライヤー予測データPREDを生成する。
【0043】
上記実施例に基づいて、図1に示すデータ分類方法100は、少量の手動マーク画像(即ち、指定インライヤー画像INL及び指定アウトライヤー画像OUTL)に基づいて生成された全てのマークなし画像のインライヤー-アウトライヤー予測データPREDを含む。言い換えれば、データ分類方法100は、大量のデータセットにおけるインライヤー及びアウトライヤーをマークする際に、大量の時間及び人件費を節約することができる。
【0044】
図1及び図2に示すように、ステップS160は、ディスプレイ280にインライヤー-アウトライヤー予測データPREDを表示するために用いられる。更に図6を参照されたい。それは、幾つかの実施例によるインライヤー-アウトライヤー予測データPREDがディスプレイ280に表示される模式図を示す。この場合、ユーザは、画像IMG1-IMG6のインライヤー-アウトライヤー予測データPREDをチェックすることができる。ユーザにとって、インライヤー-アウトライヤー予測データPREDが理想的でない場合、ユーザはフィードバックすることで分類のパラメータを調整することができる。
【0045】
幾つかの実施例において、ユーザがインライヤー-アウトライヤー予測データPREDをチェックし、現在の閾値類似度値が理想的でないのを知った場合、データ分類方法100は、ステップS154を実行して、入力インターフェース220を介して入力されたフィードバック命令に基づいて閾値類似度値を調整することができる。例えば、閾値類似度値を閾値類似度値「0.90」まで低く調整してよい。図1図2及び図5Aに示すように、処理ユニット240は、ステップS140を再び実行して、調整後の類似度閾値「0.90」を参照してマークなし画像ULIMGのそれぞれを再分類する。この場合、画像IMG1-IMG4は、調整後の閾値類似度値「0.90」によって「インライヤー」に分類される。換言すれば、類似度閾値は、フィードバック命令に従って高く/低く調整することができる。
【0046】
幾つかの他の実施例において、ユーザがインライヤー-アウトライヤー予測データPREDをチェックし、手動入力マークが理想的でないのを知った場合、データ分類方法100は、ステップS156を実行して、入力インターフェース220を介して入力されたフィードバック命令に基づいて調整後の手動入力マークを収集することができる。例えば、ユーザが画像IMG1及びIMG4を手動で「インライヤー」と指定し、且つ画像IMG5から「アウトライヤー」マークを削除してよい。図1図2及び図5Aに示すように、処理ユニット240は、ステップS120を再び実行して、指定インライヤー画像INLとして画像IMG1及びIMG4を改めて選択する。ステップS130は再び実行され、指定インライヤー画像INLに基づいて類似度行列(図示せず)を改めて計算し、この場合は画像IMG1及びIMG4を含む。類似度行列は、マークなし画像IMG1-IMG6の指定インライヤー画像IMG1及びIMG4に対する2列の類似度スコアを含む。1列の類似度スコアは、指定インライヤー画像IMG1に対するマークなし画像IMG1-IMG6に関し、もう1列の類似度スコアは、指定インライヤー画像IMG4に対するマークなし画像IMG1-IMG6に関する。ステップS140は再び実行され、改めて計算された類似度行列に基づいてマークなし画像IMG1-IMG6を改めて分類する。この場合、初期の手動入力マークセットが理想的でなければ、ユーザは、ステップS156において手動入力マークを修正してよく、それに応じてインライヤー-アウトライヤー予測データPREDを改めて生成する。
【0047】
上記実施例における図1に示すデータ分類方法100では、少量の手動マーク画像によって分類する。しかしながら、本開示はそれに限定されない。更に図7を参照されたい。それは本開示の幾つかの実施例による他のデータ分類方法300のフローチャートを示す。図7におけるデータ分類方法300は、図2に示す電子装置200によって実行されてよい。図7に示すデータ分類方法300は、図1におけるデータ分類方法100と比較して、ユーザ側から任意の手動入力マークを収集する必要がない。
【0048】
図2及び図7に示す幾つかの実施例のように、処理ユニット240はステップS310を実行して、マークなし画像ULIMGを取得する(図3の実施例を参照してよい)。ステップS310の具体的な内容は、前述の実施例におけるステップS110と同様であるため、ここでは説明を省略する。処理ユニット240は、ステップS312を実行して、マークなし画像を前処理する。ステップS312の前処理プロセスにおいて、処理ユニット240は、マークなし画像ULIMGに対して画素値ウィンドウ化、強度スケーリング、サイズスケーリング及び/又は正規化を行って、複数のマークなし画像ULIMGを同じフォーマット、同じサイズ比率及び/又は同じ色比率に変換するために用いられる。ステップS312の具体的な内容は、前述の実施例におけるステップS112と同様であるため、ここでは説明を省略する。処理ユニット240はステップS314を実行して、マークなし画像ULIMGから特徴ベクトルを抽出する。幾つかの実施例において、処理ユニット240は、ニューラルネットワークモデル(例えば、対照的な言語-画像事前訓練(CLIP)ニューラルネットワーク又は残差ネットワーク(ResNet))を操作して特徴ベクトルを抽出することができる。ステップS314の具体的な内容は、前述の実施例におけるステップS114と同様であるため、ここでは説明を省略する。
【0049】
ステップS314の後、データ分類方法300は、マークなし画像ULIMGに関するQ個の予測ラウンドR1、R2…RQを実行して、Q個の予測ラウンドR1、R2…RQのそれぞれにおいて中間インライヤー-アウトライヤー予測データを生成するために用いられる。Qは正の整数である。
【0050】
予測ラウンドR1の間に、処理ユニット240は、ステップS320を実行して、マークなし画像ULIMGの中から複数のデフォルトインライヤー画像をランダムに選択する。これらのデフォルトインライヤー画像は、マークなし画像ULIMGの中からランダムにサンプリングされた画像であり、今回の予測R1ラウンドで「インライヤー」(inlier)と見なされる。実際の応用において、データセットにおけるマークなし画像ULIMGは通常、比較的多いインライヤーデータと比較的少ないアウトライヤーデータと、を含む(例えば、インライヤーとアウトライヤーとの比は、5:1又は10:1であってよい)。したがって、マークなし画像ULIMGの中からランダムにサンプリングされたこれらのデフォルトインライヤー画像は、実際のインライヤーデータが選択される可能性が高く、実際のアウトライヤーデータが選択される可能性が低い。
【0051】
その後、予測ラウンドR1において、処理ユニット240は、ステップS330を実行して、マークなし画像ULIMGのこれらのデフォルトインライヤー画像に対する複数の第1類似度スコアを含む第1類似度行列を計算する。ステップS330の詳細は、前述の実施例におけるステップS130と同様であるため、ここでは説明を省略する。図7のステップS330と図1のステップS130との違いは、第1類似度行列を計算する際に用いられるこれらのデフォルトインライヤー画像が、手動入力マークに基づくものではなく、ステップS320においてランダムに選択されたものに基づくものであることである。
【0052】
その後、予測ラウンドR1において、処理ユニット240は、ステップS340を実行して、第1類似度行列に基づいてマークなし画像ULIMGのそれぞれを分類し、予測ラウンドR1におけるマークなし画像に関する中間インライヤー-アウトライヤー予測データを生成する。ステップS340の詳細は、前述の実施例におけるステップS140と同様であるため、ここでは説明を省略する。
【0053】
図7に示すように、ステップS342は、Q個の予測ラウンドR1-RQが完了したか否かを検査するために用いられる。この場合、完了していないため、データ分類方法300は、ステップS320に戻り、別のラウンドの予測R2に進む。予測ラウンドR2の間に、処理ユニット240は、ステップS320-S340を実行して、もう一組のデフォルトインライヤー画像を選択し、それに応じて中間インライヤー-アウトライヤー予測データを生成する。同様に、ステップS320-S340は、後続の予測ラウンドにおいて、予測ラウンドRQの実行が完了するまで繰り返し実行される。
【0054】
Q個の予測ラウンドR1-RQが完了したら、データ分類方法300は、ステップS350に進み、処理ユニット240は、ステップS350を実行して、集合予測のインライヤー画像を選択するために、Q個の予測ラウンドR1-RQの中間アウトライヤー予測データを集合する。更に図8を参照されたい。それは本開示の幾つかの実施例による全ての予測ラウンドの集合予測データPREDALLの模式図を示す。図8に示すように、集合予測データPREDALLは、予測ラウンドR1からの中間インライヤー-アウトライヤー予測データPREDR1、予測ラウンドR2からの中間インライヤー-アウトライヤー予測データPREDR2、…、及び予測ラウンドRQからの中間インライヤー-アウトライヤー予測データPREDRQを含む。
【0055】
図8に示すように、画像IMG1-IMG6のそれぞれは、予測ラウンドR1-RQのそれぞれにおいて「インライヤー」又は「アウトライヤー」に分類される。幾つかの実施例において、ステップS350では、全てのQ個の予測ラウンドにおいてインライヤーに分類されたマークなし画像のみが集合予測インライヤー画像として選択される。
【0056】
図8に示すように、画像IMG1及びIMG3が全ての中間インライヤー-アウトライヤー予測データPREDR1-PREDRQにおいて「インライヤー」に分類されるため、画像IMG1及びIMG3は集合予測インライヤー画像INLaとして選択される。
【0057】
一方、画像IMG2が中間インライヤー-アウトライヤー予測データPREDR1において「アウトライヤー」に分類されることで、画像IMG2は不適格となる。同様に、画像IMG4が中間インライヤー-アウトライヤー予測データPREDR2において「アウトライヤー」に分類されることで、画像IMG2は不適格となる。
【0058】
幾つかの実施例において、Qは、約10~20の正の整数である。Qが10未満であると、集合予測インライヤー画像は十分に正確でない可能性がある(例えば、実際のアウトライヤー画像が偶然に集合予測インライヤー画像に組み合わせられる可能性がある)。Qが20より大きいと、集合予測インライヤー画像を選択する際に厳しすぎて困難である可能性がある。
【0059】
図2図7及び図8に示すように、処理ユニット240は、ステップS360を実行して、マークなし画像ULIMGの集合予測インライヤー画像INLaに対する第1類似度スコアを含む第2類似度行列を計算する。ステップS360の詳細は、前述の実施例におけるステップS130と同様であるため、ここでは説明を省略する。図7のステップS360と図1のステップS130との違いは、第2類似度行列を計算する際に用いられる集合予測インライヤー画像INLaが、手動入力マークではなく、ステップS350の内容に基づくものであることである。
【0060】
図2及び図7に示すように、処理ユニット240は、ステップS370を実行して、第2類似度行列に基づいてマークなし画像ULIMGのそれぞれを分類し、且つマークなし画像ULIMGに関するインライヤー-アウトライヤー予測データを生成する。ステップS370の詳細は、前述の実施例におけるステップS140と同様であるため、ここでは説明を省略する。
【0061】
幾つかの実施例において、ステップS380を実行して、ステップS370で生成されたインライヤー-アウトライヤー予測データ(図6を参照)をユーザに表示する。
【0062】
図7に示す実施例において、データ分類方法300は、ユーザから任意の手動入力マークを収集する必要がない。データ分類方法300は別の方法を提供し、予測ラウンドR1-RQにおいてランダムにサンプリングされたものに基づいてマークなし画像ULIMGのインライヤー-アウトライヤー予測データを生成し、任意の手動入力マークを必要としない。データ分類方法300は、手動入力マークを待つ必要がなく、自動的に実行することができる。幾つかの場合、データ分類方法300は、ランダムにサンプリングしたら実際のアウトライヤーデータをデフォルトインライヤーとして選択する可能性があるため、正確でない可能性がある。
【0063】
幾つかの他の実施例において、本開示は、図1に示すデータ分類方法100と図7に示すデータ分類方法300を組み合わせた方法を提供する。更に図9を参照されたい。それは本開示の幾つかの実施例によるデータ分類方法500のフローチャートを示す。図9におけるデータ分類方法500のステップS510、S512、S514、S520、S530、S540、S542、S550、S560及びS570は、図7のデータ分類方法300のステップS310、S312、S314、S320、S330、S340、S342、S350、S360及びS370と同様であるため、ここでは説明を省略する。
【0064】
前述の実施例で説明したように、ステップS570は、マークなし画像ULIMGの第1インライヤー-アウトライヤー予測データを生成するために用いられる。ステップS580は、マークなし画像ULIMGの第1インライヤー-アウトライヤー予測データの一部を表示するために用いられる。実際の応用において、数千枚のマークなし画像ULIMGから第1アウトライヤー予測データを生成してよい。ステップS580は、比較的少量の第1インライヤー-アウトライヤー予測データをディスプレイ280に表示するために用いられる。更に図10を参照されたい。それは幾つかの実施例によるディスプレイ280に表示された第1インライヤー-アウトライヤー予測データの一部の予測データPREDp1及び調整入力データADJの模式図を示す。
【0065】
幾つかの実施例において、第1アウトライヤー予測データは、手動入力マークを待つ必要がなく、自動的に生成される。第1アウトライヤー予測データの一部の予測データPREDp1は、幾つかの誤り予測データを含む可能性がある。ユーザは、第1アウトライヤー予測データの一部の予測データPREDp1をチェックし、一部の予測データPREDp1に対応する調整入力データADJを提供することができる。図10の実施例に示すように、調整入力データADJは、画像IMG4、IMG6に関する一部の予測データPREDp1が正しくなく、且つ画像IMG3、IMG5に関する一部の予測データPREDp1が正しいことを示す。
【0066】
図2及び図10に示すように、ステップS590は、入力インターフェース220を介して調整入力データADJを収集するために用いられる。画像IMG3-IMG6に対応する調整後の手動入力マークLBadjは、図10に示すように、調整入力データADJに基づいて形成される。
【0067】
調整入力データADJ(及び調整後の手動入力マークLBadj)に応答して、処理ユニット240は、ステップS591を実行して、調整入力データADJに基づいてマークなし画像ULIMGの中から画像IMG3及びIMG4を指定インライヤー画像INLとして選択し、且つ調整入力データADJに基づいてマークなし画像ULIMGの中から画像IMG5及びIMG6を指定アウトライヤー画像OUTLとして選択する。
【0068】
図2及び図9に示すように、処理ユニット240は、ステップS592を実行して、調整入力データADJに基づくマークなし画像ULIMGの指定インライヤー画像INL及び指定アウトライヤー画像OUTLに対する第3類似度スコアを含む第3類似度行列を計算する。図9におけるステップS592の詳細は、上記実施例で説明した図1のステップS130と同様であるため、ここでは説明を省略する。
【0069】
図2及び図9に示すように、処理ユニット240はステップS593を実行し、第3類似度行列に基づいてマークなし画像ULIMGのそれぞれをインライヤーデータセット又はアウトライヤーデータセットに分類して、マークなし画像ULIMGの第2インライヤー-アウトライヤー予測データを生成する。図6におけるステップS593の詳細は、図3のステップS593を参照されたい。図9におけるステップS593の詳細は、上記実施例で説明した図1のステップS140と同様であるため、ここでは説明を省略する。
【0070】
図2及び図9に示すように、ステップS594は、第2インライヤー-アウトライヤー予測データをディスプレイ280に表示するために用いられる。
【0071】
幾つかの実施例において、ユーザは、第2インライヤー-アウトライヤー予測データをディスプレイ280でチェックすることができる。第2インライヤー-アウトライヤー予測データが正しくない場合、ユーザは、別の調整入力データを再び提供してよく、且つデータ分類方法500は、ステップS590-S594を再び繰り返すことができる。
【0072】
図9におけるデータ分類方法500は、図1に示すデータ分類方法100と図7に示すデータ分類方法300との組み合わせ方法に基づくものである。データ分類方法500は、マークなし画像ULIMGをインライヤーデータセット又はアウトライヤーデータセットに分類する場合、その時間効率及び正確性の利点を実現することができる。
【0073】
幾つかの実施例において、インライヤーデータセットは、機械学習モデルを訓練する訓練データとして用いられる。アウトライヤーデータセットはフィルタリングされ、訓練データとして用いられない。この場合、アウトライヤーデータセットは、機械学習モデルの訓練プロセスに影響を与えない。このように、機械学習モデルの訓練プロセスに発生するモデル偏差、モデル複雑性の増加、過剰フィッティング、安定性の低下、及び異常検出の困難等の問題を回避することができる。
【0074】
本開示は、参照実施例でかなり詳細に説明されたが、他の実施例も実施できる。したがって、本開示の特許請求の範囲の精神及び範囲は、本明細書に含まれる実施例の説明に限定されるべきではない。
【0075】
当業者は、本開示の範囲又は精神から逸脱することなく、本開示の構造に対して様々な修飾や同等の変更を行うことができることを理解されたい。以上より、以下の特許請求の範囲内で本開示に対して行った修飾や同等の変更はいずれも本開示の範囲内に含まれる。
【符号の説明】
【0076】
100、300、500 データ分類方法
S110、S112、S114、S116、S120、S130、S140、S141、S142、S150、S152、S154、S310、S312、S314、S320、S330、S340、S342、S350、S360、S370、S380、S510、S512、S514、S520、S530、S540、S542、S550、S560、S570、S580、S590、S591、S592、S593、S594 ステップ
200 電子装置
220 入力インターフェース
240 処理ユニット
260 記憶ユニット
280 ディスプレイ
ULIMG マークなし画像
IMG1、IMG2、IMG3、IMG4、IMG5、IMG6 画像
MLB 手動入力マーク
INL 指定インライヤー画像
OUTL 指定アウトライヤー画像
PRED 予測データ
SMX1、SMX1a、SMX1b 類似度行列
SS15、SS21 類似度スコア
SSc1 第1類似度スコア
SSc2 第2類似度スコア
WMX 重み付け行列
R1、R2…RQ 予測ラウンド
INLa 集合予測インライヤー画像
PREDR1、PREDR2、PREDRQ 中間インライヤー-アウトライヤー予測データ
PREDALL 集合予測データ
PREDp1 一部の予測データ
ADJ 調整入力データ
LBadj 調整後の手動入力マーク
図1
図2
図3
図4
図5A
図5B
図5C
図6
図7
図8
図9
図10
【手続補正書】
【提出日】2024-01-16
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】図9
【補正方法】変更
【補正の内容】
図9
【外国語明細書】