特許 7615398 多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法、及び、これを実行させるためにコンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-07

(45)【発行日】2025-01-16

(54)【発明の名称】多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法、及び、これを実行させるためにコンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250108BHJP

   G06V 10/70 20220101ALI20250108BHJP

【ＦＩ】

G06T7/00 300F

G06V10/70

【請求項の数】 15

(21)【出願番号】P 2024504481

(86)(22)【出願日】2022-07-26

(65)【公表番号】

(43)【公表日】2024-07-26

(86)【国際出願番号】 KR2022010984

(87)【国際公開番号】W WO2023008884

(87)【国際公開日】2023-02-02

【審査請求日】2024-01-24

(31)【優先権主張番号】10-2021-0097632

(32)【優先日】2021-07-26

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】518414959

【氏名又は名称】クラウドワークス インコーポレイテッド

【氏名又は名称原語表記】ＣｒｏｗｄＷｏｒｋｓ， Ｉｎｃ．

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】パク，ミン ウ

(72)【発明者】

【氏名】ユ，サン ジェ

(72)【発明者】

【氏名】パク，テサン

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１６－０４０６５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７０－１０／７７８

(57)【特許請求の範囲】

【請求項1】

多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法において、
画像データの提供を受ける段階と、
前記画像データを特徴抽出モデルのうち第１特徴抽出モデルに入力して第１特徴抽出値を生成する段階と、
前記画像データを前記特徴抽出モデルのうち第２特徴抽出モデルに入力して第２特徴抽出値を生成する段階と、
前記第１及び第２特徴抽出値を分類モデルに入力して前記画像データの分類値を決定する段階と、を含み、
前記分類モデルはｎ個で構成され、
前記分類値を決定する段階は、
第１分類モデルから第ｎ分類モデルまでそれぞれ出力した分類候補値から前記分類値を決定し、
ｎ個の前記分類候補値のうちｍ個以上重複して出力された前記分類候補値を前記分類値として決定し、
前記分類値を決定する段階は、
前記ｎ個の分類モデルのうち前記分類候補値を出力する順序に従って順次、ｐ個（ｐ＜ｎ）の分類モデルにおいて、前記ｍ個以上重複して出力された前記分類候補値が発生すると、ｎ－ｐ個の前記分類モデルで前記分類候補値が出力される前に前記分類値を予め決定することを含み、
前記それぞれ出力した分類候補値は、
前記第１分類モデルから前記第ｎ分類モデルのそれぞれに入力された前記第１特徴抽出値及び前記第２特徴抽出値を含む特徴抽出値に基づいて前記第１分類モデルから前記第ｎ分類モデルのそれぞれから出力され、
前記特徴抽出モデルは、
前記分類値が決定されたか否かに基づいて前記特徴抽出値を決定するための第１モード又は前記画像データに対応する前処理結果を生成するための第２モードで動作する、多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項2】

第１特徴抽出モデルは、前記画像データ上の文字オブジェクトを認識することを特徴とする請求項１に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項3】

前記第１特徴抽出値は、前記画像データ上の前記文字オブジェクトの数を含むことを特徴とする請求項２に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項4】

前記第１特徴抽出値は、前記画像データの全面積に対する前記文字オブジェクトの面積割合を含むことを特徴とする請求項２に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項5】

前記文字オブジェクトは、互いに異なる複数の種類を含み、
前記面積割合は、前記複数の文字オブジェクトの全面積の和の割合で算出されることを特徴とする請求項４に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項6】

前記第２特徴抽出モデルは、前記画像データ上の識別オブジェクトを認識することを特徴とする請求項１に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項7】

前記第２特徴抽出値は、前記画像データ上の前記識別オブジェクトの数を含むことを特徴とする請求項６に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項8】

前記第２特徴抽出値は、前記画像データの全面積に対する前記識別オブジェクトの面積割合又は前記識別オブジェクトの形状を含むことを特徴とする請求項６に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項9】

前記識別オブジェクトは、互いに異なる複数の種類で構成され、
前記面積割合は、前記複数の識別オブジェクトの全面積の和の割合で算出されることを特徴とする請求項８に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項10】

前記分類候補値の種類は、前記特徴抽出モデルの数に対応することを特徴とする請求項１に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項11】

前記ｎ個の分類モデルは、前記第１及び第２特徴抽出値を受信して並列的に分類作業を行うことを特徴とする請求項１に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項12】

前記分類モデルは、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）分類モデル、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）分類モデル、ロジスティック回帰（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）分類モデルのうちの何れか１つを含む、請求項１に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項13】

前記分類モデルは、ＸＧＢＯＯＳＴ、ＡｄａＢＯＯＳＴ、ＣａｔＢＯＯＳＴ、ＬｉｇｈｔＢＧＭ分類モデルのうちの何れか１つを含む、請求項１に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項14】

前記画像データの前記分類値を検証して検証結果を提供する段階と、
前記検証結果に基づいて前記第１又は前記第２特徴抽出値が変更されるように前記第１又は第２特徴抽出モデルを修正する段階と、
前記修正された第１又は第２特徴抽出モデルから生成された前記第１及び第２特徴抽出値を前記分類モデルに入力して前記画像データの分類値を再決定する段階と、
を更に含むことを特徴とする請求項１に記載の多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法。

【請求項15】

ハードウェアであるコンピュータに請求項１に記載の方法を実行させるためのプログラムが格納されたコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法に関し、より具体的には、従来の単一人工知能モデルを特徴抽出モデルに転換して抽出された特徴分類値に基づいて分類モデルに入力して画像の分類と自動前処理作業を同時に行える多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法に関する。

【背景技術】

【0002】

人工知能機械学習の発達は、知的活動の自動化に対する可能性を開いているという点で、その波及効果が非常に大きく広範囲に及ぶものと予想される。近年、ディープラーニングを中心に急激に発展した機械学習技術は、実用化のための要求水準と実際の人工知能技術との間の格差を大きく縮小し、多様な知能型システムの出現を予告している。

【0003】

ディープラーニングは、データから高水準の情報を学習する技術であって、主にディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に基づく。ディープラーニングの核心方法論としては、事前学習（ｐｒｅ－ｔｒａｉｎｉｎｇ）アルゴリズム、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）などがある。

【0004】

ディープラーニングは、コンピュータビジョン、音声認識、自動運転車、ロボティクス、自然言語処理など多様な分野に適用されて従来の方法を圧倒する優れた性能を示し、コンピュータビジョン（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）とパターン認識（ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ）で特に目立ってる。

【0005】

一方、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を用いて画像をもってオブジェクトを識別する方法などに対する研究が活発に行われている。このような機械学習の一環として、入力層と出力層との間に複数の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）を有するニューラルネットワークを用いたディープラーニングは、高い識別性能を有する。

【0006】

このようなディープラーニングネットワークの学習を行うためには、ラベラー（ｌａｂｅｌｅｒ）によって個別のデータポイントにタグ、即ちラベル又は注釈データ（ａｎｎｏｔａｉｏｎ ｄａｔａ）を追加したトレーニングデータが必要である。このようなトレーニングデータを準備すること（即ち、データを正確に分類すること）は、特に、大量のトレーニングデータを用いる場合とデータ前処理の品質が持続的に高くない場合に、労働集約的であり、コストがかかり、煩雑であり得る。従来の相互的なラベリングは、高価であり、良い結果を導き出せない恐れがある。

【0007】

これを解決するために、企業活動の一部の過程に一般大衆を参加させるクラウドソーシング基盤で大量のトレーニングデータを収集及び加工する企業が増えている。即ち、企業は１つのプロジェクトをオープンして一般大衆、即ち作業者を該当プロジェクトに参加させることで、作業者によって完了した作業結果を通じて必要な情報を収集することになる。

【0008】

このとき、企業は、より信頼性の高い情報を収集するために、作業者によって完了した作業結果を検収者に割り当てて検収作業を行うようにする。

【0009】

具体的に、１つのプロジェクトがオープンすると、複数の作業者のそれぞれに複数の作業が割り当てられる。各作業者は、割り当てられた複数の作業を行い、作業結果を提供する。その後、複数の検収者のそれぞれに作業結果に対する複数の検収作業が割り当てられ、それぞれの検収者は、割り当てられた複数の検収作業を行うことになる。

【0010】

近年は、クラウドソーシング基盤のデータラベリング作業以外にもディープラーニング基盤の自動ラベリング装置を用いてトレーニング画像にタグ、即ちラベルを追加する自動ラベリングを行い、検収者が自動ラベリングされたトレーニング画像を検収して前記タグや前記ラベルを校正する方式も登場している。

【発明の概要】

【発明が解決しようとする課題】

【0011】

自動ラベリングを処理するために、ラベリング目的と形態によって多様な自動ラベリングモデルが開発されている。例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ；光学文字認識）ラベリングモデルは、提示された画像の中から文字要素を認識し、文字をテキストオブジェクトの形態で抽出する機能を行う。この他にもセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）、ポリゴン（ｐｏｌｙｇｏｎ）、バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）、物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）、スケルトン抽出（ｓｋｅｌｅｔｏｎ ｅｘｔｒａｃｔｉｏｎ）など人工知能モデルを学習させるのに適した学習データを自動的に生成する多様なオートラベリングモデルが研究されている。

【0012】

図１に示すように、自動ラベリングモデルを用いてオリジナル画像を学習可能なラベリングされた形態の処理データとして用いるためには、画像を所望するラベリングモデルに入力する過程が必要である。各ラベリングモデルは、必要に応じて異なる機能を行うように構成されており、各ラベリングモデルは、独立して処理結果を提供する。

【0013】

但し、このような自動ラベリングは、技術的な限界によりまだ正確な結果値を提供できないだけでなく、自動ラベリングモデルを通じて画像などのオリジナルデータを処理するためには、自動ラベリングのための別途の前処理や該当モデルに適したオリジナルデータか否かを事前に選別して分類する作業が必要になる。所望する画像を誤って分類して他のラベリングモデルに入力する場合、所望の結果が得られない。

【0014】

また、自動ラベリング作業を通じて、自動ラベリングされた学習データは、正確度が低いため、作業者や検収者の確認と校正作業を必須とする。

【0015】

多数のラベリング画像を処理しなければならない作業者と検収者の立場では、自動ラベリング技術を最大限に活用して作業時間を短縮できる効率的な活用方法及び高度化方法が必要であるのが現状である。

【0016】

本発明は上記事情に鑑みてなされたものであって、その目的は、作業者が直接ラベリングする方式と自動ラベリング方式を結合した効果的かつ新たな画像ラベリング処理方式を提供することにある。

【0017】

本発明の他の目的は、大量の画像を作業者が手作業で分類する過程なしに、画像の特性を考慮して自動的かつ迅速に、適した画像ラベリング方式を分類する方法を提供することにある。

【0018】

本発明の別の目的は、多重の分類モデルに共通して適用できる効率的な特徴抽出値を定義して提供できる画像のラベリングタイプ分類方法を提供することにある。

【0019】

本発明の更に他の目的は、従来の単に自動ラベリング機能のみ行う複数のモデルを活用して複合的に構成することによって、適した画像分類まで可能な新たな形態の自動ラベリング複合モデルを提供することにある。

【0020】

本発明の更に他の目的は、１つのソリューションを通じて画像のラベリングタイプ分類作業とラベリング自動処理作業を同時に処理する効率的な方法を提供することにある。

【0021】

本発明の更に他の目的は、従来の検証された多数の分類モデルを活用して分類の安定性及び処理の正確性を高めた画像分類方法を提供することにある。

【0022】

本発明の更に他の目的は、分類及び処理速度をより向上させて加速化させることができる分類モデル活用技術が適用された方法を提供することにある。

【0023】

本発明の更に他の目的は、分類及び処理された画像ラベリング結果値に基づいて従来のモデルを高度化させることができる方法を提供することにある。

【0024】

但し、本発明が解決しようとする課題は、前述したような課題に限定されず、更に他の課題が存在し得る。

【課題を解決するための手段】

【0025】

上述した課題を解決するための本発明の一実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法は、画像データの提供を受ける段階と、前記画像データを特徴抽出モデルのうち第１特徴抽出モデルに入力して第１特徴抽出値を生成する段階と、前記画像データを前記特徴抽出モデルのうち第２特徴抽出モデルに入力して第２特徴抽出値を生成する段階と、前記第１及び第２特徴抽出値を分類モデルに入力して前記画像データの分類値を決定する段階とを含む。

【0026】

第１特徴抽出モデルは、前記画像データ上の文字オブジェクトを認識できる。

【0027】

前記第１特徴抽出値は、前記画像データ上の前記文字オブジェクトの数を含むことができる。

【0028】

前記第１特徴抽出値は、前記画像データの全面積に対する前記文字オブジェクトの面積割合を含むことができる。

【0029】

前記文字オブジェクトは、互いに異なる複数の種類を含み、前記面積割合は、前記複数の文字オブジェクトの全面積の和の割合で算出されることができる。

【0030】

前記第２特徴抽出モデルは、前記画像データ上の識別オブジェクトを認識できる。

【0031】

前記第２特徴抽出値は、前記画像データ上の前記識別オブジェクトの数を含むことができる。

【0032】

前記第２特徴抽出値は、前記画像データの全面積に対する前記識別オブジェクトの面積割合を含むことができる。

【0033】

前記識別オブジェクトは、互いに異なる複数の種類で構成され、前記面積割合は、前記複数の識別オブジェクトの全面積の和の割合として算出できる。

【0034】

前記分類モデルはｎ個で構成され、前記分類値を決定する段階は、前記第１分類モデルから第ｎ分類モデルまでそれぞれ出力した分類候補値から前記分類値を決定できる。

【0035】

ｎ個の前記分類候補値のうちｍ個以上重複して出力された前記分類候補値を前記分類値として決定できる。

【0036】

前記分類値を決定する段階は、前記ｎ個の分類モデルのうち前記分類候補値を出力する順序に従って順次、前記ｐ個（ｐ＜ｎ）の分類モデルにおいて、前記ｍ個以上重複して出力された前記分類候補値が発生すると、ｎ－ｐ個の前記分類モデルから前記分類候補値が出力される前に前記分類値を予め決定できる。

【0037】

前記分類候補値の種類は、前記特徴抽出モデルの数に対応できる。

【0038】

前記ｎ個の分類モデルは、前記第１及び第２特徴抽出値を受信して並列的に分類作業を行える。

【0039】

前記分類モデルは、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）分類モデル、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）分類モデル、ロジスティック回帰（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）分類モデルのうちの何れか１つを含むことができる。

【0040】

前記分類モデルは、ＸＧＢＯＯＳＴ、ＡｄａＢＯＯＳＴ、ＣａｔＢＯＯＳＴ、ＬｉｇｈｔＢＧＭ分類モデルのうちの何れか１つを含むことができる。

【0041】

前記画像データの前記分類値を検証して検証結果を提供する段階と、前記検証結果に基づいて前記第１又は前記第２特徴抽出値が変更されるように前記第１又は第２特徴抽出モデルを修正する段階とを更に含むことができる。

【0042】

前記修正された第１又は第２特徴抽出モデルから生成された前記第１及び第２特徴抽出値を前記分類モデルに入力して前記画像データの分類値を再決定する段階を更に含むことができる。

【0043】

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

【発明の効果】

【0044】

上述した本発明によると、作業者が直接ラベリングする方式と自動ラベリングする方式を結合した効果的かつ新たな画像ラベリング処理方式を提供できる。

【0045】

また、大量の画像を作業者が手作業で分類する過程なしに、画像の特性を考慮して自動的かつ迅速に、適した画像ラベリング方式を分類する方法を提供できる。

【0046】

それだけでなく、複数の分類モデルに共通して適用できる効率的な特徴抽出値を定義して提供できる画像のラベリングタイプ分類方法を提供できる。

【0047】

特に、従来の単に自動ラベリング機能のみ行う複数のモデルを活用して複合的に構成することによって、適した画像分類まで可能な新たな形態の自動ラベリング複合モデルを提供できる。

【0048】

また、１つのソリューションを通じて画像のラベリングタイプ分類作業とラベリング自動処理作業を同時に処理する効率的な方法を提供できる。

【0049】

従来の検証された多数の分類モデルを活用して分類の安定性及び処理の正確性を高めた画像分類方法を提供できる。

【0050】

分類及び処理速度をより向上させて加速化させることができる分類モデル活用技術が適用された方法を提供できる。

【0051】

また、分類及び処理された画像ラベリング結果値に基づいて従来のモデルを高度化させることができる方法を提供できる。

【0052】

本発明の効果は、以上で言及した効果に限定されず、言及していない更に他の効果は、下記の記載から通常の技術者が明確に理解できるだろう。

【図面の簡単な説明】

【0053】

【図1】従来の自動ラベリングモデルの実行構造を示す図である。

【図2】本発明の一実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【図3】図２の方法による結果物の構成を示す図である。

【図4】図２の方法による画像タイプ別の結果物の実際の例を示す図である。

【図5】図２の方法による画像タイプ別の結果物の実際の例を示す図である。

【図6】図２の方法による画像タイプ別の結果物の実際の例を示す図である。

【図7】複数の特徴抽出モデルと複数の特徴抽出値とで構成された本発明の他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【図8】複数の特徴抽出モデルと複数の特徴抽出値とで構成された本発明の他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【図9】複数の分類モデルで構成された本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【図10】特徴抽出モデルと自動ラベリングのための前処理モデルが別途に構成された本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【図11】特徴抽出モデルが自動ラベリング機能まで行う本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【図12】複数の分類モデルが直列構造で接続されている本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【図13】分類値によって特徴抽出モデルを修正する本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【発明を実施するための形態】

【0054】

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態にて実現できる。但し、本実施例は本発明の開示を完全なものにし、本発明の属する技術分野における通常の技術者に本発明の範囲を完全に理解させるために提供されるものであり、本発明は請求項の範囲により定義されるに過ぎない。

【0055】

本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのは当然である。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素でもあり得るのは言うまでもない。

【0056】

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明の属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

【0057】

以下、添付の図面を参照して本発明の実施例を詳細に説明する。

【0058】

図２は、本発明の一実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図であり、図３は、図２の方法による結果物の構成を示す図であり、図４乃至図６は、図２の方法による画像タイプ別の結果物の実際の例を示す図である。

【0059】

図２に示すように、本発明の一実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を実行するシステムは、特徴抽出モデル１００と分類モデル５００とで構成される。

【0060】

特徴抽出モデル１００は、従来の人工知能学習データを生成するのに用いられたラベリングモデルを活用することもでき、分類モデル５００に入力するための入力値である特徴抽出値ｆｅａｔを適切に生成するために別途に作られた新たなモデルであり得る。特徴抽出モデル１００は、入力される画像データセット（ｉｍａｇｅ ｄａｔａｓｅｔ）形態のオリジナル画像ｉｍｇｓの入力を受けて、分類モデル５００に必要な特徴抽出値ｆｅａｔを決定する。特徴抽出値ｆｅａｔは、入力されるオリジナル画像ｉｍｇｓ別に異なる値を導出できる。特徴抽出モデル１００は、オリジナル画像ｉｍｇｓがどのような自動ラベリングモデルに適した画像であるかを決定するための特徴抽出値ｆｅａｔを算出する。

【0061】

特徴抽出値ｆｅａｔは、各ラベリングモデルの特徴値を含むことができる。例えば、特徴抽出値ｆｅａｔは、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、光学文字認識）のラベリングモデルに適しているか否かを判断するために、認識文字の存否、認識文字の数や認識文字の認識単位、画像面積全体に対して認識文字が含まれている面積の大きさ又は割合を含むことができる。また、非文字オブジェクトとの相対的な大きさ割合、認識文字の画像との整列方向に関する情報、認識文字の言語の種類、認識文字の言語の混在割合など多様な文字認識に関する情報を含むことができる。

【0062】

特徴抽出モデル１００は、オリジナル画像ｉｍｇｓから、このような特徴抽出値ｆｅａｔを決定するための人工知能モデルやアルゴリズムを含むことができる。光学文字認識による特徴抽出値ｆｅａｔを算出するために、光学文字認識ラベリングモデル又はこれと類似する構造の人工知能モデルを含むことができる。

【0063】

特徴抽出モデル１００は、分類モデル５００で分類可能な全てのタイプのデータを処理するために、光学文字認識の他にも多様な画像タイプを支援できる。特徴抽出モデル１００が多様な人工知能学習データの画像タイプを支援するためには、各画像タイプに対応する特徴抽出値ｆｅａｔを抽出するための人工知能モデル又はアルゴリズムを含むことができる。

【0064】

特徴抽出モデル１００は、例えば光学文字認識の他にも分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）、セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）、ポリゴン（ｐｏｌｙｇｏｎ）、キーポイント（ｋｅｙ ｐｏｉｎｔ）など多様な目的に応じた人工知能学習データ処理タイプを支援できる。

【0065】

例えば、特徴抽出値ｆｅａｔは、該当オリジナル画像ｉｍｇｓが物体検出ラベリングモデルに適した画像か否かを判断するために、認識オブジェクトの数と認識オブジェクトのタイプとタイプの分布、種類、認識オブジェクトの個別の大きさ、認識オブジェクトの整列方向を含むベクトル値、認識オブジェクトの配置、認識オブジェクトの相対的な深さ（ｄｅｐｔｈ）、認識オブジェクト全体が全体画像上に占める大きさや面積に関するデータを含むことができる。認識オブジェクトのタイプは、予め定められた範囲に含まれることができ、特徴抽出モデル１００が認識オブジェクトに関する情報を参照するための参照データが構築されたサーバ（図示せず）を別途に構成することもできる。

【0066】

また、例えば、特徴抽出値ｆｅａｔは、該当オリジナル画像ｉｍｇｓがセグメンテーションラベリングモデルに適した画像か否かを判断するために、セグメンテーション領域の数とセグメンテーション領域のタイプとタイプの分布、セグメンテーション領域の種類、セグメンテーション領域の個別の大きさ、領域の配置、セグメンテーション領域全体が全体画像上に占める大きさや面積割合に関するデータを含むこともできる。セグメンテーション領域のタイプを、予め定められた範囲に含めることもできる。

【0067】

特徴抽出モデル１００によって決定された特徴抽出値ｆｅａｔは、分類モデル５００に入力され、分類モデルは、特徴抽出値ｆｅａｔに基づいてオリジナル画像ｉｍｇｓがどのような自動ラベリングモデルに従って前処理されるのが適切であるかを判断して分類値ｃｔｇｒを算出する。

【0068】

分類モデル５００は、従来行われたプロジェクトを通じて収集された結果を基に、ユーザが前処理を要請した対象画像と、対象画像の最終的な前処理作業結果のタイプを学習データセットで構成して学習させた人工知能モデルであり得る。従来の多様なデータラベリングプロジェクトを通じて累積された画像と画像の類型値を活用して分類モデル５００を構築することによって、特徴抽出値ｆｅａｔに応じた、適した分類値ｃｔｇｒを決定できる。

【0069】

例えば、特定の画像のうち認識文字が連続的であり、認識文字間のベクトル方向値が類似する画像の場合、従来行われたプロジェクトのパターンに従って光学文字認識モデルに適した画像に分類され、光学文字認識ラベリング作業が行われたため、このような事例を分類モデル５００が学習して対象画像ｉｍｇｓの特徴抽出値ｆｅａｔに含まれている認識文字の数や認識文字の方向値などが所定範囲に含まれる場合、分類モデル５００で決定した分類値ｃｔｇｒは、光学文字認識に適した画像であるという結果値９００が得られる。

【0070】

また、特定の画像のうち複数の認識オブジェクトが存在し、認識オブジェクトが特定の道路オブジェクトを中心に撮影方向に応じて焦点が基準となり、認識オブジェクトが整列されるなどの場合には、従来行われたプロジェクトのパターンに従ってセグメンテーションモデルに適した画像に分類され、セグメンテーションラベリング作業が行われたため、このような事例を分類モデル５００が学習して対象画像ｉｍｇｓの特徴抽出値ｆｅａｔに、このような情報が含まれる場合、分類モデル５００で決定した分類値ｃｔｇｒは、セグメンテーションに適した画像であるという結果値９００が得られる。

【0071】

分類値ｃｔｇｒは、定められた画像の前処理タイプの範囲内で決定でき、前述した光学文字認識（ｏｃｒ）、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）、セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）、ポリゴン（ｐｏｌｙｇｏｎ）、キーポイント（ｋｅｙ ｐｏｉｎｔ）など多様な目的に応じた人工知能学習データ処理タイプの範囲内で決定できる。

【0072】

結果値９００は、分類値ｃtｇｒを基に最終決定された自動ラベリングタイプを意味し、結果値９００がセグメンテーションにより決定された場合、該当画像ｉｍｇｓは、セグメンテーションに適した画像であることを意味し得る。結果値９００によって最終的に人工知能学習データのタイプを決定でき、結果値９００によって後で必要な後続プロセスを実行できる。

【0073】

図３を参照すると、結果値９００は、最初に入力された画像ｉｍｇｓそれぞれの分類値ｃｆｇｒと前処理結果ｐｒｅを含むことができる。例えば、第１画像ｉｍｇ１は、第１分類値ｃｆｇｒ１によって画像が分類され、分類されたタイプによって自動ラベリング処理された第１前処理結果ｐｒｅ１を含む第１結果値９１０を導出できる。入力された最初の画像ｉｍｇｓが複数の場合、結果値も複数で提供でき、特徴抽出モデル１００から特徴が抽出されなかったり、分類モデル５００から分類値が正常に導出されていなかったりした画像の場合は、結果値９００上において未分類データとして提供することもできる。

【0074】

前述した通り、人工知能学習データとして活用するために必須のラベリング処理を適切に行うためには、織り地なり画像データがどのようなラベリングタイプに適した画像かを先に分類する作業が行われなければならず、この分類結果に対応する適切なラベリング作業の実行が必要である。本発明の一実施例によれば、従来人が手作業で行っていた特定画像のラベリングタイプ分類作業を自動化できるだけでなく、ラベリングタイプの分類によって実際の自動ラベリング処理も同時に処理して完成したラベリングデータを提供できる。

【0075】

提供された前処理結果ｐｒｅは、完成した最終バージョンであり得るが、検収者が前処理結果をレビューして完成度を高める追加の作業を行うこともできる。

【0076】

図４乃至図６を参照すると、例示的なオリジナル画像ｉｍｇｓに対する分類タイプ別の最終結果値９００を示す。

【0077】

図４は、オリジナル画像ｉｍｇｓが物体検出タイプに分類され、物体検出のための前処理過程が行われたラベリングデータを示すことができる。物体検出タイプにラベリングされたデータは、多様な目的で構築される人工知能モデルを学習させるのに用いられるが、これに限定されるものではない。全体画像上でバイクオブジェクトと人オブジェクトを認識し、自動的にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の形態でラベリングデータを生成した結果値９００の例示である。

【0078】

図５は、オリジナル画像ｉｍｇｓが光学文字認識タイプに分類され、光学文字認識のための前処理過程が行われたラベリングデータを示すことができ、全体画像上で文字オブジェクトを認識して画像を文字に変換した形態でラベリングデータを生成した結果値９００の例示である。

【0079】

図６は、オリジナル画像ｉｍｇｓがセグメンテーションタイプに分類され、セグメンテーションのための前処理過程が行われたラベリングデータを示すことができる。セグメンテーションタイプのラベリングデータは、自動運転や制御、管制、セキュリティ検知などの分野で構築される人工知能モデルを学習させるのに用いることができるが、これに限定されるものではない。全体画像上で同じ属性を有するオブジェクトをまとめてセグメンテーション領域として認識し、これを基に複数のセグメンテーション領域にラベリングされたデータを生成した結果値９００を例示的に示す。

【0080】

以下、図７乃至図９を参照して、本発明の他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法について説明する。図７及び図８は、複数の特徴抽出モデルと複数の特徴抽出値とで構成された本発明の他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図であり、図９は、複数の分類モデルで構成された本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【0081】

図７及び図８を参照すると、本発明の一実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法は、画像データｉｍｇｓの提供を受ける段階と、画像データｉｍｇｓを特徴抽出モデル１００のうち第１特徴抽出モデル１１０に入力して第１特徴抽出値ｆｅａｔ１を生成する段階と、画像データｉｍｇｓを特徴抽出モデル１００のうち第２特徴抽出モデル１２０に入力して第２特徴抽出値ｆｅａｔ２を生成する段階と、第１及び第２特徴抽出値ｆｅａｔ１、ｆｅａｔ２を分類モデル５００に入力して画像データｉｍｇｓの分類値ｃｔｇｒを決定する段階と、を含む。

【0082】

ラベリング処理されていないオリジナル画像ｉｍｇｓを入力する特徴抽出モデル１００は、複数で構成できる。最終的に分類モデル５００によって分類しようとする人工知能学習データのタイプ数に応じて、特徴抽出モデル１００を２つ以上の複数の特徴抽出モデル１００Ｘで構成できる。

【0083】

各特徴抽出モデル１００Ｘは、同一のオリジナル画像ｉｍｇｓの入力を受け、１つの画像に対する特徴抽出モデルの数だけの特徴抽出値ｆｅａｔＸを出力できる。出力された特徴抽出値ｆｅａｔは、特徴抽出値管理者３００に収集され、個別のオリジナル画像ｉｍｇｓに対する多面的な特徴値を構成することになる。

【0084】

特徴抽出値管理者３００は、収集された多数の特徴抽出値ｆｅａｔＸデータセットを１つの特徴抽出値として決定し、オリジナル画像ｉｍｇｓとこれに対応する特徴抽出値ｆｅａｔを連結して管理できる。特徴抽出値管理者３００は、例えば、第２特定抽出モデルから導き出された第２特徴抽出値ｆｅａｔ２が受信されていない場合、最終的な特徴抽出値ｆｅａｔを生成せずに待機することができ、問題が発生した特徴抽出モデル１００に再要請を送って特徴抽出値を再受信することもできる。そして、複数の特徴抽出値に加重値を付与して特定の特徴抽出モデルから導き出された特徴抽出値の加重値を高める機能を行うこともできる。

【0085】

特徴抽出モデル１００が複数で構成される場合、オリジナル画像ｉｍｇｓは、複数の特徴抽出モデル１００に同時に入力でき、Ｘ個の特徴抽出モデル１００Ｘは、並列的に特徴抽出値ｆｅａｔＸを演算でき、特徴抽出値管理者３００は、受信した特徴抽出値ｆｅａｔＸを収集して最終的な特徴抽出値ｆｅａｔを生成できる。

【0086】

特徴抽出値管理者３００は、特徴抽出モデル１００から特徴抽出値ｆｅａｔを受信するまでにかかる時間を考慮して特徴抽出値ｆｅａｔに反映でき、所要時間を各特徴抽出値に反映して加重値の調整に参考とすることもできる。

【0087】

幾つかの他の実施例において、特徴抽出モデル１００が複数で構成され、オリジナル画像ｉｍｇｓが複数の特徴抽出モデル１００Ｘに入力された後、所定時間が経過すると、特徴抽出値が全て収集されなくても最終的な特徴抽出値ｆｅａｔを決定することもできる。

【0088】

特徴抽出値ｆｅａｔを構成する要素、例えば識別オブジェクトの数や大きさなどが多いほど最終的な分類値ｃｔｇｒと結果値９００の正確度を高くできるが、特徴抽出モデル１００を学習させるための人工知能学習データの数が少ない状態で特徴抽出値ｆｅａｔの変数を多重設定する場合は、分類値ｃｔｇｒの正確度がむしろ減少する恐れもある。

【0089】

例えば、第１特徴抽出モデル１１０は、画像データｉｍｇｓ上の文字オブジェクトを認識できる。第１特徴抽出値ｆｅａｔ１は、画像データｉｍｇｓ上の文字オブジェクトの数又は画像データｉｍｇｓの全面積に対する文字オブジェクトの面積割合を含むこともできる。文字オブジェクトは、互いに異なる複数の種類を含むことができ、面積割合は、複数の文字オブジェクトの全面積の和の割合で算出できる。

【0090】

このために、第１特徴抽出モデル１１０は、アルゴリズム基盤の光学文字認識モデルで構成でき、テキストラインを探すモジュール、テキストを単語に分けるモジュールなど多様なモジュールが複合的に用いられる構造であり得る。

【0091】

他の場合、第１特徴抽出モデル１１０は、ディープラーニングを適用した人工知能基盤の光学文字認識モデルであり、第１特徴抽出モデル１１０は、データを多様に活用して円滑な学習が可能であり、リソースの効率性と言語別の正確度などを向上させるために、文字の領域を検出するモデル（Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ Ｍｏｄｅｌ）と該当領域で文字を認識するモデル（Ｔｅｘｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｏｄｅｌ）の２つの段階で構成できるが、これに限定されるものではない。

【0092】

処理装置がアナログ文書を認識する過程で陰影の損傷、歪曲などによってテキストの認識率が低くなる現象を改善するために、例えばヒストグラム正規化を通じて画像の明暗を再分配して画像の構成要素の認識率を改善できる。

【0093】

認識率が改善された画像ｉｍｇｓをＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の第１特徴抽出モデル１１０に入力すると、第１特徴抽出モデル１１０から認識文字の領域と角度が抽出され、認識文字領域の角度が画像基準軸と水平になるように角度を調節した後、画像をテキスト単位で分割できる。認識文字を分割すると、該当画像部分領域がどの文字と対応するかを認識する過程を行うことができ、これを経て最終的な第１特徴抽出値ｆｅａｔ１を決定できる。そのために、第１特徴抽出モデルを構成する人工知能モデルは、光学文字認識のための画像と認識文字データセットを通じて所定以上の学習データを学習した状態であり得る。

【0094】

例えば、第２特徴抽出モデル１２０は、画像データｉｍｇｓ上の識別オブジェクトを認識できる。第２特徴抽出値ｆｅａｔ２は、画像データｉｍｇｓ上の識別オブジェクトの数又は画像データｉｍｇｓの全面積に対する識別オブジェクトの面積割合を含むこともできる。識別オブジェクトは、互いに異なる複数の種類で構成され、面積割合は、複数の識別オブジェクトの全面積の和の割合として算出できる。

【0095】

そのために、第２特徴抽出モデル１２０は、人工知能基盤の物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）モデルで構成され、画像上のオブジェクトを識別し、物体検出に対する結果値、オブジェクトの分類、オブジェクトの位置などを算出できる。

【0096】

第２特徴抽出モデル１２０は、オリジナル画像ｉｍｇｓの領域提案（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ）を行った後、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）と回帰（ｒｅｇｒｅｓｓｉｏｎ）作業を行う２ステージ検出方式（２－ｓｔａｇｅ ｄｅｔｅｃｔｉｏｎ）の人工知能モデル、例えばＲ－ＣＮＮ、ＳＰＰＮｅｔ、ｆａｓｔｅｒ Ｒ－ＣＮＮ、ｆａｓｔｅｒ Ｒ－ＣＮＮなどを用いることもできるが、これに限定されるものではない。領域提案（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ）アルゴリズムの１つとして、色、質感、大きさ、形状に依存して類似する領域を見つけ、これを階層で行ってグループ化する選択的探索（Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈ）技法を用いることができるが、これに限定されるものではない。

【0097】

幾つかの他の実施例において、第２特徴抽出モデル１２０は、領域提案（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ）と分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）と回帰（ｒｅｇｒｅｓｓｉｏｎ）作業を同時に行う１ステージ検出方式（１-ｓｔａｇｅ ｄｅｔｅｃｔｉｏｎ）の人工知能モデル、例えばＹＯＬＯなどを用いることができるが、これに限定されるものではない。

【0098】

図９を参照すると、分類モデル５００はｎ個で構成され、分類値ｃｔｇｒを決定する段階は、第１分類モデル５１０から第ｎ分類モデル５００ｎまでそれぞれ出力した分類候補値ｃｄｄから分類値ｃｔｇｒを決定できる。ｎ個の分類候補値ｃｄｄｎのうちｍ個以上重複して出力された分類候補値ｃｄｄを分類値ｃｔｇｒとして決定することもできるが、これに限定されるものではない。

【0099】

特徴抽出値管理者３００を通じて収集された特徴抽出値ｆｅａｔを用いてオリジナル画像ｉｍｇｓのデータラベリングタイプの分類を行うために、分類モデルが複数で構成され、複数の分類モデル５００ｎがそれぞれ１つの分類候補値ｃｄｄｎを出力する構成が提供される。分類モデル５００は、分類の正確度と信頼性を確保するために、複数で構成でき、特徴抽出値管理者３００を通じて決定された画像別の特徴抽出値ｆｅａｔの入力を受けて、各分類モデル５００ｎで分類作業を行うことができる。収集された複数の分類候補値ｃｄｄｎは、分類値管理者７００に収集され、分類値管理者７００で所定の決定方式によって画像ｉｍｇｓの最終的な人工知能学習データタイプに対する分類値ｃｔｇｒを決定できる。

【0100】

例えば、分類モデル５００で区分するように設定された人工知能学習データタイプが光学文字認識（ＯＣＲ）、物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）、セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）の計３つである場合、各分類モデル５００ｎは、同一の特徴抽出値ｆｅａｔの入力を受けて、それぞれのアルゴリズム又は人工知能モデルに基づいてそれぞれの分類候補値ｃｄｄｎを出力し、分類値管理者７００は、３つの分類候補値ｃｄｄｎを基に最終的な分類値ｃｔｇｒを決定できる。分類値ｃｔｇｒは、多数の分類候補値による投票（ｖｏｔｉｎｇ）方式であり得るが、これに限定されるものではなく、分類モデル５００の種類に応じて別途の加重値が付与された形態で分類値ｃｔｇｒを決定することもできる。

【0101】

特徴抽出値ｆｅａｔは、複数の分類モデル５００ｎに同時に入力され、複数の分類モデル５００ｎは、同一の特徴抽出値ｆｅａｔに従って並列的な分類作業処理を行うことができ、分類値管理者７００は、受信したｎ個の分類候補値ｃｄｄｎを収集して最終的な分類値ｃｔｇｒを生成できる。

【0102】

分類値管理者７００は、分類モデル５００から分類候補値ｃｄｄｎを受信するまでにかかる時間を考慮して分類値ｃｔｇｒに反映でき、所要時間を各分類候補値に反映して加重値の調整に活用することもできる。

【0103】

幾つかの他の実施例において、ｎ個の分類候補値ｃｄｄのうちｍ個以上重複して出力された分類候補値ｃｄｄを分類値ｃｔｇｒとして決定でき、分類値ｃｔｇｒを決定する段階は、ｎ個の分類モデル５００ｎのうち分類候補値ｃｄｄｎを出力する順序に従って、順次ｐ個（ｐ＜ｎ）の分類モデル５００において、ｍ個以上重複して出力された分類候補値ｃｄｄが発生すると、ｎからｐ個だけ差し引いた分類モデル５００で分類候補値ｃｄｄが出力される前に分類値ｃｔｇｒを予め決定できる。

【0104】

幾つかの他の実施例において、特徴抽出値ｆｅａｔが複数の分類モデル５００ｎに入力された後、所定時間が経過すると、分類候補値ｃｄｄｎが全て収集されなくても所定の閾値を達成すると、最終的な分類値ｃｔｇｒを決定することもできる。

【0105】

分類候補値ｃｄｄの種類は、特徴抽出モデル１００の数に対応でき、ｎ個の分類モデル５００ｎは、第１及び第２特徴抽出値ｆｅａｔ１、ｆｅａｔ２を受信して並列的に同時に分類作業を行うこともできる。

【0106】

複数の分類モデル５００ｎは、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）分類モデル、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）分類モデル、ロジスティック回帰（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）分類モデルのうちの何れか１つを含むことができる。

【0107】

また、複数の分類モデル５００ｎは、オリジナル画像ｉｍｇｓの種類に応じてＸＧＢＯＯＳＴ分類モデル、ＡｄａＢＯＯＳＴ分類モデル、ＣａｔＢＯＯＳＴ分類モデル、ＬｉｇｈｔＢＧＭ分類モデルの中から選択される分類モデルを含むこともできる。

【0108】

図１０は、特徴抽出モデルと自動ラベリングのための前処理モデルが別途に構成された本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図であり、図１１は、特徴抽出モデルが自動ラベリング機能まで行う本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【0109】

図１０を参照すると、本発明の他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法は、オリジナル画像ｉｍｇｓを特徴抽出モデル１００に入力して特徴抽出値ｆｅａｔを決定し、これを分類モデル５００に入力して最終的な分類値ｃｔｇｒを決定した後、自動ラベリング作業を行うために、人工知能学習データのタイプ分類に応じて適した前処理モデル８００にオリジナル画像ｉｍｇｓを入力してラベリングされた結果データ９００を生成できる。

【0110】

前処理モデル８００は、画像を自動的にラベリング処理するために、事前に学習データによって学習された人工知能モデルであり、前処理モデル８００は、特徴抽出モデル１００とは異なる形態で構築されたニューラルネットワーク構造を含むことができる。

【0111】

分類値管理者７００によって決定された最終的な分類値ｃｔｇｒに対応する前処理モデル８００にオリジナル画像ｉｍｇｓが入力されるとき、従来抽出された特徴抽出値ｆｅａｔを前処理モデル８００に共に提供することもできる。共に提供された特徴抽出値ｆｅａｔは、前処理モデル８００で行うべき作業の一部を代替又は省略するようにして処理速度を加速化させることができる。

【0112】

幾つかの他の実施例において、分類値ｃｔｇｒが決定された後、前処理モデル８００を通じた追加の作業を行わず、特徴抽出モデル１００が特徴抽出値ｆｅａｔを決定するために生成した特徴データ（図示せず）を基に前処理結果ｐｒｅを生成することもできる。前処理結果ｐｒｅは、分類値ｃｔｇｒに対応する形態の注釈データ（ａｎｎｏｔａｔｉｏｎ ｄａｔａ）を含むことができる。例えば、分類値ｃｔｇｒが物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）である場合、識別されたオブジェクトのタイプと、位置、大きさ、座標などの値を含む注釈データが生成されることもできる。そのために、特徴抽出モデル１００で生成された特徴データを特徴抽出値管理者３００が保管でき、分類値管理者７００が分類値ｃｔｇｒを決定した後、特徴抽出値管理者３００に要請して特徴データを受信することもできる。または、特徴抽出モデル１００で特徴抽出値ｆｅａｔを決定するための過程で生成される特徴データを格納するための別途のサーバ（図示せず）や別途の格納空間（図示せず）を提供することもできる。

【0113】

幾つかの他の実施例において、前処理結果ｐｒｅは、特徴抽出モデル１００が特徴抽出値ｆｅａｔを決定する過程において各モデル１００Ｘで事前に行うこともできる。このとき、特徴データは、注釈データ形態の前処理結果ｐｒｅそのものでもあり得る。この場合、特徴抽出モデル１００を経て各画像ｉｍｇｓに対する特徴抽出値ｆｅａｔと注釈データ形態の前処理結果ｐｒｅを同時に生成し、特徴抽出値ｆｅａｔを分類モデル５００に入力して分類値ｃｔｇｒを決定すると、分類値ｃｔｇｒに対応する特徴抽出モデル１００で予め生成した注釈データ形態の前処理結果ｐｒｅを該当画像の最終注釈データの結果物として決定することもできる。

【0114】

例えば、特徴抽出モデル１００が光学文字認識のための第１特徴抽出モデル１１０と、セグメンテーションのための第２特徴抽出モデル１２０とで構成されるとき、第１オリジナル画像ｉｍｇ１に対して第１特徴抽出モデル１１０は、第１特徴抽出値ｆｅａｔ１と第１注釈データ（図示せず）を同時に生成し、同一の第１オリジナル画像ｉｍｇ１に対して第２特徴抽出モデルは、第２特徴抽出値ｆｅａｔ２と第２注釈データ（図示せず）を同時に生成する。第１特徴抽出値ｆｅａｔ１と第２特徴抽出値ｆｅａｔ２を組み合わせて最終的な特徴抽出値ｆｅａｔを決定し、これを分類モデル５００に入力する。分類モデル５００で特徴抽出値ｆｅａｔを基に最終分類値ｃｔｇｒが、例えば光学文字認識で決定される場合、第１特徴抽出モデル１１０が予め処理した第１注釈データを最終的な結果物９００上の前処理結果ｐｒｅとして決定することになる。

【0115】

図１１を参照すると、分類値ｃｔｇｒが導き出されると、この値によって複数の特徴抽出モデル１００のうち分類値ｃｔｇｒに適した特徴抽出モデル１００Ｘからオリジナル画像ｉｍｇｓに対する自動ラベリングまで連続的に実行することもできる。即ち、単一の特徴抽出モデル１００が特徴抽出値ｆｅａｔを決定するための目的として用いられることもでき、分類値ｃｔｇｒが確定した後、前処理結果ｐｒｅを生成するための目的としても用いられることができる。

【0116】

幾つかの他の実施例において、特徴抽出値ｆｅａｔを決定するための第１モードの特徴抽出モデル１００と、分類値ｃｔｇｒが確定した後、前処理結果ｐｒｅを生成するための第２モードの特徴抽出モデル１００は、互いに異なる構造で動作することもできる。そのために、特徴抽出モデル１００で第１モードの際に用いる入力パラメータと、第２モードの際に用いる入力パラメータを異なるように設定できる。

【0117】

オリジナル画像ｉｍｇｓが第１モードの特徴抽出モデル１００に入力されると、特徴抽出値ｆｅａｔを決定するプロセスを進め、決定された特徴抽出値ｆｅａｔのみ存在し、分類値ｃｔｇｒがまだ決定されていない状態であるため、図１１の順序図上にて分岐して分類モデル５００に特徴抽出値ｆｅａｔが入力される。分類モデル５００を通じて入力された特徴抽出値ｆｅａｔを基に分類値ｃｔｇｒが決定されない場合、未分類結果９００Ａとして累積され、分類値ｃｔｇｒが決定される場合は、該当分類値ｃｔｇｒに対応する第２モードの特徴抽出モデル１００にオリジナル画像ｉｍｇｓを再入力して注釈データが含まれている前処理結果９００を生成する。

【0118】

そのために、特徴抽出モデル１００は、分類値ｃｔｇｒと一対一で対応する構造であり得る。例えば、分類値ｃｔｇｒが光学文字認識、セグメンテーション、物体検出に設定される場合は、特徴抽出モデル１００もオリジナル画像ｉｍｇｓが光学文字認識の目的として用いられる場合を仮定して特徴抽出値を決定し、光学文字認識作業を処理するための第１特徴抽出モデル１１０と、オリジナル画像ｉｍｇｓが物体検出の目的として用いられる場合を仮定して物体検出に対する特徴抽出値を決定し、物体検出作業を処理するための第２特徴抽出モデル１２０と、オリジナル画像ｉｍｇｓがセグメンテーションの目的として用いられる場合を仮定してセグメンテーションに対する特徴抽出値を決定し、セグメンテーション作業を処理するための第３特徴抽出モデル１３０を含むことができる。

【0119】

図１２は、複数の分類モデルが直列構造で接続されている本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【0120】

図１２を参照すると、ｎ個の分類モデル５００ｎが同時に特徴抽出値ｆｅａｔの入力を受けて、同時に分類候補値ｃｄｄを生成する構造ではなく、所定の順序に従って整列されたｎ個の分類モデル５００ｎに特徴抽出値ｆｅａｔが順次入力される構成であり得る。

【0121】

ｎ個の分類モデル５００ｎは、直前順番までの分類モデルの分類候補値ｃｄｄが次の分類モデルに影響を及ぼし得る構造であり、ｎ個の分類モデル５００ｎの順次的な処理順序は、特徴抽出値ｆｅａｔによって異なり得る。また、各原本画像ｉｍｇｓによる特徴抽出値ｆｅａｔによって、画像別に分類モデル５００の順序は変更されることもできる。

【0122】

例えば、第１分類モデル５１０は、特徴抽出値管理者３００から特徴抽出値ｆｅａｔの入力を受けて、第１分類候補値ｃｄｄ１を決定することができ、第２分類モデル５２０は、特徴抽出値ｆｅａｔと第１分類候補値ｃｄｄ１を基に第２分類候補値ｃｄｄ２を決定できる。第２分類モデル５２０内で特徴抽出値ｆｅａｔと第１分類候補値ｃｄｄ１は、互いに異なる加重値によって処理できる。また、第２分類モデル５２０は、第１分類モデル５１０から第１分類候補値ｃｄｄ１以外に分類過程で生成した分類基礎データ（図示せず）を受け取ることもできる。このように構成されたｎ個の分類モデル５００ｎが直前までの分類モデルで生成したデータを重複して活用することで、分類モデル５００間の偏差やエラーを防止することもできる。

【0123】

幾つかの他の実施例において、分類候補値ｃｄｄは、各分類モデル５００が実行されると、各分類モデル別に１つずつ生成でき、分類値管理者７００は、分類モデル５００全体が分類作業を行わず、分類候補値ｃｄｄの累積状態に応じて、ｎ個の分類モデル５００が分類作業を全て完了していない状態で分類値ｃｔｇｒを決定することもできる。

【0124】

幾つかの他の実施例において、特徴抽出値ｆｅａｔに対応して分類の正確度が相対的に高い分類モデルを先順位の分類モデルとして構成し、分類の正確度が相対的に低い分類モデルは後順位に配置して、分類モデル５００の正確度に応じて処理速度を向上させるために柔軟に構成することもできる。後順位の分類モデルほど特徴抽出値ｆｅａｔと以前の分類モデルで生成された複数の分類候補値ｃｄｄと分類基礎データ（図示せず）を参照して分類作業を行えるため、迅速かつ正確な分類結果を提供できる。

【0125】

図１３は、分類値によって特徴抽出モデルを修正する本発明の更に他の実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法を示す図である。

【0126】

図１３を参照すると、画像データｉｍｇｓの分類値ｃｔｇｒを検証して検証結果を提供する段階と、検証結果に基づいて第１又は第２特徴抽出値ｆｅａｔ１、ｆｅａｔ２が変更されるように第１又は第２特徴抽出モデル１１０、１２０を修正する段階とを更に含むこともできる。また、修正された第１又は第２特徴抽出モデル１１０、１２０から生成された第１及び第２特徴抽出値ｆｅａｔ１、ｆｅａｔ２を分類モデル５００に入力して画像データｉｍｇｓの分類値ｃｔｇｒを再決定する段階を更に含むこともできる。

【0127】

幾つかの他の実施例において、特徴抽出モデル１００から抽出される特徴抽出値ｆｅａｔの構成要素と変数を最大に設定し、適用された構成要素と変数の分類値ｃｔｇｒに対する寄与度を算出して上位寄与度を有する構成要素と変数を中心に選別的に特徴抽出値ｆｅａｔを決定する過程を更に行うこともできる。

【0128】

例えば、特徴抽出モデル１００を学習させるための事前データが不十分である場合、特徴抽出値ｆｅａｔを決定するために用いられる全ての構成要素と変数に関する情報を決定し難いため、初期の特徴抽出モデル１００は、入力された画像ｉｍｇｓを処理して事前に定義された全ての構成要素と変数を決定し、これに基づいて特徴抽出値ｆｅａｔを構成できる。

【0129】

導き出された特徴抽出値ｆｅａｔは、分類モデル５００に入力され、所定の分類値ｃｔｇｒを決定し、決定された分類値ｃｔｇｒを自動又は手作業方式によって分類の正確度を検証できる。繰り返し検証された分類の正確度に基づいて分類値管理者７００が特徴抽出モデル１００に含まれている構成要素と変数のうち一部を除いて残りの構成要素と変数に基づいて特徴抽出値ｆｅａｔを構成することもできる。特徴抽出モデル１００は、限られた構成要素と変数に基づいて、より迅速に特徴抽出値ｆｅａｔを決定できる。特徴抽出モデル１００から除外された構成要素と変数は、分類値ｃｔｇｒに対する寄与度を算出して下位寄与度を有するものであって、除外された構成要素と変数は、分類値ｃｔｇｒに影響を及ぼさないため、分類の正確度や信頼性を維持できる。

【0130】

以上、前述した本発明の一実施例に係る多重人工知能モデルの連続処理構造に基づく画像自動分類及び処理方法は、ハードウェアであるコンピュータで実行されるプログラム又はアプリケーションとして実現され、コンピュータ読み取り可能な記録媒体に格納できる。

【0131】

前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムにより実現された前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、Ｒｕｂｙ、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。

【0132】

前記格納される媒体は、レジスタ、キャッシュ、メモリなどといった短時間でデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが、これに限定されない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取れるコードが格納されることができる。

【0133】

以上、添付の図面を参照して本発明の実施例を説明したが、本発明の属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施例は、あらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】