特開 2024-44187 画像アノテーション装置、画像アノテーション方法および画像アノテーションプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024044187

(43)【公開日】2024-04-02

(54)【発明の名称】画像アノテーション装置、画像アノテーション方法および画像アノテーションプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240326BHJP

   G06V 10/72 20220101ALI20240326BHJP

【ＦＩ】

G06T7/00 350B

G06V10/72

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022149572

(22)【出願日】2022-09-20

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】井田 安俊

(72)【発明者】

【氏名】竹内 亨

(72)【発明者】

【氏名】寺本 純司

(72)【発明者】

【氏名】八木 哲志

(72)【発明者】

【氏名】後藤 正幸

(72)【発明者】

【氏名】中澤 真

(72)【発明者】

【氏名】梅澤 克之

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA01

5L096DA02

5L096FA32

5L096HA11

5L096KA04

(57)【要約】

【課題】対象のデータを比較して、どちらがより所定の基準を満たすかという相対的な評価に基づいてアノテーションを行う。
【解決手段】取得部１５ａが、画像データの集合を取得する。付与部１５ｂが、取得された画像データ集合１４ａのうちの２つの画像データの組み合わせについて、各画像データの評価の比で表されるラベルを付与する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像データの集合を取得する取得部と、
取得された前記画像データの集合のうちの２つの画像データの組み合わせについて、各画像データの評価の比で表されるラベルを付与する付与部と、
を有することを特徴とする画像アノテーション装置。

【請求項2】

前記ラベルが付与された前記組み合わせを学習データとして用いて、入力された２つの画像データについて、前記ラベルを用いて表される優劣度を推定するモデルを学習する学習部を、さらに有することを特徴とする請求項１に記載の画像アノテーション装置。

【請求項3】

学習された前記モデルを用いて、取得された画像データの集合のうちの２つの画像データの組み合わせについて、前記優劣度を推定する推定部と、
全ての前記組み合わせについて推定された前記優劣度を用いて、取得された各画像データの推定評価を算出する算出部と、
をさらに有することを特徴とする請求項２に記載の画像アノテーション装置。

【請求項4】

前記算出部は、幾何平均法を用いて前記推定評価を算出することを特徴とする請求項３に記載の画像アノテーション装置。

【請求項5】

算出された前記推定評価の高い順に画像アノテーションする提示部を、さらに有することを特徴とする請求項３に記載の画像アノテーション装置。

【請求項6】

画像アノテーション装置が実行する画像アノテーション方法であって、
画像データの集合を取得する取得工程と、
取得された前記画像データの集合のうちの２つの画像データの組み合わせについて、各画像データの評価の比で表されるラベルを付与する付与工程と、
を含んだことを特徴とする画像アノテーション方法。

【請求項7】

画像データの集合を取得する取得ステップと、
取得された前記画像データの集合のうちの２つの画像データの組み合わせについて、各画像データの評価の比で表されるラベルを付与する付与ステップと、
をコンピュータに実行させるための画像アノテーションプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像アノテーション装置、画像アノテーション方法および画像アノテーションプログラムに関する。

【背景技術】

【0002】

従来、画像データのアノテーション技術が知られている（非特許文献１参照）。ここで、人工知能の学習システムである機械学習のための教師データ、つまり、正解カテゴリやラベル付きの画像データ集合を作成したり、検索装置において活用される検索用のキーワードやラベルと画像データとを対応付けたりする必要がある。そのために、対象の画像データ集合に対し、その画像が表す概念の正解カテゴリや正解ラベルを付与することを画像データのアノテーションという。

【0003】

このような画像データのアノテーションは、作業者の手作業で行われる。通常、多数の良質な教師データを生成するために、用意した画像データに対して、作業者がその画像が表す概念やラベルを手作業で付与する。

【0004】

情報システム（アノテーションシステム）が用いられる場合には、アノテーションしたい画像データを蓄積し、それらを作業しやすい形で順次、作業者のユーザに提示する。また、作業者が操作画面等から提示された画像が表す概念やラベルを付与したら、アノテーションシステムがそのアノテーション結果を望ましい形式で保存することにより、教師データを生成する。

【0005】

なお、画像データのアノテーションでは、単に１枚の画像の全体に対して適切な概念やラベルを付与するだけでなく、当該画像の一部分を特定して概念やラベルを付与する場合もある。例えば、作業者がラベルを付与する領域を特定しつつ、ラベルを付与する作業が行われる。１枚の画像データに様々な対象物が映り込んだ画像データに対してキメ細かいアノテーション作業が可能となる。

【0006】

また、ＤＮＮ（Deep Neural Network）モデルを用いて、画像データを入力し、その画像の全体もしくは一部に対して対応するカテゴリやラベルを推定する画像認識システムが知られている。

【0007】

また、非特許文献２，３には、ユーザが求める情報を優先的に上位に表示することが求められる情報検索や推薦システムにおいて、対象をユーザが求める順序で並び変えるランキング技術に関し、ペアワイズ手法によるオンラインランキング学習が記載されている。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Alama Jonatan，“画像/動画アノテーションシステム「Nota」”， [online]、2021年6月、［2022年7月15日検索］、インターネット<URL：https://dena.ai/news/202106-nota-annotation-open-source/>

【非特許文献2】後藤正幸、“階層型意思決定モデル（AHP）と統計学的考察”、武蔵工業大学環境情報学部紀要、2004年、Vol.5、pp.77-88

【非特許文献3】飯田洋市、”意思決定法AHPにおける一対比較の簡便法”、信州大学人文社会科学研究、2016年、Vol.10、pp.68-78

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、従来技術では、相対的な情報を対象としてラベルを付与することは困難である。例えば、従来技術は、画像データに付与する概念やラベルが、「車」、「飛行機」、「人」等、アノテーションの観点や粒度が固まれば、アノテーション結果に個人差があることがまれな絶対的評価に基づく問題を対象としている。

【0010】

一方、付与するラベルが人間の感性による「良い」「悪い」のような相対的な情報である場合には、作業対象となるデータに対して絶対的評価に基づくラベルや数値を付与することが困難であった。

【0011】

本発明は、上記に鑑みてなされたものであって、対象のデータを比較して、どちらがより所定の基準を満たすかという相対的な評価に基づいてアノテーションを行うことを目的とする。

【課題を解決するための手段】

【0012】

上述した課題を解決し、目的を達成するために、本発明に係る画像アノテーション装置は、画像データの集合を取得する取得部と、取得された前記画像データの集合のうちの２つの画像データの組み合わせについて、各画像データの評価の比で表されるラベルを付与する付与部と、を有することを特徴とする。

【発明の効果】

【0013】

本発明によれば、対象のデータを比較して、どちらがより所定の基準を満たすかという相対的な評価に基づいてアノテーションを行うことが可能となる。

【図面の簡単な説明】

【0014】

【図1】図１は、画像アノテーション装置の概略構成を例示する模式図である。

【図2】図２は、ラベルを説明するための図である。

【図3】図３は、優劣度を説明するための図である。

【図4】図４は、画像アノテーション処理手順を示すフローチャートである。

【図5】図５は、画像アノテーション処理手順を示すフローチャートである。

【図6】図６は、画像アノテーション処理手順を示すフローチャートである。

【図7】図７は、画像アノテーションプログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0016】

［画像アノテーション装置の構成］
図１は、画像アノテーション装置の概略構成を例示する模式図である。図１に例示するように、本実施形態の画像アノテーション装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。

【0017】

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述する画像アノテーション処理の結果が表示される。

【0018】

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、画像データや各種のデータを管理する管理装置と制御部１５との通信を制御する。

【0019】

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、画像アノテーション装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

【0020】

本実施形態では、記憶部１４は、後述する画像アノテーション処理に用いられる画像データ集合１４ａや、画像アノテーション処理で生成されるモデル１４ｂ等を記憶する。なお、後述する付与部１５ｂが処理対象とする画像データ集合１４ａと、推定部１５ｄが処理対象とする画像データ集合１４ａとは、異なる画像データで構成されるものとする。

【0021】

制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図１に例示するように、取得部１５ａ、付与部１５ｂ、学習部１５ｃ、推定部１５ｄ、算出部１５ｅおよび提示部１５ｆとして機能して、後述する画像アノテーション処理を実行する。

【0022】

なお、これらの機能部は、それぞれあるいは一部が異なるハードウェアに実装されてもよい。例えば、付与部１５ｂは付与装置として、学習部１５ｃは学習装置として、その他の機能部とは異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。

【0023】

取得部１５ａは、画像データの集合を取得する。例えば、取得部１５ａは、入力部１１を介して、あるいは画像データを管理する管理装置等から通信制御部１３を介して、画像データの集合を取得する。取得部１５ａは、取得した画像データの集合を画像データ集合１４ａとして記憶部１４に記憶させる。

【0024】

なお、上記のとおり、後述する付与部１５ｂの処理対象の画像データ集合１４ａと、推定部１５ｄの処理対象の画像データ集合１４ａとは、異なる画像データで構成されるものとする。

【0025】

付与部１５ｂは、取得された画像データ集合１４ａのうちの２つの画像データの組み合わせについて、各画像データの評価の比で表されるラベルを付与する。例えば、付与部１５ｂは、画像データ集合１４ａの画像データをランダムに並べ変え、上から選択された２枚の画像データを、出力部１２を介してユーザに提示して、２つの画像データの相対的な評価の入力を受け付けて、その評価に対応するラベルを付与する。

【0026】

２枚の画像データの組み合わせに対する相対的な評価として、例えば「１枚目の画像の方が優れている」「２枚目の画像の方が優れている」「２枚の画像は同程度」等に分類した各段階に数値ラベルを設定しておく。そして、付与部１５ｂは、ユーザが選択した段階に対応する数値ラベルを受け付けて、２つの画像データの組み合わせに対してこの数値ラベルを付与する。

【0027】

２つの画像データの組み合わせに対する数値ラベルは、例えば、次式（１）のように設定される。

【0028】

【数1】

【0029】

ここで、数値ラベルは、次式（２）に示すように、２つの画像データのそれぞれに対する評価の比で表されるものと解することができる。

【0030】

【数2】

【0031】

このように、付与部１５ｂは、２つの画像データの組み合わせに対し、各画像データの評価の比で表される数値ラベルを付与する。付与部１５ｂは、数値ラベルを付与した２つの画像データの組み合わせを、学習データとして記憶部１４に記憶させてもよい。

【0032】

また、次式（３）に示すように、数値ラベルを０以上１以下の値に変換した値を、優劣度と定義する。すなわち、優劣度は、各画像データの評価の比を用いて表される０以上１以下の値であり、１枚目の画像が２枚目の画像より優れている度合いを表す。

【0033】

【数3】

【0034】

なお、付与部１５ｂは、画像データ集合１４ａのうちの２つの画像データの組み合わせの全てを網羅して数値ラベルを付与する必要はない。例えば、付与部１５ｂは、画像データ集合１４ａのうちの２つの画像データの組み合わせを選択して数値ラベルを付与する処理を、所定の回数だけ繰り返せばよい。

【0035】

また、付与部１５ｂは、処理対象の２つの画像データの組み合わせをユーザに提示する際に、画像データ集合１４ａからランダムに２つの画像データを選択する方法に限定されない。例えば、ベイズ最適化あるいは能動学習の手法を用いて、より効率的に評価値を高精度に算出できるように、画像データ集合１４ａの画像データを並び替え、上から２つを選択して提示してもよい。あるいは、学習用の画像データ集合１４ａからランダムにＳ（Ｓ＞２）個の画像データをユーザに提示して、その中から最も良いと思う画像データと、最もよくないと思う画像データとの２枚の画像データをユーザに選択させてもよい。

【0036】

また、２枚の画像データの組み合わせに対する相対的な評価の分類は、上記のような３段階に限定されない。例えば、次式（４）に例示するように、より細かく分類された段階に分類されてもよい。次式（４）に示す例では、２枚の画像データの組み合わせに対する相対的な評価が９段階に分類され、それぞれの段階に数値ラベルが設定されている。

【0037】

【数4】

【0038】

ここで、図２は、ラベルを説明するための図である。付与部１５ｂは、図２に例示するように、２つの画像データの組み合わせに対し、数値ラベルを付与し、後述する学習部１５ｃの学習データとする。図２に例示する表において、ある要素のラベルがａである場合に、その対角成分は１／ａとなる。また、図２に例示した表のすべての要素に対して数値ラベルが特定されている必要はなく、空白の要素があってもよい。

【0039】

また、図３は、優劣度を説明するための図である。後述する学習部１５ｃは、図２に例示した学習データの数値ラベルを、上記式（３）によって優劣度に変換した後に処理を行う。この場合に、図２に例示した数値ラベルは、図３に例示するように優劣度に変換される。

【0040】

なお、優劣度の定義は、上記式（３）に限定されず、数値ラベルの大小関係が維持されたうえで０以上１以下の値に変換されればよい。

【0041】

図１の説明に戻る。学習部１５ｃは、ラベルが付与された２つの画像データの組み合わせを学習データとして用いて、入力された２つの画像データについて、ラベルを用いて表される優劣度を推定するモデル１４ｂを学習する。

【0042】

具体的には、学習部１５ｃは、まず、付与部１５ｂにより数値ラベルが付与された画像データの組み合わせを学習データとして用いて、上記のように、学習データの数値ラベルを優劣度に変換する。

【0043】

そして、学習部１５ｃは、優劣度が付与された学習データを用いて、２つの画像データが入力された場合にこの２つの画像データの優劣度を定量的に出力するＤＮＮモデル１４ｂを学習により構築する。

【0044】

具体的には、学習部１５ｃは、次式（５）に示す、２つの画像データと優劣度との組を学習データセットに追加する。

【0045】

【数5】

【0046】

学習部１５ｃは、学習データの２つの画像データの組み合わせの全てについてこの処理を行うことにより、次式（６）に示す学習データセットを生成する。

【0047】

【数6】

【0048】

学習部１５ｃは、上記式（６）の学習データセットを用いて、２つの画像データｘ_ｊ、ｘ_ｋを入力した場合に、この２つの画像データの優劣度を定量的に出力するモデル１４ｂを学習により構築する。

【0049】

推定部１５ｄは、学習されたモデル１４ｂを用いて、取得された画像データ集合１４ａうちの２つの画像データの組み合わせについて、優劣度を推定する。このモデル１４ｂは、２つの画像データが入力されると、１枚目画像用入力層に１枚目の画像データが入力され、２枚目画像用入力層に２枚目の画像データが入力され、シグモイド関数を活性化関数とした単一の出力ユニットにより、０以上１以下の数値を出力する。ここで出力される数値は、１枚目の画像が２枚目の画像より優れている度合いである優劣度の推定値（以下、推定優劣度と記す）である。

【0050】

具体的には、推定部１５ｄは、学習されたモデル１４ｂの１枚目画像用入力層に１枚目の画像データｘ_ｊを入力し、モデル１４ｂの２枚目画像用入力層に２枚目の画像データｘ_ｋを入力し、推定優劣度ａ_ｊｋを得る。また、推定部１５ｄは、画像データを入れ替え、１枚目画像用入力層に２枚目の画像データｘ_ｋを入力し、モデル１４ｂの２枚目画像用入力層に１枚目の画像データｘ_ｊを入力し、推定優劣度ａ_ｋｊを得る。

【0051】

推定部１５ｄは、処理対象の画像データ集合１４ａのうちの２つの画像データの組み合わせの全てについて、推定優劣度を得る処理を繰り返す。この場合に、Ｌ個の画像データから異なる２つの画像データの組み合わせを取り出して並べる順列数Ｌ（Ｌ－１）通りと同数の推定優劣度が得られる。

【0052】

算出部１５ｅは、全ての組み合わせについて推定された優劣度を用いて、取得された各画像データの推定評価を算出する。具体的には、算出部１５ｅは、幾何平均法を用いて推定評価を算出する。例えば、算出部１５ｅは、得られたＬ（Ｌ－１）個の推定優劣度に対して、次式（７）に示す幾何平均法を用いて、画像データｘ_ｊの推定評価値を算出する。

【0053】

【数7】

【0054】

提示部１５ｆは、算出された推定評価の高い順に提示する。例えば、提示部１５ｆは、出力部１２を介して、推定評価値の高い順に所定数の画像を、推定評価値とともにユーザに提示する。これにより、魅力度の高い商品画像を自動的に抽出し、魅力度が高い順にランキング表示させることが可能となる。

【0055】

［画像アノテーション処理］
次に、図４～図６を参照して、本実施形態に係る画像アノテーション装置１０による画像アノテーション処理について説明する。図４～図６は、画像アノテーション処理手順を示すフローチャートである。

【0056】

本実施形態において、画像アノテーション処理は、付与処理と、学習処理と、提示処理を含む。まず、図４には、付与処理手順のフローチャートが例示されている。図４のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。

【0057】

まず、付与部１５ｂが、取得部１５ａが取得した画像データ集合１４ａの画像データを、ランダムに並べかえ（ステップＳ１）、全ての画像データについて、ステップＳ３～Ｓ７の処理を繰り返す（ステップＳ２、Ｓ８）。

【0058】

つまり、付与部１５ｂは、ランダムに並べかえた画像データの上から２つを選択し（ステップＳ３）、選択した画像データにすでにラベルが付与されていれば（ステップＳ４、Ｙｅｓ）、ステップＳ３に処理を戻す。一方、選択した画像データにラベルが付与されていなければ（ステップＳ４、Ｎｏ）、付与部１５ｂは、選択した２つの画像データをユーザに提示し（ステップＳ５）、２枚の画像データの組み合わせに対する相対的な評価の段階の選択入力を受け付ける（ステップＳ６）。そして、付与部１５ｂは、選択された段階に対応する数値ラベルを付与する（ステップＳ７）。

【0059】

ランダムに並べ変えた画像データの全てについて、ステップＳ３～Ｓ７の処理が終わった場合には、ステップＳ３～Ｓ７の処理の繰り返し回数が所定の回数に達していなければ（ステップＳ８→Ｓ９、Ｎｏ）、付与部１５ｂは、ステップＳ１に処理を戻す。一方、ステップＳ３～Ｓ７の処理の繰り返し回数が所定の回数に達した場合に（ステップＳ９、Ｙｅｓ）、付与部１５ｂは、一連の付与処理を終了させる。

【0060】

次に、図５には、学習処理手順のフローチャートが例示されている。図５のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。

【0061】

学習部１５ｃは、数値ラベルが付与された画像データの組み合わせを学習データとして用いて、学習データの２つの画像データの組み合わせの全てについて、学習データの数値ラベルを優劣度に変換して、学習データセットを生成する（ステップＳ１１）。

【0062】

次に、学習部１５ｃは、生成した学習データセットを用いて、２つの画像データを入力した場合に、この２つの画像データの優劣度を定量的に出力するモデル１４ｂを学習により構築する（ステップＳ１２）。これにより、一連の学習処理が終了する。

【0063】

また、図６には、提示処理手順のフローチャートが例示されている。図６のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。

【0064】

まず推定部１５ｄが、取得部１５ａが取得した、ランキング表示させたい処理対象の画像データ集合１４ａのうちの２つの画像データの組み合わせの全てについて、学習されたモデル１４ｂに入力し、推定優劣度を得る処理を繰り返す（ステップＳ２１）。

【0065】

次に算出部１５ｅが、全ての組み合わせについて推定された優劣度を用いて、取得された各画像データの推定評価を算出する（ステップＳ２２）。

【0066】

そして、提示部１５ｆが、算出された推定評価の高い順に、ユーザに画像データを提示する（ステップＳ２３）。これにより、一連の提示処理が終了する。

【0067】

［効果］
以上、説明したように、本実施形態の画像アノテーション装置１０において、取得部１５ａが、画像データの集合を取得する。また、付与部１５ｂが、取得された画像データ集合１４ａのうちの２つの画像データの組み合わせについて、各画像データの評価の比で表されるラベルを付与する。

【0068】

これにより、対象のデータを比較して、どちらがより所定の基準を満たすかという相対的な評価に基づいてラベルを付与して、機械学習のための教師データを生成するアノテーションを行うことが可能となる。

【0069】

また、学習部１５ｃが、ラベルが付与された２つの画像データの組み合わせを学習データとして用いて、入力された２つの画像データについて、ラベルを用いて表される優劣度を推定するモデル１４ｂを学習する。これにより、対象のデータの相対的な評価に基づく機械学習が可能となる。

【0070】

また、推定部１５ｄが、学習されたモデル１４ｂを用いて、取得された画像データ集合１４ａのうちの２つの画像データの組み合わせについて、優劣度を推定する。この場合に、算出部１５ｅが、全ての組み合わせについて推定された優劣度を用いて、取得された各画像データの推定評価を算出する。

【0071】

具体的には、算出部１５ｅは、幾何平均法を用いて推定評価を算出する。これにより、対象のデータの相対的な評価に基づいてランキング表示のための評価を推定することが可能となる。

【0072】

また、提示部１５ｆが、算出された推定評価の高い順に提示する。これにより、魅力度の高い商品画像を自動的に抽出し、魅力度が高い順にランキング表示させることが可能となる。

【0073】

例えば、一般投稿者がレストランや料理店の感想や主観評価を投稿できるグルメ情報サイトにおいて、一般投稿者がアップロードした膨大な料理写真の中から、新たな一般消費者に魅力的な料理写真を自動的に選定し、各店舗の料理写真の中で上位に提示できる。

【0074】

あるいは、ファッションＥＣサイトや生花ＥＣサイト等の多数のアイテムを扱うサイトにおいて、用意された商品画像の中から、顧客に訴求する良い商品画像を自動的に抽出し、各商品に対して掲示して、各商品ページの魅力度の向上につなげることが可能となる。

【0075】

［プログラム］
上記実施形態に係る画像アノテーション装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、画像アノテーション装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の画像アノテーション処理を実行する画像アノテーションプログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の画像アノテーションプログラムを情報処理装置に実行させることにより、情報処理装置を画像アノテーション装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）などのスレート端末などがその範疇に含まれる。また、画像アノテーション装置１０の機能を、クラウドサーバに実装してもよい。

【0076】

図７は、画像アノテーションプログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

【0077】

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

【0078】

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

【0079】

また、画像アノテーションプログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した画像アノテーション装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

【0080】

また、画像アノテーションプログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

【0081】

なお、画像アノテーションプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、画像アノテーションプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0082】

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

【符号の説明】

【0083】

１０ 画像アノテーション装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１４ａ 画像データ集合
１４ｂ モデル
１５ 制御部
１５ａ 取得部
１５ｂ 付与部
１５ｃ 学習部
１５ｄ 推定部
１５ｅ 算出部
１５ｆ 提示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】