特許 6486853 分類ラベル付与装置、分類ラベル付与方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6486853

(24)【登録日】2019年3月1日

(45)【発行日】2019年3月20日

(54)【発明の名称】分類ラベル付与装置、分類ラベル付与方法、およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20190311BHJP

   G06F 16/00 20190101ALI20190311BHJP

   G06F 16/50 20190101ALI20190311BHJP

【ＦＩ】

   G06T1/00 200D

   G06F17/30 220B

   G06F17/30 170B

【請求項の数】5

【全頁数】32

(21)【出願番号】特願2016-43896(P2016-43896)

(22)【出願日】2016年3月7日

(65)【公開番号】特開2017-162025(P2017-162025A)

(43)【公開日】2017年9月14日

【審査請求日】2017年9月25日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】木山 亮

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１５−００５１７２（ＪＰ，Ａ）

【文献】 特開２０１４−０４８７９８（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０８９８８４（ＷＯ，Ａ１）

【文献】 特開２００５−２５０７１２（ＪＰ，Ａ）

【文献】 特開２０１４−１６４４９９（ＪＰ，Ａ）

【文献】 岡部 孝弘、外３名，“カテゴリーの共起を考慮した回帰による複数物体認識”，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，２００９年 ８月 １日，Vol.J92-D, No.8，pp.1115-1124

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０６Ｆ １６／００，１６／５０

(57)【特許請求の範囲】

【請求項1】

画像と分類ラベルとの関係についての知識の情報を記憶する知識記憶部と、
前記画像を複数の部分画像の領域に分割する分割部と、
画像の認識処理を行うことによって前記画像に対応する分類ラベルを付与するとともに前記部分画像の認識処理を行うことによって前記部分画像にも分類ラベルを付与する認識部と、
前記知識記憶部から読み出した前記知識に基づいて前記画像に付与された前記分類ラベルを別の分類ラベルに更新する更新部と、
を備える分類ラベル付与装置であって、
前記知識記憶部は、前記知識として集合分類ラベルと複数の前記分類ラベルとの対応関係を表す集合分類情報を保持する集合分類情報記憶部と、前記知識として複数の分類ラベルの共起尤度のデータを保持する共起情報記憶部とを備え、
前記更新部は、前記画像が含む複数の部分画像にそれぞれ付与された前記分類ラベルと、前記集合分類情報記憶部から読み出した前記集合分類情報とに基づいて、前記複数の部分画像に対応する前記集合分類ラベルを用いて前記画像に付与されていた前記分類ラベルを更新するものであり、前記集合分類情報記憶部に記憶されている前記集合分類情報が、ある集合分類ラベルと前記複数の分類ラベルとの対応関係を含む場合に、当該複数の分類ラベルに関して前記共起情報記憶部に記憶されている共起尤度のデータよりも高い共起尤度として当該複数の分類ラベルを扱って、複数の前記部分画像に対応する前記分類ラベルのうちの少なくとも一つを別の分類ラベルに更新する、
分類ラベル付与装置。

【請求項2】

前記更新部による分類ラベルの更新処理に対応した説明規則を記憶する説明規則記憶部と、
前記説明規則記憶部から読み出した前記説明規則と、前記更新部による分類ラベルの更新処理の内容とに基づいて説明情報を生成する説明情報生成部と、
前記画像と、当該画像に付与された前記分類ラベルと、生成された前記説明情報とを出力する出力部と、
をさらに備える請求項１に記載の分類ラベル付与装置。

【請求項3】

外部からの操作に基づく操作情報を取得する操作入力部と、
前記操作情報にしたがって、前記画像に付与されている分類ラベルを更新するよう前記更新部に指示する操作反映部と、
をさらに備え、
前記更新部は、前記操作反映部からの指示があった場合には当該指示にしたがって前記画像または前記部分画像に付与された分類ラベルを更新する、
請求項１または２に記載の分類ラベル付与装置。

【請求項4】

画像と分類ラベルとの関係についての知識の情報を記憶する知識記憶部を備える分類ラベル付与装置が、
前記画像を複数の部分画像の領域に分割する分割過程と、
画像の認識処理を行うことによって前記画像に対応する分類ラベルを付与するとともに、前記部分画像の認識処理を行うことによって前記部分画像にも分類ラベルを付与する認識過程と、
前記知識記憶部から読み出した前記知識に基づいて前記画像に付与された前記分類ラベルを別の分類ラベルに更新する更新過程と、
を含む分類ラベル付与方法であって、
前記知識記憶部は、前記知識として集合分類ラベルと複数の前記分類ラベルとの対応関係を表す集合分類情報を保持する集合分類情報記憶部と、前記知識として複数の分類ラベルの共起尤度のデータを保持する共起情報記憶部とを備え、
前記更新過程は、前記画像が含む複数の部分画像にそれぞれ付与された前記分類ラベルと、前記集合分類情報記憶部から読み出した前記集合分類情報とに基づいて、前記複数の部分画像に対応する前記集合分類ラベルを用いて前記画像に付与されていた前記分類ラベルを更新するものであり、前記集合分類情報記憶部に記憶されている前記集合分類情報が、ある集合分類ラベルと前記複数の分類ラベルとの対応関係を含む場合に、当該複数の分類ラベルに関して前記共起情報記憶部に記憶されている共起尤度のデータよりも高い共起尤度として当該複数の分類ラベルを扱って、複数の前記部分画像に対応する前記分類ラベルのうちの少なくとも一つを別の分類ラベルに更新する、
分類ラベル付与方法。

【請求項5】

コンピューターを、
請求項１から３までのいずれか一項に記載の分類ラベル付与装置、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、分類ラベル付与装置、分類ラベル付与方法、およびプログラムに関する。

【背景技術】

【0002】

画像データを登録するシステムにおいて、画像が何を表しているか、あるいは画像にどういうものが含まれているかを示す分類ラベルの情報を付与することは有用である。大量の画像を扱うシステムにおいては、分類ラベルの付与を、効率よく且つ精度よく行うことが求められる。大量の画像に対して分類ラベルを付与する場合には、画像認識技術を用いて画像中に含まれる物体を認識し、その認識結果を元に自動的に分類ラベルを付与する技術が、従来から存在する。

【0003】

自動的に分類ラベル付与する処理を導入することにより、短時間で、大量の画像に対して分類ラベルを付与することが可能となるが、認識誤りによって、誤った分類ラベルが付与される可能性もあった。特に、画像内の多様な物体を認識しようとする場合には、自動的な分類ラベル付与処理では充分な精度が得られない可能性があった。

【0004】

画像に対する分類ラベル付与の正確性を高めるために、人の目による判断に基づいて分類ラベルを付与することも行われている。しかし、人の作業によって分類ラベルを付与する場合には、時間がかかり過ぎる場合があった。また、人の主観によって分類ラベルを付与するため、付与する分類ラベルにぶれが生じたり、人が画像内の物体を見落とすというヒューマンエラーが起こったりする場合もあった。

【0005】

人の主観による判断のぶれを軽減する技術としては、サンプル画像情報と原稿画像とを照合して品質スコアを算出し、その品質スコアをユーザーに提示することによって画像に対する判断を安定させる技術もある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００３−１４５８９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、画像認識技術によって付与された分類ラベルを、予め蓄えられた知識に基づいて更新することができる分類ラベル付与装置、分類ラベル付与方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0008】

実施形態の分類ラベル付与装置は、知識記憶部と、認識部と、更新部とを持つ。知識記憶部は、画像と分類ラベルとの関係についての知識の情報を記憶する。認識部は、画像の認識処理を行うことによって前記画像に対応する分類ラベルを付与する。更新部は、前記知識記憶部から読み出した前記知識に基づいて前記画像に付与された前記分類ラベルを別の分類ラベルに更新する。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態による分類ラベル付与装置の概略機能構成を示すブロック図。

【図2】第１の実施形態の共起情報記憶部が記憶する共起情報の構成例を示す概略図。

【図3】第１の実施形態による分類ラベル付与装置の処理手順を示すフローチャート。

【図4】第１の実施形態による分類ラベル付与装置の処理の流れを、具体例により説明するための概略図。

【図5】第１の実施形態の更新部が、共起情報記憶部に記憶されている共起情報に基づいて更新スコアを算出する過程を示す概略図。

【図6】第１の実施形態の説明情報生成部が、説明規則記憶部に記憶されている説明規則に基づいて説明情報を生成する過程を示す概略図。

【図7】第２の実施形態による分類ラベル付与装置の概略機能構成を示すブロック図。

【図8】第２の実施形態の集合分類情報記憶部が記憶する集合分類情報の構成例を示す概略図。

【図9】第２の実施形態による分類ラベル付与装置の処理手順を示すフローチャート。

【図10】第２の実施形態による分類ラベル付与装置の処理の流れを、具体例により説明するための概略図。

【図11】第２の実施形態の説明情報生成部が、説明規則記憶部に記憶されている説明規則に基づいて説明情報を生成する過程を示す概略図。

【図12】第３の実施形態による分類ラベル付与装置の概略機能構成を示すブロック図。

【図13】第３の実施形態による分類ラベル付与装置の処理手順を示すフローチャート。

【図14】第３の実施形態による分類ラベル付与装置の処理の流れを、具体例により説明するための概略図。

【図15】第４の実施形態による分類ラベル付与装置の概略機能構成を示すブロック図。

【図16】第４の実施形態による分類ラベル付与装置の処理手順を示すフローチャート。

【図17】第４の実施形態による分類ラベル付与装置の処理の流れを、具体例により説明するための概略図。

【図18】第４の実施形態の認識情報記憶部が記憶する分類ラベルレコードの構成を示す概略図。

【図19】第４の実施形態の操作入力部がユーザーによる操作を受け入れるためのユーザーインタフェースを示す概略図。

【図20】第５の実施形態による分類ラベル付与装置の概略機能構成を示すブロック図。

【図21】第５の実施形態による分類ラベル付与装置の処理手順を示すフローチャート。

【図22】第５の実施形態による分類ラベル付与装置の処理の流れを、具体例により説明するための概略図。

【図23】第５の実施形態の認識情報記憶部が記憶する分類ラベルレコードの構成を示す概略図。

【図24】第５の実施形態の認識情報記憶部が記憶する集合分類ラベルレコードの構成を示す概略図。

【図25】第６の実施形態による分類ラベル付与装置の概略機能構成を示すブロック図。

【図26】第６の実施形態による分類ラベル付与装置の処理手順を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、実施形態の分類ラベル付与装置、分類ラベル付与方法、およびプログラムを、図面を参照して説明する。

【0011】

（第１の実施形態）
図１は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号１は分類ラベル付与装置である。図示するように、分類ラベル付与装置１は、入力部１０１と、分割部１０２と、分類情報記憶部１０３と、認識部１０４と、知識記憶部１０５と、更新部１０６と、説明規則記憶部１０７と、説明情報生成部１０８と、出力部１０９と、を持つ。これら各部は、電子回路を用いて構成され、回路内の電気的状態（例えば電圧値）を情報に対応付けて処理することによって所望の機能を実現する。なお、後述するようにコンピューター（パーソナルコンピューター等）を用いて各部の機能を実現するようにしてもよい。また、分類情報記憶部１０３と知識記憶部１０５と説明規則記憶部１０７は、磁気ディスク装置や半導体メモリ等を用いて、情報を記憶できるようにする。このような構成により、分類ラベル付与装置１は、精度よく、自動的に、画像の分類ラベルを付与する。なお、分類ラベルは、処理対象の画像が何を示しているかを表す情報である。分類ラベルは、「タグ」あるいは「タグ情報」と呼ばれる場合もある。例えば、画像が太陽を表すものである場合には、その画像には「太陽」という分類ラベルが付与される。また、例えば、画像が本を著すものである場合には、その画像には「本」という分類ラベルが付与される。

【0012】

分類ラベル付与装置１は、例えば、大量の画像を効率よく且つ精度よく登録するための画像登録システムの一部として利用される。なお、この画像登録システムは、画像に関連付けて、その画像が何を表しているかを示す分類ラベルをも登録するものである。また、画像登録システムの利用目的の一つは、機械学習のための教師データを大量に生成するための処理である。画像を入力して分類ラベルを自動的に付与する処理において、その処理におけるパラメーターを最適化するために、教師データが正解例として利用される。
なお、分類ラベル付与装置１の利用目的は、ここで例示したものには限定されず、他にも様々な利用方法が可能である。
以下において、分類ラベル付与装置１を構成する各部の処理の詳細について説明する。

【0013】

入力部１０１は、外部から画像のデータを取得し、取得した画像データを分割部１０２に渡す。入力部１０１が取得する画像は、分類ラベルを付与するための画像である。基本的に、１件の画像データファイルが、分類ラベル付与の対象となる１件の画像を含んでいる。ただし、データファイルと画像との対応関係は、必ずしも１対１でなくてもよい。
なお、入力部１０１が、イメージスキャナ等の機能により、例えば印刷されている画像をスキャンして読み込むようにしてもよい。また、入力部１０１が、既に電子データとして存在している画像データファイルを、分類ラベル付与装置１内の記憶手段から、あるいは外部から取得するようにしてもよい。また、入力部１０１が、カメラで撮影された画像のファイルを読み込むようにしてもよい。

【0014】

分割部１０２は、入力部１０１が取得した画像のそれぞれについて、領域分割処理を行う。分割された各領域は、元の画像に対する、部分画像の領域である。具体的には、ある画像に複数の物が含まれているときに、分割部１０２は、その画像を物ごとの部分画像に分割する。分割部１０２は、元の１件の画像から分割処理によって得られた部分画像を１セットとして、認識部１０４に渡す。
なお、分割部１０２による部分画像の分割の処理自体は、既存技術を用いて行うことが可能である。一例として、領域成長法を用いて画像を分割することができる。領域成長法では、画像内の画素の特徴とその近傍の特徴とに基づいて、ある画素と他の画素とが同じ領域に属するかどうかを判断する。特徴が互いに似ていれば、それらの画素を併合してより大きな領域とする。この操作を繰り返して起用していくことによって、画像全体を、複数の部分画像の領域に分割する。参考文献［"Seeded region growing." Pattern Analysis and Machine Intelligence, IEEE Transactions on 16.6 (1994): pp. 641-647.］にも、この領域成長法について記載されている。
また、分割部１０２は、他の、例えば分割統合法を用いたり、色などの特徴量によるクラスタリングを行ったりして、画像を分割するようにしてもよい。

【0015】

分類情報記憶部１０３は、画像中の物を認識するための情報（識別器として機能するために必要な分類情報）と、認識結果に関連付けられた分類ラベルの情報とを保持する。

【0016】

認識部１０４は、分類情報記憶部１０３に保持されている分類情報を用いて、分割部１０２から渡される各部分画像の認識処理を行う。そして、認識部１０４は、認識結果に対応する分類ラベルの複数の候補と各候補についての認識スコアを、更新部１０６に渡す。認識部１０４における処理では、最高の（第１位の）認識スコアに対応する分類ラベルを暫定的に部分画像に付与するが、ここで付与された分類ラベルは、後述する処理によって更新される場合がある。なお、認識部１０４が、第１位の認識スコアを有する分類ラベルに限らず、比較的上位（例えば、第２位、第３位等）の認識スコアに対応する分類ラベルを画像に付与するようにしてもよい。
なお、本実施形態における認識スコアは、０以上且つ１以下の実数値である。認識スコアは、その画像に対する分類ラベルの正しさの度合いを表す。認識スコアが０のとき、その画像に対してその分類ラベルが付与されることはあり得ない。認識スコアが１のとき、その画像に対してその分類ラベルを付与することは確定的に正しい。
なお、認識スコアの値を、０以上且つ１以下の範囲に限定しない形で実施してもよい。

【0017】

知識記憶部１０５は、認識部１０４によって付与された分類ラベルを更新するための知識をデータとして保持する。言い換えれば、知識記憶部１０５は、画像と分類ラベルとの関係についての知識の情報を記憶する。ここで、知識とは、具体的には、分類ラベルの出現に関する統計的な数値データである。
本実施形態による知識記憶部１０５は、共起情報記憶部１１１を持つ。共起情報記憶部１１１は、ある分類ラベルと他の分類ラベルとの共起しやすさの度合い（「共起尤度」とも呼ぶ）を表す数値データを保持するものである。共起情報記憶部１１１におけるデータ構成については、後で別の図を参照して詳しく説明する。

【0018】

更新部１０６は、認識部１０４から得られた分類ラベルの候補ごとの認識スコアと、知識記憶部１０５から読み出した知識とに基づいて、それら分類ラベルの候補の更新スコアを算出する。そして、更新部１０６は、更新スコアの高い順に、部分画像の分類レベル候補を並べる。即ち、更新部１０６は、更新スコアが高い分類ラベルを優先的に扱う。更新部１０６は、算出された更新スコアに基づいて、必要な場合には分類ラベルを更新する。つまり、認識部１０４によって付与された分類ラベルは、更新部１０６によって別の分類ラベルに置き換えられる。そして、更新部１０６は、部分画像と、その部分画像に対応する更新前の分類ラベルおよび更新後の分類ラベルとを、説明情報生成部１０８に渡す。つまり、更新部１０６は、知識記憶部１０５から読み出した知識に基づいて、画像に付与された分類ラベルを別の分類ラベルに更新する。

【0019】

説明規則記憶部１０７は、分類ラベルを付与した根拠を説明する説明情報を生成するための説明規則のデータを保持する。特に、説明規則記憶部１０７は、更新部１０６による分類ラベルの更新処理に対応した説明規則のデータを記憶するものである。一例として、説明規則は、説明文のテンプレートとして表される。説明文のテンプレートは、文のテキストデータであり、その内部に変数（variable）を含むことができる。変数は、具体的なデータ（ここで、データとは、例えば分類ラベル）にマッチさせることができるものである。

【0020】

説明規則の例は、「＜根拠となった分類ラベル＞があるので、この部分は＜付与された分類ラベル＞です。」といった説明文のテンプレートである。このテンプレートにおける＜根拠となった分類ラベル＞および＜付与された分類ラベル＞は、それぞれ、変数である。例えば、＜付与された分類ラベル＞は、更新部１０６によって付与された分類ラベルにマッチする。また、＜根拠となった分類ラベル＞は、更新部１０６が＜付与された分類ラベル＞を付与する際に、その根拠となった分類ラベルにマッチする。共起情報記憶部１１１に記憶されている共起情報を用いて更新部１０６が分類ラベルを付与する場合、付与された分類ラベルと共起した相手方の分類ラベルが、上記の＜根拠となった分類ラベル＞である。
なお、上記の説明規則は一例であり、説明規則記憶部１０７が他の様々な説明規則を保持するようにしてもよい。説明規則の他の具体例については、後でも説明する。

【0021】

説明情報生成部１０８は、説明規則記憶部１０７から読み出した説明規則と、更新部１０６による分類ラベルの更新処理の内容とに基づいて説明情報を生成する。具体的には、説明情報生成部１０８は、更新部１０６から出力された部分画像および分類ラベルの情報に基づいて、説明規則記憶部１０７から、説明規則を読み出す。そして、分類ラベルの情報にマッチする適用規則を特定し、その説明規則に基づく説明情報を生成する。このとき、説明情報生成部１０８は、説明規則に含まれている変数に実データ（例えば、変数にマッチする分類ラベル）を適用することによって、説明情報の文を完成させる。そして、説明情報生成部１０８は、それらの部分画像と、分類ラベルと、生成された説明情報とを、出力部１０９に渡す。
なお、説明情報の生成処理の具体例等については、後でも説明する。

【0022】

出力部１０９は、説明情報生成部１０８から渡された部分画像と、画像に付与された分類ラベルと、説明情報とを出力する。具体的には、出力部１０９は、これら部分画像と分類ラベルと説明情報とを画面等に表示する。

【0023】

図２は、知識記憶部１０５内の共起情報記憶部１１１が保持するデータの構成とデータ例を示す概略図である。図示するように、共起情報記憶部が保持するデータは、２次元の表の構造を有する。同図において、行方向および列方向のそれぞれは、分類ラベルに対応する。図中における、「本」、「新聞」、「地図」、「棒」、「ペン」、「針」、「人」、「月」、「太陽」は、それぞれ、分類ラベルの例である。分類ラベルの部分を除くと、この２次元の表は、Ｎ行Ｎ列の行列と等価である。ここで、Ｎは、正整数であり、分類ラベルの総数である。この行列は、ある分類ラベルともう一つの分類ラベル（これら両者が同じ分類ラベルであってもよい）とが共起する尤度の値を保持する。行方向における特定の分類ラベルと列方向における特定の分類ラベルとが共起する尤度は、当該行且つ当該列における行列要素の数値である。なお、尤度は、０以上且つ１以下の実数である。分類ラベルが画像の属するクラスであると見なすと、画像がクラスＣ_ｊ（１≦ｊ≦Ｎ）に属するときにその画像がクラスＣ_ｉ（１≦ｉ≦Ｎ）に属する尤度は、ｐ（Ｃ_ｉ｜Ｃ_ｊ）と表される。このｐ（Ｃ_ｉ｜Ｃ_ｊ）は、上記行列の第ｉ行第ｊ列に格納されている値である。つまり、ｐ（Ｃ_ｉ｜Ｃ_ｊ）は、第ｊ番目の分類ラベルに該当する部分画像が元の全体画像に含まれているときに、第ｊ番目の分類ラベルに該当する部分画像もまた元の全体画像に含まれている場合の尤度である。なお、ｉ＝ｊの場合は、第ｉ番目の分類ラベルに該当する部分画像が元の全体画像に含まれているときに、第ｊ番目（ｉ＝ｊである）の分類ラベルに該当する部分画像がさらにもう１つ以上、当該元の全体画像に含まれている場合の尤度である。なお、同図では、ｐ（Ｃ_ｉ｜Ｃ_ｊ）＝ｐ（Ｃ_ｊ｜Ｃ_ｉ）である場合のデータを例示しているが、必ずしもｐ（Ｃ_ｉ｜Ｃ_ｊ）＝ｐ（Ｃ_ｊ｜Ｃ_ｉ）でなくてもよい。

【0024】

なお、上述した尤度のデータは、正しく分類ラベルが付与されている大量の画像データを用いて統計的な計算を行うことによって、予め共起情報記憶部１１１に格納しておくようにする。
同図に示す具体的なデータの例は、下記の通りである。即ち、例えば、分類ラベル「本」を前提として分類ラベル「ペン」が共起する尤度は、０．５である。また、分類ラベル「太陽」を前提として分類ラベル「月」が共起する尤度は、０．８である。また、分類ラベル「地図」を前提として分類ラベル「棒」が共起する尤度は、０．０８である。その他の場合についても、図示されている通りであるが、ここでは説明を省略する。

【0025】

図３は、分類ラベル付与装置１の全体の処理の手順を示すフローチャートである。以下、このフローチャートに沿って、処理全体の概略を説明する。
まずステップＳ１１において、入力部１０１は、画像を取得する。具体的には、例えば、入力部１０１は、ユーザーが指定したパス名にしたがって、画像データファイルを記憶装置（例えば、磁気ハードディスク装置）から読み込む。なお、パス名は、コンピューターで管理されるファイルシステムにおいて、データファイルをユニークに特定できる名称であり、ディレクトリ名とファイル名から成るものである。そして、入力部１０１は、読み取った画像のデータを分割部１０２に渡す。

【0026】

次にステップＳ１２において、分割部１０２は、入力部１０１から渡された画像を分割し、その結果として部分画像を得る。分割部１０２が画像を分割する手法については既に述べたとおりである。そして、分割部１０２は、分割によって得られた領域ごとの部分画像を、認識部１０４に渡す。

【0027】

次にステップＳ１３において、認識部１０４は、分割部１０２から渡された部分画像の各々について、分類情報記憶部１０３に格納されている分類情報を用いた認識処理を行う。その結果、認識部１０４は、各部分画像について、分類ラベルの複数の候補と、それぞれの候補についての認識スコアを出力する。つまり、元の入力画像が複数の部分画像に分割された場合には、認識部１０４は、各部分画像について、分類ラベルの候補とそれら候補に対応する認識スコアとを更新部１０６に渡す。
なお、認識処理の詳細については、後で述べる。

【0028】

次にステップＳ１４において、更新部１０６は、知識記憶部１０５内の共起情報記憶部１１１から読み出した共起情報を用いて、認識部１０４から渡された、各部分画像の、各分類ラベル候補の認識スコアを更新する。更新部１０６によって更新されたスコアを、更新スコアと呼ぶ。
なお、更新処理の詳細については、後で述べる。

【0029】

次にステップＳ１５において、説明情報生成部１０８は、更新部１０６から渡された画像と分類ラベルと更新スコアの情報、および説明規則記憶部１０７から読み出した説明規則を用いて、説明情報を生成する。
なお、説明情報生成の処理の詳細については、後で実例を参照しながら説明する。

【0030】

次にステップＳ１６において、説明情報生成部１０８は、生成した説明情報と、その説明情報に関係する部分画像とをグループ化する。具体的には、説明情報生成部１０８は、生成した説明情報に説明ラベルＩＤを付与する。また、その説明情報に関係する部分画像のそれぞれにも、その説明ラベルＩＤを付与する。これにより、その説明ラベルＩＤを鍵として、関係する説明情報と部分画像とが関連付けられる。即ち、出力する情報のうち、関係しあうもの（説明情報と部分画像）とがグループ化される。説明情報生成部１０８は、これら生成された情報を、出力部１０９に渡す。
なお、グループ化の具体例について、後で説明する。

【0031】

そして、ステップＳ１７において、出力部１０９は、説明情報生成部１０８から渡された情報を出力する。具体的には、出力部１０９は、情報を画面等に表示する。なお、出力部１０９は、上で述べた説明ラベルＩＤが付与されている情報（説明情報および部分画像）を、互いに近い位置に表示する。また、出力部１０９は、根拠となった部分画像よりも、根拠を必要とする部分画像の近くに、説明情報を表示する。

【0032】

なお、認識部１０４における画像の認識処理自体（上記のステップＳ１３における処理）については、既存の技術を用いることができる。ここでは、認識処理の例について説明する。
分類ラベルの総数がＮ（Ｎ≧１）で、画像の特徴量ｘ（ｘは、ベクトルである）が与えられた時の分類ラベルＣ_ｉの事後確率ｐ（Ｃ_ｉ｜ｘ；θ_ｉ）は、下の式（１）で計算できる。

【0033】

【数1】

【0034】

ここで、θ_ｉは、分類ラベルＣ_ｉに対応するパラメーターである。θ_ｉは、特徴量ｘの要素数と同じ要素数を有するベクトルである。このパラメーターθ_ｉの最適値は予め機械学習等によって求められており、分類情報記憶部１０３に格納されている。また、θ_ｉｘは、これら両ベクトルの内積である。また、θ_ｉ^ｊは、ベクトルθ_ｉの第ｊ番目の要素である。また、ｘ_ｊは、ベクトルｘの第ｊ番目の要素である。

【0035】

特徴量ｘとしては、例えば、認識処理の対象である部分画像全体の色ヒストグラムを用いる。各分類ラベル候補の認識スコアｑ_ｉは、上の式（１）で算出される事後確率である。認識部１０４は、認識スコアｑ_ｉの高い順にＣ_ｉを並べる。認識部１０４は、ロジスティック回帰を用いた識別器による認識処理を行い、上位３位までの分類ラベル候補を取得する。なお、ここで得る上位の分類ラベル候補の個数は３でなくてもよく、適宜変更してもよい。
また、ロジスティック回帰で用いる特徴量ｘには、上述した色ヒストグラム以外に、画像全体の特徴量や、ＨＯＧ特徴量（Histogram of Oriented Gradient）等、局所的特徴量を用いても良い。例えば、ＨＯＧ特徴量に関しては、文献［"Histograms of oriented gradients for human detection." CVPR 2005. IEEE Computer Society Conference on (Vol. 1, pp. 886-893).］にも記載されている。

【0036】

上ではロジスティック回帰について説明したが、認識処理の手法は、これに限らず、例えば、サポートベクターマシーン（ＳＶＭ）やニューラルネットワークなどを用いてもよい。

【0037】

次に、更新部１０６による更新処理（上記のステップＳ１４における処理）の詳細について説明する。
更新部１０６は、分類ラベルＣ_ｊを前提としたときの、分類ラベルＣ_ｉの更新スコアｑ_ｉ´を、下の式（２）によって算出する。

【0038】

【数2】

【0039】

ここで、ｑ_ｉは、既に述べたとおり認識部１０４によって算出された、分類ラベルＣ_ｉに対応する認識スコアである。そして、ｐ（Ｃ_ｉ｜Ｃ_ｊ）は、共起情報記憶部１１１から読み出された共起情報の値である。つまり、ｐ（Ｃ_ｉ｜Ｃ_ｊ）は、既に述べたとおり、分類ラベルＣ_ｊを前提としたときの、分類ラベルＣ_ｉが共起する尤度である。

【0040】

次に、具体例により、さらに詳細に、分類ラベル付与装置１の処理を説明する。
図４は、分類ラベル付与装置１による処理の流れを、具体例（画像およびスコア数値）により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図（ａ）は、入力部１０１が取得した画像を示す。符号８０１が取得された画像であり、この画像は本とペンを含んでいる。
同図（ｂ）は、分割部１０２による領域分割の処理の結果として抽出された複数の部分画像を示す。符号８０２および８０３は、それぞれ、部分画像である。部分画像８０２は、本を含む。また、部分画像８０３は、ペンを含む。
同図（ｃ）は、認識部１０４が部分画像８０２について認識処理を行った結果を示す。ここで、分類ラベル候補の上位３位までは、「本」、「新聞」、「地図」であり、それぞれの分類ラベル候補の認識スコアは、０．５、０．３、０．１である。
同図（ｄ）は、認識部１０４が部分画像８０３について認識処理を行った結果を示す。ここで、分類ラベル候補の上位３位までは、「棒」、「ペン」、「針」であり、それぞれの分類ラベル候補の認識スコアは、０．２、０．１８、０．１６である。

【0041】

同図（ｅ）は、部分画像８０２に関して、前記分類ラベル候補のそれぞれの更新スコアを更新部１０６が算出した結果を示す。分類ラベル候補「本」、「地図」、「新聞」の更新スコアは、それぞれ、０．２５、０．０４、０．０１５である。部分画像８０２に関しては、分類ラベル候補「新聞」と「地図」の、認識スコアにおける順位と更新スコアにおける順位とが逆転している。この逆転は共起情報（知識）の作用によるものである。分類ラベル候補「本」は、認識スコアにおいても更新スコアにおいても第１位で変わらない。
同図（ｆ）は、部分画像８０３に関して、前記分類ラベル候補のそれぞれの更新スコアを更新部１０６が算出した結果を示す。分類ラベル候補「ペン」、「棒」、「針」の更新スコアは、それぞれ、０．０９、０．０２、０．００８である。部分画像８０３に関しては、分類ラベル候補「ペン」と「棒」の、認識スコアにおける順位と更新スコアにおける順位とが逆転している。この逆転は共起情報（知識）の作用によるものである。分類ラベル候補「針」は、認識スコアにおいても更新スコアにおいても第３位で変わらない。

【0042】

同図（ｇ）は、更新部１０６までの処理の結果に基づいて説明情報生成部１０８が生成した説明情報を付加した表示例である。出力部１０９が表示を行う。この表示例では、入力された画像（同図（ａ）で示した画像）の中の、部分画像８０２と部分画像８０３とがそれぞれ四角形で囲われている。また、部分画像８０２には、更新部１０６での処理の結果として第１位になった分類ラベル「本」が、矢印線とともに付加されている。また、部分画像８０３には、更新部１０６での処理の結果として第１位になった分類ラベル「ペン」が、矢印線とともに付加されている。また、この表示には、説明情報の文「『本』があるので、この部分は『ペン』です」が付加されている。前述のように、出力部１０９は、説明情報を、根拠を必要とする部分画像の近くに表示する。ここでは、説明情報は、分類ラベル「ペン」の根拠を示すものであるため、部分画像８０３の近くに表示されている。また、部分画像８０２および８０３と、この説明情報とは相互に関係するものであるので、グループ化された状態で表示されている。

【0043】

次に、更新部１０６による更新スコアの算出について、さらに詳細に説明する。
図５は、更新部１０６が更新スコアを算出する過程を説明するための概略図である。同図において、（１）から（３）までは、第１の部分画像（図４において符号８０２で示した部分画像）について、各分類ラベル候補の更新スコアの算出過程を示す。また、（４）から（６）までは、第２の部分画像（図４において符号８０３で示した部分画像）について、各分類ラベル候補の更新スコアの算出過程を示す。

【0044】

更新部１０６は、（１）から（３）までのそれぞれの分類ラベル候補の認識スコアに、共起する画像に関する分類ラベル候補を前提としたときの尤度を掛ける処理を行う。また、更新部１０６は、（４）から（６）までのそれぞれの分類ラベル候補の認識スコアに、共起する画像に関する分類ラベル候補を前提としたときの尤度を掛ける処理を行う。

【0045】

図示するように、更新部１０６は、（１）の「本」に対応する尤度を、共起情報記憶部１１１から読み出す。ここで、共起する画像の分類ラベル候補は「棒」、「ペン」、「針」であるので、「棒」、「ペン」、「針」のそれぞれを前提とした「本」の尤度を、共起情報記憶部から読み出す。「棒」を前提とした「本」の尤度は０．１である。「ペン」を前提とした「本」の尤度は０．５である。「針」を前提とした「本」の尤度は０．０５である。
更新部１０６は、これらの尤度をそれぞれ「本」の認識スコアである０．５に掛ける処理を行う。その結果、「棒」を前提とした場合の「本」の認識スコア×尤度の値は０．０５である。「ペン」を前提とした場合の「本」の認識スコア×尤度の値は０．２５である。「針」を前提とした場合の「本」の認識スコア×尤度の値は０．０２５である。

【0046】

そして、更新部１０６は、（２）の「新聞」と、（３）の「地図」についても、共起する部分画像の分類ラベル候補「棒」、「ペン」、「針」を用いた同様の計算を行い、認識スコア×尤度の値を算出する。
また、更新部１０６は、第２の部分画像の分類ラベル候補についても同様の処理を行う。即ち、（４）の「棒」と、（５）の「ペン」と、（６）の「針」について、共起する部分画像の分類ラベル候補「本」、「新聞」、「地図」を用いた同様の計算を行い、認識スコア×尤度の値を算出する。

【0047】

上記の計算の結果、第１の部分画像に関しては、第２の部分画像に関する分類ラベル候補のうちの「ペン」を前提としたときの、「本」のスコア×尤度の値が最も高い。また、第２の部分画像に関しては、第１の部分画像に関する分類ラベル候補のうちの「本」を前提としたときの、「ペン」のスコア×尤度の値が最も高い。
「ペン」を前提としたときの、第１の部分画像に関する各分類ラベル候補の更新スコアは、次の通りである。即ち、「本」の更新スコアは０．２５、「新聞」の更新スコアは０．０９、「地図」の更新スコアは０．０４である。また、「本」を前提としたときの、第２の部分画像に関する各分類ラベル候補の更新スコアは、次の通りである。即ち、「棒」の更新スコアは０．０２、「ペン」の更新スコアは０．０９、「針」の更新スコアは０．００８である。
したがって、更新部１０６による処理の結果、第１の部分画像の分類ラベルとして、更新スコアが第１位である「本」が選ばれる。また、第２の部分画像の分類ラベルとして、更新スコアが第１位である「ペン」が選ばれる。

【0048】

次に、説明規則に基づいて説明情報を生成する処理の具体例について説明する。
図６は、説明規則の一つを基に生成される説明情報を示す概略図である。図示する説明規則は、「＜分類ラベルの更新前と更新後のどちらでも第１位であった分類ラベル＞があるので、この部分は＜分類ラベルの更新前は第２位以下であったが、更新後に第１位になった分類ラベル＞です。」という規則である。説明情報生成部１０８は、認識スコア（更新前のスコア）による分類ラベル候補の順位と、更新スコアによる分類ラベル候補の順位を確認する。ここで、＜分類ラベルの更新前と更新後のどちらでも第１位であった分類ラベル＞と＜分類ラベルの更新前は第２位以下であったが、更新後に第１位になった分類ラベル＞は変数である。図４，図５で説明した具体例では、＜分類ラベルの更新前と更新後のどちらでも第１位であった分類ラベル＞に該当するのは、分類ラベル「本」である。また、＜分類ラベルの更新前は第２位以下であったが、更新後に第１位になった分類ラベル＞に該当するのは、分類ラベル「ペン」である。よって、説明情報生成部１０８は、これらの変数に、それぞれ、具体的な分類ラベルを適用し、説明情報を生成する。その結果、「『本』があるので、この部分は『ペン』です。」という説明情報が得られる。

【0049】

つまり、分類ラベル「ペン」は分類ラベル「本」との共起情報を考慮した結果、第２の部分画像に付与された分類ラベルである、言い換えれば、入力画像中に分類ラベル「本」が存在したことが、第２の部分画像の分類ラベルを「ペン」であると決定した根拠である。説明情報生成部は、このように、分類ラベルの付与の根拠を説明する情報を生成し、出力する。

【0050】

以上、説明したように、本実施形態によれば、更新部１０６は、共起情報記憶部１１１から読み出す共起情報に基づいて、部分画像に付与された分類ラベルを更新する。つまり、予め知識として蓄えていた共起尤度に基づいて、分類ラベルを付与する際の精度を上げることができる。

【0051】

（第２の実施形態）
次に、第２の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図７は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号２は分類ラベル付与装置である。図示するように、分類ラベル付与装置２は、入力部１０１と、分割部１０２と、分類情報記憶部１０３と、認識部１０４と、知識記憶部１０５と、更新部１２６と、説明規則記憶部１０７と、説明情報生成部１０８と、出力部１０９と、を持つ。つまり、分類ラベル付与装置２は、前実施形態の分類ラベル付与装置１における更新部１０６に代えて、更新部１２６を持つ。また、本実施形態における知識記憶部１０５は、集合分類情報記憶部１１２を持つ。
本実施形態の特徴は、更新部１２６が、集合分類情報記憶部１１２に記憶されている集合分類情報に基づいて、複数の部分画像から成る画像に集合分類ラベルを付与する点である。

【0052】

更新部１２６は、知識記憶部１０５内の集合分類情報記憶部１１２から、集合分類情報を読み出し、認識部１０４から出力される情報（部分画像と、各部分画像に対する分類ラベル候補と、その認識スコア）に、この集合分類情報を適用する。その結果、更新部１２６は、画像に集合分類ラベルを付与する。集合分類ラベルは、複数の物を含む画像に付与される分類ラベルである。つまり、更新部１２６は、認識部１０４で得られた複数の分類ラベルをまとめて、集合分類情報に基づいて複数の部分画像をまとめた画像に、集合分類ラベルを付与する。言い換えれば、更新部１２６は、画像が含む複数の部分画像にそれぞれ付与された分類ラベルと、集合分類情報記憶部１１２から読み出した集合分類情報とに基づいて、複数の部分画像に対応する集合分類ラベルを用いて画像に付与されていた分類ラベルを更新する。
この集合分類ラベルの付与の処理については、後でも説明する。

【0053】

集合分類情報記憶部１１２は、集合分類情報を保持する。集合分類情報は、集合分類ラベルと、複数の分類ラベルとの対応関係を表す情報である。ここで、複数の分類ラベルとは、個々の部分画像に付与された分類ラベル（またはその候補）である。

【0054】

図８は、集合分類情報記憶部１１２が保持する集合分類情報の構造とデータ例を示す概略図である。同図に示すように、集合分類情報は、表形式のデータとして表される。集合分類情報は、集合分類ラベルと、個別の複数の分類ラベルの組み合わせとを対応付ける情報である。図示する表は、集合分類ラベルという項目と、分類ラベル１、分類ラベル２、分類ラベル３、分類ラベル４、分類ラベル５という項目とを有している。なお、同図に示す集合分離情報は、分類ラベル１から分類ラベル５までを格納できるようになっているが、分類ラベルを格納するための列の数は５に限らない。分類ラベルを格納するための列の数は、２以上の整数であればよい。図示する表の先頭行は、項目名を示した行である。また、データの各行には、行番号を付して示している。

【0055】

図示するデータ例では、第１行目は、「カップル」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「カップル」に対応する分類ラベルの個数は２個であり、それらの分類ラベルは「女性」および「男性」である。つまり、分類ラベル「女性」が付与された部分画像と、分類ラベル「男性」が付与された部分画像とから成る画像には、集合分類ラベル「カップル」が付与されることを表す。
第２行目は、「月と太陽」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「月と太陽」に対応する分類ラベルの個数は２個であり、それらの分類ラベルは「月」および「太陽」である。
第３行目は、「二人の人」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「二人の人」に対応する分類ラベルの個数は２個であり、それらの分類ラベルはいずれも「人」である。つまり、分類ラベル「人」が付与された部分画像を２個含む画像には、集合分類ラベル「二人の人」が付与されることを表す。
第４行目は、「三人の人」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「三人の人」に対応する分類ラベルの個数は３個であり、それらの分類ラベルはいずれも「人」である。つまり、分類ラベル「人」が付与された部分画像を３個含む画像には、集合分類ラベル「三人の人」が付与されることを表す。
第５行目は、「二人の男性」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「二人の男性」に対応する分類ラベルの個数は２個であり、それらの分類ラベルはいずれも「男性」である。つまり、分類ラベル「男性」が付与された部分画像を２個含む画像には、集合分類ラベル「二人の男性」が付与されることを表す。
なお、集合分類情報記憶部１１２には、任意の数の集合分類ラベルの情報を格納することができる。

【0056】

図９は、分類ラベル付与装置２の全体の処理の手順を示すフローチャートである。以下、このフローチャートに沿って、処理全体の概略を説明する。
ステップＳ３１からＳ３３までの処理は、それぞれ、図３に示したステップＳ１１からＳ１３までの処理と同様である。つまり、ステップＳ３３までの処理で、部分画像の分類ラベル候補が得られている。
次にステップＳ３４で、更新部１２６は、知識記憶部１０５内の集合分類情報記憶部１１２を検索する。具体的には、更新部１２６は、認識部１０４によるステップＳ３３の処理で得られた、部分画像の分類ラベル候補の上位（例えば、第１位）の組み合わせを検索鍵として、集合分類情報記憶部１１２を検索する。つまり例えば、第１の部分画像の分類ラベル候補の第１位が「太陽」であり、第２の分類ラベル候補の第１位が「月」であるとき、更新部１２６は、これらの分類ラベル候補「太陽」および「月」の組み合わせを検索鍵として集合分類情報記憶部１１２を検索する。すると、図８に例示した集合分類情報の場合、第２行目の集合分類情報「月」と「太陽」がヒットすることとなる。このとき、複数の分類ラベル情報の順序は問われない。
なお、認識部１０４において１つの部分画像に対して複数の分類ラベルの候補が得られている場合には、更新部１２６は、それら複数の分類ラベル候補から１つを選んで使用する。具体的には、例えば、１つの部分画像に対して複数の分類ラベルの候補が得られている場合、更新部１２６は、認識スコアが最も高い（第１位）分類ラベルの候補をその部分画像の分類ラベルとして採用する。そして、更新部１２６は、第１位の分類ラベルによって集合分類情報記憶部１１２を検索する。

【0057】

次にステップＳ３５で、更新部１２６は、上のステップＳ３４での検索の結果、ヒットした集合分類ラベルがあったか否かを判定する。ヒットした集合分類ラベルがあった場合（ステップＳ３５：ＹＥＳ）、次のステップＳ３６に進む。ヒットした集合分類ラベルがなかった場合（ステップＳ３５：ＮＯ）、次に、ステップＳ３７に飛ぶ。
次にステップＳ３６に進んだ場合、同ステップにおいて、更新部１２６は、得られた集合分類ラベルの基となった部分画像をグループ化して、そのグループ化された画像に、得られた集合分類ラベルを付与する。即ち、更新部１２６は、要素である部分画像の分類ラベルを、集合分類情報記憶部１１２から得られた集合分類ラベルで更新する。例えば、分類ラベル「太陽」に該当する部分画像と、分類ラベル「月」に該当する部分画像がある場合、更新部１２６は、それらの部分画像をグループ化（統合）し、その画像に「月と太陽」という集合分類ラベルを付与する。

【0058】

次にステップＳ３７で、説明情報生成部１０８は、更新部１２６から渡された画像と分類ラベル（集合分類ラベルを含む）、および説明規則記憶部１０７から読み出した説明規則を用いて、説明情報を生成する。
次にステップＳ３８で、出力部１０９は、説明情報生成部１０８から渡された情報を出力する。具体的には、出力部１０９は、情報を画面等に表示する。
ここまでの処理が終了すると、分類ラベル付与装置２は、本フローチャート全体の処理を終了する。

【0059】

次に、具体例により、さらに詳細に、分類ラベル付与装置２の処理を説明する。
図１０は、分類ラベル付与装置２による処理の流れを、具体例により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図（ａ）は、入力部１０１が取得した画像を示す。符号８２１が、取得された画像であり、この画像は複数の人を含んでいる。
同図（ｂ）は、分割部１０２による領域分割の処理の結果として抽出された複数の部分画像を示す。符号８２２および８２３は、それぞれ、部分画像である。部分画像８２２および部分画像８２３は、それぞれ、人を含んでいる。

【0060】

同図（ｃ）は、認識部１０４が部分画像８２２と部分画像８２３のそれぞれについて認識処理を行った結果を示す。部分画像８２２に関して分類ラベル「人」が付与されている。部分画像８２３に関してもまた分類ラベル「人」が付与されている。
同図（ｄ）は、更新部１２６が集合分類ラベルを付与した結果を示す。同図（ｂ）において、２つの部分画像にそれぞれ「人」という分類ラベルが付与されていた。したがって、更新部１２６は、分類ラベル「人」と分類ラベル「人」の組み合わせを検索鍵として、集合分類情報記憶部１１２を検索した。その結果、分類ラベル「人」が２個存在するパターンを有する集合分類情報がヒットしたため、更新部１２６は集合分類ラベル「二人の人」を得た。更新部１２６は、２つの部分画像（８２２および８２３）を統合するとともに、統合された画像に集合分類ラベル「二人の人」を付与した。つまり、更新部１２６は、分類ラベルを更新した。更新部１２６は、画像（８２１，８２２，８２３）と、各部分画像（８２２，８２３）に対応する分類ラベル「人」と、集合分類ラベル「二人の人」と、グループＩＤとを説明情報生成部１０８に渡す。ここで、グループＩＤは、２つの部分画像（８２２，８２３）と集合分類ラベル「二人の人」から成るグループに付与された識別情報である。

【0061】

同図（ｅ）は、更新部１２６までの処理の結果に基づいて説明情報生成部１０８が生成した説明情報を付加した表示例である。出力部１０９がこの表示を行う。ここで表示されている説明情報は、「『人』が２つあるので『二人の人』です」という文である。出力部１０９は、この説明情報を、集合分類ラベル「二人の人」の近くに表示する。

【0062】

図１１は、本実施形態における、集合分類ラベルに関する説明情報を生成する具体例を説明するための概略図である。同図に示すように、集合分類ラベルのための説明規則「＜部分画像に付与した分類ラベル＞が＜同一の分類ラベルの個数＞あるので、この部分は＜集合分類ラベル＞です。」が存在する。この説明規則は、説明規則記憶部１０７に格納されている。ここで、＜部分画像に付与した分類ラベル＞と、＜同一の分類ラベルの個数＞と、＜集合分類ラベル＞とは、それぞれ変数である。図１０に示した例では、＜部分画像に付与した分類ラベル＞に対応するものは、分類ラベル「人」である。また、＜同一の分類ラベルの個数＞に対応するものは、「２つ」である。また、＜集合分類ラベル＞に対応するものは、「二人の人」である。図１０の例では、分類ラベル「人」を持つ部分画像が２つ存在するためである。説明情報生成部１０８は、集合分類ラベルに関する上記の説明規則と、変数に対応する具体的な値とから、「『人』が２つあるので、この部分は『二人の人』です。」という説明情報を生成する。

【0063】

以上、説明したように、本実施形態によれば、更新部１２６は、集合分類情報記憶部１１２から読み出す集合分類情報に基づいて、部分画像に付与された分類ラベルを基に、集合分類情報を付与することができる。

【0064】

（第３の実施形態）
次に、第３の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図１２は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号３は分類ラベル付与装置である。図示するように、分類ラベル付与装置３は、入力部１０１と、分割部１０２と、分類情報記憶部１０３と、認識部１０４と、知識記憶部１０５と、更新部１４６と、説明規則記憶部１０７と、説明情報生成部１０８と、出力部１０９と、を持つ。つまり、分類ラベル付与装置３は、第１の実施形態の分類ラベル付与装置１における更新部１０６に代えて、更新部１４６を持つ。また、本実施形態における知識記憶部１０５は、共起情報記憶部１１１と集合分類情報記憶部１１２とを持つ。
本実施形態の特徴は、更新部１４６が、共起情報記憶部１１１に記憶されている共起情報に基づいて分類ラベルを更新するとともに、集合分類情報記憶部１１２に記憶されている集合分類情報に基づいて、集合分類ラベルを付与することである。

【0065】

更新部１４６は、第１の実施形態における更新部１０６と同様に、共起情報記憶部１１１に記憶されている共起情報に基づいて、画像に付与された分類ラベルを更新する。また、更新部１４６は、第２の実施形態における更新部１２６と同様に、集合分類情報記憶部１１２に記憶されている集合分類情報に基づいて、画像に集合分類ラベルを付与する。更新部１０６および１２６のそれぞれの処理については、既に各実施形態において説明したため、ここでは詳細な説明を省略する。
また、更新部１４６は、複数の部分画像それぞれに対応する分類ラベルの組み合わせが、集合分類情報記憶部１１２に記憶されている集合分類情報が含む複数の分類ラベルの組み合わせである場合に、次の処理を行う。即ち、そのような場合、更新部１４６は、当該複数の分類ラベルに関して共起情報記憶部１１１に記憶されている共起尤度のデータよりも高い共起尤度として当該複数の分類ラベルを扱う。この、集合分類情報が含む複数の分類ラベルの組み合わせの場合に関して、そうでない場合よりも共起尤度が相対的に高い部分を「加点要素」と呼ぶ場合がある。この加点要素は、共起尤度において、集合分類情報が含む複数の分類ラベルの組み合わせを強調するためのものである。

【0066】

図１３は、分類ラベル付与装置３の全体の処理の手順を示すフローチャートである。以下、このフローチャートに沿って、処理全体の概略を説明する。
同図におけるステップＳ５１からＳ５４までの処理は、それぞれ、図３に示したステップＳ１１からＳ１４までの処理と同様である。つまり、ステップＳ５４までの処理で、部分画像の分類ラベル候補が付与され、また共起情報に基づいて分類ラベルが更新されている。

【0067】

次にステップＳ５５で、更新部１４６は、知識記憶部１０５内の集合分類情報記憶部１１２を検索する。本ステップの処理は、図９におけるステップＳ３４の処理と同様であるため、ここでは詳細な説明を省略する。
次にステップＳ５６で、更新部１４６は、上のステップＳ５５での検索の結果、ヒットした集合分類ラベルがあったか否かを判定する。ヒットした集合分類ラベルがあった場合（ステップＳ５６：ＹＥＳ）、次のステップＳ５７に進む。ヒットした集合分類ラベルがなかった場合（ステップＳ５６：ＮＯ）、次に、ステップＳ５８に飛ぶ。

【0068】

次にステップＳ５７に進んだ場合、同ステップにおいて、更新部１４６は、得られた集合分類ラベルの基となった部分画像をグループ化して、そのグループ化された画像に、得られた集合分類ラベルを付与する。本ステップの処理は、図９におけるステップＳ３６の処理と同様である。
ただし、更新部１４６は、共起情報記憶部１１１に記憶されている共起情報と集合分類情報記憶部１１２に記憶されている集合分類情報の両方に基づいて分類ラベルの更新を行う。ここで、更新部１４６は、複数の部分画像の分類ラベル候補の組み合わせが集合分類情報に含まれているものである場合には、それらの分類ラベル候補の組み合わせに対して加点要素を含んだスコアを与える。具体的には、加点要素を含んだスコアを与えるために、１より大きい係数を使用する。そして、更新部１４６は、複数の部分画像の分類ラベル候補の組み合わせが集合分類情報に含まれているものである場合には、それらの分類ラベル候補の更新スコアに、上記の係数（１より大きい係数）を乗算して、更新スコアを計算し直す。この加点要素を作用させる例については、後の図１４で説明する。

【0069】

次にステップＳ５８において、説明情報生成部１０８は、更新部１４６から渡された画像（部分画像を含む）と分類ラベル（更新部１４６によって更新された画像を含む）、および説明規則記憶部１０７から読み出した説明規則を用いて、説明情報を生成する。説明情報の生成の処理は、既に第１の実施形態および第２の実施形態で述べたとおりである。
次にステップＳ５９において、出力部１０９は、説明情報生成部１０８から渡された情報を出力する。具体的には、出力部１０９は、情報を画面等に表示する。
ここまでの処理が終了すると、分類ラベル付与装置３は、本フローチャート全体の処理を終了する。

【0070】

次に、具体例により、さらに詳細に、分類ラベル付与装置３の処理を説明する。
図１４は、分類ラベル付与装置３による処理の流れを、具体例により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図（ａ）は、入力部１０１が取得した画像を示す。符号８４１が、取得された画像であり、この画像は月と太陽を含んでいる。
同図（ｂ）は、分割部１０２による領域分割の処理の結果として抽出された複数の部分画像を示す。符号８４２および８４３は、それぞれ、部分画像である。部分画像８４２および部分画像８４３は、それぞれ、月および太陽を含んでいる。

【0071】

同図（ｃ）は、認識部１０４が部分画像８４２について認識処理を行った結果を示す。部分画像８２２に関して、分類ラベル候補は、「地球」、「クッキー」、「月」であり、その認識スコアは、それぞれ、０．５、０．３、０．１である。
同図（ｄ）は、認識部１０４が部分画像８４３について認識処理を行った結果を示す。部分画像８２２に関して、分類ラベル候補は、「太陽」、「花」、「電球」であり、その認識スコアは、それぞれ、０．２、０．１８、０．１６である。

【0072】

その後、更新部１４６は、共起情報に基づいて分類ラベル候補のスコアを更新する。即ち、更新部１４６は、共起情報に基づく更新スコアを求める。
さらに、更新部１４６は、集合分類情報を検索する。このとき、更新部１４６は、部分画像８２２に関する分類ラベル候補（「地球」、「クッキー」、「月」）と、部分画像８２３に関する分類ラベル候補（「太陽」、「花」、「電球」）との組み合わせを検索鍵として、集合分類情報を検索する。その結果、更新部１４６は、分類ラベル「月」と分類ラベル「太陽」とで成る集合分類ラベル「月と太陽」を集合分類情報から取得する。また、この集合分類ラベル「月と太陽」が存在し、その分類ラベルは「月」および「太陽」であるため、更新部１４６は、既に計算した更新スコアに、さらに加点要素を得るための係数を乗算することによって更新スコアを再計算する。

【0073】

同図（ｅ）は、更新部１４６によるスコアの再計算の結果を示す。即ち、部分画像８４２について、分類スコア候補「月」、「地球」、「クッキー」の、再計算された更新スコアは、それぞれ、０．６、０．２、０．０１である。
同図（ｆ）もまた、更新部１４６によるスコアの再計算の結果を示す。即ち、部分画像８４３について、分類スコア候補「太陽」、「花」、「電球」の、再計算された更新スコアは、それぞれ、０．５、０．０８、０．０１である。
この結果、部分画像８４２および８４３に関して、それぞれ、最高のスコアを有する分類ラベル「月」および分類ラベル「太陽」が決定される。
同図（ｇ）は、決定された分類ラベル「月」および「太陽」に対応する集合分類ラベル「月と太陽」が入力画像に付与されている状態を示す。

【0074】

同図（ｈ）は、さらに、分類ラベルが付与された根拠を示す説明情報が付加された表示を示す。部分画像８４２については、「『太陽』があるので、この部分は『月』です」という説明情報が付されている。認識部１０４による認識処理の段階では、「地球」が第１位の分類ラベル候補であったが、更新部１４６の処理によって逆転し、「月」が第１位の分類ラベル候補となったため、この説明情報が生成されている。この説明情報は、部分画像の分類ラベル「太陽」と「月」とが共起する状況に基づいて、説明情報生成部１０８が生成したものである。また、画像全体については、「『月』と『太陽』があるので、『月と太陽』です」という説明情報が付されている。更新部１４６が集合分類情報に基づいて集合分類ラベルを付与したことの根拠を説明するために、説明情報生成部１０８が、この説明規則に基づいて、この説明情報をしたものである。

【0075】

なお、本実施形態では、集合分類ラベルを構成する分類ラベルの組み合わせについて、スコアに加点要素を付加するための係数を乗算することとした。これにより、集合分類ラベルを構成する分類ラベルの認識スコアが相対的に低い場合にも、その分類ラベルの見落としを防止することができる。
また、代わりに、集合分類ラベルを構成する分類ラベルの組み合わせについて、共起情報記憶部１１１に記憶されている尤度を予め高く設定しておいてもよい。具体的には、集合分類ラベルを構成するｉとｊに関して、更新部１４６が更新スコアｑ_ｉ´を計算する（式（２）による）際の、尤度ｐ（Ｃ_ｉ｜Ｃ_ｊ）の値を、集合分類ラベルを構成しない分類ラベルの組み合わせによる尤度よりも高く設定しておくようにする。これにより、集合分類ラベルを構成する分類ラベルの更新スコアｑ_ｉ´が相対的に高くなりやすい。

【0076】

また、さらに、代わりに、集合分類ラベルを構成する分類ラベルの認識スコアが、それ以外の分類ラベルの認識スコアよりも高くなるように設定しておくようにしてもよい。具体的には、式（１）で得られた分類ラベルＣ_ｉの事後確率ｐ（Ｃ_ｉ｜ｘ；θ_ｉ）と、事前確率ｐ（Ｃ_ｉ）との積を、認識スコアｑ_ｉとする。何らかの集合分類ラベルを構成し得る分類ラベルをＣ_ａとし、集合分類ラベルを全く構成し得ない分類ラベルをＣ_ｂとする。このとき、ｐ（Ｃ_ａ）＞ｐ（Ｃ_ｂ）の関係が成立するように、事前確率を決めておくことにより、分類ラベルＣ_ａの認識スコアｑ_ａが、分類ラベルＣ_ｂの認識スコアｑ_ｂよりも高くなりやすくなり、集合分類ラベルの見落としを防ぐことができる。

【0077】

以上、説明したように、本実施形態によれば、更新部１４６は、共起情報記憶部１１１から読み出す共起情報と集合分類情報記憶部１１２から読み出す集合分類情報の両方に基づいて、分類ラベルを更新することができる。また、集合分類ラベルを構成する分類ラベルの組み合わせについて、共起尤度の値を高める処理を行うことができる。これにより、集合分類ラベルが付与されるような画像を処理する場合において、その確実性が増す。加点要素の付加は１以上の係数を乗じるに限らず、０以上の加算値を加算することで実現しても良い。

【0078】

（第４の実施形態）
次に、第４の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図１５は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号４は分類ラベル付与装置である。図示するように、分類ラベル付与装置４は、入力部１０１と、分割部１０２と、分類情報記憶部１０３と、認識部１０４と、知識記憶部１０５と、更新部１６６と、説明規則記憶部１０７と、説明情報生成部１０８と、出力部１０９と、操作入力部１６１と、操作反映部１６２と、認識情報記憶部１６３とを持つ。つまり、分類ラベル付与装置４は、第１の実施形態の分類ラベル付与装置１における更新部１０６に代えて、更新部１６６を持つ。また、分類ラベル付与装置４は、操作入力部１６１と、操作反映部１６２と、認識情報記憶部１６３とを持つことが特徴である。また、本実施形態における知識記憶部１０５は、共起情報記憶部１１１を持つ。

【0079】

本実施形態の特徴は、ユーザーによる操作情報を取得し、その操作情報に基づいて、付与されている分類ラベルを更新することのできる構成である。また、ユーザーの操作に基づく分類ラベルの更新の結果に応じて、知識記憶部１０５に記憶されている知識に基づいて、さらに、更新部１６６が分類ラベルを更新する場合もある。

【0080】

操作入力部１６１は、外部からの、ユーザーによる操作の情報を取得する。ユーザーによる操作は、マウスやキーボード等のデバイスを用いて行われる。操作入力部１６１は、マウスにおいてクリックされたボタンの種類（例えば、左ボタンあるいは右ボタン）や、クリックの種類（例えば、シングルクリックあるいはダブルクリック）や、クリック時のマウスカーソルの座標情報を取得する。また、操作入力部１６１は、キーボードで押下された文字の種類や文字の列を取得する。

【0081】

操作反映部１６２は、その時点で画像（部分画像を含む）に付与されている分類ラベル（分類ラベル候補を含む）を画面に表示するとともに、その表示に対応する操作入力の情報を操作入力部１６１から受け取る。なお、ユーザーによる操作は、その時点で付与されている分類ラベル（分類ラベル候補を含む）を、強制的に変更するための操作である。そして、操作反映部１６２は、ユーザーによる操作の情報に応じて、画像（部分画像を含む）に付与されている分類ラベルを変更するよう、更新部１６６に指示する。つまり、操作反映部１６２は、操作入力部１６１からの操作情報にしたがって、画像に付与されている分類ラベルを更新するよう更新部１６６に指示する。

【0082】

認識情報記憶部１６３は、各画像に付与された分類ラベルの情報を保持する。認識情報記憶部１６３が記憶する分類ラベルの情報は、認識部１０４による認識処理の結果の分類ラベルの情報や、更新部１６６が共起情報記憶部１１１に基づいて更新した分類ラベルの情報や、操作反映部１６２からの指示による分類ラベルの情報である。認識情報記憶部１６３は、付与された分類ラベルが変更される都度、適宜更新される。
なお、認識情報記憶部１６３のデータ例については、後で説明する。

【0083】

更新部１６６は、操作反映部１６２から更新の指示を受けると、その指示にしたがって、既に付与されていた分類ラベルを更新する。また、更新部１６６は、ユーザーの操作に基づく分類ラベルの更新の結果、共起情報に基づいて、他の分類ラベルをさらに更新する場合がある。

【0084】

図１６は、分類ラベル付与装置４による処理の手順を示すフローチャートである。以下、このフローチャートに沿って、処理の概略を説明する。なお、このフローチャートの処理が開始される前に、認識部１０４による認識処理が既に完了している。また、更新部１６６による、共起情報に基づく更新処理が、既に完了していてもよい。

【0085】

ステップＳ７１において、操作入力部１６１は、ユーザーによる操作の情報を取得する。
次にステップＳ７２において、操作反映部１６２は、上記の操作の情報に基づいて、画像に付与された分類ラベルを強制的に修正するよう、更新部１６６に指示する。
次にステップＳ７３において、更新部１６６は、操作反映部１６２からの指示にしたがって、画像に付与された分類ラベルを更新する。また、更新部１６６は、操作反映部１６２からの指示に基づく分類ラベルの更新の結果、更新後の分類ラベルとの共起の尤度に基づいて、共起する画像の分類ラベルをも更新する。このとき、更新部１６６は、知識記憶部１０５の中の共起情報記憶部１１１を参照することにより、更新スコアを計算し直す。
次にステップＳ７４において、説明情報生成部１０８は、前ステップにおける更新部１６６の処理の結果に応じて、説明規則記憶部１０７から読み出す説明規則に基づいて、説明情報を生成する。
次にステップＳ７５において、出力部１０９は、画像と、その分類ラベルと、説明情報とを出力する。具体的には、出力部１０９は、これらの情報を画面等に表示する。

【0086】

次に、具体例により、さらに詳細に、分類ラベル付与装置４の処理を説明する。
図１７は、分類ラベル付与装置４による処理の流れを、具体例により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図（ａ）は、入力部１０１が取得した画像を示す。符号８６１が、取得された画像であり、この画像は本とペンを含んでいる。
同図（ｂ）は、分割部１０２による領域分割の処理の結果として抽出された複数の部分画像を示す。符号８６２および８６３は、それぞれ、部分画像である。部分画像８６２および部分画像８６３は、それぞれ、月および太陽を含んでいる。

【0087】

同図（ｃ）は、認識部１０４および更新部１６６によって推定された各部分画像の、最尤分類ラベルが付与された状態を示す。つまり、認識部１０４は、各部分画像（８６２および８６３）の認識処理を行った。また、更新部１６６は、共起情報記憶部１１１に基づいて、各部分画像の分類ラベルを更新した。なお、共起情報記憶部１１１が持つ共起情報に基づいて、結果的に、分類ラベルが更新されていない場合もある。ここでは、部分画像８６２に分類ラベル「新聞」が付与され、部分画像８６３に分類ラベル「棒」が付与されている。

【0088】

同図（ｄ）は、ユーザーの操作入力に基づいて、更新部１６６が、部分画像８６２に付与された分類ラベル候補のスコアを強制的に更新した状態を示す。ここでは、ユーザーの操作は、分類ラベルを「本」に更新する操作であった。したがって、同図（ｃ）までの推定結果にかかわらず、分類ラベルは「本」に決定される。即ち、分類ラベル「本」のスコアは１．０に更新されている。また、その他の分類ラベル（つまり、「地図」と「新聞」）のスコアは、０．０に更新されている。

【0089】

同図（ｅ）は、部分画像８６２の分類ラベルの更新（上記の（ｄ））に伴って再計算された、部分画像８６３のスコア（更新スコア）を示す。図示するように、分類ラベル「ペン」、「棒」、「針」のスコアは、それぞれ、０．５、０．１、０．０５である。これらのスコアは、部分画像８６２の分類ラベル「本」のスコア（即ち、１．０）に、分類ラベル「本」を前提としたときのそれぞれの分類ラベルの尤度（共起情報。図２を参照。）を乗ずることによって算出されたものである。
なお、ここでは、ユーザーの操作に基づいて選択された分類ラベルのスコアを１．０に更新したが、このような分類ラベルのスコアを必ずしも１．０まで引き上げなくてもよい。スコアを、従来値よりも所定量だけ引き上げる処理を行ってもよい。逆に、ユーザーの操作に基づいて選択された分類ラベルのスコアを必ずしも０．０まで引き下げなくてもよい。スコアを、従来値よりも所定量だけ引き下げる処理を行ってもよい。
このようにして、部分画像８６２の分類ラベルは、最高スコアを有する「本」に更新される。また、部分画像８６３の分類ラベルは、最高スコアを有する「ペン」に更新される。

【0090】

同図（ｆ）は、２つの部分画像と、各部分画像に対応した分類ラベルと、説明情報生成部１０８が生成した説明情報とを示す。ユーザーの操作によって部分画像８６２の分類ラベルが「本」に決定された後、共起情報に基づいて、部分画像８６３の分類ラベルが「ペン」に更新されたため、説明情報はその根拠を示すものである。即ち、説明規則記憶部１０７から読み出された規則に基づいて、説明情報生成部１０８は、「『本』があるので、この部分は『ペン』です」という説明情報を生成する。
同図（ｇ）は、各部分画像と、それぞれの分類ラベルと、説明情報とを、出力部１０９が表示している状態を示す。

【0091】

図１８は、上で説明した認識情報記憶部１６３のデータ構造およびデータ例を示す概略図である。図示するように、認識情報記憶部１６３は、表形式のデータを記憶する。そして、その表におけるデータ項目は、分類ラベルＩＤと、部分画像と、分類ラベル（または分類ラベル候補）である。分類ラベルＩＤは、画像（部分画像）に付与される分類ラベル（複数の分類ラベル候補を含んでもよい）を識別する情報である。部分画像は、その分類ラベルＩＤに関連付けられる画像の情報である。そして、分類ラベル（または分類ラベル候補）は、その分類ラベルＩＤに対応する分類ラベルの情報である。ここで、分類ラベルとして、複数の候補を含んでいてもよい。図示している例では、２行分のデータを示す。第１行目の分類ラベルＩＤは「Ａ０１」である。この分類ラベルＩＤ「Ａ０１」に関連付けられた部分画像は、本の部分画像である。そして、分類ラベルとしては、「新聞」と「本」と「地図」が候補として含まれている。また、第２行目の分類ラベルＩＤは「Ａ０２」である。この分類ラベルＩＤ「Ａ０２」に関連付けられた部分画像は、ペンの部分画像である。そして、分類ラベルとしては、「棒」と「ペン」と「針」が候補として含まれている。

【0092】

図１９は、操作入力部１６１および操作反映部１６２の機能に関するグラフィカルユーザーインタフェース（画面表示）を示す概略図である。そして、同図では、ユーザーの操作に伴う表示の遷移を示している。図示するように、同図（ａ）では、本の画像（部分画像８６２）と、その画像にその時点で付与されている分類画像の候補とが示されている。ここで表示される情報は、操作反映部１６２が認識情報記憶部１６３から読み出した情報に基づくものである。ここで、ユーザーは、「新聞」という文字の右側にある逆三角形のアイコンをクリックするといった操作により、ドロップダウンリストを表示することができる。同図（ｂ）は、ドロップダウンリストが表示された状態を示す。ドロップダウンリストの各項目には、分類ラベルの工法が記載されている。具体的には、「新聞」、「本」、「地図」という分類ラベル候補が表示されている。ここで、ユーザーがマウス操作等により、１つの項目を選択することができる。同図（ｃ）は、元の「新聞」に代わって、ユーザーの操作によって選択された分類ラベル「本」が表示されている状態を示す。

【0093】

なお、上では、ドロップダウンリストによって、分類ラベル候補から分類ラベルをユーザーが選択できるようにする方法を説明した。その方法以外にも、例えば、ラジオボタンのユーザーインタフェースを用いて分類ラベルをユーザーが選択できるようにしてもよい。また、ユーザーがキーボードからテキストを入力することによって分類ラベルの候補を検索できるようなユーザーインタフェースを採用してもよい。

【0094】

また、上述した具体例では、修正対象となる分類ラベルが２つで、そのうちの１つをユーザーの操作情報に基づいて更新し、その他の１つを共起情報に基づいて更新するものであった。他に、修正対象となる部分画像の分類ラベルが１つだけで、その分類ラベルをユーザーの操作情報に基づいて更新できるようにしてもよい。また、分類ラベルが複数存在しており、そのうちの１つの分類ラベルをユーザーの操作情報に基づいて更新し、その他の分類ラベルに関しては共起情報に基づく修正を行わない場合があってもよい。

【0095】

分類ラベルが複数存在しており、そのうちの１つの分類ラベルをユーザーの操作情報に基づいて更新し、その他の分類ラベルに関しては共起情報に基づく修正を行わない場合、共起情報記憶部１１１に記憶されている共起情報のほうを更新するようにしてもよい。つまり、ユーザー操作によって変更された分類ラベルに基づいて、更新部１６６が共起情報を更新する。
具体例として、次の処理の通りである。即ち、ユーザーの操作によって、更新部１６６は、部分画像８６２の分類ラベルを「新聞」から「本」に変更する。更新部１６６は、部分画像８６３については、共起情報に基づく分類ラベルの更新を行わない。つまり、その時点では、分類ラベル「本」と「ペン」との共起の尤度がそれほど高くない。そして、ユーザーの操作によって、部分画像８６３の分類ラベルを「棒」から「ペン」に変更する。つまり、ユーザーの操作によって、分類ラベル「本」と分類ラベル「ペン」とが共起する例が入力された。このユーザーからの入力に基づいて、更新部１６６は、分類ラベル「本」と分類ラベル「ペン」とが共起する尤度の値を引き上げるよう、共起情報記憶部１１１を更新する。このように共起情報記憶部１１１を更新することにより、次回以降に同様の例が発生した場合に、共起情報は、分類ラベル「本」と分類ラベル「ペン」とが共起する尤度が高くなるように作用を及ぼす。即ち、ユーザーの操作による入力を基に、分類ラベル付与装置４が徐々に学習していく効果がある。この学習の処理は、事例によって共起情報記憶部１１１を最適化していく過程である。

【0096】

以上、説明したように、本実施形態によれば、付与された分類ラベル（更新部１６６によって更新された分類ラベルを含む）を、ユーザーの操作により更新することができる。また、ユーザーの操作により更新した結果を、さらに、更新部１６６は、共起情報記憶部１１１から読み出す共起情報によって更新することができる。

【0097】

（第５の実施形態）
次に、第５の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図２０は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号５は分類ラベル付与装置である。図示するように、分類ラベル付与装置５は、入力部１０１と、分割部１０２と、分類情報記憶部１０３と、認識部１０４と、知識記憶部１０５と、更新部１８６と、説明規則記憶部１０７と、説明情報生成部１０８と、出力部１０９と、操作入力部１６１と、操作反映部１６２と、認識情報記憶部１６３とを持つ。つまり、分類ラベル付与装置５は、第４の実施形態の分類ラベル付与装置４における更新部１６６に代えて、更新部１８６を持つ。そして、本実施形態における知識記憶部１０５は、集合分類情報を保持するための集合分類情報記憶部１１２を持つ。

【0098】

更新部１８６は、操作反映部１６２から更新の指示を受けると、その指示にしたがって、既に付与されていた分類ラベルを更新する。また、更新部１８６は、ユーザーの操作に基づく分類ラベルの更新の結果、集合分類情報に基づいて、既に付与されていた集合分類ラベルを更新し直す場合がある。

【0099】

図２１は、分類ラベル付与装置５による処理の手順を示すフローチャートである。以下、このフローチャートに沿って、処理の概略を説明する。なお、このフローチャートの処理が開始される前に、認識部１０４による認識処理が既に完了している。また、更新部１８６による、集合分類ラベルの付与の処理が、既に完了していてもよい。

【0100】

ステップＳ９１において、操作入力部１６１は、ユーザーによる操作の情報を取得する。
次にステップＳ９２において、操作反映部１６２は、上記の操作の情報に基づいて、画像に付与された分類ラベルを強制的に修正するよう、更新部１８６に指示する。そして、更新部１８６は、操作反映部１６２からの指示にしたがって、画像に付与された分類ラベルを更新する。
次にステップＳ９３において、更新部１８６は、更新後の分類ラベルと、集合分類情報記憶部１１２から読み出す集合分類情報とに基づいて、集合分類ラベルを更新する。
次にステップＳ９４において、説明情報生成部１０８は、前ステップにおける更新部１８６の処理の結果に応じて、説明規則記憶部１０７から読み出す説明規則に基づいて、説明情報を生成する。
次にステップＳ９５において、出力部１０９は、画像と、その分類ラベルと、説明情報とを出力する。具体的には、出力部１０９は、これらの情報を画面等に表示する。

【0101】

次に、具体例により、さらに詳細に、分類ラベル付与装置５の処理を説明する。
図２２は、分類ラベル付与装置５による処理の流れを、具体例により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図（ａ）は、入力部１０１が取得した画像を示す。符号８８１が、取得された画像であり、この画像は二人の人を含んでいる。
同図（ｂ）は、分割部１０２による領域分割の処理の結果として抽出された複数の部分画像を示す。符号８８２および８８３は、それぞれ、部分画像である。部分画像８８２および部分画像８８３のそれぞれは、人を含んでいる。
同図（ｃ）は、更新部１８６によって付与された集合分類ラベル「二人の人」と、説明情報生成部１０８によって生成された説明情報が付与された状態を示す。ここでの説明情報は、「『人』が２つあるので、『二人の人』です」である。

【0102】

同図（ｄ）は、ユーザーからの操作入力に基づいて、更新部１８６が、部分画像８８２および８８３に付与された分類ラベル候補のスコアを強制的に更新した状態を示す。つまり、操作入力部１６１が取得した操作情報に基づいて、操作反映部１６２は部分画像の分類ラベルを更新するように更新部１８６に指示した。そして、更新部１８６は、部分画像８８２の分類ラベルと部分画像８８３の分類ラベルとを、ともに、「男性」に更新した。

【0103】

同図（ｅ）は、変更後の分類ラベル（２個の「男性」）と、集合分類情報記憶部１１２から読み出された集合分類情報とに基づいて、更新部１８６が集合分類ラベルを更新した状態を示す。即ち、更新部１８６は、２個の分類ラベル「男性」に基づいて、集合分類ラベル「二人の男性」を画像に付与した。ここで用いられた集合分類情報は、図８に示したデータ例における第５行目のデータである。
同図（ｆ）は、説明情報生成部１０８から出力された情報を出力部１０９が表示している状態を示す。即ち、出力部１０９は、画像と、その画像に付与された集合分類ラベルと、説明情報とを表示する。説明情報生成部１０８が生成した説明情報は、「『男性』が２つあるので、『二人の男性』です」というものである。

【0104】

次に、本実施形態における認識情報記憶部１６３の内容について説明する。
図２３は、認識情報記憶部１６３内の一部を示す概略図である。同図は、部分画像と、その分類画像に付与された分類ラベルとの関係を表すデータを示している。同図に示すデータは、表形式のデータであり、項目として、分類ラベルＩＤ、部分画像、分類ラベル（または分類ラベル候補）を持つ。このデータは２行分のレコードを保持している。第１行目のレコードの分類ラベルＩＤは「Ａ０１」であり、第２行目のレコードの分類ラベルＩＤは「Ａ０２」である。分類ラベルＩＤ「Ａ０１」で識別される行は、部分画像として男性の画像（図２２における部分画像８８２）を格納している。また、この部分画像に付与されている分類ラベルは「男性」である。分類ラベルＩＤ「Ａ０２」で識別される行は、部分画像として男性の画像（図２２における部分画像８８３）を格納している。また、この部分画像に付与されている分類ラベルもまた「男性」である。

【0105】

図２４は、認識情報記憶部１６３内の一部を示す概略図である。同図は、入力された画像の全体と、その画像に付与された分類ラベルとの関係を表すデータを示している。同図に示すデータは、表形式のデータであり、項目として、集合分類ラベルＩＤ、分類ラベルＩＤ、画像、集合分類ラベルを持つ。このデータは１行分のレコードを保持している。そのレコードにおいて、集合分類ラベルＩＤは「Ｇ０１」である。また、集合分類ラベルＩＤ「Ｇ０１」に対応付けられる分類ラベルＩＤは、「Ａ０１」および「Ａ０２」である。この分類ラベルＩＤにより、図２４のデータは、図２３のデータと関連付けられている。また、集合分類ラベルＩＤ「Ｇ０１」に対応付けられる画像は、元の入力画像（図２２における画像８８１）である。また、集合分類ラベルＩＤ「Ｇ０１」に対応付けられる集合分類ラベルは「二人の男性」である。

【0106】

つまり、図２３および図２４は、ユーザーからの操作によって分類ラベルが変更された後であって、さらに集合分類情報に基づいて更新部１８６が集合分類ラベル「二人の男性」を付与したときの、認識情報記憶部１６３の状態を示しているものである。

【0107】

ここで、図２３および図２４のデータを用いて更新部１８６が集合分類ラベルを更新する手順について、さらに詳細に説明する。
更新部１８６は、ユーザーからの操作情報に基づいてある部分画像の分類ラベルを更新したとき、認識情報記憶部１６３に記憶されている分類ラベル（図２３のデータ）と、更新後の分類ラベルとを比較する。そして、いずれかの部分画像について、分類ラベルに不一致がある場合、不一致の分類ラベルが関連付けられている集合分類ラベルのレコードを削除する。つまり、例えば、図２３における分類ラベルＩＤ「Ａ０１」のレコードが有する分類ラベルと更新後の分類ラベルとが異なる場合、分類ラベルＩＤ「Ａ０１」を含んでいる集合分類ラベルのレコード、即ち、図２４の集合分類ラベル「Ｇ０１」のレコードを削除する。その後、更新後の分類ラベルの組み合わせ（例えば、「男性」と「男性」）を検索鍵として、更新部１８６は、知識記憶部１０５内の集合分類情報記憶部１１２を検索する。その結果、分類ラベルの組み合わせ（「男性」と「男性」）に対応する集合分類ラベル「二人の男性」が得られると、更新部１８６は、その新たな集合分類ラベルを、画像に付与する。そして、更新部１８６は、認識情報記憶部１６３にも、更新後の分類ラベルの情報および集合分類ラベルの情報を書き込む。

【0108】

以上、説明したように、本実施形態によれば、ユーザーの操作により、分類ラベルを更新することができる。また、ユーザーの操作によって更新された分類ラベルに基づいて、さらに、更新部１８６は、集合分類情報記憶部１１２から読み出す集合分類情報による新たな集合分類ラベルの付与を行うことができる。

【0109】

（第６の実施形態）
次に、第６の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図２５は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号６は分類ラベル付与装置である。図示するように、分類ラベル付与装置６は、入力部１０１と、分割部１０２と、分類情報記憶部１０３と、認識部１０４と、知識記憶部１０５と、更新部２０６と、説明規則記憶部１０７と、説明情報生成部１０８と、出力部１０９と、操作入力部１６１と、操作反映部１６２と、認識情報記憶部１６３とを持つ。つまり、分類ラベル付与装置６は、第４の実施形態の分類ラベル付与装置４における更新部１６６に代えて、更新部２０６を持つ。そして、本実施形態における知識記憶部１０５は、共起情報を保持するための共起情報記憶部１１１と、集合分類情報を保持するための集合分類情報記憶部１１２とを持つ。

【0110】

更新部２０６は、操作反映部１６２から更新の指示を受けると、その指示にしたがって、既に付与されていた分類ラベルを更新する。また、更新部２０６は、ユーザーの操作に基づく分類ラベルの更新の結果に対して、共起情報に基づく分類ラベルの更新を行ったり、集合分類情報に基づく集合分類ラベルの更新を行ったりする。共起情報および集合分類情報の両方に基づいて分類ラベルの更新を行う点は、第３の実施形態において述べた事項と同様である。

【0111】

図２６は、分類ラベル付与装置６による処理の手順を示すフローチャートである。以下、このフローチャートに沿って、処理の概略を説明する。なお、このフローチャートの処理が開始される前に、認識部１０４による認識処理が既に完了している。また、更新部２０６による、分類ラベルの更新や集合分類ラベルの付与の処理が、既に完了していてもよい。

【0112】

ステップＳ１１１において、操作入力部１６１は、ユーザーによる操作の情報を取得する。
次にステップＳ１１２において、操作反映部１６２は、上記の操作の情報に基づいて、画像に付与された分類ラベルを修正するよう、更新部２０６に指示する。そして、更新部２０６は、操作反映部１６２からの指示にしたがって、画像に付与された分類ラベルを更新する。
次にステップＳ１１３において、更新部２０６は、更新後の分類ラベルと、共起情報記憶部１１１から読み出す共起情報とに基づいて、分類ラベルを更新する。また、更新部２０６は、更新後の分類ラベルと、集合分類情報記憶部１１２から読み出す集合分類情報とに基づいて、集合分類ラベルを更新する。このとき、第３の実施形態と同様に、更新部２０６が、集合分類ラベルを構成する要素である分類ラベルの組み合わせについて、共起する尤度を高める調整を行うようにしてもよい。
次にステップＳ１１４において、説明情報生成部１０８は、前ステップにおける更新部２０６の処理の結果に応じて、説明規則記憶部１０７から読み出す説明規則に基づいて、説明情報を生成する。
次にステップＳ１１５において、出力部１０９は、画像と、得られた分類ラベルと、説明情報とを出力する。具体的には、出力部１０９は、これらの情報を画面等に表示する。

【0113】

以上、説明したように、本実施形態によれば、更新部２０６は、ユーザーの操作に基づいて分類ラベルを更新することができる。さらに、更新部２０６は、共起情報記憶部１１１から読み出す共起情報と集合分類情報記憶部１１２から読み出す集合分類情報の両方に基づいて、分類ラベルを更新することができる。また、集合分類ラベルを構成する分類ラベルの組み合わせについて、共起尤度の値を高める処理を行うことができる。これにより、集合分類ラベルが付与されるような画像を処理する場合において、その確実性が増す。

【0114】

以上説明した少なくともひとつの実施形態によれば、認識部は、分類情報記憶部に保持されている分類情報を用いて、分割部から渡される各部分画像の認識処理を行う。知識記憶部は、認識部によって付与された分類ラベルを更新するための知識をデータとして保持する。更新部は、認識部から得られた分類ラベルの候補ごとの認識スコアと、知識記憶部から読み出した知識とに基づいて、それら分類ラベルの候補の更新スコアを算出し、分類ラベルを更新する。これらの機能を持つことにより、たとえ認識処理の結果に誤りがあっても、知識に基づく修正を行うことができる。

【0115】

また、以上説明した少なくともひとつの実施形態によれば、説明情報生成部は、説明規則記憶部に記憶された説明規則を用いて、説明情報を生成することができる。この説明情報生成部を持つことにより、ユーザーに、分類ラベル（集合分類ラベルを含む）が付与された理由等を、根拠として示すことができる。これは、分類ラベル付与装置によって付与された分類ラベルが正しいものであるか否かを、ユーザーが判断しやすくする効果を有する。つまり、ユーザーにとっては、分類ラベルが付与された理由を理解しやすくする。これによって、付与された分類ラベルの正誤の判断をしやすくし、ユーザーの主観による付与される分類ラベルのぶれを低減することが可能となる。

【0116】

なお、上述した実施形態における分類ラベル付与装置の機能をコンピューターで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0117】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0118】

１，２，３，４，５，６…分類ラベル付与装置、１０１…入力部、１０２…分割部、１０３…分類情報記憶部、１０４…認識部、１０５…知識記憶部、１０６，１２６，１４６，１６６，１８６，２０６…更新部、１０７…説明規則記憶部、１０８…説明情報生成部、１０９…出力部、１１１…共起情報記憶部、１１２…集合分類情報記憶部、１６１…操作入力部、１６２…操作反映部、１６３…認識情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】