知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-26
(45)【発行日】2025-06-03
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20250527BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
10
(21)【出願番号】P 2023559323
(86)(22)【出願日】2021-11-11
(86)【国際出願番号】 JP2021041587
(87)【国際公開番号】W WO2023084712
(87)【国際公開日】2023-05-19
【審査請求日】2024-05-07
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】秋元 康佑
(72)【発明者】
【氏名】竹岡 邦紘
(72)【発明者】
【氏名】小山田 昌史
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０２１－５１５８９（ＪＰ，Ａ）
【文献】特開２０２０－３５０３９（ＪＰ，Ａ）
【文献】特開２０２０－２７５４０（ＪＰ，Ａ）
【文献】中国特許出願公開第１１１９３１０５９（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
オブジェクトの集合を取得する取得手段と、前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する評価手段と、
前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する予測手段と
を備え、
前記予測手段は、
前記予測対象オブジェクトの修正前ラベルを前記予測モデルによって予測し、
前記類似ラベルを前記予測モデルによって予測し、
前記修正前ラベルを前記類似ラベルを参照して修正することによって得られる修正後ラベルを、前記予測対象オブジェクトに付与するラベルとして決定し、
前記複数の類似オブジェクトの各々に付与された複数の類似ラベルと各類似ラベルのスコアとを参照して、前記複数の類似オブジェクトに付与された複数の類似ラベルの並べ替えを行い、
前記予測対象オブジェクトに関する複数の修正前ラベルと各修正前ラベルのスコアとを参照して、前記予測対象オブジェクトに関する複数の修正前ラベルの並べ替えを行い、
並べ替えられた前記複数の類似ラベルと、並べ替えられた前記複数の修正前ラベルとを比較することによって、前記修正後ラベルを決定する
情報処理装置。
【請求項2】
前記評価手段は、前記類似ラベルの各々についてスコアを算出し、前記予測手段は、前記スコアを更に参照して、前記予測対象オブジェクトに付与するラベルを決定する
請求項１に記載の情報処理装置。
【請求項3】
前記予測手段は、
前記予測対象オブジェクトに関する上位Ｎ番目（Ｎは自然数）までの修正前ラベルのうち、前記複数の類似オブジェクトに付与された上位Ｍ番目（Ｍは自然数）までの類似ラベルに含まれる修正前ラベルを、前記修正後ラベルとして決定する
請求項１又は２に記載の情報処理装置。
【請求項4】
前記予測手段は、前記複数の類似オブジェクトに付与された複数の類似ラベルを、当該複数の類似ラベル間の階層関係を参照して更に並び替え、
前記予測対象オブジェクトに関する上位Ｎ番目（Ｎは自然数）までの修正前ラベルのうち、前記複数の類似オブジェクトに付与された上位Ｍ番目（Ｍは自然数）までの類似ラベルに含まれる修正前ラベルを、前記修正後ラベルとして決定する
請求項３に記載の情報処理装置。
【請求項5】
前記評価手段は、オブジェクト間の類似関係を表すグラフを出力することによって、前記１又は複数の類似オブジェクトを特定し、前記予測手段は、
前記グラフを参照して、前記予測対象オブジェクトから所定のホップ数以内に存在する１又は複数の類似オブジェクトを抽出し、
抽出した１又は複数の類似オブジェクトの各々に付与された前記類似ラベルを参照して、前記予測対象オブジェクトに付与するラベルを決定する
請求項１から４の何れか１項に記載の情報処理装置。
【請求項6】
前記取得手段は、文章集合を受け付ける受付手段と、
前記文章集合から複数のエンティティを抽出するエンティティ抽出手段と、
を備え、
前記エンティティ抽出手段によって抽出された複数のエンティティ、又は、
前記エンティティ抽出手段によって抽出された複数のエンティティと、当該複数のエンティティの抽出元の文章との組
を前記オブジェクトの集合として取得する
請求項１から５の何れか１項に記載の情報処理装置。
【請求項7】
前記予測対象オブジェクト、及び前記類似オブジェクトの少なくとも何れか、又は、前記類似ラベルの少なくとも何れかを表示する表示手段
を備えている請求項１から６の何れか１項に記載の情報処理装置。
【請求項8】
前記予測対象オブジェクトの修正前ラベル、又は、前記予測対象オブジェクトに付与されたラベル、及び、前記類似ラベル
を表示する表示手段
を備えている請求項１から７の何れか１項に記載の情報処理装置。
【請求項9】
１又は複数のプロセッサが、オブジェクトの集合を取得することと、前記１又は複数のプロセッサが、前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定することと、
前記１又は複数のプロセッサが、前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定することとを含み、
前記予測対象オブジェクトに付与するラベルを決定する工程において、前記１又は複数のプロセッサが、
前記予測対象オブジェクトの修正前ラベルを前記予測モデルによって予測し、
前記類似ラベルを前記予測モデルによって予測し、
前記修正前ラベルを前記類似ラベルを参照して修正することによって得られる修正後ラベルを、前記予測対象オブジェクトに付与するラベルとして決定し、
前記複数の類似オブジェクトの各々に付与された複数の類似ラベルと各類似ラベルのスコアとを参照して、前記複数の類似オブジェクトに付与された複数の類似ラベルの並べ替えを行い、
前記予測対象オブジェクトに関する複数の修正前ラベルと各修正前ラベルのスコアとを参照して、前記予測対象オブジェクトに関する複数の修正前ラベルの並べ替えを行い、
並べ替えられた前記複数の類似ラベルと、並べ替えられた前記複数の修正前ラベルとを比較することによって、前記修正後ラベルを決定する
情報処理方法。
【請求項10】
コンピュータに、オブジェクトの集合を取得する処理と、
前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する処理と、
前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する処理と
を実行させる情報処理プログラムであって、
前記決定する処理は、
前記予測対象オブジェクトの修正前ラベルを前記予測モデルによって予測し、
前記類似ラベルを前記予測モデルによって予測し、
前記修正前ラベルを前記類似ラベルを参照して修正することによって得られる修正後ラベルを、前記予測対象オブジェクトに付与するラベルとして決定し、
前記複数の類似オブジェクトの各々に付与された複数の類似ラベルと各類似ラベルのスコアとを参照して、前記複数の類似オブジェクトに付与された複数の類似ラベルの並べ替えを行い、
前記予測対象オブジェクトに関する複数の修正前ラベルと各修正前ラベルのスコアとを参照して、前記予測対象オブジェクトに関する複数の修正前ラベルの並べ替えを行い、
並べ替えられた前記複数の類似ラベルと、並べ替えられた前記複数の修正前ラベルとを比較することによって、前記修正後ラベルを決定する
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
機械学習モデルを学習するために必要となる教師データを作成する際、人手によって正解を付与するアノテーションという作業が必要になる。人手によるアノテーションは高コストであることが知られている。アノテーションのコストを下げるために、予測モデルを用いて正解を予測することでアノテーションを補助する技術がある。当該技術では、予測モデルにより、アノテーション対象に付与する正解を予測する際、予測モデルの精度を補うために予測結果を補正する。例えば非特許文献１には、予測対象の特徴量に対して複数の予測モデルで予測を行い、統計的なモデルを利用した処理によって予測結果を修正することが記載されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Ratner, Alexander, et al., "Snorkel: Rapid training data creation with weak supervision," Proceedings of the VLDB Endowment, International Conference on Very Large Data Bases, Vol. 11, No. 3, NIH Public Access, 2017
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献１に記載の技術は、複数の予測モデルを必要とする。そのため、単一の予測モデルしか存在しない場合は、適切に予測結果を補正することができないという問題があった。
【0005】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、単一の予測モデルしか存在しない場合であってもオブジェクトに付与するラベルを高精度に決定できる技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一側面に係る情報処理装置は、オブジェクトの集合を取得する取得手段と、前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する評価手段と、前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する予測手段とを備える。
【0007】
本発明の一側面に係る情報処理方法は、オブジェクトの集合を取得することと、前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定することと、前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定することとを含む。
【0008】
本発明の一側面に係る情報処理プログラムは、コンピュータに、オブジェクトの集合を取得する処理と、前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する処理と、前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する処理とを実行させる。
【発明の効果】
【0009】
本発明の一態様によれば、単一の予測モデルしか存在しない場合であってもオブジェクトに付与するラベルを高精度に決定できる。
【図面の簡単な説明】
【0010】
【図1】例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】例示的実施形態１に係る情報処理方法の流れを示すフロー図である。
【図3】例示的実施形態２に係る情報処理装置の構成を示すブロック図である。
【図4】例示的実施形態２に係る情報処理方法の流れの一例を示すフロー図である。
【図5】例示的実施形態２に係る評価部と予測部の処理の具体例を説明するための図である。
【図6】例示的実施形態２に係る情報処理方法の流れの一例を示すフロー図である。
【図7】例示的実施形態２に係る評価部と予測部の処理を概略的に示す図である。
【図8】例示的実施形態２に係る評価部と予測部の処理の具体例を示す図である。
【図9】例示的実施形態２に係る情報処理方法の流れの一例を示すフロー図である。
【図10】例示的実施形態２に係る情報処理方法の流れの一例を示すフロー図である。
【図11】例示的実施形態３に係る情報処理装置の構成を示すブロック図である。
【図12】例示的実施形態３に係る情報処理方法の流れの一例を示すフロー図である。
【図13】例示的実施形態３に係るクラスの階層関係と予測部による並べ替えの具体例を示す図である。
【図14】例示的実施形態４に係る情報処理装置の構成を示すブロック図である。
【図15】例示的実施形態４に係る画面例を示す図である。
【図16】例示的実施形態４に係る画面例を示す図である。
【図17】各例示的実施形態に係る情報処理装置として機能するコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0011】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0012】
＜情報処理装置の概要＞
本例示的実施形態に係る情報処理装置１は、オブジェクトに付与するラベルを決定する装置である。ここで、オブジェクトは、ラベルを付与する対象であり、一例として、分類対象である画像又はテキストを表すデータである。また、オブジェクトは、売上予測の対象の商品を表すデータであってもよい。また、オブジェクトは、自然言語で記された文章に含まれるエンティティであってもよく、また、自然言語で記された文章とその文章中に含まれるエンティティとのペアを表すデータであってもよい。ここで、エンティティは、特定の概念や物を表す文字列であり、一例として、固有名詞又は一般名詞である。
本例示的実施形態に係る情報処理装置１は、オブジェクトに付与するラベルを決定する装置である。ここで、オブジェクトは、ラベルを付与する対象であり、一例として、分類対象である画像又はテキストを表すデータである。また、オブジェクトは、売上予測の対象の商品を表すデータであってもよい。また、オブジェクトは、自然言語で記された文章に含まれるエンティティであってもよく、また、自然言語で記された文章とその文章中に含まれるエンティティとのペアを表すデータであってもよい。ここで、エンティティは、特定の概念や物を表す文字列であり、一例として、固有名詞又は一般名詞である。
【0013】
ラベルは、オブジェクトに付与される値又は値の集合である。ラベルは、一例として、スカラー、ベクトル又は行列等の、数値を含むデータ構造を有する。また、ラベルは、文字列を含むデータ構造を有していてもよい。オブジェクトには複数のラベルが付与されてもよい。また、ラベルにはそのラベルの信頼度を表すスコアが付されていてもよい。オブジェクトに複数のラベルを付与することは、オブジェクトに付与するラベルが複数のラベルの値の組み合わせである、と表現することもできる。ラベルが付与されたオブジェクトは、一例として、機械学習モデルを学習させるための教師データとして用いられる。以下では、オブジェクトにラベルを付与することを「アノテーション」ともいう。
【0014】
＜情報処理装置１の構成＞
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、取得部１１、評価部１２及び予測部１３を備える。
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、取得部１１、評価部１２及び予測部１３を備える。
【0015】
（取得部１１）
取得部１１は、オブジェクトの集合を取得する。オブジェクトの集合は、一例として、画像データの集合、テキストデータの集合、又は商品を表すデータの集合である。また、オブジェクトの集合は、文章とその文章中に含まれるエンティティとのペアを表すデータの集合であってもよい。
取得部１１は、オブジェクトの集合を取得する。オブジェクトの集合は、一例として、画像データの集合、テキストデータの集合、又は商品を表すデータの集合である。また、オブジェクトの集合は、文章とその文章中に含まれるエンティティとのペアを表すデータの集合であってもよい。
【0016】
（評価部１２）
評価部１２は、オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する。ここで、予測対象オブジェクトは、ラベルを付与する対象のオブジェクトである。また、本明細書において、「オブジェクトが類似する」とは、オブジェクトが互いに似かよった特徴を有すること、及び、オブジェクトが同一の特徴を有することを含む。換言すると、本明細書において「オブジェクトが類似する」ことは、「オブジェクトが同一である」ことを含む。
評価部１２は、オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する。ここで、予測対象オブジェクトは、ラベルを付与する対象のオブジェクトである。また、本明細書において、「オブジェクトが類似する」とは、オブジェクトが互いに似かよった特徴を有すること、及び、オブジェクトが同一の特徴を有することを含む。換言すると、本明細書において「オブジェクトが類似する」ことは、「オブジェクトが同一である」ことを含む。
【0017】
オブジェクト間の類似度は、オブジェクトの類似の度合いを表す。評価部１２は、一例として、オブジェクト間の類似度を、オブジェクトの特徴量に基づき評価する。ここで、特徴量は、オブジェクトの特徴を表す値の集合である。特徴量は、一例として、スカラー、ベクトル又は行列等の、数値を含むデータ構造を有していてもよく、また、文字列を含むデータ構造を有していてもよい。特徴量は、一例として、画像のピクセル値の集合、テキストに含まれる単語の集合、又は商品の価格などの属性値を含む。
【0018】
評価部１２が類似オブジェクトを特定する手法は限定されないが、例えば、評価部１２が（ｉ）予測対象オブジェクトに類似する類似オブジェクトの集合を出力する手法、及び、（ｉｉ）オブジェクト間の類似関係を表すグラフ又はハイパーグラフを出力する手法、が挙げられる。ただし、評価部１２が類似オブジェクトを特定する手法はこれらの例に限られず、評価部１２は他の手法により類似オブジェクトを特定してもよい。
【0019】
評価部１２が（ｉ）類似オブジェクトの集合を出力する場合、評価部１２は、一例として、予測対象オブジェクトとの類似度が所定の閾値以上であるオブジェクトを特定する。また、評価部１２は、オブジェクト間の類似度を用いたスペクトラルクラスタリング等のクラスタリング方法を用いてオブジェクトをクラスタリングし、予測対象オブジェクトと同じクラスタに属するオブジェクトを類似オブジェクトとして特定してもよい。類似オブジェクトには、類似度に応じた重み情報が付加情報として付与されてもよい。
【0020】
ここで、類似オブジェクトの集合における類似の関係は、双方向的である必要はない。例えば、予測対象オブジェクトがオブジェクトＯＢＪ＿Ａであり、オブジェクトＯＢＪ＿Ａの類似オブジェクトがオブジェクトＯＢＪ＿Ｂ、ＯＢＪ＿Ｃ、ＯＢＪ＿Ｄ、ＯＢＪ＿Ｅである場合、オブジェクトＯＢＪ＿Ｂに類似する類似オブジェクトの集合に、オブジェクトＯＢＪ＿Ａが含まれていなくてもよい。また、オブジェクトＯＢＪ＿Ａの類似オブジェクトの集合に、オブジェクトＯＢＪ＿Ａが含まれていてもよい。
【0021】
評価部１２が（ｉｉ）オブジェクト間の類似関係を表すグラフ又はハイパーグラフを出力する場合、評価部１２は、一例として、オブジェクトをノードとし、類似度を評価したノード間を結ぶエッジ又はハイパーエッジを有するグラフ又はハイパーグラフを出力する。これらのエッジ又はハイパーエッジには、対応するノード間の類似度に応じた重み情報が付与されていてもよい。
【0022】
（予測部１３）
予測部１３は、予測対象オブジェクトに付与するラベルを、評価部１２が特定した１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する。類似ラベルは類似オブジェクトに予め付与されていてもよく、また、予測部１３が予測モデルを用いて類似ラベルを予測してもよい。また、ひとつの類似オブジェクトに複数の類似ラベルが付与されてもよい。
予測部１３は、予測対象オブジェクトに付与するラベルを、評価部１２が特定した１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する。類似ラベルは類似オブジェクトに予め付与されていてもよく、また、予測部１３が予測モデルを用いて類似ラベルを予測してもよい。また、ひとつの類似オブジェクトに複数の類似ラベルが付与されてもよい。
【0023】
予測モデルは、オブジェクトのラベル又はラベルに含まれる値を予測するモデルである。予測モデルは、機械学習により生成された機械学習モデルであってもよく、また、ルールベースによるシステム、又は外部のデータベースを参照するシステムであってもよい。予測モデルの入力は、一例として、オブジェクトの特徴量である。予測モデルの出力は、一例として、入力された特徴量に対するラベル又はラベルに含まれる値である。ここで、ラベルに含まれる値とは、ラベルの全部又は一部を構成する値であり、一例として、ラベルがベクトルである場合のベクトルの各要素である。また、予測モデルの出力は、複数のラベルの値とそれぞれのラベルの信頼度などのスコアとのペアを含んでいてもよい。予測モデルは、情報処理装置１のメモリに記憶されていてもよいし、情報処理装置１と通信可能な他の装置に記憶されていてもよい。
【0024】
予測モデルにより予測されたラベルがそのまま類似ラベルとして類似オブジェクトに付与されてもよく、予測モデルにより予測されたラベルの一部が類似ラベルとして類似オブジェクトに付与されてもよい。一例として、複数のラベルの中から尤もらしい上位Ｋ個（Ｋは１以上の自然数）のラベルが、類似ラベルとして類似オブジェクトに付与されてもよい。
【0025】
予測部１３が類似ラベルを参照して予測対象オブジェクトに付与するラベルを決定する手法は限定されないが、一例として、予測部１３は、予測対象オブジェクトのラベルを予想モデルを用いて一旦予測したうえで、類似オブジェクトの類似ラベルを参照して得られるラベルで置き換えてもよい。また、予測部１３は、予測対象オブジェクトのラベルの予測モデルによる予測を省略し、類似オブジェクトの類似ラベルを参照して得られるラベルを、当該対象オブジェクトに付与してもよい。また、予測部１３が決定するラベルには、スコア等の付加情報が付されていてもよい。
【0026】
より具体的には、予測部１３は、一例として、類似ラベルに付されたスコアを類似ラベル毎に合計し、スコアの合計値が最も大きい類似ラベルを、予測対象オブジェクトに付与するラベルとして決定してもよい。
【0027】
また、一例として、予測部１３は、予測モデルにより予測対象オブジェクトのラベルを予測し、予測モデルにより予測されたラベルが類似ラベルの集合に含まれている場合、予測されたラベルをそのまま予測対象オブジェクトに付与するラベルとして決定してもよい。一方、予測部１３は、予測モデルにより予測された予測対象オブジェクトのラベルが類似ラベルの集合に含まれていない場合、類似ラベルの集合から予測対象オブジェクトに付与するラベルを決定してもよい。この場合、予測部１３は、一例として、類似ラベルの集合のうち最も尤もらしい類似ラベルを、付与するラベルとして決定してもよい。ここで、予測部１３は、類似ラベルの尤もらしさを、類似ラベルに付されたスコア等の付加情報を参照して評価してもよく、また、類似ラベルの集合における類似ラベルの頻度（数）を参照して評価してもよい。
【0028】
なお、予測部１３が予測対象オブジェクトに付与するラベルを決定する手法は上述した例に限られない。予測部１３は、他の手法により予測対象オブジェクトに付与するラベルを決定してもよい。
【0029】
以上のように、本例示的実施形態に係る情報処理装置１においては、オブジェクトの集合を取得し、オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定し、予測対象オブジェクトに付与するラベルを、１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する構成が採用されている。このため、本例示的実施形態に係る情報処理装置１によれば、単一の予測モデルしか存在しない場合であってもオブジェクトに付与するラベルを高精度に決定できるという効果が得られる。
【0030】
【0031】
ステップＳ１１において、取得部１１は、オブジェクトの集合を取得する。ステップＳ１２において、評価部１２は、オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する。ステップＳ１３において、予測部１３は、予測対象オブジェクトに付与するラベルを、１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する。
【0032】
以上のように、本例示的実施形態に係る情報処理方法Ｓ１においては、オブジェクトの集合を取得し、オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定し、予測対象オブジェクトに付与するラベルを、１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、単一の予測モデルしか存在しない場合であってもオブジェクトに付与するラベルを高精度に決定できるという効果が得られる。
【0033】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
【0034】
＜情報処理装置１Ａの構成＞
図３は、本例示的実施形態に係る情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａは、制御部１０Ａ、記憶部２０Ａ、入出力部３０Ａ、及び通信部４０Ａを備える。
図３は、本例示的実施形態に係る情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａは、制御部１０Ａ、記憶部２０Ａ、入出力部３０Ａ、及び通信部４０Ａを備える。
【0035】
（通信部４０Ａ）
通信部４０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部４０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
通信部４０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部４０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
【0036】
（入出力部３０Ａ）
入出力部３０Ａには、キーボード、マウス、ディスプレイ、プリンタ、タッチパネル等の入出力機器が接続される。入出力部３０Ａは、接続された入力機器から情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部３０Ａは、制御部１０Ａの制御の下、接続された出力機器に各種の情報を出力する。入出力部３０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。
入出力部３０Ａには、キーボード、マウス、ディスプレイ、プリンタ、タッチパネル等の入出力機器が接続される。入出力部３０Ａは、接続された入力機器から情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部３０Ａは、制御部１０Ａの制御の下、接続された出力機器に各種の情報を出力する。入出力部３０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。
【0037】
（制御部１０Ａ）
制御部１０Ａは、図３に示すように、取得部１１、評価部１２及び予測部１３を備える。
制御部１０Ａは、図３に示すように、取得部１１、評価部１２及び予測部１３を備える。
【0038】
（取得部１１）
取得部１１は、オブジェクトの集合を取得する。取得部１１は一例として、通信部４０Ａを介して他の装置からオブジェクトの集合を取得する。また、取得部１１は一例として、入出力部３０Ａを介して入力されるオブジェクトの集合を取得してもよい。また、取得部１１は、記憶部２０Ａ又は外部接続された記憶装置からオブジェクトの集合を読み出すことによりオブジェクトの集合を取得してもよい。
取得部１１は、オブジェクトの集合を取得する。取得部１１は一例として、通信部４０Ａを介して他の装置からオブジェクトの集合を取得する。また、取得部１１は一例として、入出力部３０Ａを介して入力されるオブジェクトの集合を取得してもよい。また、取得部１１は、記憶部２０Ａ又は外部接続された記憶装置からオブジェクトの集合を読み出すことによりオブジェクトの集合を取得してもよい。
【0039】
（評価部１２）
評価部１２は、オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する。評価部１２が類似オブジェクトを特定する処理の詳細については後述する。
評価部１２は、オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する。評価部１２が類似オブジェクトを特定する処理の詳細については後述する。
【0040】
（予測部１３）
予測部１３は、予測対象オブジェクトに付与するラベルを、１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルＭ１によって予測されたラベルである類似ラベルを参照して決定する。予測部１３がラベルを決定する処理の詳細については後述する。
予測部１３は、予測対象オブジェクトに付与するラベルを、１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルＭ１によって予測されたラベルである類似ラベルを参照して決定する。予測部１３がラベルを決定する処理の詳細については後述する。
【0041】
（記憶部２０Ａ）
記憶部２０Ａには、取得部１１が取得するオブジェクトの集合であるオブジェクト集合ＯＣが記憶される。また、記憶部２０Ａには、オブジェクトのラベルを予測するための予測モデルＭ１と、オブジェクト間の類似度を評価する評価モデルＭ２と、が記憶されている。ここで、記憶部２０Ａに予測モデルＭ１が記憶されているとは、予測モデルＭ１を規定するパラメータが記憶部２０Ａに記憶されていることを指す。また、記憶部２０Ａに評価モデルＭ２が記憶されているとは、評価モデルＭ２を規定するパラメータが記憶部２０Ａに記憶されていることを指す。
記憶部２０Ａには、取得部１１が取得するオブジェクトの集合であるオブジェクト集合ＯＣが記憶される。また、記憶部２０Ａには、オブジェクトのラベルを予測するための予測モデルＭ１と、オブジェクト間の類似度を評価する評価モデルＭ２と、が記憶されている。ここで、記憶部２０Ａに予測モデルＭ１が記憶されているとは、予測モデルＭ１を規定するパラメータが記憶部２０Ａに記憶されていることを指す。また、記憶部２０Ａに評価モデルＭ２が記憶されているとは、評価モデルＭ２を規定するパラメータが記憶部２０Ａに記憶されていることを指す。
【0042】
（予測モデルＭ１）
予測モデルＭ１は、オブジェクトのラベル又はラベルに含まれる値を予測するモデルである。予測モデルＭ１は、一例として、オブジェクトの特徴量を入力とし、ラベルを出力するよう機械学習により構築された予測モデルである。予測モデルＭ１の学習は、情報処理装置１Ａの制御部１０Ａが行ってもよく、また、他の装置が行ってもよい。予測モデルＭ１の機械学習の手法は限定されず、一例として、決定木ベース、線形回帰、又はニューラルネットワークの手法が用いられてもよく、また、これらのうちの２以上の手法が用いられてもよい。決定木ベースとしては、例えば、ＬｉｇｈｔＧＢＭ（Light Gradient Boosting Machine）、ランダムフォレスト、及びＸＧＢｏｏｓｔが挙げられる。線形回帰としては、例えば、ベイズ回帰、サポートベクター回帰、Ｒｉｄｇｅ回帰、Ｌａｓｓｏ回帰、及びＥｌａｓｔｉｃＮｅｔが挙げられる。ニューラルネットワークとしては、例えばディープラーニングが挙げられる。
予測モデルＭ１は、オブジェクトのラベル又はラベルに含まれる値を予測するモデルである。予測モデルＭ１は、一例として、オブジェクトの特徴量を入力とし、ラベルを出力するよう機械学習により構築された予測モデルである。予測モデルＭ１の学習は、情報処理装置１Ａの制御部１０Ａが行ってもよく、また、他の装置が行ってもよい。予測モデルＭ１の機械学習の手法は限定されず、一例として、決定木ベース、線形回帰、又はニューラルネットワークの手法が用いられてもよく、また、これらのうちの２以上の手法が用いられてもよい。決定木ベースとしては、例えば、ＬｉｇｈｔＧＢＭ（Light Gradient Boosting Machine）、ランダムフォレスト、及びＸＧＢｏｏｓｔが挙げられる。線形回帰としては、例えば、ベイズ回帰、サポートベクター回帰、Ｒｉｄｇｅ回帰、Ｌａｓｓｏ回帰、及びＥｌａｓｔｉｃＮｅｔが挙げられる。ニューラルネットワークとしては、例えばディープラーニングが挙げられる。
【0043】
予測モデルＭ１の出力は、複数のラベルを含んでもよく、また、各ラベルの信頼度を表すスコアを含んでいてもよい。
【0044】
予測モデルＭ１は、一例として、オブジェクトの特徴量とラベルとのペアを含む教師データを用いた機械学習により構築される。
【0045】
（評価モデルＭ２）
評価モデルＭ２は、オブジェクト間の類似度を評価するためのモデルである。評価モデルＭ２は、一例として、オブジェクトをクラスタリングするモデルである。オブジェクトのクラスタリングとしては、例えば、ｋ平均法、又はスペクトラルクラスタリング等の技術を適用可能であるが、これに限られない。この場合、評価モデルＭ２によるクラスタリングの結果を利用して類似度を算出することができる。つまり、評価モデルＭ２のクラスタリングの結果に基づき、同一クラスタであるかどうかを類似度として算出することができる。
評価モデルＭ２は、オブジェクト間の類似度を評価するためのモデルである。評価モデルＭ２は、一例として、オブジェクトをクラスタリングするモデルである。オブジェクトのクラスタリングとしては、例えば、ｋ平均法、又はスペクトラルクラスタリング等の技術を適用可能であるが、これに限られない。この場合、評価モデルＭ２によるクラスタリングの結果を利用して類似度を算出することができる。つまり、評価モデルＭ２のクラスタリングの結果に基づき、同一クラスタであるかどうかを類似度として算出することができる。
【0046】
評価モデルＭ２の学習は、情報処理装置１Ａの制御部１０Ａが行ってもよく、また、他の装置が行ってもよい。オブジェクト間の類似度は、一例として、オブジェクトが埋め込まれる特徴量空間におけるオブジェクト間の距離、又は当該距離に基づき算出される値である。また、オブジェクトが文字列を含む場合、文字列が一致するかどうか、又は、文字列間に定義される類似度合いに関する指標（ハミング距離、編集距離、等）を、オブジェクト間の類似度として用いることもできる。また、オブジェクト間の類似度は、一例として、オブジェクトを表すノード間のエッジにより表現されてもよい。一例として、ノード間にエッジが有ることは、オブジェクトが類似していることを示し、ノード間にエッジが無いことは、オブジェクトが類似していないことを示す。このようなグラフ構造は、評価モデルＭ２の外部から与えられてもよく、また、評価モデルＭ２のパラメータとして記憶部２０Ａ等に予め記憶されていてもよい。ただし、オブジェクト間の類似度は上述した例に限られない。
【0047】
＜情報処理装置１Ａによる情報処理方法の流れ＞
以上のように構成された情報処理装置１Ａが実行する情報処理方法の流れについて、図面を参照して説明する。ここでは、情報処理装置１Ａが実行する情報処理方法として、以下の情報処理方法Ｓ１００～Ｓ４００を説明する。
（ｉ）情報処理方法Ｓ１００：予測部１３が類似ラベルを参照して予測対象オブジェクトに付与するラベルを決定する。このとき、予測部１３は予測モデルＭ１を用いた予測対象オブジェクトのラベルの予測を行わない。
（ｉｉ）情報処理方法Ｓ２００：予測部１３が予測モデルＭ１を用いて予測対象オブジェクトの修正前ラベルを予測し、類似ラベルを参照して修正前ラベルを修正する。
（ｉｉｉ）情報処理方法Ｓ３００：予測部１３が予測対象オブジェクトに付与するラベルとして複数のラベルを決定する。
（ｉｖ）情報処理方法Ｓ４００：評価部１２がオブジェクト間の類似関係を表すグラフ又はハイパーグラフを出力し、予測部１３がグラフ又はハイパーグラフを用いて、予測対象オブジェクトに付与するラベルを決定する。
以上のように構成された情報処理装置１Ａが実行する情報処理方法の流れについて、図面を参照して説明する。ここでは、情報処理装置１Ａが実行する情報処理方法として、以下の情報処理方法Ｓ１００～Ｓ４００を説明する。
（ｉ）情報処理方法Ｓ１００：予測部１３が類似ラベルを参照して予測対象オブジェクトに付与するラベルを決定する。このとき、予測部１３は予測モデルＭ１を用いた予測対象オブジェクトのラベルの予測を行わない。
（ｉｉ）情報処理方法Ｓ２００：予測部１３が予測モデルＭ１を用いて予測対象オブジェクトの修正前ラベルを予測し、類似ラベルを参照して修正前ラベルを修正する。
（ｉｉｉ）情報処理方法Ｓ３００：予測部１３が予測対象オブジェクトに付与するラベルとして複数のラベルを決定する。
（ｉｖ）情報処理方法Ｓ４００：評価部１２がオブジェクト間の類似関係を表すグラフ又はハイパーグラフを出力し、予測部１３がグラフ又はハイパーグラフを用いて、予測対象オブジェクトに付与するラベルを決定する。
【0048】
（情報処理方法Ｓ１００の流れ）
図４は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ１００の流れを示すフロー図である。なお、既に説明した内容についてはその説明を繰り返さない。
図４は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ１００の流れを示すフロー図である。なお、既に説明した内容についてはその説明を繰り返さない。
【0049】
（ステップＳ１１１）
ステップＳ１１１において、取得部１１は、オブジェクト集合ＯＣを取得する。取得部１１は、一例として、通信部４０Ａを介して他の装置からオブジェクト集合ＯＣを受信してもよく、また、入出力部３０Ａを介して入力されるオブジェクト集合ＯＣを取得してもよい。また、取得部１１は、記憶部２０Ａ又は外部記憶装置からオブジェクト集合ＯＣを読み出すことにより、オブジェクト集合ＯＣを取得してもよい。
ステップＳ１１１において、取得部１１は、オブジェクト集合ＯＣを取得する。取得部１１は、一例として、通信部４０Ａを介して他の装置からオブジェクト集合ＯＣを受信してもよく、また、入出力部３０Ａを介して入力されるオブジェクト集合ＯＣを取得してもよい。また、取得部１１は、記憶部２０Ａ又は外部記憶装置からオブジェクト集合ＯＣを読み出すことにより、オブジェクト集合ＯＣを取得してもよい。
【0050】
（ステップＳ１１２）
ステップＳ１１２において、評価部１２は、オブジェクト集合ＯＣに含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する。予測対象オブジェクトは、ユーザ操作により指定されてもよく、また、評価部１２が所定の選択条件に基づきオブジェクト集合ＯＣから予測対象オブジェクトを選択してもよい。
ステップＳ１１２において、評価部１２は、オブジェクト集合ＯＣに含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する。予測対象オブジェクトは、ユーザ操作により指定されてもよく、また、評価部１２が所定の選択条件に基づきオブジェクト集合ＯＣから予測対象オブジェクトを選択してもよい。
【0051】
この例で、評価部１２は、評価モデルＭ２を用いてオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する類似オブジェクトの集合を出力する。評価部１２が評価する類似度は、２つのオブジェクト間の類似度であってもよく、また、３以上のオブジェクト間の類似度であってもよい。評価部１２は、一例として、予測対象オブジェクトとの類似度が所定の閾値以上であるオブジェクトを類似オブジェクトとして特定する。また、評価部１２は、一例として、予測対象オブジェクトと同じクラスタに属するオブジェクトを類似オブジェクトとして特定してもよい。また、評価部１２は、類似度に応じた重み情報を付加情報として類似オブジェクトに付与してもよい。
【0052】
（ステップＳ１１３）
ステップＳ１１３において、予測部１３は、類似ラベルを予測モデルＭ１によって予測する。予測部１３は、一例として、予測モデルＭ１に類似オブジェクトの特徴量を入力することにより得られるラベルを、その類似オブジェクトに付与するラベル、すなわち類似ラベルとする。類似オブジェクトに付与される類似ラベルには、ラベルの信頼度を表すスコアが付加情報として付与されてもよい。類似ラベルに付与されるスコアは、一例として、予測モデルＭ１から出力されるスコアである。
ステップＳ１１３において、予測部１３は、類似ラベルを予測モデルＭ１によって予測する。予測部１３は、一例として、予測モデルＭ１に類似オブジェクトの特徴量を入力することにより得られるラベルを、その類似オブジェクトに付与するラベル、すなわち類似ラベルとする。類似オブジェクトに付与される類似ラベルには、ラベルの信頼度を表すスコアが付加情報として付与されてもよい。類似ラベルに付与されるスコアは、一例として、予測モデルＭ１から出力されるスコアである。
【0053】
また、ひとつの類似オブジェクトに対して単一のラベルの値が付与されてもよく、また、ひとつの類似オブジェクトに対して複数のラベルの値が付与されてもよい。一例として、予測部１３は、予測モデルＭ１が予測した複数のラベルのうち信頼度が所定の条件を満たす１又は複数のラベルを類似ラベルとして決定してもよい。所定の条件は、一例として、信頼度の順位が上位Ｋ個（Ｋは１以上の自然数）に含まれる、といった条件である。
【0054】
（ステップＳ１１４）
ステップＳ１１４において、予測部１３は、予測対象オブジェクトに付与するラベルを、類似ラベルを参照して決定する。予測部１３は、一例として、複数の類似ラベルについて統計的な処理（多数決、平均、等）を行い、複数の類似ラベルのうち頻度が所定の条件を満たすものを、予測対象オブジェクトに付与するラベルとして決定する。ここで、所定の条件は、例えば、頻度が最も高い、頻度が閾値以上である、頻度が上位Ｋ個（Ｋは０以上の自然数）に含まれる、といった条件である。
ステップＳ１１４において、予測部１３は、予測対象オブジェクトに付与するラベルを、類似ラベルを参照して決定する。予測部１３は、一例として、複数の類似ラベルについて統計的な処理（多数決、平均、等）を行い、複数の類似ラベルのうち頻度が所定の条件を満たすものを、予測対象オブジェクトに付与するラベルとして決定する。ここで、所定の条件は、例えば、頻度が最も高い、頻度が閾値以上である、頻度が上位Ｋ個（Ｋは０以上の自然数）に含まれる、といった条件である。
【0055】
また、ステップＳ１１４において、評価部１２が類似ラベルの各々についてスコアを算出し、予測部１３が、評価部１２が算出したスコアを更に参照して、予測対象オブジェクトに付与するラベルを決定してもよい。この場合、ステップＳ１１４においては、予測部１３がステップＳ１１３で予測した類似ラベルとスコアとが評価部１２に渡され、評価部１２が類似度も考慮した上で類似ラベル毎のスコアを算出し、評価部１２が算出したスコアが予測部１３に渡され、予測部１３がこのスコアを参照してラベルを決定する、という処理の流れになる。評価部１２は、一例として、予測モデルＭ１が出力したラベル毎のスコアをそのまま類似ラベルのスコアとしてもよく、また、予測モデルＭ１が出力したラベル毎のスコアを参照して類似ラベルのスコアを算出してもよい。また、評価部１２は、一例として、評価部１２が類似オブジェクトに付与した付加情報を参照してスコアを算出してもよい。評価部１２が算出するスコアは、一例として、類似度又は信頼度の順位を表す値であってもよい。また、評価部１２は、予測モデルＭ１が出力したスコアと、類似オブジェクトに付与された付加情報との両方を参照して、類似ラベルのスコアを算出してもよい。換言すると、類似ラベルの各々について評価部１２が算出するスコアは、ラベルに関する信頼度に応じた値であってもよく、また、予測対象オブジェクトと類似オブジェクトとの類似度に応じた値であってもよい。
【0056】
この場合、予測部１３は、一例として、スコアの合計値が所定の条件を満たす類似ラベルを、予測対象オブジェクトに付与するラベルとして決定してもよい。ここで、所定の条件は、例えば、合計値が最も高い、合計値が閾値以上である、合計値が上位Ｋ個（Ｋは０以上の自然数）に含まれる、といった条件である。
【0057】
また、付加情報として順位を示す情報が付与されている場合、予測部１３は、一例として、各類似オブジェクトに対する順位からＭＲＲ（Mean Reciprocal Rank）をラベル毎に求め、ＭＲＲが最も大きいラベルを、予測対象オブジェクトに付与するラベルとして決定してもよい。
【0058】
情報処理装置１Ａが情報処理方法Ｓ１００を実行することにより、ひとつの予測対象オブジェクトについて付与するラベルが決定される。情報処理装置１Ａは、ひとつの予測対象オブジェクトについてラベルを決定するだけでなく、情報処理方法Ｓ１００を繰り返し実行して、複数のオブジェクトについてラベルを決定してもよい。例えば、オブジェクトＯＢＪ＿Ａを予測対象オブジェクトとして情報処理方法Ｓ１００を実行してラベルを決定した後、決定したオブジェクトＯＢＪ＿Ａのラベルを用いて、別のオブジェクトＯＢＪ＿Ｂを予測対象オブジェクトとして情報処理方法Ｓ１００を実行してオブジェクトＯＢＪ＿Ｂのラベルを決定してもよい。
【0059】
（情報処理方法Ｓ１００の具体例）
図５は、情報処理方法Ｓ１００において評価部１２及び予測部１３が実行する処理の具体例を説明するための図である。なお、図中の矢印はあるデータの流れの方向を端的に示したもので、双方向性を排除するものではない。図５の例で、評価部１２は、オブジェクトＯＢＪ＿Ａの類似オブジェクトの集合Ｇ１１を特定する（ステップＳ１１２）。集合Ｇ１１は、類似オブジェクトＯＢＪ＿Ｂ～ＯＢＪ＿Ｅを含む。類似オブジェクトＯＢＪ＿Ｂ、ＯＢＪ＿Ｃ、ＯＢＪ＿Ｄ、ＯＢＪ＿Ｅにはそれぞれ、類似ラベルＬＢＬ＿１、ＬＢＬ＿２、ＬＢＬ＿１、ＬＢＬ＿１が付与される（ステップＳ１１３）。
図５は、情報処理方法Ｓ１００において評価部１２及び予測部１３が実行する処理の具体例を説明するための図である。なお、図中の矢印はあるデータの流れの方向を端的に示したもので、双方向性を排除するものではない。図５の例で、評価部１２は、オブジェクトＯＢＪ＿Ａの類似オブジェクトの集合Ｇ１１を特定する（ステップＳ１１２）。集合Ｇ１１は、類似オブジェクトＯＢＪ＿Ｂ～ＯＢＪ＿Ｅを含む。類似オブジェクトＯＢＪ＿Ｂ、ＯＢＪ＿Ｃ、ＯＢＪ＿Ｄ、ＯＢＪ＿Ｅにはそれぞれ、類似ラベルＬＢＬ＿１、ＬＢＬ＿２、ＬＢＬ＿１、ＬＢＬ＿１が付与される（ステップＳ１１３）。
【0060】
予測部１３は、類似オブジェクトＯＢＪ＿Ｂ～ＯＢＪ＿Ｅに付されたラベルである類似ラベルＬＢＬ＿１、ＬＢＬ＿２を参照して、オブジェクトＯＢＪ＿Ａに付与するラベルを決定する（ステップＳ１１４）。予測部１３は一例として、類似ラベルの集合である類似ラベル群Ｇ２１に含まれる類似ラベルのうち、頻度が最も高い類似ラベルＬＢＬ＿１を、オブジェクトＯＢＪ＿Ａに付与するラベルとして決定する。
【0061】
（情報処理方法Ｓ２００の流れ）
図６は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ２００の流れを示すフロー図である。情報処理方法Ｓ２００では、予測部１３が、類似ラベルを参照して予測対象オブジェクトの修正前ラベルを修正する。情報処理方法Ｓ２００は、ステップＳ１１１～ステップＳ１１３に加えて、ステップＳ２１１～Ｓ２１３を含む。なお、既に説明した内容についてはその説明を繰り返さない。また、情報処理方法Ｓ２００に含まれるステップは、並行して又は順序を替えて実行されてもよい。例えば、ステップＳ２１１の処理がステップＳ１１２の前に実行されてもよい。
図６は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ２００の流れを示すフロー図である。情報処理方法Ｓ２００では、予測部１３が、類似ラベルを参照して予測対象オブジェクトの修正前ラベルを修正する。情報処理方法Ｓ２００は、ステップＳ１１１～ステップＳ１１３に加えて、ステップＳ２１１～Ｓ２１３を含む。なお、既に説明した内容についてはその説明を繰り返さない。また、情報処理方法Ｓ２００に含まれるステップは、並行して又は順序を替えて実行されてもよい。例えば、ステップＳ２１１の処理がステップＳ１１２の前に実行されてもよい。
【0062】
（ステップＳ２１１）
ステップＳ２１１において、予測部１３は、予測対象オブジェクトの修正前ラベルを予測モデルＭ１によって予測する。より具体的には、予測部１３は、予測モデルＭ１に予測対象オブジェクトの特徴量を入力することにより修正前ラベルを予測する。修正前ラベルには、ラベルの信頼度を表すスコアが付加情報として付与されていてもよい。
ステップＳ２１１において、予測部１３は、予測対象オブジェクトの修正前ラベルを予測モデルＭ１によって予測する。より具体的には、予測部１３は、予測モデルＭ１に予測対象オブジェクトの特徴量を入力することにより修正前ラベルを予測する。修正前ラベルには、ラベルの信頼度を表すスコアが付加情報として付与されていてもよい。
【0063】
（ステップＳ２１２）
ステップＳ２１２において、評価部１２は、複数の類似オブジェクトに付与された複数の類似ラベルから、１又は複数の類似ラベルを抽出する。一例として、評価部１２は、複数の類似ラベルの中から、所定回数以上出現している類似ラベルを抽出する。このとき、評価部１２は、類似ラベルの付加情報を参照して類似ラベルを抽出してもよい。一例として、評価部１２は、ＭＲＲが閾値以上である類似ラベルを抽出してもよい。ただし、類似ラベルを抽出する手法は上述した例に限定されない。評価部１２は他の手法により類似ラベルを抽出してもよい。以下では、評価部１２が抽出した類似ラベルを「修正候補ラベル」ともいう。また、１又は複数の修正候補ラベルの集合を「修正候補ラベル集合」ともいう。修正候補ラベル集合に含まれる修正ラベルの数は１であってもよく、複数であってもよい。
ステップＳ２１２において、評価部１２は、複数の類似オブジェクトに付与された複数の類似ラベルから、１又は複数の類似ラベルを抽出する。一例として、評価部１２は、複数の類似ラベルの中から、所定回数以上出現している類似ラベルを抽出する。このとき、評価部１２は、類似ラベルの付加情報を参照して類似ラベルを抽出してもよい。一例として、評価部１２は、ＭＲＲが閾値以上である類似ラベルを抽出してもよい。ただし、類似ラベルを抽出する手法は上述した例に限定されない。評価部１２は他の手法により類似ラベルを抽出してもよい。以下では、評価部１２が抽出した類似ラベルを「修正候補ラベル」ともいう。また、１又は複数の修正候補ラベルの集合を「修正候補ラベル集合」ともいう。修正候補ラベル集合に含まれる修正ラベルの数は１であってもよく、複数であってもよい。
【0064】
（ステップＳ２１３）
ステップＳ２１３において、予測部１３は、修正前ラベルを類似ラベルを参照して修正することによって得られる修正後ラベルを、予測対象オブジェクトに付与するラベルとして決定する。一例として、予測部１３は、修正前ラベルが類似ラベルの集合に含まれている場合、修正前ラベルをそのまま修正後ラベルとして決定する。一方、予測部１３は、修正前ラベルが類似ラベルの集合に含まれていない場合、類似ラベルの中から所定の条件を満たす類似ラベルを修正後ラベルとして決定する。所定の条件は、一例として、頻度が最も高い、頻度が閾値以上である、頻度の順位が上位Ｋ個に含まれる、といった条件である。
ステップＳ２１３において、予測部１３は、修正前ラベルを類似ラベルを参照して修正することによって得られる修正後ラベルを、予測対象オブジェクトに付与するラベルとして決定する。一例として、予測部１３は、修正前ラベルが類似ラベルの集合に含まれている場合、修正前ラベルをそのまま修正後ラベルとして決定する。一方、予測部１３は、修正前ラベルが類似ラベルの集合に含まれていない場合、類似ラベルの中から所定の条件を満たす類似ラベルを修正後ラベルとして決定する。所定の条件は、一例として、頻度が最も高い、頻度が閾値以上である、頻度の順位が上位Ｋ個に含まれる、といった条件である。
【0065】
このとき、ステップＳ２１３において、予測部１３は、ステップＳ２１２で抽出した１又は複数の類似ラベルと修正前ラベルとを比較することによって、修正後ラベルを決定してもよい。一例として、予測部１３は、修正前ラベルが修正候補ラベル集合に含まれている場合、修正前ラベルを修正後ラベルとする。一方、予測部１３は、修正前ラベルが修正候補ラベル集合に含まれていない場合、修正候補ラベルの中から所定の条件を満たす修正候補ラベルを修正後ラベルとして決定する。所定の条件は、一例として、頻度が最も高い、頻度が閾値以上である、頻度の順位が上位Ｋ個に含まれる、といった条件である。
【0066】
また、予測部１３は、修正候補ラベルの付加情報を参照して予測対象オブジェクトに付与するラベルを決定してもよい。予測部１３は、一例として、修正前ラベルが修正候補ラベル集合に含まれていない場合、修正候補ラベルのＭＲＲを求め、ＭＲＲが最も大きい修正候補ラベルを予測対象オブジェクトに付与するラベルとして決定してもよい。
【0067】
情報処理装置１Ａが情報処理方法Ｓ２００を実行することにより、ひとつの予測対象オブジェクトについて付与するラベルが決定される。情報処理装置１Ａは、情報処理方法Ｓ２００を繰り返し実行して、複数のオブジェクトについてラベルを決定してもよい。
【0068】
図７は、情報処理方法Ｓ２００において評価部１２及び予測部１３が実行する処理を概略的に示す図である。なお、図中の矢印はあるデータの流れの方向を端的に示したもので、双方向性を排除するものではない。図７の例で、予測部１３は、オブジェクト集合ＯＣに含まれるオブジェクトＯＢＪ＿１、ＯＢＪ＿２、ＯＢＪ＿３の特徴量ｘ１、ｘ２、ｘ３を予測モデルＭ１に入力することにより、各オブジェクトのラベルを予測する。予測モデルＭ１により、オブジェクトＯＢＪ＿１、ＯＢＪ＿２、ＯＢＪ＿３のラベルはそれぞれ、ＬＢＬ＿Ａ、ＬＢＬ＿Ｂ、ＬＢＬ＿Ａと予測される。
【0069】
また、評価部１２は、オブジェクト集合ＯＣに含まれるオブジェクト間の類似関係を評価し、予測対象オブジェクトの類似オブジェクトを特定する。予測部１３は、評価部１２が特定した類似オブジェクトに付与された類似ラベルを参照し、予測対象オブジェクトに付与するラベルを決定する。図７の例では、オブジェクトＯＢＪ＿１及びＯＢＪ＿３のラベルは「ＬＢＬ＿Ａ」のまま修正されないが、オブジェクトＯＢＪ＿２のラベルは「ＬＢＬ＿Ｂ」から「ＬＢＬ＿Ａ」に修正される。
【0070】
（情報処理方法Ｓ２００の具体例）
図８は、情報処理方法Ｓ２００において評価部１２及び予測部１３が実行する処理の具体例を説明するための図である。なお、図中の矢印はあるデータの流れの方向を端的に示したもので、双方向性を排除するものではない。図８の例で、評価部１２は、オブジェクトＯＢＪ＿Ａの類似オブジェクトの集合Ｇ１１を特定する（Ｓ１１２）。集合Ｇ１１は、類似オブジェクトＯＢＪ＿Ｂ～ＯＢＪ＿Ｅを含む。類似オブジェクトＯＢＪ＿Ｂ、ＯＢＪ＿Ｃ、ＯＢＪ＿Ｄ、ＯＢＪ＿Ｅにはそれぞれ、類似ラベルＬＢＬ＿１、ＬＢＬ＿２、ＬＢＬ＿１、ＬＢＬ＿１が付与される（ステップＳ１１３）。
図８は、情報処理方法Ｓ２００において評価部１２及び予測部１３が実行する処理の具体例を説明するための図である。なお、図中の矢印はあるデータの流れの方向を端的に示したもので、双方向性を排除するものではない。図８の例で、評価部１２は、オブジェクトＯＢＪ＿Ａの類似オブジェクトの集合Ｇ１１を特定する（Ｓ１１２）。集合Ｇ１１は、類似オブジェクトＯＢＪ＿Ｂ～ＯＢＪ＿Ｅを含む。類似オブジェクトＯＢＪ＿Ｂ、ＯＢＪ＿Ｃ、ＯＢＪ＿Ｄ、ＯＢＪ＿Ｅにはそれぞれ、類似ラベルＬＢＬ＿１、ＬＢＬ＿２、ＬＢＬ＿１、ＬＢＬ＿１が付与される（ステップＳ１１３）。
【0071】
また、図８の例では、予測モデルＭ１によりラベルＬＢＬ＿３がオブジェクトＯＢＪ＿Ａのラベルとして予測される（ステップＳ２１１）。予測部１３は、類似ラベル群Ｇ２１から類似ラベルＬＢＬ＿１、ＬＢＬ＿２を含む類似ラベル群Ｇ３１を抽出し（ステップＳ２１２）、抽出した類似ラベル群Ｇ３１からオブジェクトＯＢＪ＿Ａに付与するラベルを決定する（ステップＳ２１３）。図８の例では、予測部１３は、類似ラベル群に含まれる類似ラベルＬＢＬ＿１を、予測対象オブジェクトＯＢＪ＿Ａに付与するラベルとして決定する。
【0072】
（情報処理方法Ｓ３００の流れ）
図９は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ３００の流れを示すフロー図である。情報処理方法Ｓ３００は、ステップＳ１１１～Ｓ１１３及びステップＳ２１１に加えて、ステップＳ３１１～Ｓ３１３を含む。なお、既に説明した内容についてはその説明を繰り返さない。また、情報処理方法Ｓ３００に含まれるステップは、並行して又は順序を替えて実行されてもよい。例えば、ステップＳ２１１の処理がステップＳ１１２よりも前に実行されてもよい。
図９は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ３００の流れを示すフロー図である。情報処理方法Ｓ３００は、ステップＳ１１１～Ｓ１１３及びステップＳ２１１に加えて、ステップＳ３１１～Ｓ３１３を含む。なお、既に説明した内容についてはその説明を繰り返さない。また、情報処理方法Ｓ３００に含まれるステップは、並行して又は順序を替えて実行されてもよい。例えば、ステップＳ２１１の処理がステップＳ１１２よりも前に実行されてもよい。
【0073】
（ステップＳ３１１）
ステップＳ３１１において、予測部１３は、複数の類似オブジェクトの各々に付与された複数の類似ラベルと各類似ラベルのスコアとを参照して、複数の類似オブジェクトに付与された複数の類似ラベルの並べ替えを行う。予測部１３は、一例として、各類似オブジェクトに対する順位（付加情報により示される順位）からＭＲＲの値を計算し、計算した値を用いて類似ラベルの並べ替えを行う。なお、予測部１３が類似ラベルの並べ替えに用いる値はＭＲＲに限られず、他の値であってもよい。予測部１３は例えば、類似ラベル（又は類似オブジェクト）のスコアの平均値を算出し、算出した平均値で並べ替えを行ってもよい。また、例えば、予測部１３は、各類似オブジェクトごとに上位Ｋ個の類似ラベルを上位ラベル集合として取り出し、これらの上位ラベル集合に含まれる頻度によって類似ラベルを並び替えてもよい。
ステップＳ３１１において、予測部１３は、複数の類似オブジェクトの各々に付与された複数の類似ラベルと各類似ラベルのスコアとを参照して、複数の類似オブジェクトに付与された複数の類似ラベルの並べ替えを行う。予測部１３は、一例として、各類似オブジェクトに対する順位（付加情報により示される順位）からＭＲＲの値を計算し、計算した値を用いて類似ラベルの並べ替えを行う。なお、予測部１３が類似ラベルの並べ替えに用いる値はＭＲＲに限られず、他の値であってもよい。予測部１３は例えば、類似ラベル（又は類似オブジェクト）のスコアの平均値を算出し、算出した平均値で並べ替えを行ってもよい。また、例えば、予測部１３は、各類似オブジェクトごとに上位Ｋ個の類似ラベルを上位ラベル集合として取り出し、これらの上位ラベル集合に含まれる頻度によって類似ラベルを並び替えてもよい。
【0074】
ステップＳ３１１において、予測部１３は、複数の類似オブジェクトに付与された複数の類似ラベルを、当該複数の類似ラベル間の階層関係を参照して更に並び替えてもよい。階層関係は、所定のデータベースにより与えられるものであってもよく、また、予測部１３がオブジェクトから類似ラベル間の階層関係をオブジェクト等のデータから生成してもよい。階層関係を生成する手法としては、一例として「Wu, Wentao, et al. "Probase: A probabilistic taxonomy for text understanding." Proceedings of the 2012 ACM SIGMOD International Conference on Management of Data. 2012」の文献に記載された手法が用いられてもよい。この場合、予測部１３は、上位の階層のものほど順位が高くなるよう類似ラベルを並べ替えてもよい。
【0075】
具体的には、例えば、予測部１３が予測した複数の類似ラベルが「人物」、「大統領」、「政治家」及び「ビジネスマン」の類似ラベルを含む場合であって、「人物」という類似ラベルが「大統領」、「政治家」及び「ビジネスマン」よりも階層が高いという階層関係が与えられたとする。この場合、予測部１３は一例として、「人物」の順位が「大統領」、「政治家」及び「ビジネスマン」の順位よりも高くなるよう類似ラベルを並べ替える。
【0076】
（ステップＳ３１２）
ステップＳ３１２において、予測部１３は、対象オブジェクトに関する複数の修正前ラベルと各修正前ラベルのスコアとを参照して、対象オブジェクトに関する複数の修正前ラベルの並べ替えを行う。予測部１３は、一例として、付加されたスコアの大きい順に修正前ラベルを並べ替える。なお、予測部１３による並べ替えの手法は上述した例に限られず、他の手法であってもよい。また、ステップＳ３１２において、予測部１３は、ステップＳ３１１と同様に、複数のラベル間の階層関係を参照して並べ替えを行ってもよい。
ステップＳ３１２において、予測部１３は、対象オブジェクトに関する複数の修正前ラベルと各修正前ラベルのスコアとを参照して、対象オブジェクトに関する複数の修正前ラベルの並べ替えを行う。予測部１３は、一例として、付加されたスコアの大きい順に修正前ラベルを並べ替える。なお、予測部１３による並べ替えの手法は上述した例に限られず、他の手法であってもよい。また、ステップＳ３１２において、予測部１３は、ステップＳ３１１と同様に、複数のラベル間の階層関係を参照して並べ替えを行ってもよい。
【0077】
（ステップＳ３１３）
ステップＳ３１３において、予測部１３は、対象オブジェクトに関する上位Ｎ番目（Ｎは自然数）までの修正前ラベルのうち、複数の類似オブジェクトに付与された上位Ｍ番目（Ｍは自然数）までの類似ラベルに含まれる修正前ラベルを、修正後ラベルとして決定する。
ステップＳ３１３において、予測部１３は、対象オブジェクトに関する上位Ｎ番目（Ｎは自然数）までの修正前ラベルのうち、複数の類似オブジェクトに付与された上位Ｍ番目（Ｍは自然数）までの類似ラベルに含まれる修正前ラベルを、修正後ラベルとして決定する。
【0078】
情報処理方法Ｓ３００により、情報処理装置１Ａは、ひとつの予測対象オブジェクトについて付与する複数のラベルを、より高精度に決定できる。
【0079】
ただし、ステップＳ３１３において、予測部１３は、修正前ラベルを参照することなく、類似ラベルを参照して修正後ラベルを決定してもよい。この場合、予測部１３は一例として、ステップＳ３１１で並べ替えた上位Ｍ番目までの類似ラベルの集合を、修正後ラベルとして決定してもよい。
【0080】
（情報処理方法Ｓ４００の流れ）
図１０は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ４００の流れを示すフロー図である。情報処理方法Ｓ４００において、評価部１２はオブジェクト間の類似関係を表すグラフ又はハイパーグラフを出力し、予測部１３はグラフ又はハイパーグラフを用いて、予測対象オブジェクトに付与するラベルを決定する。情報処理方法Ｓ４００は、ステップＳ１１１及びステップＳ１１３に加えて、ステップＳ４０１～Ｓ４０３を含む。なお、既に説明した内容についてはその説明を繰り返さない。
図１０は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ４００の流れを示すフロー図である。情報処理方法Ｓ４００において、評価部１２はオブジェクト間の類似関係を表すグラフ又はハイパーグラフを出力し、予測部１３はグラフ又はハイパーグラフを用いて、予測対象オブジェクトに付与するラベルを決定する。情報処理方法Ｓ４００は、ステップＳ１１１及びステップＳ１１３に加えて、ステップＳ４０１～Ｓ４０３を含む。なお、既に説明した内容についてはその説明を繰り返さない。
【0081】
（ステップＳ４０１）
ステップＳ４０１において、評価部１２は、オブジェクト間の類似関係を表すグラフを出力することによって、１又は複数の類似オブジェクトを特定する。評価部１２が出力するグラフは、一例として、オブジェクトをノードとし、類似度を評価したノード間を結ぶエッジ又はハイパーエッジを有するグラフ又はハイパーグラフである。より具体的には、グラフ／ハイパーグラフは、一例として、類似関係を有するオブジェクト間にエッジ／ハイパーエッジを有し、類似関係が無いオブジェクト間にはエッジ／ハイパーエッジがないグラフである。また、これらのエッジ又はハイパーエッジには、対応するノード間の類似度に応じた重み情報が付与されてもよい。
ステップＳ４０１において、評価部１２は、オブジェクト間の類似関係を表すグラフを出力することによって、１又は複数の類似オブジェクトを特定する。評価部１２が出力するグラフは、一例として、オブジェクトをノードとし、類似度を評価したノード間を結ぶエッジ又はハイパーエッジを有するグラフ又はハイパーグラフである。より具体的には、グラフ／ハイパーグラフは、一例として、類似関係を有するオブジェクト間にエッジ／ハイパーエッジを有し、類似関係が無いオブジェクト間にはエッジ／ハイパーエッジがないグラフである。また、これらのエッジ又はハイパーエッジには、対応するノード間の類似度に応じた重み情報が付与されてもよい。
【0082】
（ステップＳ４０２）
ステップＳ４０２において、予測部１３は、評価部１２が出力したグラフを参照して、オブジェクト集合ＯＣから１又は複数の類似オブジェクトを抽出する。予測部１３は、一例として、評価部１２が出力したグラフを参照して、予測対象オブジェクトから所定のホップ数以内に存在する１又は複数の類似オブジェクトを抽出する。評価部１２は、一例として、ｋ個までのエッジ／ハイパーエッジを介して予測対象オブジェクトと繋がっている類似オブジェクトを抽出する。
ステップＳ４０２において、予測部１３は、評価部１２が出力したグラフを参照して、オブジェクト集合ＯＣから１又は複数の類似オブジェクトを抽出する。予測部１３は、一例として、評価部１２が出力したグラフを参照して、予測対象オブジェクトから所定のホップ数以内に存在する１又は複数の類似オブジェクトを抽出する。評価部１２は、一例として、ｋ個までのエッジ／ハイパーエッジを介して予測対象オブジェクトと繋がっている類似オブジェクトを抽出する。
【0083】
（ステップＳ４０３）
ステップＳ４０３において、予測部１３は、抽出した１又は複数の類似オブジェクトの各々に付与された類似ラベルを参照して、予測対象オブジェクトに付与するラベルを決定する。
ステップＳ４０３において、予測部１３は、抽出した１又は複数の類似オブジェクトの各々に付与された類似ラベルを参照して、予測対象オブジェクトに付与するラベルを決定する。
【0084】
ただし、予測部１３がラベルを決定する方法は上述した例に限られない。予測部１３は、一例として、グラフ又はハイパーグラフの構造を考慮した計算を行うことができるニューラルネットワーク（グラフニューラルネットワーク）を用いて、ラベルを決定してもよい。グラフニューラルネットワークとしては、例えば「Schlichtkrull, Michael, et al. "Modeling relational data with graph convolutional networks." European Semantic Web Conference. Springer, Cham, 2018」、又は「Feng, Yifan, et al. "Hypergraph neural networks." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. 2019」の文献に記載されたニューラルネットワークが用いられてもよい。
【0085】
上記グラフニューラルネットワークの学習においては、各オブジェクトに対応するノードに対応するオブジェクトの特徴量を与えるとともに、各エッジ／ハイパーエッジに対応するオブジェクト間の類似度などを特徴量として与え、上記グラフニューラルネットワーク等のモデルをノードごとにラベルを予測させるように学習させる。この学習においては、修正前ラベルの一部又は全部をグラフニューラルネットワークが予測すべきラベルの訓練データとして利用してもよい。この場合、予測部１３は、上記モデルによって予測されたラベルによって、各ノードに対応する予測対象オブジェクトのラベルを決定する。
【0086】
（情報処理装置１Ａの効果）
以上のように、本例示的実施形態に係る情報処理装置１Ａにおいては、類似ラベルの各々についてスコアを算出し、算出したスコアを更に参照して、予測対象オブジェクトに付与するラベルを決定する構成が採用されている。情報処理装置１Ａが類似ラベルの信頼度又は類似オブジェクトの類似度等に応じてスコアを算出することにより、本例示的実施形態に係る情報処理装置１Ａによれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、類似ラベルの信頼度等を加味したラベルの決定を行うことができるという効果が得られる。
以上のように、本例示的実施形態に係る情報処理装置１Ａにおいては、類似ラベルの各々についてスコアを算出し、算出したスコアを更に参照して、予測対象オブジェクトに付与するラベルを決定する構成が採用されている。情報処理装置１Ａが類似ラベルの信頼度又は類似オブジェクトの類似度等に応じてスコアを算出することにより、本例示的実施形態に係る情報処理装置１Ａによれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、類似ラベルの信頼度等を加味したラベルの決定を行うことができるという効果が得られる。
【0087】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、予測対象オブジェクトの修正前ラベルを予測モデルによって予測し、修正前ラベルを類似ラベルを参照して修正するという構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、修正前ラベルを高精度に修正できるという効果が得られる。
【0088】
〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１又は２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１又は２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0089】
本例示的実施形態に係る情報処理装置１Ｂは、自然言語で記された文章中のエンティティを分類する。エンティティは、特定の概念や物を表す文字列であり、一例として、固有名詞又は一般名詞である。一例として、「ジョーテイラー氏は、アメリカ合衆国の大統領である。」という文章におけるエンティティは「ジョーテイラー氏」、「アメリカ合衆国」及び「大統領」である。エンティティはクラスに分類される。クラスはエンティティの分類結果を示すものであり、例えば「人物」、「会社」及び「国家」である。ひとつのエンティティに対して１又は複数のクラスがアノテーションされる。換言すると、ひとつのエンティティに対して複数のクラスがアノテーションされてもよい。
【0090】
＜情報処理装置１Ｂの構成＞
図１１は、情報処理装置１Ｂの構成を示すブロック図である。情報処理装置１Ｂは、制御部１０Ａ、記憶部２０Ａ、入出力部３０Ａ、及び通信部４０Ａを備える。制御部１０Ａの取得部１１は、受付部１１１Ｂ及びエンティティ抽出部１１２Ｂを備える。また、評価部１２は、同一性評価部１２１Ｂを備える。また、記憶部２０Ａは、オブジェクト集合ＯＣ、及び評価モデルＭ２に加えて、予測モデルＭ１Ｂを記憶する。
図１１は、情報処理装置１Ｂの構成を示すブロック図である。情報処理装置１Ｂは、制御部１０Ａ、記憶部２０Ａ、入出力部３０Ａ、及び通信部４０Ａを備える。制御部１０Ａの取得部１１は、受付部１１１Ｂ及びエンティティ抽出部１１２Ｂを備える。また、評価部１２は、同一性評価部１２１Ｂを備える。また、記憶部２０Ａは、オブジェクト集合ＯＣ、及び評価モデルＭ２に加えて、予測モデルＭ１Ｂを記憶する。
【0091】
（受付部１１１Ｂ）
受付部１１１Ｂは、文章集合を受け付ける。文章集合は、１又は複数の文章を含む。受付部１１１Ｂは一例として、通信部４０Ａを介して他の装置から文章集合を受け付けてもよい。また、受付部１１１Ｂは一例として、入出力部３０Ａを介して入力される文章集合を取得してもよい。また、受付部１１１Ｂは、記憶部２０Ａ又は外部接続された記憶装置から文章集合を読み出すことにより文章集合を取得してもよい。
受付部１１１Ｂは、文章集合を受け付ける。文章集合は、１又は複数の文章を含む。受付部１１１Ｂは一例として、通信部４０Ａを介して他の装置から文章集合を受け付けてもよい。また、受付部１１１Ｂは一例として、入出力部３０Ａを介して入力される文章集合を取得してもよい。また、受付部１１１Ｂは、記憶部２０Ａ又は外部接続された記憶装置から文章集合を読み出すことにより文章集合を取得してもよい。
【0092】
（エンティティ抽出部１１２Ｂ）
エンティティ抽出部１１２Ｂは、文章集合から複数のエンティティを抽出する。エンティティ抽出部１１２Ｂは一例として、文章集合に含まれる文章に対して自然言語処理（形態素解析、Ｎ－ｇｒａｍ解析、等）を行い、各文章に含まれるエンティティを抽出する。より具体的には、エンティティ抽出部１１２Ｂは、一例として、文章に対して構文解析を行い、名詞節や形容詞節など、所定の文法パターンに合致する文字列をエンティティとして抽出する。又は、エンティティ抽出部１１２Ｂは、予め定められた辞書中の文字列と照合した文字列をエンティティとして抽出してもよい。又は、エンティティ抽出部１１２Ｂは文献「Shang, Jingbo, et al. "Automated phrase mining from massive text corpora," IEEE Transactions on Knowledge and Data Engineering 30.10 (2018): 1825-1837」に記載された技術を用いてエンティティを抽出してもよい。
エンティティ抽出部１１２Ｂは、文章集合から複数のエンティティを抽出する。エンティティ抽出部１１２Ｂは一例として、文章集合に含まれる文章に対して自然言語処理（形態素解析、Ｎ－ｇｒａｍ解析、等）を行い、各文章に含まれるエンティティを抽出する。より具体的には、エンティティ抽出部１１２Ｂは、一例として、文章に対して構文解析を行い、名詞節や形容詞節など、所定の文法パターンに合致する文字列をエンティティとして抽出する。又は、エンティティ抽出部１１２Ｂは、予め定められた辞書中の文字列と照合した文字列をエンティティとして抽出してもよい。又は、エンティティ抽出部１１２Ｂは文献「Shang, Jingbo, et al. "Automated phrase mining from massive text corpora," IEEE Transactions on Knowledge and Data Engineering 30.10 (2018): 1825-1837」に記載された技術を用いてエンティティを抽出してもよい。
【0093】
（取得部１１）
取得部１１は、エンティティ抽出部１１２Ｂによって抽出された複数のエンティティと、当該複数のエンティティの抽出元の文章との組、をオブジェクトの集合として取得する。オブジェクトは、一例として、文章を表す文字列、及び、その文字列中でのエンティティの位置、という特徴量により表現される。例えば、文章ｄの文字列が「ジョーテイラー氏は、アメリカ合衆国の大統領である。」であり、エンティティが「ジョーテイラー氏」である場合、特徴量は、一例として、（文章ｄ，＜１文字目から８文字目＞）と表現される。
取得部１１は、エンティティ抽出部１１２Ｂによって抽出された複数のエンティティと、当該複数のエンティティの抽出元の文章との組、をオブジェクトの集合として取得する。オブジェクトは、一例として、文章を表す文字列、及び、その文字列中でのエンティティの位置、という特徴量により表現される。例えば、文章ｄの文字列が「ジョーテイラー氏は、アメリカ合衆国の大統領である。」であり、エンティティが「ジョーテイラー氏」である場合、特徴量は、一例として、（文章ｄ，＜１文字目から８文字目＞）と表現される。
【0094】
本例示的実施形態では、異なる文章に出現しているエンティティは、それらが同一の実体を表す文字列であっても、異なるオブジェクトとして扱われる。例えば、「ジョーテイラー氏が当選した。」という文章と、「ジョーテイラー氏は大統領である。」という２つの文章が存在した場合、これら２つの文字列「ジョーテイラー氏」に対してそれぞれオブジェクトが作成される。
【0095】
なお、取得部１１が取得部するオブジェクトの集合は上述した例に限られない。オブジェクトの集合は、一例として、エンティティ抽出部１１２Ｂによって抽出された複数のエンティティであってもよい。
【0096】
（同一性評価部１２１Ｂ）
同一性評価部１２１Ｂは、オブジェクトの集合に含まれるオブジェクト間の同一性を評価し、予測対象オブジェクトと同一のオブジェクトを、類似オブジェクトとして特定する。同一性評価部１２１Ｂは、一例として、複数のオブジェクトの特徴量を参照し、オブジェクトに対応するエンティティが同一の実体（もの・こと）を指しているかを評価する。
同一性評価部１２１Ｂは、オブジェクトの集合に含まれるオブジェクト間の同一性を評価し、予測対象オブジェクトと同一のオブジェクトを、類似オブジェクトとして特定する。同一性評価部１２１Ｂは、一例として、複数のオブジェクトの特徴量を参照し、オブジェクトに対応するエンティティが同一の実体（もの・こと）を指しているかを評価する。
【0097】
具体的には、同一性評価部１２１Ｂは、以下の手法によりオブジェクト間の同一性を評価する。同一性評価部１２１Ｂは、まず、オブジェクトの特徴量を参照して、オブジェクトに対応するエンティティの文字列を取得する。エンティティの文字列は、特徴量である文章と文字列位置とから取得可能である。同一性評価部１２１Ｂは、取得した文字列が同一であるオブジェクト間の類似度を「１」とし、同一でないオブジェクト間の類似度を「０」とする。
【0098】
ただし、同一性評価部１２１Ｂがオブジェクト間の同一性を評価する手法は、上述した例に限られず、他の手法が用いられてもよい。一例として、同一性評価部１２１Ｂは、各オブジェクトに対応するエンティティに対応する知識ベース中のインスタンスを「Wu, Ledell, et al., "Scalable zero-shot entity linking with dense entity retrieval," arXiv preprint arXiv:1911.03814 (2019)」の文献に記載の手法を用いて特定してもよい。この場合、同一性評価部１２１Ｂは、一例として、同一インスタンスが特定されたオブジェクト間の類似度を「１」とし、同一インスタンスが特定されなかったオブジェクト間の類似度を「０」とする。
【0099】
（予測モデルＭ１Ｂ）
予測モデルＭ１Ｂは、オブジェクトのラベルを予測するためのモデルである。本例示的実施形態において、オブジェクトに付与されるラベルは、オブジェクトが分類されるクラスの集合である。クラスは例えば文字列又は整数ＩＤにより表現できる。例えば、オブジェクトの特徴量が上述した（文章ｄ，＜１文字目から８文字目＞）である場合、ラベルは、一例として、｛人物、大統領、政治家、男性、父、アメリカ人｝のようなクラスの集合である。
予測モデルＭ１Ｂは、オブジェクトのラベルを予測するためのモデルである。本例示的実施形態において、オブジェクトに付与されるラベルは、オブジェクトが分類されるクラスの集合である。クラスは例えば文字列又は整数ＩＤにより表現できる。例えば、オブジェクトの特徴量が上述した（文章ｄ，＜１文字目から８文字目＞）である場合、ラベルは、一例として、｛人物、大統領、政治家、男性、父、アメリカ人｝のようなクラスの集合である。
【0100】
予測モデルＭ１Ｂは、一例として、教師なし学習により構築される言語モデルである。この場合、言語モデルは、一例として、入力された単語列に対してその自然言語文としての確度を出力するモデルである。また、このような言語モデルを用いることにより、入力された単語列を補う単語を予測することも可能である。単語列を補う単語とは、単語列にその単語を補うことにより補った後の単語列が自然言語文となり得る単語である。予測モデルＭ１Ｂとしては、例えば「Devlin, Jacob, et al., "Bert: Pre-training of deep bidirectional transformers for language understanding," arXiv preprint arXiv:1810.04805 (2018)」の文献に記載されたモデルを利用可能である。
【0101】
＜情報処理装置１Ｂによる情報処理方法の流れ＞
以上のように構成された情報処理装置１Ｂが実行する情報処理方法の一例である情報処理方法Ｓ５００の流れについて、図１２を参照して説明する。図１２は、情報処理方法Ｓ５００の流れを示すフロー図である。なお、既に説明した内容についてはその説明を繰り返さない。
以上のように構成された情報処理装置１Ｂが実行する情報処理方法の一例である情報処理方法Ｓ５００の流れについて、図１２を参照して説明する。図１２は、情報処理方法Ｓ５００の流れを示すフロー図である。なお、既に説明した内容についてはその説明を繰り返さない。
【0102】
（ステップＳ５０１・Ｓ５０２）
ステップＳ５０１において、受付部１１１Ｂは、文章集合を受け付ける。ステップＳ５０２において、エンティティ抽出部１１２Ｂは、文章集合から複数のエンティティを抽出する。具体的には例えば、エンティティ抽出部１１２Ｂは、「ジョーテイラー氏は、アメリカ合衆国の大統領である。」という文章から「ジョーテイラー氏」、「アメリカ合衆国」、及び「大統領」をエンティティとして抽出する。
ステップＳ５０１において、受付部１１１Ｂは、文章集合を受け付ける。ステップＳ５０２において、エンティティ抽出部１１２Ｂは、文章集合から複数のエンティティを抽出する。具体的には例えば、エンティティ抽出部１１２Ｂは、「ジョーテイラー氏は、アメリカ合衆国の大統領である。」という文章から「ジョーテイラー氏」、「アメリカ合衆国」、及び「大統領」をエンティティとして抽出する。
【0103】
（ステップＳ５０３）
ステップＳ５０３において、取得部１１は、エンティティ抽出部１１２Ｂが抽出した複数のエンティティと、当該複数のエンティティの抽出元の文章とのペアを、オブジェクトの集合として取得する。
ステップＳ５０３において、取得部１１は、エンティティ抽出部１１２Ｂが抽出した複数のエンティティと、当該複数のエンティティの抽出元の文章とのペアを、オブジェクトの集合として取得する。
【0104】
（ステップＳ５０４）
ステップＳ５０４において、同一性評価部１２１Ｂは、オブジェクトの集合に含まれるオブジェクト間の同一性を評価し、予測対象オブジェクトと同一のオブジェクトを、類似オブジェクトとして特定する。
ステップＳ５０４において、同一性評価部１２１Ｂは、オブジェクトの集合に含まれるオブジェクト間の同一性を評価し、予測対象オブジェクトと同一のオブジェクトを、類似オブジェクトとして特定する。
【0105】
（ステップＳ５０５）
ステップＳ５０５において、予測部１３は、予測対象オブジェクトに付与するラベルを、類似オブジェクトに付与された類似ラベルを参照して決定する。本例示的実施形態に係る予測部１３のラベルの決定方法の一例について以下に説明する。
ステップＳ５０５において、予測部１３は、予測対象オブジェクトに付与するラベルを、類似オブジェクトに付与された類似ラベルを参照して決定する。本例示的実施形態に係る予測部１３のラベルの決定方法の一例について以下に説明する。
【0106】
まず、予測部１３は、予測対象オブジェクトの修正前ラベルを、予測モデルＭ１Ｂにより予測する。まず、予測部１３は、オブジェクトの特徴量から、エンティティである文字列の部分が穴抜けした文字列を作成する。予測部１３は、一例として「ジョーテイラー氏は、アメリカ合衆国の大統領である。」という文章ｄから「＜ＭＡＳＫ＞は、アメリカ合衆国の大統領である。」という文字列を作成する。この文字列において「＜ＭＡＳＫ＞」は穴抜けを表す。次いで、予測部１３は、クラス名を単語として扱い、予測モデルＭ１Ｂを利用して、穴抜け部にそれぞれのクラス名が入る確信度をスコアとして計算する。一例として、「人物」と「国家」のそれぞれのクラスの確信度として、予測部１３は、穴抜け部に「人物」が入るスコアを「０．９」と計算し、また、穴抜け部に「国家」が入るスコアを「０．１」と計算する。
【0107】
なお、予測部１３は、エンティティである文字列の部分が穴抜けした文字列を作成する際に、単にエンティティを穴抜けさせるだけでなく、クラス名が穴抜け部分により入りやすくなるように文章の一部を修正してもよい。予測部１３は例えば文章ｄから「その＜ＭＡＳＫ＞は、アメリカ合衆国の大統領である。」という文字列を生成してもよい。予測部１３は、クラス名が穴抜け部分により入りやすくなるように文章が修正される限り、必ずしもエンティティである文字列の部分を穴抜けさせる必要は無い。予測部１３は例えば文章ｄから「ジョーテイラー氏などの＜ＭＡＳＫ＞は、アメリカ合衆国の大統領である。」という文字列を生成してもよい。
【0108】
上述したように、予測部１３は、予測モデルＭ１Ｂを用いて、クラス名とスコアとのペアの集合を修正前ラベルとして予測する。類似オブジェクトに付される類似ラベルも修正前ラベルと同様に予測モデルＭ１Ｂを用いて予測される。すなわち、本例示的実施形態において、類似ラベルは、クラス名とスコアとのペアの集合である。類似ラベルは、予測部１３が予測してもよく、また、情報処理装置１Ｂ以外の他の装置が予測してもよい。
【0109】
予測部１３は、類似ラベルを参照して修正前ラベルを決定する。類似ラベルを用いた修正前ラベルの決定方法は、上述の例示的実施形態２で説明した方法と同様である。
【0110】
予測部１３は一例として、上述の情報処理方法Ｓ３００により修正前ラベルを決定する。この場合、より具体的には、予測部１３は、修正対象オブジェクトＯＢＪ＿Ａの類似オブジェクトＯＢＪ＿Ｂ、ＯＢＪ＿Ｃ、ＯＢＪ＿Ｄ、ＯＢＪ＿Ｅのそれぞれに対する類似ラベルに含まれるクラス（「国家」、「人物」、等）の順位を計算し、得られた順位から各クラスのＭＲＲを計算し、ＭＲＲの値で類似ラベルの並べ替えを行う（ステップＳ３１１）。なお、予測部１３がクラスの並べ替えに用いる値はＭＲＲに限られず、他の値であってもよい。予測部１３は例えば、各クラスに対応するスコアの平均値で並べ替えを行ってもよい。
【0111】
次いで、予測部１３は、修正前ラベルに含まれる複数のクラスをスコアに基づき並べ替える処理を行う（ステップＳ３１２）。更に、予測部１３は、ステップＳ３１２で並べ替えた上位Ｎ番目までのクラスのうち、ステップＳ３１１で並べ替えた上位Ｍ番目までのクラスの集合を、修正後ラベルとして決定する（ステップＳ３１３）。ただし、修正後ラベルの決定方法はこれに限られず、他の手法が用いられてもよい。一例として、予測部１３は、修正前ラベルを参照することなく、ステップＳ３１１で並べ替えた上位Ｍ番目までのクラスの集合を、修正後ラベルとして決定してもよい。
【0112】
また、ステップＳ３１１及びステップＳ３１２において、予測部１３は、上述したように、複数のクラスをクラス間の階層関係を参照して並び替えてもよい。例えば「人物」というクラスの下位クラスとして「大統領」、「政治家」、「ビジネスマン」等を挙げることができる。この場合、予測部１３は一例として、各クラスのスコアをそのクラスの下位クラスのスコアの中で最大のものに置き換えて並べ替える。又は、予測部１３は一例として、上位のクラスが下位のクラスよりも先にくるように並べ替えを行ってもよい。
【0113】
図１３は、クラスの階層関係と予測部１３による並べ替えの具体例を示す図である。図１３において、階層関係ＴＣ１は、「人物」というクラスの下位に「大統領」及び「ビジネスマン」というクラスがあることを示す。また、図１３において、修正前ラベルには「大統領」、「都市」、「ビジネスマン」、「人物」のクラスが含まれ、各クラスのスコアはそれぞれ「０．９」、「０．７」、「０．５」、「０．３」と算出されている。
【0114】
クラスの階層関係ＴＣ１において「人物」のクラスが「大統領」のクラスよりも上位であるため、予測部１３は、「人物」のクラスのスコアを「０．３」から「０．９」に変更するとともに、「人物」のクラスの順位が「大統領」の順位よりも高くなるよう並べ替えを行う。
【0115】
（情報処理装置の効果）
以上のように、本例示的実施形態に係る情報処理装置１Ｂにおいては、文章集合から複数のエンティティを抽出し、抽出したエンティティを含むオブジェクトに付与するラベルを決定する。これにより、本例示的実施形態に係る情報処理装置１Ｂによれば、文章から抽出されるエンティティについて、当該エンティティを含むオブジェクトに付与するラベルを高精度に決定できる。
以上のように、本例示的実施形態に係る情報処理装置１Ｂにおいては、文章集合から複数のエンティティを抽出し、抽出したエンティティを含むオブジェクトに付与するラベルを決定する。これにより、本例示的実施形態に係る情報処理装置１Ｂによれば、文章から抽出されるエンティティについて、当該エンティティを含むオブジェクトに付与するラベルを高精度に決定できる。
【0116】
また、本例示的実施形態に係る情報処理装置１Ｂにおいては、オブジェクト間の同一性を評価し、予測対象オブジェクトと同一のオブジェクトを、類似オブジェクトとして特定するという構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ｂによれば、オブジェクト間の同一性を評価することにより、予測対象オブジェクトに付与するラベルをより高精度に決定できる。
【0117】
〔例示的実施形態４〕
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0118】
図１４は、本例示的実施形態に係る情報処理装置１Ｃの構成を示すブロック図である。情報処理装置１Ｃは、制御部１０Ａ、記憶部２０Ａ、入出力部３０Ａ及び通信部４０Ａを備える。制御部１０Ａは、取得部１１、評価部１２及び予測部１３に加えて、表示部１５Ｃを備える。
【0119】
表示部１５Ｃは、入出力部３０Ａに接続された表示装置に表示画面を表すデータを出力することにより、各種画面を表示する。表示装置は一例として、液晶ディスプレイ、又はプロジェクタを含む。表示部１５Ｃは、一例として、予測対象オブジェクトを表示する。表示部１５Ｃはまた、類似オブジェクトの少なくとも何れか、又は、類似ラベルの少なくとも何れかを表示する。
【0120】
図１５は、表示部１５Ｃが表示する画面例である画面ＳＣ１１を示す図である。画面ＳＣ１１は、第１領域ａ１１１及び第２領域ａ１１２を含む。第１領域ａ１１１には、予測対象オブジェクトに含まれる文章及びエンティティが表示される。また、第１領域ａ１１１には、予測部１３が決定したラベルに含まれるクラスであって、各エンティティに対応するクラスが表示される。具体的には、「ジョーテイラー氏」というエンティティＥ１１のラベルＬＢＬ１１として「人物」及び「大統領」が表示され、「アメリカ合衆国」というエンティティＥ１２のラベルＬＢＬ１２として「国家」及び「組織」が表示されている。また、「大統領」というエンティティＥ１３のラベルＬＢＬ１３として「役職名」が表示されている。
【0121】
第２領域ａ１１２には、類似オブジェクトに含まれる文章及びエンティティが表示される。また、第２領域ａ１１２には、類似オブジェクトの類似ラベルに含まれるクラスであって、類似オブジェクトに含まれるエンティティに対応するクラスが表示される。例えば「ジョーテイラー氏」というエンティティのクラスとして「人物」及び「政治家」が表示されている。
【0122】
また、画面ＳＣ１１は、テキストボックスＴＢ１１及びボタンＢ１１を含む。テキストボックスＴＢ１１は、情報処理装置１Ｃのユーザが入出力部３０Ａに接続された入力装置（マウス、キーボード、等）を用いてクラス名を入力するためのテキストボックスである。ユーザがポインタＰ１１によりエンティティを選択してテキストボックスＴＢ１１に文字列を入力し、ボタンＢ１１を選択する操作を行うと、情報処理装置１Ｃは、入力された文字列のクラス名を、予測対象オブジェクトに付与されたラベルに追加する。換言すると、ユーザは入出力部３０Ａに接続された入力装置を用いて、予測部１３が予測対象オブジェクトに付与したラベルを変更することができる。
【0123】
また、表示部１５Ｃは、予測対象オブジェクトの修正前ラベル、又は、対象オブジェクトに付与されたラベルを表示してもよい。また、このとき、表示部１５Ｃは、類似ラベルを表示してもよい。
【0124】
図１６は、表示部１５Ｃが表示する画面例である画面ＳＣ２１を示す図である。画面ＳＣ２１は、第１領域ａ１１１、第４領域ａ２１２、及び第５領域ａ２１３を含む。第１領域ａ１１１には、画面Ｓ１１と同様に、予測対象オブジェクトに含まれる文章及びエンティティが表示される。また、第１領域ａ１１１には、予測対象オブジェクトに付与されたラベル（すなわち、予測部１３が決定したラベル）に含まれるクラスであって、各エンティティに対応するクラスが表示される。
【0125】
第４領域ａ２１２には、予測対象オブジェクトの修正前ラベルが表示される。第５領域ａ２１３には、類似ラベルが表示される。また、画面ＳＣ２１には、画面ＳＣ１１と同様に、テキストボックスＴＢ１１及びボタンＢ１１が表示される。
【0126】
本例示的実施形態によれば、情報処理装置１Ｃのユーザは、図１５に例示した画面を確認することにより、予測対象オブジェクトと、類似オブジェクト又は類似ラベルを把握することができる。また、入力装置を用いて予測対象オブジェクトのラベルを変更することもできる。
【0127】
また、本例示的実施形態によれば、図１６に例示した画面を確認することにより、予測対象オブジェクトの修正前ラベル又は予測対象オブジェクトに付与されたラベルと、類似ラベルとを把握することができる。
【0128】
〔ソフトウェアによる実現例〕
情報処理装置１、１Ａ、１Ｂ、１Ｃの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１、１Ａ、１Ｂ、１Ｃの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0129】
後者の場合、情報処理装置１、１Ａ、１Ｂ、１Ｃは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１７に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１、１Ａ、１Ｂ、１Ｃとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１、１Ａ、１Ｂ、１Ｃの各機能が実現される。
【0130】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0131】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0132】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0133】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0134】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0135】
（付記１）
オブジェクトの集合を取得する取得手段と、
前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する評価手段と、
前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する予測手段と、
を備えている情報処理装置。
オブジェクトの集合を取得する取得手段と、
前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する評価手段と、
前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する予測手段と、
を備えている情報処理装置。
【0136】
上記の構成によれば、単一の予測モデルしか存在しない場合であっても予測対象オブジェクトに付与するラベルを高精度に決定できる。
【0137】
（付記２）
前記評価手段は、前記類似ラベルの各々についてスコアを算出し、
前記予測手段は、前記スコアを更に参照して、前記予測対象オブジェクトに付与するラベルを決定する、
付記１に記載の情報処理装置。
前記評価手段は、前記類似ラベルの各々についてスコアを算出し、
前記予測手段は、前記スコアを更に参照して、前記予測対象オブジェクトに付与するラベルを決定する、
付記１に記載の情報処理装置。
【0138】
上記の構成によれば、類似ラベルのスコアを加味して予測対象オブジェクトに付与するラベルを決定することができる。
【0139】
（付記３）
前記予測手段は、
前記予測対象オブジェクトの修正前ラベルを前記予測モデルによって予測し、
前記類似ラベルを前記予測モデルによって予測し、
前記修正前ラベルを前記類似ラベルを参照して修正することによって得られる修正後ラベルを、前記予測対象オブジェクトに付与するラベルとして決定する、
付記１又は２に記載の情報処理装置。
前記予測手段は、
前記予測対象オブジェクトの修正前ラベルを前記予測モデルによって予測し、
前記類似ラベルを前記予測モデルによって予測し、
前記修正前ラベルを前記類似ラベルを参照して修正することによって得られる修正後ラベルを、前記予測対象オブジェクトに付与するラベルとして決定する、
付記１又は２に記載の情報処理装置。
【0140】
上記の構成によれば、予測モデルによって予測した予測対象オブジェクトの修正前ラベルを高精度に修正することができる。
【0141】
（付記４）
前記評価手段は、複数の類似オブジェクトを特定し、
前記予測手段は、
前記複数の類似オブジェクトに付与された複数の類似ラベルから、１又は複数の類似ラベルを抽出し、
抽出した１又は複数の類似ラベルと前記修正前ラベルとを比較することによって、前記修正後ラベルを決定する、
付記３に記載の情報処理装置。
前記評価手段は、複数の類似オブジェクトを特定し、
前記予測手段は、
前記複数の類似オブジェクトに付与された複数の類似ラベルから、１又は複数の類似ラベルを抽出し、
抽出した１又は複数の類似ラベルと前記修正前ラベルとを比較することによって、前記修正後ラベルを決定する、
付記３に記載の情報処理装置。
【0142】
上記の構成によれば、抽出した類似ラベルを用いることにより、予測モデルによって予測した予測対象オブジェクトの修正前ラベルをより高精度に修正することができる。
【0143】
（付記５）
前記予測手段は、
前記複数の類似オブジェクトの各々に付与された複数の類似ラベルと各類似ラベルのスコアとを参照して、前記複数の類似オブジェクトに付与された複数の類似ラベルの並べ替えを行い、
前記対象オブジェクトに関する複数の修正前ラベルと各修正前ラベルのスコアとを参照して、前記対象オブジェクトに関する複数の修正前ラベルの並べ替えを行い、
前記対象オブジェクトに関する上位Ｎ番目（Ｎは自然数）までの修正前ラベルのうち、前記複数の類似オブジェクトに付与された上位Ｍ番目（Ｍは自然数）までの類似ラベルに含まれる修正前ラベルを、前記修正後ラベルとして決定する、
付記３又は４に記載の情報処理装置。
前記予測手段は、
前記複数の類似オブジェクトの各々に付与された複数の類似ラベルと各類似ラベルのスコアとを参照して、前記複数の類似オブジェクトに付与された複数の類似ラベルの並べ替えを行い、
前記対象オブジェクトに関する複数の修正前ラベルと各修正前ラベルのスコアとを参照して、前記対象オブジェクトに関する複数の修正前ラベルの並べ替えを行い、
前記対象オブジェクトに関する上位Ｎ番目（Ｎは自然数）までの修正前ラベルのうち、前記複数の類似オブジェクトに付与された上位Ｍ番目（Ｍは自然数）までの類似ラベルに含まれる修正前ラベルを、前記修正後ラベルとして決定する、
付記３又は４に記載の情報処理装置。
【0144】
上記の構成によれば、予測対象オブジェクトに付与する複数のラベルを高精度に決定できる。
【0145】
（付記６）
前記予測手段は、
前記複数の類似オブジェクトに付与された複数の類似ラベルを、当該複数の類似ラベル間の階層関係を参照して更に並び替え、
前記対象オブジェクトに関する上位Ｎ番目（Ｎは自然数）までの修正前ラベルのうち、前記複数の類似オブジェクトに付与された上位Ｍ番目（Ｍは自然数）までの類似ラベルに含まれる修正前ラベルを、前記修正後ラベルとして決定する、
付記５に記載の情報処理装置。
前記予測手段は、
前記複数の類似オブジェクトに付与された複数の類似ラベルを、当該複数の類似ラベル間の階層関係を参照して更に並び替え、
前記対象オブジェクトに関する上位Ｎ番目（Ｎは自然数）までの修正前ラベルのうち、前記複数の類似オブジェクトに付与された上位Ｍ番目（Ｍは自然数）までの類似ラベルに含まれる修正前ラベルを、前記修正後ラベルとして決定する、
付記５に記載の情報処理装置。
【0146】
上記の構成によれば、予測対象オブジェクトに付与する複数のラベルを、階層関係を加味してより高精度に決定することができる。
【0147】
（付記７）
前記評価手段は、オブジェクト間の類似関係を表すグラフを出力することによって、前記１又は複数の類似オブジェクトを特定し、
前記予測手段は、
前記グラフを参照して、前記予測対象オブジェクトから所定のホップ数以内に存在する１又は複数の類似オブジェクトを抽出し、
抽出した１又は複数の類似オブジェクトの各々に付与された前記類似ラベルを参照して、前記予測対象オブジェクトに付与するラベルを決定する、
付記１から６の何れか１つの記載の情報処理装置。
前記評価手段は、オブジェクト間の類似関係を表すグラフを出力することによって、前記１又は複数の類似オブジェクトを特定し、
前記予測手段は、
前記グラフを参照して、前記予測対象オブジェクトから所定のホップ数以内に存在する１又は複数の類似オブジェクトを抽出し、
抽出した１又は複数の類似オブジェクトの各々に付与された前記類似ラベルを参照して、前記予測対象オブジェクトに付与するラベルを決定する、
付記１から６の何れか１つの記載の情報処理装置。
【0148】
上記の構成によれば、オブジェクト間の類似関係を表すグラフを用いて予測対象オブジェクトに付与するラベルをより高精度に決定できる。
【0149】
（付記８）
前記取得手段は、
文章集合を受け付ける受付手段と、
前記文章集合から複数のエンティティを抽出するエンティティ抽出手段と、
を備え、
前記エンティティ抽出手段によって抽出された複数のエンティティ、又は、
前記エンティティ抽出手段によって抽出された複数のエンティティと、当該複数のエンティティの抽出元の文章との組、
を前記オブジェクトの集合として取得する、
付記１から７の何れか１つに記載の情報処理装置。
前記取得手段は、
文章集合を受け付ける受付手段と、
前記文章集合から複数のエンティティを抽出するエンティティ抽出手段と、
を備え、
前記エンティティ抽出手段によって抽出された複数のエンティティ、又は、
前記エンティティ抽出手段によって抽出された複数のエンティティと、当該複数のエンティティの抽出元の文章との組、
を前記オブジェクトの集合として取得する、
付記１から７の何れか１つに記載の情報処理装置。
【0150】
上記の構成によれば、単一の予測モデルしか存在しない場合であっても、文章から抽出されるエンティティについて、当該エンティティを含むオブジェクトに付与するラベルを高精度に決定できる。
【0151】
（付記９）
前記評価手段は、
前記オブジェクトの集合に含まれるオブジェクト間の同一性を評価し、前記予測対象オブジェクトと同一のオブジェクトを、前記類似オブジェクトとして特定する同一性評価手段を備えている、
付記１から８の何れか１つに記載の情報処理装置。
前記評価手段は、
前記オブジェクトの集合に含まれるオブジェクト間の同一性を評価し、前記予測対象オブジェクトと同一のオブジェクトを、前記類似オブジェクトとして特定する同一性評価手段を備えている、
付記１から８の何れか１つに記載の情報処理装置。
【0152】
上記の構成によれば、オブジェクト間の同一性を評価することにより、予測対象オブジェクトに付与するラベルをより高精度に決定できる。
【0153】
（付記１０）
前記予測対象オブジェクト、及び、
前記類似オブジェクトの少なくとも何れか、又は、前記類似ラベルの少なくとも何れかを表示する表示手段、
を備えている付記１から９の何れか１つに記載の情報処理装置。
前記予測対象オブジェクト、及び、
前記類似オブジェクトの少なくとも何れか、又は、前記類似ラベルの少なくとも何れかを表示する表示手段、
を備えている付記１から９の何れか１つに記載の情報処理装置。
【0154】
上記の構成によれば、情報処理装置のユーザは、予測対象オブジェクト、及び、類似オブジェクト又は類似ラベルを把握することができる。
【0155】
（付記１１）
前記予測対象オブジェクトの修正前ラベル、又は、前記対象オブジェクトに付与されたラベル、及び、
前記類似ラベル、
を表示する表示手段、
を備えている付記１から９の何れか１項に記載の情報処理装置。
前記予測対象オブジェクトの修正前ラベル、又は、前記対象オブジェクトに付与されたラベル、及び、
前記類似ラベル、
を表示する表示手段、
を備えている付記１から９の何れか１項に記載の情報処理装置。
【0156】
上記の構成によれば、情報処理装置のユーザは、予測対象オブジェクトの修正前ラベル又は対象オブジェクトに付与されたラベルと、類似ラベルとを把握することができる。
【0157】
（付記１２）
オブジェクトの集合を取得することと、
前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定することと、
前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定することとを含む情報処理方法。
オブジェクトの集合を取得することと、
前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定することと、
前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定することとを含む情報処理方法。
【0158】
上記の情報処理方法によれば、上述した情報処理装置と同様の効果を奏する。
【0159】
（付記１３）
コンピュータに、
オブジェクトの集合を取得する処理と、
前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する処理と、
前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する処理と、
を実行させる情報処理プログラム。
コンピュータに、
オブジェクトの集合を取得する処理と、
前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する処理と、
前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する処理と、
を実行させる情報処理プログラム。
【0160】
上記の構成によれば、上述した情報処理装置と同様の効果を奏する。
【0161】
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
【0162】
少なくとも１つのプロセッサを備え、前記プロセッサは、オブジェクトの集合を取得する取得処理と、前記オブジェクトの集合に含まれるオブジェクト間の類似度を評価し、予測対象オブジェクトに類似する１又は複数の類似オブジェクトを特定する評価処理と、前記予測対象オブジェクトに付与するラベルを、前記１又は複数の類似オブジェクトの各々に付与されたラベルであって予測モデルによって予測されたラベルである類似ラベルを参照して決定する予測処理とを実行する情報処理装置。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記評価処理と、前記予測処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記評価処理と、前記予測処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0163】
１、１Ａ、１Ｂ、１Ｃ 情報処理装置
１０Ａ 制御部
１１ 取得部
１２ 評価部
１３ 予測部
１５Ｃ 表示部
２０Ａ 記憶部
３０Ａ 入出力部
４０Ａ 通信部
１１１Ｂ 受付部
１１２Ｂ エンティティ抽出部
１２１Ｂ 同一性評価部
１０Ａ 制御部
１１ 取得部
１２ 評価部
１３ 予測部
１５Ｃ 表示部
２０Ａ 記憶部
３０Ａ 入出力部
４０Ａ 通信部
１１１Ｂ 受付部
１１２Ｂ エンティティ抽出部
１２１Ｂ 同一性評価部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】