知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024079224
(43)【公開日】2024-06-11
(54)【発明の名称】データ処理方法及びデータ処理装置
(51)【国際特許分類】
G06F 16/583 20190101AFI20240604BHJP
G06F 16/55 20190101ALI20240604BHJP
【ＦＩ】
G06F16/583
G06F16/55
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022192044
(22)【出願日】2022-11-30
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】陳 放歌
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA02
5B175FA00
5B175GB04
5B175HB03
(57)【要約】
【課題】評価単語との類似度が最も高い画像を出力する際に、画像間の類似度の差が少なくても、出力する画像を決めやすくする。
【解決手段】データ処理方法では、複数の候補画像０１１と評価単語０１３とを入力部００１に入力し、入力した候補画像０１１のうち、評価単語０１３との第１の類似度が最も高い候補画像０１１を出力する。抽出部００２が、候補画像０１１間での評価単語０１３との第１の類似度の第１の差分を算出し、第１の差分が第１の閾値以下である場合に、関連単語探索部００３が、評価単語０１３を含む複数の文章から、その文章において、評価単語０１３に対して第１の関連度以上の関連度で登場する関連単語０３１を探索する。抽出部００２が、複数の候補画像０１１と関連単語０３１との第２の類似度を算出し、第２の類似度に基づいて第１の類似度を補正し、出力部００４が、補正後の第１の類似度が最も高い候補画像０１１を出力する。
【選択図】図１
【解決手段】データ処理方法では、複数の候補画像０１１と評価単語０１３とを入力部００１に入力し、入力した候補画像０１１のうち、評価単語０１３との第１の類似度が最も高い候補画像０１１を出力する。抽出部００２が、候補画像０１１間での評価単語０１３との第１の類似度の第１の差分を算出し、第１の差分が第１の閾値以下である場合に、関連単語探索部００３が、評価単語０１３を含む複数の文章から、その文章において、評価単語０１３に対して第１の関連度以上の関連度で登場する関連単語０３１を探索する。抽出部００２が、複数の候補画像０１１と関連単語０３１との第２の類似度を算出し、第２の類似度に基づいて第１の類似度を補正し、出力部００４が、補正後の第１の類似度が最も高い候補画像０１１を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の画像と少なくとも１以上の評価単語とを入力部に入力し、
前記入力部に入力した複数の画像のうち、前記評価単語との第１の類似度が最も高い前記画像を出力するデータ処理方法において、
前記複数の画像間での前記第１の類似度の第１の差分を算出し、
前記第１の差分が第１の閾値以下である場合に、
前記評価単語を含む複数の文章から、前記文章において、前記評価単語に対して第１の関連度以上の関連度で登場する１又は２以上の関連単語を抽出し、
前記複数の画像と前記関連単語との第２の類似度をそれぞれ算出し、
前記第２の類似度に基づいて、前記第１の類似度を補正し、
前記補正後の第１の類似度が最も高い前記画像を出力する、
データ処理方法。
前記入力部に入力した複数の画像のうち、前記評価単語との第１の類似度が最も高い前記画像を出力するデータ処理方法において、
前記複数の画像間での前記第１の類似度の第１の差分を算出し、
前記第１の差分が第１の閾値以下である場合に、
前記評価単語を含む複数の文章から、前記文章において、前記評価単語に対して第１の関連度以上の関連度で登場する１又は２以上の関連単語を抽出し、
前記複数の画像と前記関連単語との第２の類似度をそれぞれ算出し、
前記第２の類似度に基づいて、前記第１の類似度を補正し、
前記補正後の第１の類似度が最も高い前記画像を出力する、
データ処理方法。
【請求項2】
前記複数の画像間での前記補正後の第１の類似度の第２の差分を算出し、
前記第２の差分が第２の閾値以下である場合に、
前記関連単語を含む複数の文章から、前記関連単語を含む文章において、前記関連単語に対して第２の関連度以上の関連度で登場する１又は２以上のサブ関連単語を抽出し、
前記複数の画像と前記サブ関連単語との第３の類似度をそれぞれ算出し、
前記第３の類似度に基づいて、前記第２の類似度を補正し、
前記補正後の第２の類似度に基づいて、前記第１の類似度を補正し、
前記補正後の第１の類似度が最も高い前記画像を出力する、
請求項１に記載のデータ処理方法。
前記第２の差分が第２の閾値以下である場合に、
前記関連単語を含む複数の文章から、前記関連単語を含む文章において、前記関連単語に対して第２の関連度以上の関連度で登場する１又は２以上のサブ関連単語を抽出し、
前記複数の画像と前記サブ関連単語との第３の類似度をそれぞれ算出し、
前記第３の類似度に基づいて、前記第２の類似度を補正し、
前記補正後の第２の類似度に基づいて、前記第１の類似度を補正し、
前記補正後の第１の類似度が最も高い前記画像を出力する、
請求項１に記載のデータ処理方法。
【請求項3】
前記関連単語は、ナレッジグラフのグラフデータベースにおいて、前記評価単語のノードと前記画像のノードとの双方に、直接又は他のノードを介して、エッジによりそれぞれ接続されるノードの単語から抽出される請求項１に記載のデータ処理方法。
【請求項4】
前記グラフデータベースにおける、前記評価単語と１又は２以上の前記関連単語との関連度の総和に占める前記関連単語毎の前記評価単語との関連度の割合に対応する重み付け係数により、前記第２の類似度を前記関連単語毎にそれぞれ重み付けし、
重み付け後の前記第２の類似度に基づいて、前記第１の類似度を補正する、
請求項３に記載のデータ処理方法。
重み付け後の前記第２の類似度に基づいて、前記第１の類似度を補正する、
請求項３に記載のデータ処理方法。
【請求項5】
前記サブ関連単語は、ナレッジグラフのグラフデータベースにおいて、前記関連単語のノードと前記画像のノードとの双方に、直接又は他のノードを介して、エッジによりそれぞれ接続されるノードの単語から抽出される請求項２に記載のデータ処理方法。
【請求項6】
前記グラフデータベースにおける、前記関連単語と１又は２以上の前記サブ関連単語との関連度の総和に占める前記サブ関連単語毎の前記関連単語との関連度の割合に対応する重み付け係数により、前記第３の類似度を前記サブ関連単語毎にそれぞれ重み付けし、
重み付け後の前記第３の類似度に基づいて、前記第２の類似度を補正する、
請求項５に記載のデータ処理方法。
重み付け後の前記第３の類似度に基づいて、前記第２の類似度を補正する、
請求項５に記載のデータ処理方法。
【請求項7】
前記第１の差分が前記第１の閾値以下である場合とは、
前記複数の画像間についてそれぞれ算出した複数の前記第１の差分の平均が第３の閾値以下である場合、又は、前記複数の画像間についてそれぞれ算出した複数の前記第１の差分の最小値が第４の閾値以下である場合である、
請求項１に記載のデータ処理方法。
前記複数の画像間についてそれぞれ算出した複数の前記第１の差分の平均が第３の閾値以下である場合、又は、前記複数の画像間についてそれぞれ算出した複数の前記第１の差分の最小値が第４の閾値以下である場合である、
請求項１に記載のデータ処理方法。
【請求項8】
前記第２の差分が前記第２の閾値以下である場合とは、
前記複数の画像間についてそれぞれ算出した複数の前記第２の差分の平均が第５の閾値以下である場合、又は、前記複数の画像間についてそれぞれ算出した複数の前記第２の差分の最小値が第６の閾値以下である場合である、
請求項２に記載のデータ処理方法。
前記複数の画像間についてそれぞれ算出した複数の前記第２の差分の平均が第５の閾値以下である場合、又は、前記複数の画像間についてそれぞれ算出した複数の前記第２の差分の最小値が第６の閾値以下である場合である、
請求項２に記載のデータ処理方法。
【請求項9】
前記評価単語を、既存の情報源から情報収集可能な物理量によって数値化される物理指標と、前記物理量以外の量によって数値化される抽象指標とに分類し、
前記物理指標に分類される前記評価単語と前記画像との第４の類似度を、前記物理量によって数値化し、
前記抽象指標に分類される前記評価単語と前記画像との第５の類似度を、前記物理量以外の量によって数値化し、
前記第４の類似度と、前記第５の類似度とを、前記第１の類似度とする、
請求項１に記載のデータ処理方法。
前記物理指標に分類される前記評価単語と前記画像との第４の類似度を、前記物理量によって数値化し、
前記抽象指標に分類される前記評価単語と前記画像との第５の類似度を、前記物理量以外の量によって数値化し、
前記第４の類似度と、前記第５の類似度とを、前記第１の類似度とする、
請求項１に記載のデータ処理方法。
【請求項10】
前記第５の類似度を、前記画像及び前記評価単語を入力とし前記画像のベクトル及び前記評価単語のベクトルを出力とする機械学習モデルを用いて数値化する請求項９に記載のデータ処理方法。
【請求項11】
前記評価単語及び前記関連単語は、ユーザの発言をテキスト化したテキストデータから抽出される請求項１に記載のデータ処理方法。
【請求項12】
前記評価単語、前記関連単語及び前記サブ関連単語は、ユーザの発言をテキスト化したテキストデータから抽出される請求項２に記載のデータ処理方法。
【請求項13】
前記補正後の第１の類似度が最も高い前記画像は、ユーザが視認する表示デバイスに出力される請求項１又は２に記載のデータ処理方法。
【請求項14】
前記画像は、車両周辺の状況の画像を撮影した車載型の映像記録装置から入力される請求項１に記載のデータ処理方法。
【請求項15】
複数の画像と少なくとも１以上の評価単語とが入力される入力部と、
前記入力部に入力した複数の画像のうち、前記評価単語との第１の類似度が最も高い前記画像を抽出する抽出部と、
前記抽出部が抽出した前記画像を出力する出力部と、
前記複数の画像間での前記第１の類似度の第１の差分が第１の閾値以下である場合に、前記評価単語を含む複数の文章から、前記文章において、前記評価単語に対して第１の関連度以上の関連度で登場する１又は２以上の関連単語を探索する関連単語探索部とを備え、
前記抽出部は、前記第１の差分が前記第１の閾値以下である場合に、前記複数の画像と前記関連単語との第２の類似度をそれぞれ算出し、前記第２の類似度に基づいて、前記第１の類似度を補正し、前記補正後の第１の類似度が最も高い前記画像を抽出する、
データ処理装置。
前記入力部に入力した複数の画像のうち、前記評価単語との第１の類似度が最も高い前記画像を抽出する抽出部と、
前記抽出部が抽出した前記画像を出力する出力部と、
前記複数の画像間での前記第１の類似度の第１の差分が第１の閾値以下である場合に、前記評価単語を含む複数の文章から、前記文章において、前記評価単語に対して第１の関連度以上の関連度で登場する１又は２以上の関連単語を探索する関連単語探索部とを備え、
前記抽出部は、前記第１の差分が前記第１の閾値以下である場合に、前記複数の画像と前記関連単語との第２の類似度をそれぞれ算出し、前記第２の類似度に基づいて、前記第１の類似度を補正し、前記補正後の第１の類似度が最も高い前記画像を抽出する、
データ処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理方法及びデータ処理装置に関する。
【背景技術】
【0002】
特許文献１には、車両の行き先案内システムが記載されている。このシステムでは、現在の車両の位置を考慮して、複数の施設・スポットを行先候補として選択する。各行先候補が提示された際の運転者の反応として予測される感情をそれぞれ予測し、運転者が最も好ましいと感じることを表す感情値を与える施設・スポットを、推奨される行先として運転者に提示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１６９９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１のシステムでは、複数の行先候補の間で、予測された感情に対応する感情値の差が少ない場合、行先候補の優劣をはっきり弁別できない可能性がある。行先候補の優劣をはっきり弁別できないと、運転者が最も好ましいと感じることを表す感情値を与える施設・スポットを、推奨される行先として運転者に提示できなくなる。
【0005】
本発明は前記事情に鑑みなされたもので、本発明の目的は、評価単語との類似度が最も高い画像を出力する際に、画像間の類似度の差が少なくても、出力する画像を決めやすくすることである。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一つの態様に係るデータ処理方法は、複数の画像と少なくとも１以上の評価単語とを入力部に入力し、入力部に入力した複数の画像のうち、評価単語との第１の類似度が最も高い画像を出力する方法を提供する。この方法では、複数の画像間での第１の類似度の第１の差分を算出し、算出した第１の差分が第１の閾値以下である場合に、評価単語を含む複数の文章から、文章において評価単語に対して第１の関連度以上の関連度で登場する１又は２以上の関連単語を抽出する。また、複数の画像と関連単語との第２の類似度をそれぞれ算出する。さらに、第２の類似度に基づいて、第１の類似度を補正する。補正後の第１の類似度が最も高い画像を出力する。
【発明の効果】
【0007】
本発明によれば、評価単語との類似度が最も高い画像を出力する際に、画像間の類似度の差が少なくても、出力する画像を決めやすくすることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。
【0010】
図１を参照して、本発明の一実施形態に係る配車装置を含む配車システムの構成を説明する。
【0011】
本実施形態に係るデータ処理装置１は、入力部００１、抽出部００２、関連単語探索部００３及び出力部００４を有している。本実施形態に係るデータ処理装置１は、本実施形態に係るデータ処理方法を実施することができる。
【0012】
データ処理装置１は、例えば、汎用のマイクロコントローラを有している。マイクロコントローラは、ＣＰＵ（Central Processing Unit ）及びメモリを備える。メモリは、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。
【0013】
マイクロコントローラは、メモリに記憶させたプログラムをＣＰＵが実行することで、複数の情報処理回路を仮想的に構築することができる。複数の情報処理回路は、データ処理装置１の各部００１～００４を構成することができる。
【0014】
本実施形態では、マイクロコントローラに構築される複数の情報処理回路をソフトウェアによって実現する例を示す。もちろん、各部００１～００４の以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。専用のハードウェアは、各部００１～００４の機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ；Application Specific Integrated Circuit ）、従来型の回路部品のような装置を含む。
【0015】
本実施形態のデータ処理装置１では、複数の画像として、複数の候補画像０１１を入力部００１に入力する。データ処理装置１では、少なくとも１つの評価単語０１３を入力部００１に入力する。入力部００１に入力した複数の候補画像０１１のうち、評価単語０１３との第１の類似度が最も高い候補画像０１１を抽出部００２が抽出し、抽出した候補画像０１１を出力部００４が出力する。
【0016】
抽出部００２は、評価単語０１３との第１の類似度が最も高い候補画像０１１を抽出する際に、複数の候補画像０１１間での第１の類似度の第１の差分を算出する。抽出部００２が算出した第１の差分が第１の閾値以下である場合は、関連単語探索部００３が、評価単語０１３を含む複数の文章から、文章において評価単語０１３に対して第１の関連度以上の関連度で登場する１又は２以上の関連単語０３１を探索する。
【0017】
評価単語０１３に対する関連単語０３１の関連度は、例えば、評価単語０１３と関連単語０３１との意味的距離又は地理的距離によって評価することができる。評価単語０１３に対する関連単語０３１の関連度は、例えば、評価単語０１３を含む文章に関連単語０３１が登場する頻度によって評価してもよい。
【0018】
評価単語０１３と関連単語０３１との意味的距離とは、例えば、評価単語０１３が表す意味と関連単語０３１が表す意味との近さを示す距離とすることができる。意味の近さを意味的距離とする場合は、評価単語０１３が表す意味と関連単語０３１が表す意味とが近いほど、評価単語０１３と関連単語０３１との意味的距離は短くなる。評価単語０１３と関連単語０３１との意味的距離が短いほど、評価単語０１３に対する関連単語０３１の関連度は高くなる。評価単語０１３と関連単語０３１との意味的距離は、例えば、評価単語０１３及び関連単語０３１をそれぞれベクトル化した特徴量ベクトル同士の距離の長さによって評価することができる。
【0019】
評価単語０１３と関連単語０３１との地理的距離とは、例えば、評価単語０１３と関連単語０３１とを含む文章内での両者の単語間距離とすることができる。単語間距離を地理的距離とする場合は、１つの文章内で評価単語０１３と関連単語０３１との間に配置された単語が少ないほど、評価単語０１３と関連単語０３１との地理的距離は短くなる。評価単語０１３と関連単語０３１との地理的距離が短いほど、評価単語０１３に対する関連単語０３１の関連度は高くなる。評価単語０１３と関連単語０３１との地理的距離は、例えば、１つの文章において評価単語０１３と関連単語０３１との間に配置された単語の数によって評価することができる。
【0020】
評価単語０１３を含む文章に関連単語０３１が登場する頻度は、例えば、評価単語０１３を含む全ての文章に対する、評価単語０１３と関連単語０３１とを両方含む文章が占める割合で表すことができる。この割合が高いほど、評価単語０１３を含む文章に関連単語０３１が登場する頻度は高くなり、評価単語０１３に対する関連単語０３１の関連度が高くなる。
【0021】
評価単語０１３に対する関連単語０３１の関連度は、例えば、マハラノビス距離等の、特定の分布における評価単語０１３と関連単語０３１との距離によって評価してもよい。
【0022】
関連単語探索部００３が関連単語０３１を探索した場合、抽出部００２は、複数の候補画像０１１と関連単語０３１との第２の類似度をそれぞれ算出する。さらに、抽出部００２は、第２の類似度に基づいて、先に算出した第１の類似度を補正し、補正後の第１の類似度が最も高い候補画像０１１を抽出する。出力部００４は、抽出部００２が抽出した、補正後の第１の類似度が最も高い候補画像０１１を出力する。
【0023】
評価単語０１３との第１の類似度又は補正後の第１の類似度が最も高い候補画像０１１を出力する態様には、次の第１～第３の態様のような例がある。
【0024】
第１の態様は、車両の行き先の候補となる複数の場所の候補画像０１１のうち、車両に乗車したユーザの要望に対応する評価単語０１３との類似度が最も高い候補画像０１１を出力する、という態様である。第１の態様では、候補画像０１１の出力を、例えば、ユーザが視認可能な画面に候補画像０１１を表示することによって行うことが考えられる。
【0025】
第２の態様は、ユーザが乗車している車両から撮影した候補画像０１１のうち、乗車中のユーザの希望に対応する評価単語０１３との類似度が最も高い候補画像０１１を出力する、という態様である。候補画像０１１は、例えば、ユーザが乗車している車両に搭載したドライブレコーダによって撮影された、車両周辺の風景の画像であってもよい。ドライブレコーダは、車両周辺の状況の画像を撮影した車載型の映像記録装置である。第２の態様では、候補画像０１１の出力を、例えば、記録装置に候補画像０１１のデータを記憶することによって行うことが考えられる。
【0026】
第３の態様は、ユーザがポジショニングマップに展開して評価したい複数の対象の候補画像０１１のうち、ユーザの要望に対応する評価単語０１３との類似度が高い複数の候補画像０１１を、ポジショニングマップ上に展開する、という態様である。
【0027】
ポジショニングマップは、例えば２つの軸によって構成される象限上に、それぞれの内容に応じて複数の候補画像０１１を配置したものである。ポジショニングマップの軸は、ユーザの要望に対応する少なくとも１つの評価単語０１３の軸を含むことができる。
【0028】
第３の態様では、候補画像０１１の出力を、例えば、候補画像０１１を配置したポジショニングマップを、ユーザが視認可能な画面に表示することによって行うことが考えられる。
【0029】
データ処理装置１が、評価単語０１３との第１の類似度又は補正後の第１の類似度が最も高い候補画像０１１を出力する態様は、上述した第１～第３の態様に限定されない。
【0030】
以下、本実施形態のデータ処理装置１の詳細な構成及び動作について説明する。
【0031】
入力部００１には、複数の候補画像０１１及び少なくとも１つの評価単語０１３が入力される。入力部００１には、候補リスト０１２がさらに入力される。候補リスト０１２は、各候補画像０１１に付与された説明用のキャプションのリストである。キャプションは、説明文とも言われるが、本実施形態のキャプションは、文章だけでなく単語も含む。候補リスト０１２のキャプションは、抽出部００２及び関連単語探索部００３において使用する。候補リスト０１２のキャプションの使用形態については後述する。
【0032】
例えば、入力部００１に入力する複数の候補画像０１１を、第１の態様のように、車両の行き先の候補となる複数の場所の画像とする場合、候補リスト０１２は、ユーザが行ってみたい行き先のリストとすることができる。候補リスト０１２の行き先は、例えば、地名、施設名等であってもよい。地名は地域名を含んでいてもよい。
【0033】
ユーザが行ってみたい行き先の候補リスト０１２は、例えば、過去の一定期間に車両が訪れた場所から抽出した行き先のリストであってもよい。一定期間は、例えば、車両が過去に運転された期間のうち最新の一定時間分の期間としてもよく、車両が過去に走行した距離のうち最新の一定距離分を走行した期間としてもよい。
【0034】
車両が過去に訪れた場所から抽出する行き先は、過去の一定期間に訪れた場所からランダムに抽出してもよく、例えば、過去の一定期間に訪れた場所のうち訪れた頻度が高い方から順に抽出してもよい。車両が訪れた場所の抽出は、例えば、車両のナビゲーション装置（図示せず）によって行ってもよい。
【0035】
ユーザが行ってみたい行き先の候補リスト０１２は、例えば、車両のユーザがナビゲーション装置に対して行う設定により、ナビゲーション装置に予め登録しておくことができる。ナビゲーション装置に登録した候補リスト０１２は、例えば、ナビゲーション装置から入力部００１に入力することができる。
【0036】
候補リスト０１２を、ユーザが行ってみたい行き先のリストとする場合、入力部００１に入力する、候補リスト０１２の各行き先に対応する複数の候補画像０１１は、例えば、行き先をキーワードとしたインターネット検索によって取得することができる。インターネット検索によって取得した複数の候補画像０１１は、候補画像０１１を提供するインターネット上の不図示のサーバからインターネットを介して入力部００１に入力することができる。
【0037】
インターネット上のサーバから取得する候補画像０１１は、例えば、サーバに候補画像０１１を登録した日付が、現在の日付から一定期間遡った過去の所定の日付以降の、最近の画像に限定してもよい。
【0038】
例えば、入力部００１に入力する複数の候補画像０１１を、第２の態様のように、ユーザが乗車している車両から撮影した画像とする場合、候補リスト０１２は、画像の撮影時における車両の走行場所を示す地名のリストとすることができる。
【0039】
車両のドライブレコーダ（図示せず）のカメラで車両周辺の画像を周期的に撮影する場合、画像の撮影時における車両の位置は、例えば、車両のＧＮＳＳ（Global Navigation Satellite System／全球測位衛星システム）センサで検出することができる。ＧＮＳＳセンサで検出した位置の地名は、例えば、ナビゲーション装置から取得することができる。画像の撮影時における車両の走行場所を示す地名の候補リスト０１２は、例えば、ナビゲーション装置から入力部００１に入力することができる。
【0040】
ドライブレコーダの画像の撮影時における車両の走行場所を示す地名は、ドライブレコーダが画像を撮影する度に、ナビゲーション装置から入力部００１に入力される。入力部００１は、ナビゲーション装置から地名が入力される度に、候補リスト０１２の内容を追加更新することができる。
【0041】
候補リスト０１２を、ドライブレコーダの画像の撮影時における車両の走行場所の地名のリストとする場合、入力部００１に入力する複数の候補画像０１１は、ドライブレコーダにおいて撮影された画像のフレームデータとなる。複数の候補画像０１１は、ドライブレコーダにおいて画像が撮影される度に、ドライブレコーダから入力部００１に入力することができる。
【0042】
例えば、入力部００１に入力する複数の候補画像０１１を、第３の態様のように、ユーザがポジショニングマップに展開して評価したい対象の画像とする場合、候補リスト０１２は、評価対象のリストとすることができる。候補リスト０１２の評価対象は、例えば、商品であってもよく、車両の行き先であってもよい。
【0043】
評価対象が商品である場合、候補リスト０１２は、例えば、商品名のリストとすることができる。商品が車両である場合は、車両名のリストを候補リスト０１２とすることができる。評価対象が車両の行き先である場合、候補リスト０１２は、例えば、ユーザが行ってみたい行き先のリストとすることができる。
【0044】
ユーザが行ってみたい行き先の候補リスト０１２は、例えば、ナビゲーション装置に予め登録しておき、ナビゲーション装置から入力部００１に入力することができる。
【0045】
ユーザが評価したい商品の候補リスト０１２の商品名は、例えば、ユーザがキーボード等の入力デバイスを用いて入力部００１に入力することができる。入力部００１は、入力デバイスから商品名が入力される度に、候補リスト０１２の内容を追加更新することができる。
【0046】
候補リスト０１２を、ユーザがポジショニングマップに展開して評価したい評価対象のリストとする場合、入力部００１には、候補リスト０１２の各評価対象に対応する複数の候補画像０１１を入力する。候補リスト０１２の各評価対象に対応する複数の候補画像０１１は、例えば、評価対象の商品名、行き先等をキーワードとしたインターネット検索によって取得することができる。
【0047】
インターネット検索によって取得した複数の候補画像０１１は、候補画像０１１を提供するインターネット上の不図示のサーバからインターネットを介して入力部００１に入力することができる。インターネットから取得する候補画像０１１は、最近の画像に限定してもよい。
【0048】
入力部００１には、評価単語０１３を含む文章が入力される。評価単語０１３は、入力部００１に入力される複数の候補画像０１１から１つの候補画像０１１を選ぶ際の指標とする単語である。評価単語０１３は、ユーザの希望を反映した単語とすることができ、例えば、形容詞機能を有する単語とすることができる。評価単語０１３を含む文章でなく、評価単語０１３が単体で入力部００１に入力されてもよい。
【0049】
評価単語０１３を含む文章は、テキストデータで入力部００１に入力してもよい。評価単語０１３を含む文章は、ユーザの発言の音声データで入力部００１に入力し、入力部００１においてテキスト化して、音声データからテキストデータに変換してもよい。
【0050】
入力部００１は、入力部００１に入力された、評価単語０１３を含む文章のテキストデータを、形態素解析することができる。形態素解析では、入力されたテキストデータを形態素（言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する。この判定により、入力部００１は、入力されたテキストデータから、形容詞機能を有する単語（形容詞、形容動詞）を評価単語０１３として抽出することができる。
【0051】
図２Ａは、入力部００１が行う処理手順の一例を示すフローチャートである。図２Ａの処理手順は、例えば、第１又は第３の態様のように、候補リスト０１２と、候補リスト０１２に対応する複数の候補画像０１１とが入力部００１に入力される場合に適している。
【0052】
入力部００１は、ユーザの希望を反映した単語を含む文章のテキストデータを取得する（ステップＳ１０１）。入力部００１は、取得したテキストデータの文章から、形容詞機能を有する単語を、評価単語０１３として抽出し（ステップＳ１０３）、抽出部００２に送信する（ステップＳ１０５）。
【0053】
入力部００１は、候補リスト０１２を取得する（ステップＳ１０７）。入力部００１は、取得した候補リスト０１２に対応する最近の候補画像０１１を取得する（ステップＳ１０９）。
【0054】
入力部００１は、取得した候補画像０１１と候補リスト０１２とを、抽出部００２に送信する（ステップＳ１１１）。
【0055】
図２Ｂは、入力部００１が行う処理手順の他の例を示すフローチャートである。図２Ｂの処理手順は、例えば、第２の態様のように、複数の候補画像０１１と、複数の候補画像０１１に対応する候補リスト０１２とが入力部００１に入力される場合に適している。
【0056】
入力部００１は、図２ＡのステップＳ１０１～ステップＳ１０５と同じ手順の処理を行う。続いて、入力部００１は、ドライブレコーダ（ドラレコ）が撮影した画像のフレームデータが入力される度に、入力されたフレームデータを候補画像０１１として取得する。また、入力部００１は、候補画像０１１として取得する度に、ＧＮＳＳセンサが検出した位置の地名をナビゲーション装置から取得する（以上、ステップＳ１０８）。
【0057】
入力部００１は、取得した地名を候補リスト０１２に入れて候補リスト０１２の内容を追加更新する（ステップＳ１１０）。
【0058】
入力部００１は、取得した候補画像０１１と候補リスト０１２とを、抽出部００２に送信する（ステップＳ１１１）。
【0059】
【0060】
図３Ａ及び図３Ｂは、抽出部００２が行う処理手順の一例を示すフローチャートである。図３Ａに示すように、抽出部００２は、複数の候補画像０１１、候補リスト０１２及び少なくとも１つの評価単語０１３を、入力部００１からそれぞれ取得する（ステップＳ２０１～ステップＳ２０５）。抽出部００２は、類似度算出カウンタのカウント値ｉを「１」に設定する（ステップＳ２０７）。カウント値ｉは、複数の候補画像０１１に対して、評価単語０１３又は後述する関連単語０３１との類似度を算出した回数を示す。
【0061】
抽出部００２は、入力部００１から取得した少なくとも１つの評価単語０１３を、物理指標と抽象指標とに分類する（ステップＳ２０９）。物理指標は、既存の情報源から情報収集可能な物理量によって候補画像０１１が数値化される指標である。抽象指標は、既存の情報源からの情報収集が可能な物理量以外の量によって候補画像０１１が数値化される指標である。
【0062】
例えば、候補画像０１１が場所の画像であり、評価単語０１３が温度、距離に関する単語である場合、候補画像０１１に写る場所は、例えば、その場所の気温、その場所までの距離によって数値化することができる。その場所の気温、距離は、例えば、インターネットの天気予報の情報サイト、ナビゲーション装置の地図情報等、既存の情報提供源から収集できる。この場合の評価単語０１３は、物理指標（物理的な指標）に分類することができる。
【0063】
例えば、候補画像０１１が場所の画像であり、評価単語０１３が、風景に対して感じる感覚に関する単語である場合、候補画像０１１に写る場所に対して感じる感覚は、既存の情報提供源から収集できる気温、距離等の情報では数値化できない。この場合の評価単語０１３は、抽象指標に分類することができる。
【0064】
抽出部００２は、評価単語０１３を、ルールに基づいて物理指標と抽象指標とに分類してもよく、分類用の機械学習モデルを用いて分類してもよい。
【0065】
ルールに基づいて評価単語０１３を分類する場合は、例えば、物理指標と判断する根拠にするキーワードのリストを作る。入力部００１から評価単語０１３を取得したら、その評価単語０１３がリストのキーワードのいずれかと一致するか否かを判別する。リストのキーワードのいずれかと一致する評価単語０１３は物理指標に分類し、リストのキーワードのいずれとも一致しない評価単語０１３は抽象指標に分類する。
【0066】
分類用の機械学習モデルには、例えば、物理指標の正解データ及び抽象指標の正解データのうち少なくとも一方を用いてトレーニングした機械学習モデルを用いることができる。
【0067】
抽出部００２は、物理指標に分類した評価単語０１３について（ステップＳ２１１でＹＥＳ）、評価単語０１３を指標として候補画像０１１を数値化するための情報提供源を取得する（ステップＳ２１３）。抽出部００２は、取得した情報提供源から、物理指標に分類した評価単語０１３を指標として各候補画像０１１をそれぞれ数値化したスコアを取得する。
【0068】
取得したスコアに基づいて、抽出部００２は、物理指標に分類した評価単語０１３を指標とした各候補画像０１１の類似度を、第４の類似度として取得する（以上、ステップＳ２１５）。第４の類似度は、例えば、評価単語０１３の内容に対応して定めた物理量と各候補画像０１１の獲得したスコアとの差分に基づいて定めることができる。この場合、評価単語０１３に対応する物理量と候補画像０１１のスコアとの差分が小さいほど、第４の類似度が高くなる。ステップＳ２１５の後は、後述するステップＳ２２５に処理を移行する。
【0069】
抽出部００２は、抽象指標に分類した評価単語０１３について（ステップＳ２１１でＮＯ）、ステップＳ２１７以降の処理を行う。ステップＳ２１７では、抽出部００２は、類似度算出カウンタのカウント値ｉが「１」であるか否かを確認する（ステップＳ２１７）。
【0070】
ここでは、ステップＳ２０７でカウント値ｉを「１」に設定した後、最初にステップＳ２１７の処理を実行するので、カウント値ｉは「１」である（ステップＳ２１７でＹＥＳ）。抽出部００２は、入力部００１に入力された複数の候補画像０１１のそれぞれと、抽象指標に分類した評価単語０１３との類似度を、第５の類似度として算出する（ステップＳ２１９）。第５の類似度は、抽象指標に分類した評価単語０１３を指標として数値化した各候補画像０１１のスコアとすることができる。
【0071】
上述した第４の類似度及び第５の類似度は、いずれも第１の類似度の一例に該当する。第１の類似度のうち、物理指標に分類した評価単語０１３に関する各候補画像０１１の類似度が第４の類似度であり、抽象指標に分類した評価単語０１３に関する各候補画像０１１の類似度が第５の類似度である。第１の類似度の差分は、第４の類似度の差分及び第５の類似度の差分として算出される。カウント値ｉが「１」のときにステップＳ２１９で行う第５の類似度の算出は、複数の候補画像０１１に対して行う１回目の類似度算出に当たる。ステップＳ２１９の後は、ステップＳ２２５に処理を移行する。
【0072】
抽出部００２は、第１の類似度を、図４Ａに示す学習済み機械学習モデル１００を用いて算出してもよい。
【0073】
図４Ａは、抽出部００２が抽象指標に分類される評価単語０１３と候補画像０１１との第５の類似度を機械学習モデル１００を用いて算出する際の、機械学習モデル１００のトレーニングを含むデータの流れの一例を示す図である。
【0074】
第５の類似度の算出に用いる機械学習モデル１００について説明する。機械学習モデル１００は、データ１１０，１２０を入力とする。入力するデータ１１０，１２０は、候補画像０１１と評価単語０１３とのペアである。このうち、データ１１０の候補画像０１３は、入力部００１から取得した複数の候補画像０１１のうち１つである。機械学習モデル１００は、候補画像０１１と評価単語０１３とのペアのデータ１１０，１２０の入力に対して、候補画像０１１と評価単語０１３とをベクトル化した、候補画像ベクトル１３０と評価単語ベクトル１４０とのペアを出力する。
【0075】
機械学習モデル１００が出力した候補画像ベクトル１３０と評価単語ベクトル１４０とのペアは、抽出部００２が行う内積の演算により内積のデータ１５０となる。抽出部００２は、内積のデータ１５０に基づいて、機械学習モデル１００に入力された候補画像０１１と評価単語０１３との第５の類似度を算出し、第５の類似度のデータ１６０を取得する。算出した第５の類似度は、抽象指標に分類された評価単語０１３を指標とした候補画像０１１のスコアとなる。
【0076】
機械学習モデル１００には、トレーニングした機械学習モデル２００を用いることができる。ここで、機械学習モデル２００のトレーニングを行う際のデータの流れについて説明する。機械学習モデル２００のトレーニングには、バッチサイズの画像（画像１～Ｎ）とテキスト（テキスト１～Ｎ）とのペア２２０を用いる。バッチサイズのペア２２０は、例えば、記憶装置２１０に構築したトレーニング用データのデータセットから取得することができる。
【0077】
記憶装置２１０は、例えば、ＳＳＤ（Solid State Drive ）又はＨＤＤ（Hard Disk Drive ）等の記憶装置によって構成することができる。データセットのペア２２０は、例えば、類似度が高い画像とテキストとのペアとすることができる。データセットのペア２２０は、バッチサイズの画像である画像バッチ（画像１～Ｎ）２３０と、バッチサイズのテキストであるテキストバッチ（テキスト１～Ｎ）２４０とに分けて、トレーニング中の機械学習モデル２００に入力される。
【0078】
画像バッチ２３０とテキストバッチ２４０との入力に対して、トレーニング中の機械学習モデル２００は、画像ベクトルバッチ（画像ベクトル１～Ｎ）２５０とテキストベクトルバッチ（テキストベクトル１～Ｎ）２６０とのペアを出力する。
【0079】
図４Ｂは、画像ベクトルバッチ２５０とテキストベクトルバッチ２６０とを行及び列にそれぞれ配置したマトリクスの説明図である。トレーニング中の機械学習モデル２００にバッチサイズで入力する画像バッチ２３０とテキストバッチ２４０とのペアは、図４Ｂのマトリクスの斜線部のエレメントに対応する。
【0080】
図４Ｂのマトリクスの斜線部のエレメントに対応するペアの内積が、他のエレメントに対応するペアの内積よりも高くなれば、画像ベクトルバッチ２５０とテキストベクトルバッチ２６０との内積の値が増える。画像ベクトルバッチ２５０とテキストベクトルバッチ２６０との内積の値が増えれば、類似度が高い画像バッチ２３０とテキストバッチ２４０とのペアの入力に対する機械学習モデル２００の出力が、最適化の方向に変化することが期待される。機械学習モデル２００は、トレーニング中に、画像ベクトルバッチ２５０とテキストベクトルバッチ２６０との内積の値が増えるようにパラメータを更新する。
【0081】
具体的には、画像ベクトルバッチ２５０とテキストベクトルバッチ２６０との内積のデータ２７０を用いて、画像ベクトルとテキストベクトルとのクロスエントロピーを、図４Ｂの行毎及び列毎にそれぞれ算出する。行毎のクロスエントロピーの平均値（平均値１）のデータ２８０と、列毎のクロスエントロピーの平均値（平均値２）のデータ２９０とから、両平均値（平均値１，２）の平均値を算出する。
【0082】
両平均値の平均値を、機械学習モデル２００の損失関数とし、損失関数のデータ３００を用いて、機械学習モデル２００の更新パラメータを算出する。更新パラメータのデータ３１０によって、トレーニング中の機械学習モデル２００のパラメータを更新する。
【0083】
抽出部００２は、以上のトレーニング手順を行った機械学習モデル２００を、第５の類似度を算出する際の機械学習モデル１００として使用することができる。
【0084】
図３Ａ及び図３Ｂの一連のフローチャートに戻り、抽出部００２は、図３ＢのステップＳ２２５において、類似度算出カウンタのカウント値ｉが「５」であるか否かを確認する。ここでは、図３ＡのステップＳ２１５又はステップＳ２１９で、評価単語０１３を指標とした各候補画像０１１のスコアを取得した直後なので、カウント値ｉは「１」である（ステップＳ２２５でＮＯ）。
【0085】
抽出部００２は、ステップＳ２１５又はステップＳ２１９で取得又は算出した各候補画像０１１の第１の類似度の、２つの候補画像０１１間での差分を、複数の候補画像０１１間での第１の類似度の第１の差分として算出する。抽出部００２は、２つの候補画像０１１間でそれぞれ算出した第１の差分が、次の条件を満たすか否かを確認する（ステップＳ２２９）。
【0086】
この条件とは、算出した全ての第１の差分を平均した平均差分が第３の閾値（閾値３）を超えており、且つ、算出した全ての第１の差分のうち最小の差分（最小差分）が第４の閾値（閾値４）を超えていることである。平均差分が第３の閾値以下である場合、最小差分が第４の閾値以下である場合、平均差分が第３の閾値以下であり、且つ、最小差分が第４の閾値以下である場合は、第１の差分が条件を満たしていないことになる。
【0087】
抽出部００２は、第１の差分が上記の条件を満たしていない場合（ステップＳ２２９でＮＯ）、第１の差分が第１の閾値以下であると判断する。第１の閾値は、第１の差分に対する閾値であり、上述した第３の閾値及び第４の閾値を含む概念である。この場合、抽出部００２は、各候補画像０１１の第１の類似度を算出するのに用いた評価単語０１３と、入力部００１から取得した候補リスト０１２とを、関連単語探索部００３に送信する（ステップＳ２３１）。
【0088】
抽出部００２は、全ての第１の差分が上記の条件を満たす内容である場合（ステップＳ２２９でＹＥＳ）、ステップＳ２１５又はステップＳ２１９で取得又は算出した第１の類似度が最も高い候補画像０１１を、出力部００４に送信する（ステップＳ２３３）。
【0089】
ステップＳ２３１又はステップＳ２３３の処理の後、抽出部００２は、一連の処理を終了する。
【0090】
図５Ａは、関連単語探索部００３が行う処理手順の一例を示すフローチャートである。関連単語探索部００３は、抽出部００２が図３ＢのステップＳ２３１で送信した評価単語０１３と候補リスト０１２とを取得する（ステップＳ３０１）。評価単語０１３と候補リスト０１２とを取得した関連単語探索部００３は、評価単語０１３に関連する１又は２以上の関連単語０３１と、各関連単語０３１の重みとを取得する（ステップＳ３０３）。
【0091】
関連単語０３１は、評価単語０１３を含む複数の文章から、その文章において、評価単語０１３に対して第１の関連度以上の関連度で登場する単語である。関連単語０３１は、評価単語０１３とは異なり、形容詞機能を有していない単語であってもよい。
【0092】
図５Ｂは、図５ＡのステップＳ３０３の詳細な手順の一例を示すフローチャートである。関連単語探索部００３は、単語グラフデータベースユニット３２０に記憶されたナレッジグラフのグラフデータベースにおいて、抽出部００２から取得した評価単語０１３のノードを探す（ステップＳ３１１）。
【0093】
図５Ｃ及び図５Ｄは、単語グラフデータベースユニット３２０に記憶されたナレッジグラフのグラフデータベースの一例を示す図である。ナレッジグラフのグラフデータベースは、単語に対応する複数のノードＮ１１，Ｎ２１～Ｎ２３，Ｎ３１，Ｎ３２，Ｎ４１，Ｎ４２を有する。関連性を有する２つのノード間は、エッジＥ１１～Ｅ１４，Ｅ２１～Ｅ２８，Ｅ３１によって接続される。エッジＥ１１～Ｅ１４，Ｅ２１～Ｅ２８，Ｅ３１のそばに記載された数値は、エッジＥ１１～Ｅ１４，Ｅ２１～Ｅ２８，Ｅ３１で接続した２つのノードＮ１１，Ｎ２１～Ｎ２３，Ｎ３１，Ｎ４１，Ｎ４２の関連度を示す数値である。
【0094】
図５Ｃでは、グラフデータベースの一番右の「涼しい」のノードＮ１１が、評価単語０１３のノードである場合を示している。図５Ｂに示すように、関連単語探索部００３は、評価単語０１３のノードを探したグラフデータベースにおいて、候補リスト０１２の内容に対応する複数のノードをそれぞれ探す（ステップＳ３１３）。図５Ｃでは、グラフデータベースの一番左の「PlaceA」、「PlaceB」２つのノードＮ４１，Ｎ４２が、候補画像０１１に対応する、候補リスト０１２のユーザが行ってみたい行き先のノードである場合を示している。
【0095】
図５Ｂに示すように、関連単語探索部００３は、グラフデータベースにおいて、ステップＳ３１１で探した評価単語０１３のノードとエッジで直接接続されているノードを走査する（ステップＳ３１５）。図５Ｃのグラフデータベースの例では、「涼しい」のノードＮ１１と直接接続されている「森林」、「海」、「水」及び「紅葉」の４つの単語のノードＮ２１～Ｎ２４を、関連単語探索部００３が走査する。
【0096】
図５Ｂに示すように、関連単語探索部００３は、ステップＳ３１５で走査したノードのうち、候補リスト０１２にある図５Ｃの「PlaceA」、「PlaceB」のどちらにもエッジで接続されていない「紅葉」のノードＮ２４をフィルタリングする（ステップＳ３１５）。このフィルタリングにより、「紅葉」は、評価単語０１３である「涼しい」の関連単語０３１の対象から除外される。この除外により、評価単語０１３のノードと候補画像０１１に対応するノードとの双方に直接接続されたノードの単語が、評価単語０１３である「涼しい」の関連単語０３１の対象として残る。
【0097】
関連単語探索部００３は、残る「森林」、「海」及び「水」の各ノードＮ２１～Ｎ２３のうち、基準に合致しないノードをフィルタリングする（ステップＳ３１９）。本実施形態では、「涼しい」のノードＮ２１とそれぞれ接続するエッジの関連度を示す数値（重み値）が第７の閾値（閾値７）以下であるノードをフィルタリングする。第７の閾値は、例えば、０．００５とすることができる。この場合、関連単語探索部００３は、関連度を示す数値（重み値）が第７の閾値以下となる「海」のノードＮ２２をフィルタリングする。このフィルタリングにより、「海」は、「涼しい」の関連単語０３１の対象から除外される。
【0098】
ステップＳ３１７及びステップＳ３１９のフィルタリング後に残ったノードの単語は、評価単語０１３である「涼しい」の関連単語０３１となる。
【0099】
関連単語探索部００３は、ステップＳ３１７及びステップＳ３１９のフィルタリング後の残りノード数が０（ゼロ）であるか否かを確認する（ステップＳ３２１）。フィルタリング後の残りノード数が０である場合は（ステップＳ３２１でＹＥＳ）、評価単語０１３である「涼しい」の関連単語０３１が取得されなかったことになる。この場合は、図５Ａのフローチャートに戻り、ステップＳ３０５の処理に進む。
【0100】
フィルタリング後の残りノード数が０でない場合は（ステップＳ３２１でＮＯ）、評価単語０１３である「涼しい」の関連単語０３１が取得されたことになる。この場合、関連単語探索部００３は、フィルタリング後に残った各ノードと「涼しい」のノードＮ２１とをそれぞれ接続するエッジの関連度を示す数値（重み値）を正規化する（ステップＳ３２３）。
【0101】
この正規化では、関連単語探索部００３は、各エッジの関連度を示す数値（重み値）の和が「１」となるように、各エッジの重み値を、互いの比率を変えずにそれぞれ変更する。
【0102】
図５Ｃのグラフデータベースの例では、フィルタリング後に残った「森林」及び「水」の単語のノードＮ２１，Ｎ２３について、各ノードのエッジの重み値０．０１及び０．０３を、両者の総和である０．０４に対して占める割合に正規化する。正規化後のエッジの重み値である、重み付け係数による重み付け後の重み値は、「森林」のノードＮ２１が０．２５、「水」のノードＮ２３が０．７５となる。
【0103】
ステップＳ３２３の処理の後、図５Ａのフローチャートに戻り、ステップＳ３０５の処理に進む。
【0104】
ステップＳ３０５では、関連単語探索部００３は、ステップＳ３０３の処理によって、評価単語０１３の関連単語０３１を取得しなかった（関連単語０３１なし）か否かを確認する。関連単語０３１なしの場合は（ステップＳ３０５でＹＥＳ）、関連単語探索部００３は、関連単語０３１なしを示す信号を抽出部００２に送信した後（ステップＳ３０７）、一連の処理を終了する。
【0105】
関連単語０３１を取得した場合は（ステップＳ３０５でＮＯ）、関連単語探索部００３は、取得した１又は２以上の関連単語０３１と、各関連単語０３１の正規化後のエッジの重み値とを示す信号を抽出部００２に送信する（ステップＳ３０９）。抽出部００２に送信する関連単語０３１は、図５Ｃのグラフデータベースの例では、図５ＢのステップＳ３１９におけるフィルタリングの後に残った「森林」及び「水」の単語となる。ステップＳ３０９の処理の後、一連の処理を終了する。
【0106】
抽出部００２は、関連単語探索部００３が図５ＡのステップＳ３０９で送信した信号を受信すると、図３ＡのステップＳ２３７で、受信した信号が示す１又は２以上の関連単語０３１と各関連単語０３１の正規化後の重み値とを信号から取得する。抽出部００２は、類似度算出カウンタのカウント値ｉを「１」増加させ（ステップＳ２３９）、ステップＳ２１７に処理を移行する。ここでは、これまでの説明において「１」であったカウント値ｉが「２」に増加するので、ステップＳ２１７のカウント値ｉが１であるか否かの確認結果はＮＯとなり、ステップＳ２２１に処理を移行する。
【0107】
ステップＳ２２１では、抽出部００２は、入力部００１に入力された複数の候補画像０１１のそれぞれと、関連単語探索部００３で取得した各関連単語０３１との類似度を、第２の類似度として算出する。関連単語０３１に対応する評価単語０１３は、ステップＳ２１１において抽象指標に分類した評価単語０１３である。第２の類似度は、例えば、第１の類似度と同じく、図４Ａの機械学習モデル１００を用いて算出してもよい。
【0108】
機械学習モデル１００を用いて第２の類似度を算出する場合、抽出部００２は、機械学習モデル１００に、入力部００１から取得した複数の候補画像０１１のうち１つと関連単語０３１とのペアを入力する。機械学習モデル１００は、機械学習モデル１００に入力した候補画像０１１と関連単語０３１とをベクトル化した、候補画像ベクトル１３０と関連単語ベクトル１４０とのペアを出力する。
【0109】
抽出部００２は、機械学習モデル１００が出力した候補画像ベクトル１３０と関連単語ベクトル１４０との内積算出１５０を行う。抽出部００２は、算出した内積に基づいて、機械学習モデル１００に入力された候補画像０１１と関連単語０３１との類似度算出１６０を行う。算出した類似度は、関連単語０３１を指標とした候補画像０１１のスコアとなる。このスコアは、候補画像０１１と関連単語０３１との第２の類似度となる。
【0110】
続くステップＳ２２３では、抽出部００２は、ステップＳ２１９で取得した候補画像０１１と抽象指標に分類した評価単語０１３との第１の類似度を、ステップＳ２２１で算出した第２の類似度で補正する。この補正では、抽出部００２は、各関連単語０３１について、関連単語０３１の正規化後のエッジの重み値を第２の類似度に乗じた第１の値を算出する。第１の値は、第２の類似度を関連単語０３１毎にそれぞれ重み付けした値となる。
【0111】
抽出部００２は、第１の値を第１の類似度に乗じた第２の値を算出する。抽出部００２は、各関連単語０３１の第２の値を第１の類似度に全て加算して、第２の類似度による補正後の第１の類似度を算出する。
【0112】
カウント値ｉが「２」のときにステップＳ２２１で行う第２の類似度の算出は、複数の候補画像０１１に対して行う２回目の類似度算出に当たる。ステップＳ２２３の後は、ステップＳ２２５に処理を移行する。
【0113】
抽出部００２は、図３Ｂに示すステップＳ２２５において、類似度算出カウンタのカウント値ｉが「５」であるか否かを確認する。ここでは、カウント値ｉは「２」である（ステップＳ２２５でＮＯ）。
【0114】
抽出部００２は、ステップＳ２１５又はステップＳ２１９で取得又は算出した各候補画像０１１の第１の類似度又は補正後の第１の類似度の、２つの候補画像０１１間での差分を、複数の候補画像０１１間での補正後の第１の類似度の第２の差分として算出する。抽出部００２は、２つの候補画像０１１間でそれぞれ算出した第２の差分が、次の条件を満たすか否かを確認する（ステップＳ２２９）。
【0115】
この条件とは、算出した全ての第２の差分を平均した平均差分が第５の閾値（閾値５）を超えており、且つ、算出した全ての第２の差分のうち最小の差分（最小差分）が第６の閾値（閾値６）を超えていることである。平均差分が第５の閾値以下である場合、最小差分が第６の閾値以下である場合、平均差分が第５の閾値以下であり、且つ、最小差分が第６の閾値以下である場合は、第２の差分が条件を満たしていないことになる。
【0116】
抽出部００２は、第２の差分が条件を満たしていない場合（ステップＳ２２９でＮＯ）、第２の差分が第２の閾値以下であると判断する。第２の閾値は、第２の差分に対する閾値であり、上述した第５の閾値及び第６の閾値を含む。この場合、抽出部００２は、各候補画像０１１の補正後の第１の類似度を算出するのに用いた関連単語０３１と、入力部００１から取得した候補リスト０１２とを、関連単語探索部００３に送信する（ステップＳ２３１）。
【0117】
関連単語探索部００３に送信する関連単語０３１は、図５Ｃのグラフデータベースにおいて、評価単語０１３のノードと直接エッジで接続されている、１層目のノードの単語である。以後、１層目のノードの関連単語０３１を１層目の関連単語０３１と称する。
【0118】
抽出部００２は、全ての第２の差分が上記の条件を満たす内容である場合（ステップＳ２２９でＹＥＳ）、候補画像０１１を出力部００４に送信する（ステップＳ２３３）。出力部００４に送信する候補画像０１１は、ステップＳ２１５又はステップＳ２１９で取得又は算出した第１の類似度又は補正後の第１の類似度が最も高い候補画像０１１である。
【0119】
ステップＳ２３１又はステップＳ２３３の処理の後、抽出部００２は、一連の処理を終了する。
【0120】
関連単語探索部００３は、図５Ａに示すように、抽出部００２がステップＳ２３１で送信した１層目の関連単語０３１と候補リスト０１２とを取得する（ステップＳ３０１）。関連単語探索部００３は、取得した１層目の関連単語０３１の関連単語０３１を取得する。以後、１層目の関連単語０３１の関連単語０３１を、１層目の関連単語０３１と区別するために、２層目の関連単語０３１と称する。２層目の関連単語０３１はサブ関連単語に該当する。関連単語探索部００３は、２層目の各関連単語０３１の重みをさらに取得する（以上、ステップＳ３０３）。
【0121】
２層目の関連単語０３１は、１層目の関連単語０３１を含む複数の文章から、その文章において、１層目の関連単語０３１に対して第２の関連度以上の関連度で登場する単語である。２層目の関連単語０３１は、１層目の関連単語０３１と同じく、形容詞機能を有していない単語であってもよい。
【0122】
１層目の関連単語０３１に対する２層目の関連単語０３１の関連度は、１層目の関連単語０３１と２層目の関連単語０３１との意味的距離又は地理的距離によって評価することができる。１層目の関連単語０３１に対する２層目の関連単語０３１の関連度は、例えば、１層目の関連単語０３１を含む文章に２層目の関連単語０３１が登場する頻度によって評価してもよい。
【0123】
１層目の関連単語０３１と２層目の関連単語０３１との意味的距離とは、例えば、１層目の関連単語０３１が表す意味と２層目の関連単語０３１が表す意味との近さを示す距離とすることができる。意味の近さを意味的距離とする場合は、１層目の関連単語０３１が表す意味と２層目の関連単語０３１が表す意味とが近いほど、１層目の関連単語０３１と２層目の関連単語０３１との意味的距離は短くなる。１層目の関連単語０３１と２層目の関連単語０３１との意味的距離が短いほど、１層目の関連単語０３１に対する２層目の関連単語０３１の関連度は高くなる。１層目の関連単語０３１と２層目の関連単語０３１との意味的距離は、例えば、１層目の関連単語０３１及び２層目の関連単語０３１をそれぞれベクトル化した特徴量ベクトル同士の距離の長さによって評価することができる。
【0124】
１層目の関連単語０３１と２層目の関連単語０３１との地理的距離とは、例えば、１層目の関連単語０３１と２層目の関連単語０３１とを含む文章内での両者の単語間距離とすることができる。単語間距離を地理的距離とする場合は、１つの文章内で１層目の関連単語０３１と２層目の関連単語０３１との間に配置された単語が少ないほど、１層目の関連単語０３１と２層目の関連単語０３１との地理的距離は短くなる。１層目の関連単語０３１と２層目の関連単語０３１との地理的距離が短いほど、１層目の関連単語０３１に対する２層目の関連単語０３１の関連度は高くなる。１層目の関連単語０３１と２層目の関連単語０３１との地理的距離は、例えば、１つの文章において１層目の関連単語０３１と２層目の関連単語０３１との間に配置された単語の数によって評価することができる。
【0125】
１層目の関連単語０３１を含む文章に２層目の関連単語０３１が登場する頻度は、例えば、１層目の関連単語０３１を含む全ての文章に対する、１層目の関連単語０３１と２層目の関連単語０３１とを両方含む文章が占める割合で表すことができる。この割合が高いほど、１層目の関連単語０３１を含む文章に２層目の関連単語０３１が登場する頻度は高くなり、１層目の関連単語０３１に対する２層目の関連単語０３１の関連度が高くなる。
【0126】
１層目の関連単語０３１に対する２層目の関連単語０３１の関連度は、例えば、マハラノビス距離等の、特定の分布における１層目の関連単語０３１と２層目の関連単語０３１との距離によって評価してもよい。
【0127】
関連単語探索部００３は、ステップＳ３０３において、図５ＢのステップＳ３１１～ステップＳ３１９の各処理を、評価単語０１３を１層目の関連単語０３１に入れ替えて行う。ステップＳ３１７のフィルタリングによるノードの除外により、評価単語０１３のノードと候補画像０１１に対応するノードとの双方に１層目の関連単語０３１を介して接続されたノードの単語が、２層目の関連単語０３１の対象として残る。ステップＳ３１７及びステップＳ３１９のフィルタリング後に残ったノードの単語は、１層目の関連単語０３１に対する２層目の関連単語０３１となる。
【0128】
関連単語探索部００３は、ステップＳ３１９の処理後に、ステップＳ３１７及びステップＳ３１９のフィルタリング後の残りノード数が０（ゼロ）であるか否かを確認する（ステップＳ３２１）。フィルタリング後の残りノード数が０である場合は（ステップＳ３２１でＹＥＳ）、２層目の関連単語０３１が取得されなかったことになる。この場合、図５Ａのフローチャートに戻り、ステップＳ３０５の処理に進む。
【0129】
フィルタリング後の残りノード数が０でない場合は（ステップＳ３２１でＮＯ）、２層目の関連単語０３１が取得されたことになる。この場合、関連単語探索部００３は、フィルタリング後に残った各ノードと１層目の関連単語０３１のノードとをそれぞれ接続するエッジの関連度を示す数値（重み値）を正規化する（ステップＳ３２３）。ステップＳ３２３の処理の後、図５Ａのフローチャートに戻り、ステップＳ３０５の処理に進む。
【0130】
ステップＳ３０５では、関連単語探索部００３は、ステップＳ３０３の処理によって、２層目の関連単語０３１を取得しなかった（関連単語０３１なし）か否かを確認する。関連単語０３１なしの場合は（ステップＳ３０５でＹＥＳ）、関連単語探索部００３は、関連単語０３１なしを示す信号を抽出部００２に送信した後（ステップＳ３０７）、一連の処理を終了する。
【0131】
２層目の関連単語０３１を取得した場合は（ステップＳ３０５でＮＯ）、関連単語探索部００３は、取得した１又は２以上の関連単語０３１と、各関連単語０３１の正規化後のエッジの重み値とを示す信号を抽出部００２に送信する（ステップＳ３０９）。抽出部００２に送信する関連単語０３１は、グラフデータベースにおいて、１層目の関連単語０３１と候補画像０１１に対応するノードとにエッジで接続されているノードの単語となる。
【0132】
図５Ｄのグラフデータベースの例では、１層目の関連単語０３１である「森林」及び「水」のノードＮ２１，Ｎ２３と候補画像０１１に対応する「PlaceA」、「PlaceB」のノードとにエッジで接続されているノードが、２層目の関連単語０３１となる。２層目の関連単語０３１となるのは、「渓谷」及び「ダム」の各ノードＮ３１，Ｎ３２である。ステップＳ３０９の処理の後、一連の処理を終了する。
【0133】
抽出部００２は、図３ＡのステップＳ２３７で、関連単語探索部００３から受信した信号から、１又は２以上の２層目の関連単語０３１と２層目の各関連単語０３１の正規化後の重み値とを取得する。抽出部００２は、類似度算出カウンタのカウント値ｉを「１」増加させ（ステップＳ２３９）、ステップＳ２１７に処理を移行する。ここでは、これまでの説明において「１」であったカウント値ｉが「３」に増加するので、ステップＳ２１７のカウント値ｉが１であるか否かの確認結果はＮＯとなり、ステップＳ２２１に処理を移行する。
【0134】
ステップＳ２２１では、抽出部００２は、入力部００１に入力された複数の候補画像０１１のそれぞれと、関連単語探索部００３で取得した２層目の各関連単語０３１との類似度を、第３の類似度として算出する。関連単語０３１に対応する評価単語０１３は、ステップＳ２１１において抽象指標に分類した評価単語０１３である。第３の類似度は、例えば、第１の類似度及び第２の類似度と同じく、図４Ａの機械学習モデル１００を用いて算出してもよい。
【0135】
機械学習モデル１００を用いた第３の類似度の算出は、機械学習モデル１００への入力を、入力部００１から取得した複数の候補画像０１１のうち１つと２層目の関連単語０３１とのペアとすることで、第２の類似度の算出と同様に行うことができる。抽出部００２は、機械学習モデル１００が出力した候補画像ベクトル１３０と２層目の関連単語ベクトル１４０との内積算出１５０に基づいた類似度算出１６０を行うことで、第３の類似度となるスコアを算出することができる。
【0136】
続くステップＳ２２３では、抽出部００２は、カウント値ｉが「２」であった前回のステップＳ２２１で算出した候補画像０１１と２層目の関連単語０３１との第２の類似度を、今回のステップＳ２２１で算出した第３の類似度で補正する。この補正では、抽出部００２は、２層目の各関連単語０３１について、２層目の関連単語０３１の正規化後のエッジの重み値を第３の類似度に乗じた第３の値を算出する。第３の値は、第３の類似度を２層目の関連単語０３１毎にそれぞれ重み付けした値となる。
【0137】
抽出部００２は、第３の値を第２の類似度に乗じた第４の値を算出する。抽出部００２は、２層目の各関連単語０３１の第４の値を第２の類似度に全て加算して、第３の類似度による補正後の第２の類似度を算出する。
【0138】
ステップＳ２２３では、抽出部００２は、ステップＳ２１９で取得した候補画像０１１と抽象指標に分類した評価単語０１３との第１の類似度を、算出した補正後の第２の類似度で補正する。この補正では、抽出部００２は、１層目の各関連単語０３１について、関連単語０３１の正規化後のエッジの重み値を補正後の第２の類似度に乗じた第５の値を算出し、第５の値を第１の類似度に乗じた第６の値を算出する。抽出部００２は、各関連単語０３１の第６の値を第１の類似度に全て加算して、補正後の第２の類似度による補正後の第１の類似度を算出する。
【0139】
カウント値ｉが「３」のときにステップＳ２２１で行う第２の類似度の算出は、複数の候補画像０１１に対して行う３回目の類似度算出に当たる。ステップＳ２２３の後は、ステップＳ２２５に処理を移行する。
【0140】
抽出部００２は、図３Ｂに示すステップＳ２２５において、類似度算出カウンタのカウント値ｉが「５」であるか否かを確認する。ここでは、カウント値ｉは「３」であるので（ステップＳ２２５でＮＯ）、ステップＳ２２９以降の処理に移行する。
【0141】
以後、抽出部００２が、ステップＳ２３１で関連単語０３１と候補リスト０１２とを送信する度に、関連単語探索部００３は、受信した関連単語０３１の次の層の関連単語０３１と重み値とを、図５Ａ及び図５Ｂの手順で取得する。関連単語探索部００３が取得した次の層の関連単語０３１を、図３ＡのステップＳ２３７で取得した抽出部００２は、類似度算出カウンタのカウント値ｉを「１」増加させて（ステップＳ２３９）、ステップＳ２１９以降の処理を行う。
【0142】
抽出部００２は、複数の候補画像０１１に対して行う５回目の類似度算出をステップＳ２２１で行うと、図３ＡのステップＳ２３９で、類似度算出カウンタのカウント値ｉを「５」に増加させる。図３ＢのステップＳ２２５で、カウント値ｉが「５」であると確認する（ＹＥＳ）ことを確認した抽出部００２は、最小差分の最大値の結果を取得する（ステップＳ２２７）。抽出部００２は、ステップＳ２２９の確認で用いた第２の差分が最大値となった２つの候補画像０１１のうち、補正後の第１の類似度が高い方の候補画像０１１を、最小差分の最大値の結果として取得する。
【0143】
抽出部００２は、ステップＳ２２７で取得した候補画像０１１を、第１の類似度が最も高い候補画像０１１として、出力部００４に送信する（ステップＳ２３３）。
【0144】
【0145】
抽出部００２は、類似度算出カウンタのカウント値ｉが「１」である場合、ステップＳ２２９の確認で用いた第１の差分が最大値となった２つの候補画像０１１のうち、第１の類似度が高い方の候補画像０１１を、最小差分の最大値の結果として取得する。
【0146】
抽出部００２は、カウント値ｉが「２」～「４」である場合、ステップＳ２２９の確認で用いた第２の差分が最大値となった２つの候補画像０１１のうち、補正後の第１の類似度が高い方の候補画像０１１を、最小差分の最大値の結果として取得する。
【0147】
抽出部００２は、ステップＳ２２７で取得した候補画像０１１を、第１の類似度が最も高い候補画像０１１として、出力部００４に送信する（ステップＳ２３３）。ステップＳ２３３の処理の後、抽出部００２は、一連の処理を終了する。
【0148】
出力部００４は、図３ＢのステップＳ２３３で抽出部００２が送信した第１の類似度が最も高い候補画像０１１を出力する。
【0149】
例えば、上述した第１の態様の場合は、出力部００４は、第１の類似度が最も高い候補画像０１１を、ユーザが視認する表示デバイスに表示することで、候補画像０１１を出力することができる。ユーザが視認する表示デバイスは、例えば、車両に搭載された機器のディスプレイを用いることができる。車両に搭載された機器は、例えば、ナビゲーション装置、ディスプレイオーディオ装置、ヘッドアップディスプレイ等とすることができる。
【0150】
例えば、上述した第２の態様の場合は、出力部００４は、記録装置に候補画像０１１のデータを記憶することで、候補画像０１１を出力することができる。記録装置は、例えば、ドライブレコーダのメモリの一領域を利用したものでもよく、車両の搭載機器に接続された可搬型のメモリデバイスでもよい。
【0151】
例えば、上述した第３の態様の場合は、出力部００４は、ユーザが視認可能な画面に、図６に示すポジショニングマップを表示することで、候補画像０１１を出力することができる。このポジショニングマップは、例えば、ユーザの要望に対応する評価単語０１３に対応する軸を含む２つの軸で形成された象限上に、第１の類似度が最も高い候補画像０１１を含む複数の候補画像０１１をマッピングすることで構成することができる。
【0152】
以上に説明した本実施形態の本実施形態のデータ処理装置１では、評価単語０１３との類似度が最も高い候補画像０１１を出力する際に、候補画像０１１間の類似度の差が少なくても、出力する候補画像０１１を決めやすくすることができる。
【0153】
評価単語０１３と候補画像０１１との類似度では、類似度の差が小さい場合に、評価単語０１３に関連する関連単語０３１と候補画像０１１との類似度を加味すると、評価単語０１３と候補画像０１１との類似度に差が付きやすくなる。類似度に差が付きやすくなることで、出力する候補画像０１１を決めやすくすることができる。
【0154】
評価単語０１３に関連する１層目の関連単語０３１と候補画像０１１との類似度を加味しても、評価単語０１３と候補画像０１１との類似度の差が小さい場合に、２層目以降の関連単語０３１と候補画像０１１との類似度を加味する。２層目以降の関連単語０３１との類似度を加味することで、評価単語０１３と候補画像０１１との類似度に差が付きやすくなる。類似度に差が付きやすくなることで、出力する候補画像０１１を決めやすくすることができる。
【0155】
関連単語０３１は、ナレッジグラフのグラフデータベースを用いて抽出してもよく、その他の公知の方法によって抽出してもよい。
【0156】
グラフデータベースのノード間のエッジの関連度を示す数値（重み値）で、関連単語０３１と候補画像０１１との類似度を重み付けすることで、関連単語０３１との類似度が評価単語０１３との類似度に過剰に加味されるのを抑制できる。
【0157】
グラフデータベースのノード間のエッジの関連度を示す数値（重み値）で、上層の関連単語０３１と候補画像０１１との類似度を重み付けすることで、下層の関連単語０３１との類似度が上層の関連単語０３１との類似度に過剰に加味されるのを抑制できる。ここで、上層、下層とは、１層目と２層目、２層目と３層目、３層目と４層目の関係を示す。
【0158】
候補画像０１１間の類似度の差分が閾値以下であることを、各差分の平均と最小値とを考慮して決定することで、候補画像０１１間の類似度の差分の大小をより詳細に評価することができる。
【0159】
関連単語０３１との類似度を加味する評価単語０１３を、抽象指標の評価単語０１３に限定することで、既存の情報源から情報収集可能な物理量で数値化できず評価単語０１３との類似度を客観的に決めにくい候補画像０１１の類似度の大小を、付けやすくできる。
【0160】
評価単語０１３又は関連単語０３１と候補画像０１１との類似度は、機械学習モデル１００（機械学習モデル）以外の公知の方法によって算出してもよい。
【0161】
上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。
【符号の説明】
【0162】
１ データ処理装置
００１ 入力部
００２ 抽出部
００３ 関連単語探索部
００４ 出力部
０１１ 候補画像（画像）
０１２ 候補リスト
０１３ 評価単語
０３１ 関連単語
１００ 機械学習モデル
Ｅ１１～Ｅ１４，Ｅ２１～Ｅ２８，Ｅ３１ エッジ
Ｎ１１，Ｎ２１～Ｎ２３，Ｎ３１，Ｎ３２，Ｎ４１，Ｎ４２ ノード
００１ 入力部
００２ 抽出部
００３ 関連単語探索部
００４ 出力部
０１１ 候補画像（画像）
０１２ 候補リスト
０１３ 評価単語
０３１ 関連単語
１００ 機械学習モデル
Ｅ１１～Ｅ１４，Ｅ２１～Ｅ２８，Ｅ３１ エッジ
Ｎ１１，Ｎ２１～Ｎ２３，Ｎ３１，Ｎ３２，Ｎ４１，Ｎ４２ ノード
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】