ホーム > 特許ランキング > ソフトバンク株式会社
▶ ソフトバンクモバイル株式会社の特許一覧 ▶ 学校法人明星学苑の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022180942
(43)【公開日】2022-12-07
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06F 16/587 20190101AFI20221130BHJP
【ＦＩ】
G06F16/587
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2021087722
(22)【出願日】2021-05-25
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(71)【出願人】
【識別番号】500132214
【氏名又は名称】学校法人明星学苑
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】堀 隆之
(72)【発明者】
【氏名】金 容範
(72)【発明者】
【氏名】鈴木 裕真
(72)【発明者】
【氏名】植木 一也
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA02
5B175FB02
5B175HA05
5B175HB03
(57)【要約】
【課題】画像の検索精度を向上させる。
【解決手段】本願に係る情報処理装置は、セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する関係情報生成部と、関係情報生成部によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成部と、を備える。
【選択図】図１
【解決手段】本願に係る情報処理装置は、セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する関係情報生成部と、関係情報生成部によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、前記物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、前記画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する関係情報生成部と、
前記関係情報生成部によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成部と、
を備える情報処理装置。
前記関係情報生成部によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成部と、
を備える情報処理装置。
【請求項2】
前記関係情報生成部は、
前記物体領域の輝度値の特徴を示す物体領域特徴量、前記物体の種類を示す物体クラス情報および前記画像における前記物体の位置および速度を示す情報を含む前記物体情報と、前記背景領域の輝度値の特徴を示す背景領域特徴量、前記背景の種類を示す背景クラス情報および前記画像における前記背景の位置および速度を示す情報を含む前記背景情報との空間的な関係を示す前記空間関係情報を生成する、
請求項１に記載の情報処理装置。
前記物体領域の輝度値の特徴を示す物体領域特徴量、前記物体の種類を示す物体クラス情報および前記画像における前記物体の位置および速度を示す情報を含む前記物体情報と、前記背景領域の輝度値の特徴を示す背景領域特徴量、前記背景の種類を示す背景クラス情報および前記画像における前記背景の位置および速度を示す情報を含む前記背景情報との空間的な関係を示す前記空間関係情報を生成する、
請求項１に記載の情報処理装置。
【請求項3】
前記関係情報生成部は、
前記文章を構成する形態素である前記文字列の間の意味的な関係を示す前記意味関係情報を生成する、
請求項１または２に記載の情報処理装置。
前記文章を構成する形態素である前記文字列の間の意味的な関係を示す前記意味関係情報を生成する、
請求項１または２に記載の情報処理装置。
【請求項4】
前記モデル生成部は、
前記空間関係情報に含まれる前記物体情報と前記意味関係情報に含まれる前記物体に関する前記文字列との対応関係、および、前記空間関係情報に含まれる前記背景情報と前記意味関係情報に含まれる前記背景に関する前記文字列との対応関係を学習することで、前記ＶＳＥモデルを生成する、
請求項１～３のいずれか１つに記載の情報処理装置。
前記空間関係情報に含まれる前記物体情報と前記意味関係情報に含まれる前記物体に関する前記文字列との対応関係、および、前記空間関係情報に含まれる前記背景情報と前記意味関係情報に含まれる前記背景に関する前記文字列との対応関係を学習することで、前記ＶＳＥモデルを生成する、
請求項１～３のいずれか１つに記載の情報処理装置。
【請求項5】
前記モデル生成部は、
前記空間関係情報に含まれる前記物体情報または前記背景情報である対象物情報と、前記対象物情報と隣接する他の対象物情報である隣接対象物情報との空間的な接続関係、および前記空間的な接続関係の重みを学習し、前記意味関係情報に含まれる前記文字列と、前記文字列と隣接する他の文字列である隣接文字列との意味的な接続関係、および前記意味的な接続関係の重みを学習することで、前記ＶＳＥモデルを生成する、
請求項１～４のいずれか１つに記載の情報処理装置。
前記空間関係情報に含まれる前記物体情報または前記背景情報である対象物情報と、前記対象物情報と隣接する他の対象物情報である隣接対象物情報との空間的な接続関係、および前記空間的な接続関係の重みを学習し、前記意味関係情報に含まれる前記文字列と、前記文字列と隣接する他の文字列である隣接文字列との意味的な接続関係、および前記意味的な接続関係の重みを学習することで、前記ＶＳＥモデルを生成する、
請求項１～４のいずれか１つに記載の情報処理装置。
【請求項6】
前記関係情報生成部は、
前記物体情報に対応する物体ノードと、前記背景情報に対応する背景ノードと、前記物体ノードおよび前記背景ノードを連結する空間エッジと、を含む視覚グラフ情報である前記空間関係情報、および、前記文字列に対応する文字列ノードと、前記文字列ノード同士を連結する意味エッジと、を含む文字グラフ情報である前記意味関係情報を生成し、
前記モデル生成部は、
前記関係情報生成部によって生成された視覚グラフ情報の特徴を示す視覚グラフ特徴量と文字グラフ情報の特徴を示す文字グラフ特徴量とを対応付けて共通空間に埋め込むように学習された前記ＶＳＥモデルを生成する、
請求項１～５のいずれか１つに記載の情報処理装置。
前記物体情報に対応する物体ノードと、前記背景情報に対応する背景ノードと、前記物体ノードおよび前記背景ノードを連結する空間エッジと、を含む視覚グラフ情報である前記空間関係情報、および、前記文字列に対応する文字列ノードと、前記文字列ノード同士を連結する意味エッジと、を含む文字グラフ情報である前記意味関係情報を生成し、
前記モデル生成部は、
前記関係情報生成部によって生成された視覚グラフ情報の特徴を示す視覚グラフ特徴量と文字グラフ情報の特徴を示す文字グラフ特徴量とを対応付けて共通空間に埋め込むように学習された前記ＶＳＥモデルを生成する、
請求項１～５のいずれか１つに記載の情報処理装置。
【請求項7】
前記関係情報生成部は、
第１ＧＣＮ（Graph Convolutional Networks）に前記視覚グラフ情報を入力して、前記第１ＧＣＮから前記視覚グラフ特徴量を出力し、第２ＧＣＮに前記文字グラフ情報を入力して、前記第２ＧＣＮから前記文字グラフ特徴量を出力し、
前記モデル生成部は、
前記関係情報生成部によって出力された前記視覚グラフ特徴量と前記文字グラフ特徴量を対応付けて前記共通空間に埋め込むよう前記ＶＳＥモデルを学習することで、前記ＶＳＥモデルを生成する、
請求項６に記載の情報処理装置。
第１ＧＣＮ（Graph Convolutional Networks）に前記視覚グラフ情報を入力して、前記第１ＧＣＮから前記視覚グラフ特徴量を出力し、第２ＧＣＮに前記文字グラフ情報を入力して、前記第２ＧＣＮから前記文字グラフ特徴量を出力し、
前記モデル生成部は、
前記関係情報生成部によって出力された前記視覚グラフ特徴量と前記文字グラフ特徴量を対応付けて前記共通空間に埋め込むよう前記ＶＳＥモデルを学習することで、前記ＶＳＥモデルを生成する、
請求項６に記載の情報処理装置。
【請求項8】
利用者によって入力された第１クエリ文を受け付ける受付部と、
前記モデル生成部によって生成されたＶＳＥモデルを用いて、前記第１クエリ文に関する第１画像を検索する検索部と、
前記第１画像に関するコンセプトを抽出する抽出部と、
をさらに備え、
前記検索部は、
前記ＶＳＥモデルを用いて、前記抽出部によって抽出されたコンセプトに基づく第２クエリ文に関する第２画像を再検索する、
請求項１～７のいずれか１つに記載の情報処理装置。
前記モデル生成部によって生成されたＶＳＥモデルを用いて、前記第１クエリ文に関する第１画像を検索する検索部と、
前記第１画像に関するコンセプトを抽出する抽出部と、
をさらに備え、
前記検索部は、
前記ＶＳＥモデルを用いて、前記抽出部によって抽出されたコンセプトに基づく第２クエリ文に関する第２画像を再検索する、
請求項１～７のいずれか１つに記載の情報処理装置。
【請求項9】
前記抽出部によって抽出されたコンセプトに基づいて、前記第２クエリ文を生成する生成部をさらに備え、
前記検索部は、
前記ＶＳＥモデルを用いて、前記生成部によって生成された前記第２クエリ文に関する前記第２画像を再検索する、
請求項８に記載の情報処理装置。
前記検索部は、
前記ＶＳＥモデルを用いて、前記生成部によって生成された前記第２クエリ文に関する前記第２画像を再検索する、
請求項８に記載の情報処理装置。
【請求項10】
前記検索部による検索結果を出力する出力部、をさらに備え、
前記出力部は、
前記抽出部によって抽出されたコンセプトを出力し、
前記受付部は、
前記出力部によって出力されたコンセプトに基づく前記第２クエリ文を前記利用者から受け付け、
前記検索部は、
前記ＶＳＥモデルを用いて、前記受付部によって受け付けられた前記第２クエリ文に関する前記第２画像を再検索する、
請求項８に記載の情報処理装置。
前記出力部は、
前記抽出部によって抽出されたコンセプトを出力し、
前記受付部は、
前記出力部によって出力されたコンセプトに基づく前記第２クエリ文を前記利用者から受け付け、
前記検索部は、
前記ＶＳＥモデルを用いて、前記受付部によって受け付けられた前記第２クエリ文に関する前記第２画像を再検索する、
請求項８に記載の情報処理装置。
【請求項11】
複数の映像または前記複数の映像それぞれに含まれる各シーンである画像を取得する取得部をさらに備え、
前記検索部は、
前記取得部によって取得された画像と前記受付部によって受け付けられた第１クエリ文の組を前記ＶＳＥモデルに入力して、前記画像と前記第１クエリ文との第１類似度を前記ＶＳＥモデルから出力し、当該出力された前記第１類似度が第１閾値を超える前記第１画像を検索する、
請求項８～１０のいずれか１つに記載の情報処理装置。
前記検索部は、
前記取得部によって取得された画像と前記受付部によって受け付けられた第１クエリ文の組を前記ＶＳＥモデルに入力して、前記画像と前記第１クエリ文との第１類似度を前記ＶＳＥモデルから出力し、当該出力された前記第１類似度が第１閾値を超える前記第１画像を検索する、
請求項８～１０のいずれか１つに記載の情報処理装置。
【請求項12】
前記検索部は、
前記取得部によって取得された画像と前記抽出部によって抽出されたコンセプトに基づく第２クエリ文の組を前記ＶＳＥモデルに入力して、前記画像と前記第２クエリ文との第２類似度を前記ＶＳＥモデルから出力し、当該出力された前記第２類似度が第２閾値を超える前記第２画像を再検索する、
請求項１１に記載の情報処理装置。
前記取得部によって取得された画像と前記抽出部によって抽出されたコンセプトに基づく第２クエリ文の組を前記ＶＳＥモデルに入力して、前記画像と前記第２クエリ文との第２類似度を前記ＶＳＥモデルから出力し、当該出力された前記第２類似度が第２閾値を超える前記第２画像を再検索する、
請求項１１に記載の情報処理装置。
【請求項13】
前記抽出部は、
コンセプトを含む画像が入力された場合に、前記画像に含まれるコンセプトと前記画像とのコンセプト類似度を出力するよう学習された学習済みの機械学習モデルであるコンセプト識別器を用いて、前記第１画像から前記第１画像に関するコンセプトを抽出する、
請求項８～１２のいずれか１つに記載の情報処理装置。
コンセプトを含む画像が入力された場合に、前記画像に含まれるコンセプトと前記画像とのコンセプト類似度を出力するよう学習された学習済みの機械学習モデルであるコンセプト識別器を用いて、前記第１画像から前記第１画像に関するコンセプトを抽出する、
請求項８～１２のいずれか１つに記載の情報処理装置。
【請求項14】
前記抽出部は、
前記検索部によって検索された第１画像を前記コンセプト識別器に入力して、前記第１画像に含まれるコンセプトと前記第１画像とのコンセプト類似度を前記コンセプト識別器から出力し、当該出力されたコンセプト類似度がコンセプト閾値を超える前記コンセプトを抽出する、
請求項１３に記載の情報処理装置。
前記検索部によって検索された第１画像を前記コンセプト識別器に入力して、前記第１画像に含まれるコンセプトと前記第１画像とのコンセプト類似度を前記コンセプト識別器から出力し、当該出力されたコンセプト類似度がコンセプト閾値を超える前記コンセプトを抽出する、
請求項１３に記載の情報処理装置。
【請求項15】
前記抽出部は、
前記出力されたコンセプト類似度がコンセプト閾値を超える前記コンセプトの中から、前記第１クエリ文に含まれないコンセプトである隠れコンセプトを抽出する、
請求項１４に記載の情報処理装置。
前記出力されたコンセプト類似度がコンセプト閾値を超える前記コンセプトの中から、前記第１クエリ文に含まれないコンセプトである隠れコンセプトを抽出する、
請求項１４に記載の情報処理装置。
【請求項16】
前記受付部は、
前記利用者によって入力されたクエリ画像を受け付け、
前記検索部は、
前記ＶＳＥモデルを用いて、前記受付部によって受け付けられたクエリ画像に関する文字列を検索し、当該検索した文字列に基づく第３クエリ文に関する第３画像を検索する、
請求項８～１５のいずれか１つに記載の情報処理装置。
前記利用者によって入力されたクエリ画像を受け付け、
前記検索部は、
前記ＶＳＥモデルを用いて、前記受付部によって受け付けられたクエリ画像に関する文字列を検索し、当該検索した文字列に基づく第３クエリ文に関する第３画像を検索する、
請求項８～１５のいずれか１つに記載の情報処理装置。
【請求項17】
複数の文章または前記複数の文章それぞれに含まれる各テキストである文字列を取得する取得部をさらに備え、
前記検索部は、
前記取得部によって取得された文字列と前記受付部によって受け付けられたクエリ画像の組を前記ＶＳＥモデルに入力して、前記文字列と前記クエリ画像との第３類似度を前記ＶＳＥモデルから出力し、当該出力された前記第３類似度が第３閾値を超える文字列を検索し、当該検索した文字列に基づく前記第３クエリ文に関する前記第３画像を検索する、
請求項１６に記載の情報処理装置。
前記検索部は、
前記取得部によって取得された文字列と前記受付部によって受け付けられたクエリ画像の組を前記ＶＳＥモデルに入力して、前記文字列と前記クエリ画像との第３類似度を前記ＶＳＥモデルから出力し、当該出力された前記第３類似度が第３閾値を超える文字列を検索し、当該検索した文字列に基づく前記第３クエリ文に関する前記第３画像を検索する、
請求項１６に記載の情報処理装置。
【請求項18】
前記抽出部は、
前記第３画像に関するコンセプトを抽出し、
前記検索部は、
前記ＶＳＥモデルを用いて、前記抽出部によって抽出されたコンセプトに基づく第４クエリ文に関する第４画像を再検索する、
請求項１７に記載の情報処理装置。
前記第３画像に関するコンセプトを抽出し、
前記検索部は、
前記ＶＳＥモデルを用いて、前記抽出部によって抽出されたコンセプトに基づく第４クエリ文に関する第４画像を再検索する、
請求項１７に記載の情報処理装置。
【請求項19】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、前記物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、前記画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する関係情報生成工程と、
前記関係情報生成工程によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成工程と、
を含む情報処理方法。
セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、前記物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、前記画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する関係情報生成工程と、
前記関係情報生成工程によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成工程と、
を含む情報処理方法。
【請求項20】
セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、前記物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、前記画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する関係情報生成手順と、
前記関係情報生成手順によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成手順と、
をコンピュータに実行させる情報処理プログラム。
前記関係情報生成手順によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成手順と、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
近年、ＳＮＳ（Social Networking Service）や防犯カメラの普及により、映像コンテンツの数が急増している。そこで、膨大な数の映像コンテンツを効率よく整理、管理するための技術が求められている。
【0003】
例えば、入力画像と当該入力画像の入力領域とに基づいて出力キャプションを生成するように構成された関数を、それぞれが画像と当該画像の領域と当該領域のキャプションとを含む、３つ組のデータセットを用いて学習する技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－００８７７８号公報
【特許文献2】特開２０１９－２０４１８３号公報
【特許文献3】特開２０２０－１４９３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像の検索精度を向上させる技術が求められている。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、前記物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、前記画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する関係情報生成部と、前記関係情報生成部によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成するモデル生成部と、を備える。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0009】
（実施形態）
〔１．はじめに〕
従来、物体検出（Object Detection）の技術を用いて、画像に含まれる関心対象の物体（例えば、人物や動物、自動車など）を背景から区別してバウンディングボックスで囲み、バウンディングボックスで囲まれた物体のクラス（カテゴリ）と物体の位置を特定する。そして、画像に含まれる物体同士の空間的な関係性をグラフ構造で表現した視覚グラフ情報を生成する。また、画像の内容を示す文字情報の意味的な関係性をグラフ構造で表現した文字グラフ情報を生成する。そして、視覚グラフ情報と文字グラフ情報を対応付けて学習する技術が知られている（参考文献；「Graph Structured Network for Image-TextMatching」、Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 10921-10930、https://arxiv.org/abs/2004.00277v1）。これにより、従来技術は、画像に含まれる物体同士の空間的な関係性を認識・識別することができる。
〔１．はじめに〕
従来、物体検出（Object Detection）の技術を用いて、画像に含まれる関心対象の物体（例えば、人物や動物、自動車など）を背景から区別してバウンディングボックスで囲み、バウンディングボックスで囲まれた物体のクラス（カテゴリ）と物体の位置を特定する。そして、画像に含まれる物体同士の空間的な関係性をグラフ構造で表現した視覚グラフ情報を生成する。また、画像の内容を示す文字情報の意味的な関係性をグラフ構造で表現した文字グラフ情報を生成する。そして、視覚グラフ情報と文字グラフ情報を対応付けて学習する技術が知られている（参考文献；「Graph Structured Network for Image-TextMatching」、Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 10921-10930、https://arxiv.org/abs/2004.00277v1）。これにより、従来技術は、画像に含まれる物体同士の空間的な関係性を認識・識別することができる。
【0010】
しかしながら、従来技術では、バウンディングボックスで囲まれた物体（例えば、人物や動物、自動車など）同士の関係性を認識・識別することができるものの、画像に含まれる物体の背景（例えば、空や道路、芝生など）と物体との関係性を認識・識別することはできなかった。
【0011】
これに対して、本願発明に係る情報処理装置１００は、セグメンテーションの技術を用いて、画像を領域分割する。図１は、実施形態に係る情報処理の概要について説明するための図である。図１に示す情報処理は、後述する情報処理装置１００（図５参照）によって行われる。図１に示すように、情報処理装置１００は、セグメンテーションの技術を用いて画像を領域分割することで、画像のうち、物体を含む分割領域である物体領域に関する物体情報と、画像のうち、物体の背景を含む分割領域である背景領域に関する背景情報を取得する。また、情報処理装置１００は、物体情報と背景情報との空間的な関係をグラフ構造によって表現した視覚グラフ情報を生成する。
【0012】
また、図示は省略するが、情報処理装置１００は、画像の内容を示す文章を自然言語処理して、文章に含まれる形態素の間の意味的な関係をグラフ構造によって表現した文字グラフ情報を生成する。また、情報処理装置１００は、生成した視覚グラフ情報と文字グラフ情報とを対応付けて共通空間に埋め込むようにＶＳＥ（Visual-Semantic Embedding）モデルを学習する。このようにして、情報処理装置１００は、視覚グラフ情報と文字グラフ情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥモデルを生成する。ここで、ＶＳＥとは、画像の特徴を示す画像特徴量と、画像の内容を言語で表現した言語表現の特徴を示す言語特徴量を対応付けて共通空間に埋め込む技術のことを指す。
【0013】
これにより、本願発明に係る情報処理装置１００は、画像に含まれる物体の背景と物体との空間的な関係性と意味的な関係性とを対応付けて学習することができるので、画像に含まれる物体同士の関係性に加えて、画像に含まれる物体の背景と物体との関係性を認識・識別することができる。したがって、本願発明に係る情報処理装置１００は、画像の検索精度を向上させることができる。
【0014】
図２は、画像中の物体と物体の背景との空間的な関係と画像の検索精度の関係性について説明するための図である。図２の左側は、鳥が地面に近い場所に留まっている画像を示す。また、図２の右側は、鳥が空を飛んでいる画像を示す。図２に示す２つの画像は、物体検出の技術を用いて、画像に含まれる関心対象の物体だけに注目すると、「鳥」という物体を含む画像である点で同じである。
【0015】
一方、本願発明に係る情報処理装置１００は、画像に含まれる物体と物体の背景の両方に注目する。具体的には、情報処理装置１００は、図２の左側に示す画像については、画像に含まれる物体である「鳥」と物体の背景である「地面」との空間的な関係性から、単なる「鳥」の画像ではなく、「地面に近い場所に留まっている鳥」の画像であると認識することを可能にする。また、情報処理装置１００は、図２の右側に示す画像については、画像に含まれる物体である「鳥」と物体の背景である「空」との空間的な関係性から、単なる「鳥」の画像ではなく、「空を飛んでいる鳥」の画像であると認識することができる。このように、情報処理装置１００は、画像に含まれる物体のみならず、物体の背景と物体との関係性を考慮して画像を認識することができるので、画像の検索精度を向上させることができる。
【0016】
図３は、実施形態に係るセグメンテーション（Segmentation）の技術について説明するための図である。セグメンテーションとは、画像を入力として、ピクセルレベルで領域を分割しラベルを付けていく技術である。セグメンテーションは、そのラベリングの意味合いから、３種類に大別される。
【0017】
図３の左上に示す（ａ）は、セグメンテーションが施される前の通常のＲＧＢ画像である。図３の右上に示す（ｂ）は、セマンティックセグメンテーション（Semantic Segmentation）の技術を用いて図３の左上に示す（ａ）の画像を領域分割した図である。セマンティックセグメンテーションは、画像上の全ピクセルをクラスに分類する技術である。セマンティックセグメンテーションは、物体の種類ごとに画像を領域分割する。
【0018】
図３の左下に示す（ｃ）は、インスタンスセグメンテーション（Instance Segmentation）の技術を用いて図３の左上に示す（ａ）の画像を領域分割した図である。インスタンスセグメンテーションは、物体ごとの領域を分割し、かつ物体の種類を認識する技術である。インスタンスセグメンテーションは、物体ごとに画像を領域分割する。
【0019】
図３の右下に示す（ｄ）は、パノプティックセグメンテーション（Panoptic Segmentation）の技術を用いて図３の左上に示す（ａ）の画像を領域分割した図である。パノプティックセグメンテーションは、セマンティックセグメンテーションとインスタンスセグメンテーションを組み合わせた技術である。パノプティックセグメンテーションは、人物や動物、自動車などの物体（数えられるクラス、Thing クラスともいう）に対してインスタンスセグメンテーションを行い、空や道路、芝生などの背景（数えられないクラス、Stuff クラスともいう）に対してセマンティックセグメンテーションを行う。
【0020】
本実施形態では、情報処理装置１００がパノプティックセグメンテーションの技術を用いて画像を領域分割する例について説明するが、これに限られない。具体的には、情報処理装置１００は、セマンティックセグメンテーションまたはインスタンスセグメンテーションの技術を用いて画像を領域分割してよい。また、情報処理装置１００は、セマンティックセグメンテーション、インスタンスセグメンテーションおよびパノプティックセグメンテーションの技術を組み合わせて画像を領域分割してよい。
【0021】
また、近年、膨大な数の映像コンテンツを効率よく整理、管理するために、画像の内容を自動で分析し、画像の内容を示す文字情報（キャプションやタグなど）を自動で生成・付与する技術が知られている。これにより、文字情報から画像を検索可能とすることができる。ここで、本願明細書における「画像」とは、映像などの動画であってもよいし、映像に含まれる各シーン（静止画）であってもよい。
【0022】
このような背景の下、文字情報から画像を検索する代表的な２つの手法を比較した研究が知られている。具体的には、（１）画像に含まれる物体、人物、場面および動作等の検出対象（以下、コンセプトともいう）をあらかじめ学習した学習済みの機械学習モデル（以下、コンセプト識別器ともいう）を用いてクエリ文から画像を検索する手法と、（２）画像の特徴を示す画像特徴量と、画像の内容を言語で表現した言語表現の特徴を示す言語特徴量とが対応付けられて埋め込まれた共通空間を用いて、クエリ文とマッチする画像を検索する手法とを比較した研究が知られている（参考文献；「Comparison and Evaluation of Video Retrieval Approaches Using Query Sentences」、IMIP 2020: Proceedings of the 2020 2nd International Conference on Intelligent Medicine and Image Processing、April 2020、Pages 103‐107、https://doi.org/10.1145/3399637.3399657）。
【0023】
上記の研究によると、（１）に示すコンセプト識別器を用いる手法と（２）に示すＶＳＥを用いる手法は、相補的であることが示されている。そこで、本願発明の発明者は、（１）に示すコンセプト識別器を用いる手法と（２）に示すＶＳＥに基づく手法を統合することで、画像の検索精度を向上させる技術を提案する。具体的には、本願発明に係る情報処理装置１００は、コンセプト識別器を用いて画像から適切なコンセプトを抽出し、ＶＳＥモデルを用いて抽出されたコンセプトと類似する画像を再検索する。例えば、情報処理装置１００は、視覚グラフ情報と文字グラフ情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥモデル（以下、ＶＳＥモデルと記載する場合がある）を用いて抽出されたコンセプトと類似する画像を再検索する。これにより、本願発明に係る情報処理装置１００は、例えば、利用者から受け付けたクエリ文に明示されていないコンセプト（例えば、暗示的なコンセプト）の中から、適切なコンセプトを抽出して、抽出したコンセプトと類似する画像を再検索することができる。したがって、本願発明は、画像の検索精度を向上させることができる。
【0024】
【0025】
図４の左側は、実施形態に係るＶＳＥモデルの一例を示す。例えば、図４の左側に示すＶＳＥモデルは、画像から文を検索する場合、画像をＶＳＥモデルに入力して、画像の特徴を示す画像特徴量に対応する特徴ベクトル（以下、画像の特徴ベクトルともいう）を生成する。続いて、ＶＳＥモデルは、生成した画像の特徴ベクトルを文の特徴を示す文特徴量に対応する特徴ベクトル（以下、文の特徴ベクトルともいう）との共通の空間にマッピングしたのち、画像の特徴ベクトルと類似する文の特徴ベクトルに対応する文を検索結果とする。例えば、ＶＳＥモデルは、画像の特徴ベクトルと文の特徴ベクトルとの類似度が所定の閾値を超えるような文の特徴ベクトルに対応する文を検索結果として出力する。
【0026】
また、ＶＳＥモデルは、画像から画像特徴量を抽出することができる。ＶＳＥモデルは、画像から画像特徴量を抽出することができる、任意の公知技術により実現されてよい。例えば、ＶＳＥモデルは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を備えてよい。そして、ＶＳＥモデルは、ＣＮＮを用いて、画像から画像特徴量を抽出してよい。また、例えば、ＶＳＥモデルは、物体認識用に開発されたＲｅｓＮｅｔ（Residual Network）（Kaiming He et al., 2015）、ＡｌｅｘＮｅｔ（Krizhevsky et al., 2012）、ＶＧＧＮｅｔ（Simonyan et al., 2014）、ＧｏｏｇＬｅＮｅｔ（Szegedy et al., 2014）、ＳＥＮｅｔ（Squeeze-and-Excitation Networks）（Jie Hu et al., 2018））、ＥｆｆｉｃｉｅｎｔＮｅｔ（Tan et al., 2019）、またはＺＦＮｅｔ（Matthew et al., 2013）を備えてよい。そして、ＶＳＥモデルは、ＲｅｓＮｅｔ、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＳＥＮｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、またはＺＦＮｅｔを用いて、画像から画像特徴量を抽出してよい。また、例えば、ＶＳＥモデルは、物体検出用に開発されたＦａｓｔｅｒ Ｒ－ＣＮＮ（Shaoqing Ren et al., 2015）、ＹＯＬＯ（You Look Only Onse）（Joseph Redmon et al., 2015）、またはＳＳＤ（Single Shot MultiBox Detector）（Wei Liu., 2015）を備えてよい。そして、ＶＳＥモデルは、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＹＯＬＯ、またはＳＳＤを用いて、画像から画像特徴量を抽出してよい。
【0027】
また、図４の左側に示すＶＳＥモデルは、文から画像を検索する場合、文をＶＳＥモデルに入力して、文の特徴ベクトルを生成する。続いて、ＶＳＥモデルは、生成した文の特徴ベクトルを画像の特徴ベクトルとの共通の空間にマッピングしたのち、文の特徴ベクトルと類似する画像の特徴ベクトルに対応する画像を検索結果とする。例えば、ＶＳＥモデルは、文の特徴ベクトルと画像の特徴ベクトルとの類似度が所定の閾値を超えるような画像の特徴ベクトルに対応する画像を検索結果として出力する。
【0028】
また、ＶＳＥモデルは、言語表現（文章、フレーズ、又はキーワードなど）から言語表現の特徴を示す言語特徴量を抽出することができる。ＶＳＥモデルは、言語表現から言語表現の特徴を示す言語特徴量を抽出することができる、任意の公知技術により実現されてよい。例えば、ＶＳＥモデルは、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を備えてよい。そして、ＶＳＥモデルは、ＲＮＮを用いて、言語表現から言語特徴量を抽出してよい。また、例えば、ＶＳＥモデルは、ＧＲＵ（Gated Recurrent Unit）またはＬＳＴＭ（Long Short Term Memory）を備えてよい。そして、ＶＳＥモデルは、ＧＲＵまたはＬＳＴＭを用いて、言語表現から言語特徴量を抽出してよい。また、例えば、ＶＳＥモデルは、Ｔｒａｎｓｆｏｒｍｅｒ（Ashish Vaswani et al., 2017）、ＴｒａｎｓｆｏｒｍｅｒをベースとしたＢＥＲＴ（Bidirectional Encoder Representations from Transformers）、ＧＰＴ－３（Generative Pre-Training3）またはＴ５（Text-to-Text Transfer Transformer）を備えてよい。そして、ＶＳＥモデルは、Ｔｒａｎｓｆｏｒｍｅｒ、ＢＥＲＴ、ＧＰＴ－３またはＴ５を用いて、言語表現から言語特徴量を抽出してよい。
【0029】
図４の右側は、実施形態に係るコンセプト識別器の出力結果の一例を示す。コンセプト識別器は、コンセプトを含む画像が入力された場合に、画像に含まれるコンセプトと画像との類似度を示すコンセプト類似度を出力するよう学習された学習済みの機械学習モデルである。ここで、コンセプト識別器が学習するコンセプト（検出対象ともいう）には、画像に含まれる物体や人物等の対象物に限らず、画像の場面（シーン）および画像に含まれる人物や動物等の動作（走っている、座っている等）等の概念が含まれる。例えば、図４の右側に示すコンセプト識別器の出力結果は、バイクの横に男性が立っている画像がコンセプト識別器に入力された場合に、画像に含まれる男性の髪の毛の色、男性が着ている服装、男性の体の部位、バイクの色、背景の山や海、赤い橋といった対象を検出し、対象のクラス（カテゴリ）を出力したものである。なお、図４の右側では図示を省略しているが、コンセプト識別器は、画像に含まれるコンセプトのクラスとともに、画像に含まれるコンセプトが当該コンセプトのクラス（カテゴリ）に該当する確率を出力する。このように、コンセプト識別器は、コンセプトを含む画像が入力された場合に、画像に含まれるコンセプトを検出するとともに、検出されたコンセプトのクラスを推定する。すなわち、コンセプト識別器は、コンセプトを含む画像が入力された場合に、コンセプト類似度として、画像に含まれる各コンセプトが推定された各コンセプトのクラスに該当する確率をそれぞれ出力する。
【0030】
〔２．情報処理装置の構成〕
次に、図５を用いて、実施形態に係る情報処理装置の構成について説明する。図５は、実施形態に係る情報処理装置の構成例を示す図である。図５に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、制御部１５０とを有する。
次に、図５を用いて、実施形態に係る情報処理装置の構成について説明する。図５は、実施形態に係る情報処理装置の構成例を示す図である。図５に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、制御部１５０とを有する。
【0031】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）、モデムチップ及びアンテナモジュール等によって実現される。また、通信部１１０は、ネットワークＮ（図示略）と有線又は無線で接続される。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）、モデムチップ及びアンテナモジュール等によって実現される。また、通信部１１０は、ネットワークＮ（図示略）と有線又は無線で接続される。
【0032】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部１２０は、複数の映像または複数の映像それぞれに含まれる各シーンである画像のデータベースである映像プールを記憶する。また、記憶部１２０は、複数の文章または複数の文章それぞれに含まれる各テキストである文字列のデータベースであるキャプションプールを記憶する。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部１２０は、複数の映像または複数の映像それぞれに含まれる各シーンである画像のデータベースである映像プールを記憶する。また、記憶部１２０は、複数の文章または複数の文章それぞれに含まれる各テキストである文字列のデータベースであるキャプションプールを記憶する。
【0033】
（入力部１３０）
入力部１３０は、利用者から各種操作の入力を受け付ける。例えば、入力部１３０は、タッチパネル機能により表示面（例えば出力部１４０）を介して利用者からの各種操作を受け付けてもよい。また、入力部１３０は、情報処理装置１００に設けられたボタンや、情報処理装置１００に接続されたキーボードやマウスからの各種操作を受け付けてもよい。例えば、入力部１３０は、利用者からクエリ文の入力を受け付けてよい。また、入力部１３０は、利用者からクエリ画像の入力を受け付けてよい。
入力部１３０は、利用者から各種操作の入力を受け付ける。例えば、入力部１３０は、タッチパネル機能により表示面（例えば出力部１４０）を介して利用者からの各種操作を受け付けてもよい。また、入力部１３０は、情報処理装置１００に設けられたボタンや、情報処理装置１００に接続されたキーボードやマウスからの各種操作を受け付けてもよい。例えば、入力部１３０は、利用者からクエリ文の入力を受け付けてよい。また、入力部１３０は、利用者からクエリ画像の入力を受け付けてよい。
【0034】
（出力部１４０）
出力部１４０は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部１４０は、制御部１５０の制御に従って、各種情報を表示する。なお、情報処理装置１００にタッチパネルが採用される場合には、入力部１３０と出力部１４０とは一体化される。また、以下の説明では、出力部１４０を画面と記載する場合がある。
出力部１４０は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部１４０は、制御部１５０の制御に従って、各種情報を表示する。なお、情報処理装置１００にタッチパネルが採用される場合には、入力部１３０と出力部１４０とは一体化される。また、以下の説明では、出力部１４０を画面と記載する場合がある。
【0035】
（制御部１５０）
制御部１５０は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等によって、情報処理装置１００の内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等の記憶領域を作業領域として実行されることにより実現される。図５に示す例では、制御部１５０は、関係情報生成部１５１と、モデル生成部１５２と、受付部１５３と、取得部１５４と、検索部１５５と、抽出部１５６と、生成部１５７を有する。
制御部１５０は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等によって、情報処理装置１００の内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等の記憶領域を作業領域として実行されることにより実現される。図５に示す例では、制御部１５０は、関係情報生成部１５１と、モデル生成部１５２と、受付部１５３と、取得部１５４と、検索部１５５と、抽出部１５６と、生成部１５７を有する。
【0036】
（関係情報生成部１５１）
関係情報生成部１５１は、パノプティックセグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す視覚グラフ情報を生成する。
関係情報生成部１５１は、パノプティックセグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す視覚グラフ情報を生成する。
【0037】
図６は、実施形態に係る視覚グラフ情報の生成処理手順について説明するための図である。図６に示す例では、関係情報生成部１５１は、セグメンテーションの処理対象となる入力画像を取得する（ステップＳ１１）。例えば、関係情報生成部１５１は、図６の右上に示すような、道路を横断して歩く歩行者のシーンである入力画像を取得する。関係情報生成部１５１は、例えば、記憶部１２０の映像プールから入力画像を取得する。
【0038】
続いて、関係情報生成部１５１は、パノプティックセグメンテーションの技術を用いて入力画像を領域分割し、歩行者や車両などの物体を含む分割領域である物体領域、および、道路やビル、空などの物体の背景を含む分割領域である背景領域を抽出する（ステップＳ１２）。
【0039】
続いて、関係情報生成部１５１は、物体領域に関する物体情報を物体領域から抽出する（ステップＳ１３）。例えば、関係情報生成部１５１は、物体領域に含まれる物体の種類を示す物体クラス情報を物体領域から抽出する。また、関係情報生成部１５１は、画像における物体の位置および速度を示す情報を物体領域から抽出してよい。また、関係情報生成部１５１は、公知の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）に入力画像を入力して、物体領域の輝度値の特徴を示す物体領域特徴量を畳み込みニューラルネットワークから出力する。このようにして、関係情報生成部１５１は、物体領域の輝度値の特徴を示す物体領域特徴量、物体領域に含まれる物体の種類を示す物体クラス情報および画像における物体の位置および速度を示す情報を含む物体情報を抽出する。図６の右下の例では、シーンを構成する歩行者（１）～（３）および車両（４）に関する物体情報をそれぞれ抽出する。
【0040】
また、関係情報生成部１５１は、背景領域に関する背景情報を背景領域から抽出する（ステップＳ１３）。例えば、関係情報生成部１５１は、背景領域に含まれる背景の種類を示す背景クラス情報を背景領域から抽出する。また、関係情報生成部１５１は、画像における背景の位置および速度を示す情報を背景領域から抽出してよい。また、関係情報生成部１５１は、公知の畳み込みニューラルネットワークに入力画像を入力して、背景領域の輝度値の特徴を示す背景領域特徴量を畳み込みニューラルネットワークから出力する。このようにして、関係情報生成部１５１は、背景領域の輝度値の特徴を示す背景領域特徴量、背景領域に含まれる背景の種類を示す背景クラス情報および画像における背景の位置および速度を示す情報を含む背景情報を抽出する。図６の右下の例では、シーンを構成する道路（５）に関する背景情報を抽出する。
【0041】
続いて、関係情報生成部１５１は、シーンの構造を解析して、グラフで表現する（ステップＳ１４）。図６の右下の例では、関係情報生成部１５１は、歩行者（１）～（３）および車両（４）それぞれに対応する番号をそれぞれ白い丸印で囲むことで、歩行者（１）～（３）および車両（４）それぞれに対応する物体ノードを生成する。また、関係情報生成部１５１は、道路（５）に対応する番号を白い丸印で囲むことで、道路（５）に対応する背景ノードを生成する。また、関係情報生成部１５１は、歩行者（１）～（３）および車両（４）それぞれと道路（５）とを空間エッジによって連結することで、歩行者（１）～（３）および車両（４）それぞれと道路（５）との空間的な関係を示す視覚グラフ情報を生成する。例えば、関係情報生成部１５１は、歩行者（１）～（３）および車両（４）は、道路（５）の場所にあることを示す視覚グラフ情報を生成する。また、関係情報生成部１５１は、歩行者（１）～（３）は近い位置にあることを示す視覚グラフ情報を生成する。また、関係情報生成部１５１は、歩行者（１）～（３）は同じ方向に移動することを示す視覚グラフ情報を生成する。また、関係情報生成部１５１は、車両（４）が走っていることを示す視覚グラフ情報を生成する。
【0042】
このようにして、関係情報生成部１５１は、物体情報に対応する物体ノードと、背景情報に対応する背景ノードと、物体ノードおよび背景ノードを連結する空間エッジと、を含む視覚グラフ情報を生成する。例えば、関係情報生成部１５１は、物体および背景それぞれの位置および速度（または、相対位置および相対速度）を示す情報と、物体ノードおよび背景ノードそれぞれとが対応付けられた視覚グラフ情報を生成する。例えば、関係情報生成部１５１は、画像に含まれる物体および背景それぞれの位置を示す極座標と、物体ノードおよび背景ノードそれぞれとが対応付けられた視覚グラフ情報を生成してよい。
【0043】
なお、図６では、関係情報生成部１５１が、物体ノードや背景ノードといった各ノードを無向エッジである空間エッジによって連結する場合について説明したが、これに限られない。具体的には、関係情報生成部１５１は、各ノードを有向エッジによって連結してよい。より具体的には、関係情報生成部１５１は、物体ノードや背景ノードといった各ノードの間の因果関係や使役関係を表現する場合には、各ノードを有向エッジによって連結してよい。一方、関係情報生成部１５１は、図６に示すように、物体ノードや背景ノードといった各ノードの間の位置関係や状態の関係を表現する場合には、各ノードを無向エッジによって連結してよい。
【0044】
続いて、関係情報生成部１５１は、生成した視覚グラフ情報を出力する（ステップＳ１５）。例えば、関係情報生成部１５１は、視覚グラフ情報を生成すると、生成した視覚グラフ情報を記憶部１２０に記憶する。また、関係情報生成部１５１は、視覚グラフ情報を生成すると、生成した視覚グラフ情報をモデル生成部１５２に出力する。
【0045】
また、関係情報生成部１５１は、画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す文字グラフ情報を生成する。具体的には、関係情報生成部１５１は、画像の内容を示す文章を記憶部１２０のキャプションプールから取得する。続いて、関係情報生成部１５１は、文章を取得すると、文章を自然言語処理する。例えば、関係情報生成部１５１は、文章を自然言語処理して、文章を構成する文字列の間の意味的な関係を示す文字グラフ情報を生成する。
【0046】
例えば、関係情報生成部１５１は、文章を形態素解析して、文章を形態素に分解する。続いて、関係情報生成部１５１は、文章を構文解析して、形態素解析で分割した形態素同士の関連性を解析し、分節感の係り受け構造をツリー化（図式化）する。例えば、関係情報生成部１５１は、文章を依存構造解析（係り受け解析）して、形態素間の修飾または被修飾関係や係り受け関係に基づいて文章の構造を表現する。あるいは、関係情報生成部１５１は、文章を句構造解析して、隣接する形態素の間の関係に基づいて文章の構造を表現する。関係情報生成部１５１は、構文解析の技術を用いて文章の構造を表現すると、表現した構造に基づいて、文章を構成する形態素の間の意味的な関係を示す文字グラフ情報を生成する。例えば、関係情報生成部１５１は、文章を構成する形態素に対応する文字列ノードと、文字列ノード同士を連結する意味エッジと、を含む文字グラフ情報である文字グラフ情報を生成する。
【0047】
なお、上述した実施形態では、関係情報生成部１５１が、物体情報と背景情報との空間的な関係を示す視覚グラフ情報を生成する場合について説明したが、関係情報生成部１５１は、物体情報と背景情報との空間的な関係を示す情報であればグラフ構造以外のどのような情報を生成してもよい。例えば、関係情報生成部１５１は、物体情報と背景情報との空間的な関係を示す情報として、視覚グラフ情報の代わりに、物体情報と背景情報との空間的な関係を示す図表やテーブルを生成してもよい。また、関係情報生成部１５１は、視覚グラフ情報の代わりに、物体情報と背景情報との空間的な対応関係を示す文章を生成してもよい。例えば、図６を例に挙げると、関係情報生成部１５１は、物体情報と背景情報との空間的な関係を示す情報として、「歩行者（１）～（３）および車両（４）は、道路（５）の場所にある」といった文章や「歩行者（１）～（３）は近い位置にある」といった文章、「歩行者（１）～（３）は同じ方向に移動する」といった文章や「車両（４）が走っている」といった物体情報と背景情報との空間的な対応関係を示す文章を生成する。
【0048】
また、同様に、上述した実施形態では、関係情報生成部１５１が、画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す文字グラフ情報を生成する場合について説明したが、関係情報生成部１５１は、画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す情報であればグラフ構造以外のどのような情報を生成してもよい。例えば、関係情報生成部１５１は、文字グラフ情報の代わりに、画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す図表やテーブルを生成してもよい。また、関係情報生成部１５１は、画像の内容を示す文章に含まれる文字列の間の意味的な対応関係を示す文章を生成してもよい。
【0049】
（モデル生成部１５２）
モデル生成部１５２は、関係情報生成部１５１によって生成された視覚グラフ情報と文字グラフ情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥモデルを生成する。具体的には、モデル生成部１５２は、視覚グラフ情報に含まれる物体情報と文字グラフ情報に含まれる物体に関する文字列との対応関係を学習することで、ＶＳＥモデルを生成する。例えば、モデル生成部１５２は、視覚グラフ情報に含まれる物体ノードと、物体ノードに対応する物体に関する形態素に対応する文字列ノードとの対応関係を学習することで、ＶＳＥモデルを生成する。また、モデル生成部１５２は、視覚グラフ情報に含まれる背景情報と文字グラフ情報に含まれる背景に関する文字列との対応関係を学習することで、ＶＳＥモデルを生成する。例えば、モデル生成部１５２は、視覚グラフ情報に含まれる背景ノードと、背景ノードに対応する背景に関する形態素に対応する文字列ノードとの対応関係を学習することで、ＶＳＥモデルを生成する。
モデル生成部１５２は、関係情報生成部１５１によって生成された視覚グラフ情報と文字グラフ情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥモデルを生成する。具体的には、モデル生成部１５２は、視覚グラフ情報に含まれる物体情報と文字グラフ情報に含まれる物体に関する文字列との対応関係を学習することで、ＶＳＥモデルを生成する。例えば、モデル生成部１５２は、視覚グラフ情報に含まれる物体ノードと、物体ノードに対応する物体に関する形態素に対応する文字列ノードとの対応関係を学習することで、ＶＳＥモデルを生成する。また、モデル生成部１５２は、視覚グラフ情報に含まれる背景情報と文字グラフ情報に含まれる背景に関する文字列との対応関係を学習することで、ＶＳＥモデルを生成する。例えば、モデル生成部１５２は、視覚グラフ情報に含まれる背景ノードと、背景ノードに対応する背景に関する形態素に対応する文字列ノードとの対応関係を学習することで、ＶＳＥモデルを生成する。
【0050】
また、モデル生成部１５２は、視覚グラフ情報に含まれる物体情報または背景情報である対象物情報と、対象物情報と隣接する他の対象物情報である隣接対象物情報との空間的な接続関係、および空間的な接続関係の重みを学習する。例えば、モデル生成部１５２は、視覚グラフ情報に含まれる物体ノードまたは背景ノードである対象物ノードと、対象物ノードと隣接する他の対象物ノードである隣接対象物ノードとの空間的な接続関係、および空間的な接続関係の重みを学習する。
【0051】
また、モデル生成部１５２は、文字グラフ情報に含まれる形態素と、形態素と隣接する他の形態素である隣接形態素との意味的な接続関係、および意味的な接続関係の重みを学習することで、ＶＳＥモデルを生成する。例えば、モデル生成部１５２は、文字グラフ情報に含まれる形態素に対応する文字列ノードと、文字列ノードと隣接する他の文字列ノードである隣接文字列ノードとの意味的な接続関係、および意味的な接続関係の重みを学習することで、ＶＳＥモデルを生成する。
【0052】
より具体的には、モデル生成部１５２は、関係情報生成部１５１によって生成された視覚グラフ情報の特徴を示す視覚グラフ特徴量と文字グラフ情報の特徴を示す文字グラフ特徴量とを対応付けて共通空間に埋め込むように学習されたＶＳＥモデルを生成する。例えば、関係情報生成部１５１は、第１ＧＣＮ（Graph Convolutional Networks）に視覚グラフ情報を入力して、第１ＧＣＮから視覚グラフ特徴量を出力する。また、関係情報生成部１５１は、第２ＧＣＮに文字グラフ情報を入力して、第２ＧＣＮから文字グラフ特徴量を出力する。続いて、モデル生成部１５２は、関係情報生成部１５１によって出力された視覚グラフ特徴量と文字グラフ特徴量を対応付けて共通空間に埋め込むようＶＳＥモデルを学習することで、ＶＳＥモデルを生成する。
【0053】
（受付部１５３）
受付部１５３は、利用者によって入力されたクエリ文を受け付ける。例えば、受付部１５３は、入力部１３０を介して利用者が入力したクエリ文を受け付ける。ここで、本願明細書におけるクエリ文とは、完全な文章でなくてもよく、例えば、キーワードやフレーズであってもよい。以下では、受付部１５３が利用者から最初に受け付けたクエリ文を「第１クエリ文」と記載する。例えば、受付部１５３は、第１クエリ文の一例として、利用者から「person in a car」というフレーズを受け付ける。
受付部１５３は、利用者によって入力されたクエリ文を受け付ける。例えば、受付部１５３は、入力部１３０を介して利用者が入力したクエリ文を受け付ける。ここで、本願明細書におけるクエリ文とは、完全な文章でなくてもよく、例えば、キーワードやフレーズであってもよい。以下では、受付部１５３が利用者から最初に受け付けたクエリ文を「第１クエリ文」と記載する。例えば、受付部１５３は、第１クエリ文の一例として、利用者から「person in a car」というフレーズを受け付ける。
【0054】
（取得部１５４）
取得部１５４は、映像プールから画像を取得する。例えば、取得部１５４は、受付部１５３が第１クエリ文を受け付けると、記憶部１２０を参照して、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する。例えば、取得部１５４は、Ｎ個（Ｎは自然数）の画像＃１１～画像＃１Ｎを映像プールから取得する。
取得部１５４は、映像プールから画像を取得する。例えば、取得部１５４は、受付部１５３が第１クエリ文を受け付けると、記憶部１２０を参照して、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する。例えば、取得部１５４は、Ｎ個（Ｎは自然数）の画像＃１１～画像＃１Ｎを映像プールから取得する。
【0055】
（検索部１５５）
検索部１５５は、モデル生成部１５２によって生成されたＶＳＥモデルを用いて、受付部１５３によって受け付けられた第１クエリ文に関する第１画像を検索する。具体的には、検索部１５５は、取得部１５４が画像を取得すると、受付部１５３によって受け付けられた第１クエリ文と取得部１５４によって取得された画像の組をＶＳＥモデルに入力する。例えば、検索部１５５は、第１クエリ文である「person in a car」とＮ個の画像＃１１～画像＃１Ｎそれぞれとの組をＶＳＥモデルに入力する。
検索部１５５は、モデル生成部１５２によって生成されたＶＳＥモデルを用いて、受付部１５３によって受け付けられた第１クエリ文に関する第１画像を検索する。具体的には、検索部１５５は、取得部１５４が画像を取得すると、受付部１５３によって受け付けられた第１クエリ文と取得部１５４によって取得された画像の組をＶＳＥモデルに入力する。例えば、検索部１５５は、第１クエリ文である「person in a car」とＮ個の画像＃１１～画像＃１Ｎそれぞれとの組をＶＳＥモデルに入力する。
【0056】
続いて、検索部１５５は、第１クエリ文と画像との第１類似度をＶＳＥモデルから出力する。例えば、検索部１５５は、第１クエリ文とＮ個の画像＃１１～画像＃１Ｎそれぞれとの類似度＃１１～類似度＃１Ｎそれぞれを出力する。続いて、検索部１５５は、出力された第１類似度が第１閾値を超える第１画像を検索する。例えば、類似度＃１１～類似度＃１３は第１閾値を超えるが、類似度＃１４～類似度＃１Ｎは第１閾値以下であるとする。このとき、検索部１５５は、Ｎ個の画像＃１１～画像＃１Ｎの中から、第１クエリ文との第１類似度が第１閾値を超える画像＃１１～画像＃１３を第１画像として取得する。
【0057】
なお、検索部１５５は、出力された第１類似度が第１閾値を超える第１画像を検索する代わりに、出力された第１類似度が高い方から順にいくつかの第１画像を検索してよい。例えば、第１クエリ文とＮ個の画像＃１１～画像＃１Ｎそれぞれとの類似度＃１１～類似度＃１Ｎのうち、類似度＃１１の類似度が最も高く、Ｎが大きくなるほど類似度が低いとする。このとき、検索部１５５は、Ｎ個の画像＃１１～画像＃１Ｎの中から、第１クエリ文との第１類似度が高い方から順に、例えば、３つの画像＃１１～画像＃１３を第１画像として取得してよい。
【0058】
（抽出部１５６）
抽出部１５６は、第１画像に関するコンセプトを抽出する。具体的には、抽出部１５６は、コンセプトを含む画像が入力された場合に、画像に含まれるコンセプトと画像とのコンセプト類似度を出力するよう学習された学習済みの機械学習モデルであるコンセプト識別器を用いて、第１画像から第１画像に関するコンセプトを抽出する。例えば、抽出部１５６は、検索部１５５によって第１画像が検索されると、検索部１５５によって検索された第１画像をコンセプト識別器に入力する。例えば、抽出部１５６は、検索部１５５によって検索された第１画像である画像＃１１～画像＃１３それぞれをコンセプト識別器に入力する。なお、以下では、簡単のため、第１画像が画像＃１１のみである場合について説明する。
抽出部１５６は、第１画像に関するコンセプトを抽出する。具体的には、抽出部１５６は、コンセプトを含む画像が入力された場合に、画像に含まれるコンセプトと画像とのコンセプト類似度を出力するよう学習された学習済みの機械学習モデルであるコンセプト識別器を用いて、第１画像から第１画像に関するコンセプトを抽出する。例えば、抽出部１５６は、検索部１５５によって第１画像が検索されると、検索部１５５によって検索された第１画像をコンセプト識別器に入力する。例えば、抽出部１５６は、検索部１５５によって検索された第１画像である画像＃１１～画像＃１３それぞれをコンセプト識別器に入力する。なお、以下では、簡単のため、第１画像が画像＃１１のみである場合について説明する。
【0059】
続いて、抽出部１５６は、第１画像に含まれるコンセプトと第１画像とのコンセプト類似度をコンセプト識別器から出力する。例えば、抽出部１５６は、画像＃１１に含まれるコンセプトである「car_interior」と画像＃１１とのコンセプト類似度＃２１である「９０％」をコンセプト識別器から出力する。また、例えば、抽出部１５６は、画像＃１１に含まれるコンセプトである「自動車」と画像＃１１とのコンセプト類似度＃２２である「８０％」をコンセプト識別器から出力する。また、例えば、抽出部１５６は、画像＃１１に含まれるコンセプトである「バイク」と画像＃１１とのコンセプト類似度＃２３である「７０％」をコンセプト識別器から出力する。
【0060】
続いて、抽出部１５６は、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトを抽出する。例えば、コンセプト閾値が「８５％」であるとする。このとき、抽出部１５６は、コンセプト類似度がコンセプト閾値である「８５％」を超えるコンセプトである「car_interior」を抽出する。続いて、抽出部１５６は、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトの中から、第１クエリ文に含まれないコンセプトである隠れコンセプトを抽出する。例えば、抽出部１５６は、第１クエリ文に含まれない文字列を含むコンセプトを隠れコンセプトとして抽出する。例えば、抽出部１５６は、第１クエリ文である「person in a car」に含まれない文字列である「interior」を含むコンセプトである「car_interior」を隠れコンセプトとして抽出する。
【0061】
なお、抽出部１５６は、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトを抽出する代わりに、出力されたコンセプト類似度が高い方から順にいくつかのコンセプトを抽出してよい。例えば、第１画像とＭ個（Ｍは自然数）のコンセプト＃１１～コンセプト＃１Ｍそれぞれとのコンセプト類似度＃１１～コンセプト類似度＃１Ｍのうち、コンセプト類似度＃１１のコンセプト類似度が最も高く、Ｍが大きくなるほどコンセプト類似度が低いとする。このとき、抽出部１５６は、Ｍ個のコンセプト＃１１～コンセプト＃１Ｍの中から、第１画像とのコンセプト類似度が高い方から順に、例えば、３つのコンセプト＃１１～コンセプト＃１３を抽出してよい。
【0062】
（生成部１５７）
以下では、抽出部１５６によって抽出された隠れコンセプトに基づいて生成されたクエリ文のことを「第２クエリ文」と記載する。生成部１５７は、抽出部１５６によって抽出された隠れコンセプトに基づいて、第２クエリ文を生成する。例えば、生成部１５７は、抽出部１５６によって抽出された隠れコンセプトに基づいて、第１クエリ文を更新して、第２クエリ文を生成してよい。例えば、生成部１５７は、抽出部１５６によって抽出された隠れコンセプトである「car_interior」を含む第２クエリ文を生成してよい。出力部１４０は、生成部１５７によって生成された第２クエリ文を出力する。例えば、出力部１４０は、生成部１５７によって生成された第２クエリ文の一例として、「car_interior」を出力する。受付部１５３は、出力部１４０によって出力された第２クエリ文を利用者から受け付ける。例えば、受付部１５３は、出力部１４０によって出力された第２クエリ文である「car_interior」を利用者から受け付ける。
以下では、抽出部１５６によって抽出された隠れコンセプトに基づいて生成されたクエリ文のことを「第２クエリ文」と記載する。生成部１５７は、抽出部１５６によって抽出された隠れコンセプトに基づいて、第２クエリ文を生成する。例えば、生成部１５７は、抽出部１５６によって抽出された隠れコンセプトに基づいて、第１クエリ文を更新して、第２クエリ文を生成してよい。例えば、生成部１５７は、抽出部１５６によって抽出された隠れコンセプトである「car_interior」を含む第２クエリ文を生成してよい。出力部１４０は、生成部１５７によって生成された第２クエリ文を出力する。例えば、出力部１４０は、生成部１５７によって生成された第２クエリ文の一例として、「car_interior」を出力する。受付部１５３は、出力部１４０によって出力された第２クエリ文を利用者から受け付ける。例えば、受付部１５３は、出力部１４０によって出力された第２クエリ文である「car_interior」を利用者から受け付ける。
【0063】
なお、生成部１５７が第２クエリ文を生成する代わりに、出力部１４０によって出力された隠れコンセプトに基づいて利用者が第２クエリ文を生成してもよい。受付部１５３は、利用者によって生成された第２クエリ文を利用者から受け付けてもよい。
【0064】
また、取得部１５４は、受付部１５３が第２クエリ文を受け付けると、記憶部１２０を参照して、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する。検索部１５５は、ＶＳＥモデルを用いて、受付部１５３によって受け付けられた第２クエリ文に関する第２画像を再検索する。例えば、検索部１５５は、受付部１５３によって受け付けられた第２クエリ文である「car_interior」に関する第２画像を再検索する。例えば、検索部１５５は、受付部１５３によって受け付けられた第２クエリ文と取得部１５４によって取得された画像の組をＶＳＥモデルに入力する。続いて、検索部１５５は、画像と第２クエリ文との第２類似度をＶＳＥモデルから出力する。続いて、検索部１５５は、出力された第２類似度が第２閾値を超える第２画像を再検索する。出力部１４０は、検索部１５５によって再検索された第２画像を検索結果として出力する。このようにして、出力部１４０は、例えば、隠れコンセプトである「car_interior」に基づいて生成された第２クエリ文である「car_interior」に関する第２画像を検索結果として出力する。
【0065】
上述した例では、抽出部１５６が、第１クエリ文である「person in a car」に含まれない文字列「interior」を含むコンセプトである「car_interior」を隠れコンセプトとして抽出する場合について説明したが、他の例について説明する。例えば、受付部１５３は、第１クエリ文の一例として、「destroyed old building」というフレーズを利用者から受け付ける。検索部１５５は、ＶＳＥモデルを用いて、受付部１５３によって受け付けられた第１クエリ文である「destroyed old building」に関する第１画像を検索する。抽出部１５６は、第１画像をコンセプト識別器に入力して、第１画像に含まれるコンセプトである「ruin」を抽出する。続いて、抽出部１５６は、第１クエリ文である「destroyed old building」に含まれない文字列である「ruin」を含むコンセプトである「ruin」を隠れコンセプトとして抽出する。
【0066】
〔３．情報処理のフロー〕
次に、図７を用いて、実施形態に係る情報処理の手順について説明する。図７は、実施形態に係る情報処理の一例を示すフローチャートである。図７では、受付部１５３が、利用者によって入力された第１クエリ文を受け付ける（ステップＳ１０１）。取得部１５４は、受付部１５３が第１クエリ文を受け付けると、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する（ステップＳ１０２）。
次に、図７を用いて、実施形態に係る情報処理の手順について説明する。図７は、実施形態に係る情報処理の一例を示すフローチャートである。図７では、受付部１５３が、利用者によって入力された第１クエリ文を受け付ける（ステップＳ１０１）。取得部１５４は、受付部１５３が第１クエリ文を受け付けると、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する（ステップＳ１０２）。
【0067】
検索部１５５は、受付部１５３によって受け付けられた第１クエリ文と取得部１５４によって取得された画像の組をＶＳＥモデルに入力する。続いて、検索部１５５は、第１クエリ文と画像との第１類似度をＶＳＥモデルから出力する（ステップＳ１０３）。続いて、検索部１５５は、出力された第１類似度が第１閾値を超える第１画像を検索する（ステップＳ１０４）。
【0068】
抽出部１５６は、検索部１５５によって検索された第１画像をコンセプト識別器に入力する（ステップＳ１０５）。続いて、抽出部１５６は、第１画像に含まれるコンセプトと第１画像とのコンセプト類似度をコンセプト識別器から出力する（ステップＳ１０６）。続いて、抽出部１５６は、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトを抽出する。続いて、抽出部１５６は、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトの中から、第１クエリ文に含まれないコンセプトである隠れコンセプトを抽出する（ステップＳ１０７）。
【0069】
出力部１４０は、抽出部１５６によって抽出された隠れコンセプトを出力する（ステップＳ１０８）。利用者は、出力部１４０によって出力された隠れコンセプトに基づいて第１クエリ文を更新し、新たな第２クエリ文を生成する（ステップＳ１０９）。受付部１５３は、出力部１４０によって出力された隠れコンセプトに基づいて更新された第２クエリ文を利用者から受け付ける。例えば、受付部１５３は、入力部１３０を介して、利用者によって更新された第２クエリ文を利用者から受け付ける（ステップＳ１１０）。取得部１５４は、受付部１５３が第２クエリ文を受け付けると、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する（ステップＳ１１１）。
【0070】
検索部１５５は、受付部１５３によって受け付けられた第２クエリ文と取得部１５４によって取得された画像の組をＶＳＥモデルに入力する。続いて、検索部１５５は、画像と第２クエリ文との第２類似度をＶＳＥモデルから出力する（ステップＳ１１２）。続いて、検索部１５５は、出力された第２類似度が第２閾値を超える第２画像を再検索する（ステップＳ１１３）。出力部１４０は、検索部１５５によって再検索された第２画像を検索結果として出力する（ステップＳ１１４）。
【0071】
〔４．変形例〕
次に、図８を用いて、変形例に係る情報処理の手順について説明する。図８は、変形例に係る情報処理の一例を示すフローチャートである。図８では、受付部１５３が、利用者によって入力されたクエリ画像を受け付ける（ステップＳ２０１）。例えば、受付部１５３は、入力部１３０を介して利用者が入力したクエリ画像を受け付ける。ここで、本願明細書におけるクエリ画像とは、画像全体でなくてもよく、例えば、画像の一部であってもよい。
次に、図８を用いて、変形例に係る情報処理の手順について説明する。図８は、変形例に係る情報処理の一例を示すフローチャートである。図８では、受付部１５３が、利用者によって入力されたクエリ画像を受け付ける（ステップＳ２０１）。例えば、受付部１５３は、入力部１３０を介して利用者が入力したクエリ画像を受け付ける。ここで、本願明細書におけるクエリ画像とは、画像全体でなくてもよく、例えば、画像の一部であってもよい。
【0072】
取得部１５４は、受付部１５３がクエリ画像を受け付けると、記憶部１２０を参照して、複数の文章または複数の文章それぞれに含まれる各テキストである文字列をキャプションプールから取得する（ステップＳ２０２）。
【0073】
また、検索部１５５は、取得部１５４が文字列を取得すると、受付部１５３によって受け付けられたクエリ画像と取得部１５４によって取得された文字列の組をＶＳＥモデルに入力する。続いて、検索部１５５は、クエリ画像と文字列との第３類似度をＶＳＥモデルから出力する（ステップＳ２０３）。続いて、検索部１５５は、出力された第３類似度が第３閾値を超える文字列を検索する（ステップＳ２０４）。
【0074】
生成部１５７は、検索部１５５によって検索された文字列に基づいて第３クエリ文を生成する。出力部１４０は、生成部１５７によって生成された第３クエリ文を出力する。受付部１５３は、出力部１４０によって出力された第３クエリ文を利用者から受け付ける（ステップＳ２０５）。取得部１５４は、受付部１５３が第３クエリ文を受け付けると、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する（ステップＳ２０６）。
【0075】
検索部１５５は、受付部１５３によって受け付けられた第３クエリ文と取得部１５４によって取得された画像の組をＶＳＥモデルに入力する。続いて、検索部１５５は、画像と第３クエリ文との第１類似度をＶＳＥモデルから出力する（ステップＳ２０７）。続いて、検索部１５５は、出力された第１類似度が第１閾値を超える第３画像を検索する（ステップＳ２０８）。
【0076】
抽出部１５６は、検索部１５５によって検索された第３画像をコンセプト識別器に入力する（ステップＳ２０９）。続いて、抽出部１５６は、第３画像に含まれるコンセプトと第３画像とのコンセプト類似度をコンセプト識別器から出力する（ステップＳ２１０）。続いて、抽出部１５６は、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトを抽出する。続いて、抽出部１５６は、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトの中から、第３クエリ文に含まれないコンセプトである隠れコンセプトを抽出する（ステップＳ２１１）。
【0077】
出力部１４０は、抽出部１５６によって抽出された隠れコンセプトを出力する（ステップＳ２１２）。利用者は、出力部１４０によって出力された隠れコンセプトに基づいて第３クエリ文を更新し、新たな第４クエリ文を生成する（ステップＳ２１３）。受付部１５３は、出力部１４０によって出力された隠れコンセプトに基づいて更新された第４クエリ文を利用者から受け付ける。例えば、受付部１５３は、入力部１３０を介して、利用者によって更新された第４クエリ文を利用者から受け付ける（ステップＳ２１４）。取得部１５４は、受付部１５３が第４クエリ文を受け付けると、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する（ステップＳ２１５）。
【0078】
検索部１５５は、受付部１５３によって受け付けられた第４クエリ文と取得部１５４によって取得された画像の組をＶＳＥモデルに入力する。続いて、検索部１５５は、画像と第４クエリ文との第２類似度をＶＳＥモデルから出力する（ステップＳ２１６）。続いて、検索部１５５は、出力された第２類似度が第２閾値を超える第４画像を再検索する（ステップＳ２１７）。出力部１４０は、検索部１５５によって再検索された第４画像を検索結果として出力する（ステップＳ２１８）。
【0079】
なお、ステップＳ２０５において、利用者は、出力部１４０によって出力された第３クエリ文を変更することができる。受付部１５３は、入力部１３０を介して、利用者によって変更された第３クエリ文を利用者から受け付ける。
【0080】
〔５．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、関係情報生成部１５１と、モデル生成部１５２を有する。関係情報生成部１５１は、セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する。モデル生成部１５２は、関係情報生成部１５１によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成する。
上述してきたように、実施形態に係る情報処理装置１００は、関係情報生成部１５１と、モデル生成部１５２を有する。関係情報生成部１５１は、セグメンテーションの技術を用いて領域分割された画像のうち、物体を含む分割領域である物体領域に関する物体情報と、物体の背景を含む分割領域である背景領域に関する背景情報との空間的な関係を示す空間関係情報、および、画像の内容を示す文章に含まれる文字列の間の意味的な関係を示す意味関係情報を生成する。モデル生成部１５２は、関係情報生成部１５１によって生成された空間関係情報と意味関係情報とを対応付けて共通空間に埋め込むように学習されたＶＳＥ（Visual-Semantic Embedding）モデルを生成する。
【0081】
これにより、情報処理装置１００は、画像に含まれる物体の背景と物体との空間的な関係性と意味的な関係性とを対応付けて学習することができるので、画像に含まれる物体同士の関係性に加えて、画像に含まれる物体の背景と物体との関係性を認識・識別することができる。したがって、情報処理装置１００は、画像の検索精度を向上させることができる。
【0082】
また、関係情報生成部１５１は、物体領域の輝度値の特徴を示す物体領域特徴量、物体の種類を示す物体クラス情報および画像における物体の位置および速度を示す情報を含む物体情報と、背景領域の輝度値の特徴を示す背景領域特徴量、背景の種類を示す背景クラス情報および画像における背景の位置および速度を示す情報を含む背景情報との空間的な関係を示す空間関係情報を生成する。
【0083】
これにより、情報処理装置１００は、画像に含まれる物体の背景と物体との空間的な関係性を適切に認識・識別することができる。
【0084】
また、関係情報生成部１５１は、文章を構成する形態素である文字列の間の意味的な関係を示す意味関係情報を生成する。
【0085】
これにより、情報処理装置１００は、画像に含まれる物体の背景と物体との意味的な関係性を適切に認識・識別することができる。
【0086】
また、モデル生成部１５２は、空間関係情報に含まれる物体情報と意味関係情報に含まれる物体に関する文字列との対応関係、および、空間関係情報に含まれる背景情報と意味関係情報に含まれる背景に関する文字列との対応関係を学習することで、ＶＳＥモデルを生成する。
【0087】
これにより、情報処理装置１００は、空間関係情報と意味関係情報という異なる関係情報の間の対応関係を適切に学習することができる。
【0088】
また、モデル生成部１５２は、空間関係情報に含まれる物体情報または背景情報である対象物情報と、対象物情報と隣接する他の対象物情報である隣接対象物情報との空間的な接続関係、および空間的な接続関係の重みを学習し、意味関係情報に含まれる文字列と、文字列と隣接する他の文字列である隣接文字列との意味的な接続関係、および意味的な接続関係の重みを学習することで、ＶＳＥモデルを生成する。
【0089】
これにより、情報処理装置１００は、空間関係情報および意味関係情報それぞれの関係情報内の情報同士の関係性を適切に学習することができる。
【0090】
また、関係情報生成部１５１は、物体情報に対応する物体ノードと、背景情報に対応する背景ノードと、物体ノードおよび背景ノードを連結する空間エッジと、を含む視覚グラフ情報である空間関係情報、および、文字列に対応する文字列ノードと、文字列ノード同士を連結する意味エッジと、を含む文字グラフ情報である意味関係情報を生成する。モデル生成部１５２は、関係情報生成部１５１によって生成された視覚グラフ情報の特徴を示す視覚グラフ特徴量と文字グラフ情報の特徴を示す文字グラフ特徴量とを対応付けて共通空間に埋め込むように学習されたＶＳＥモデルを生成する。
【0091】
これにより、情報処理装置１００は、画像と文字という異なるモーダル間のグラフ構造の特徴を対応付けて学習することで、画像と文字という異なるモーダル間の対応関係を適切に認識・識別することができる。
【0092】
また、関係情報生成部１５１は、第１ＧＣＮ（Graph Convolutional Networks）に視覚グラフ情報を入力して、第１ＧＣＮから視覚グラフ特徴量を出力し、第２ＧＣＮに文字グラフ情報を入力して、第２ＧＣＮから文字グラフ特徴量を出力する。モデル生成部１５２は、関係情報生成部１５１によって出力された視覚グラフ特徴量と文字グラフ特徴量を対応付けて共通空間に埋め込むようＶＳＥモデルを学習することで、ＶＳＥモデルを生成する。
【0093】
これにより、情報処理装置１００は、ＶＳＥモデルを用いることで、画像と文字という異なるモーダル間の対応関係を適切に認識・識別することができる。
【0094】
また、情報処理装置１００は、受付部１５３と、検索部１５５と、抽出部１５６を有する。受付部１５３は、利用者によって入力された第１クエリ文を受け付ける。検索部１５５は、モデル生成部１５２によって生成されたＶＳＥモデルを用いて、第１クエリ文に関する第１画像を検索する。抽出部１５６は、第１画像に含まれるコンセプトを抽出する。検索部１５５は、ＶＳＥモデルを用いて、抽出部１５６によって抽出されたコンセプトに基づく第２クエリ文に関する第２画像を再検索する。
【0095】
これにより、情報処理装置１００は、ＶＳＥを用いることで、利用者によって入力されたクエリ文に関する画像を適切に検索することができる。また、情報処理装置１００は、適切に検索された画像からコンセプトを抽出したうえで、抽出したコンセプトに基づいて画像を再検索することができる。したがって、情報処理装置１００は、画像の検索精度を向上させることができる。
【0096】
また、情報処理装置１００は、生成部１５７をさらに備える。生成部１５７は、抽出部１５６によって抽出されたコンセプトに基づいて、第２クエリ文を生成する。検索部１５５は、ＶＳＥモデルを用いて、生成部１５７によって生成された第２クエリ文に関する第２画像を再検索する。
【0097】
これにより、情報処理装置１００は、適切なコンセプトに基づいて適切なクエリ文を生成することができる。例えば、情報処理装置１００は、適切な検索キーワードを追加（または不適切な検索キーワードを排除）することで、検索精度を向上させることを可能にする。したがって、情報処理装置１００は、適切なクエリ文に基づいて画像を再検索することができるので、画像の検索精度を向上させることができる。
【0098】
また、情報処理装置１００は、検索部１５５による検索結果を出力する出力部１４０をさらに備える。出力部１４０は、抽出部１５６によって抽出されたコンセプトを出力する。受付部１５３は、出力部１４０によって出力されたコンセプトに基づく第２クエリ文を利用者から受け付ける。検索部１５５は、ＶＳＥモデルを用いて、受付部１５３によって受け付けられた第２クエリ文に関する第２画像を再検索する。
【0099】
これにより、情報処理装置１００は、利用者が、適切なコンセプトに基づいて適切なクエリ文を生成するのを助けることができる。例えば、情報処理装置１００は、利用者が適切な検索キーワードを追加（または不適切な検索キーワードを排除）することで、検索精度を向上させることを可能にする。したがって、情報処理装置１００は、適切なクエリ文に基づいて画像を再検索することができるので、画像の検索精度を向上させることができる。
【0100】
また、情報処理装置１００は、取得部１５４をさらに備える。取得部１５４は、複数の映像または複数の映像それぞれに含まれる各シーンである画像を取得する。検索部１５５は、取得部１５４によって取得された画像と受付部１５３によって受け付けられた第１クエリ文の組をＶＳＥモデルに入力して、画像と第１クエリ文との第１類似度をＶＳＥモデルから出力し、出力された第１類似度が第１閾値を超える第１画像を検索する。
【0101】
これにより、情報処理装置１００は、ＶＳＥに基づく処理により、適切な画像を選択することができる。
【0102】
また、検索部１５５は、取得部１５４によって取得された画像と抽出部１５６によって抽出されたコンセプトに基づく第２クエリ文の組をＶＳＥモデルに入力して、画像と第２クエリ文との第２類似度をＶＳＥモデルから出力し、出力された第２類似度が第２閾値を超える第２画像を再検索する。
【0103】
これにより、情報処理装置１００は、ＶＳＥに基づく処理とコンセプト識別器に基づく処理を回すことで、適切なコンセプトを選択することができる。例えば、情報処理装置１００は、利用者が入力したクエリ文に明示されていない内容（例えば、暗示的な内容）に関するコンセプトを抽出することができる。
【0104】
また、抽出部１５６は、コンセプトを含む画像が入力された場合に、画像に含まれるコンセプトと画像とのコンセプト類似度を出力するよう学習された学習済みの機械学習モデルであるコンセプト識別器を用いて、第１画像から第１画像に関するコンセプトを抽出する。
【0105】
これにより、情報処理装置１００は、コンセプト識別器を用いることで、適切に検索された画像から適切なコンセプトを抽出することができる。また、情報処理装置１００は、適切なコンセプトを抽出したうえで、適切なコンセプトに基づいて画像を再検索することができる。したがって、情報処理装置１００は、画像の検索精度を向上させることができる。
【0106】
また、抽出部１５６は、検索部１５５によって検索された第１画像をコンセプト識別器に入力して、第１画像に含まれるコンセプトと第１画像とのコンセプト類似度をコンセプト識別器から出力し、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトを抽出する。
【0107】
これにより、情報処理装置１００は、適切なコンセプトを抽出することができる。
【0108】
また、抽出部１５６は、出力されたコンセプト類似度がコンセプト閾値を超えるコンセプトの中から、第１クエリ文に含まれないコンセプトである隠れコンセプトを抽出する。
【0109】
これにより、情報処理装置１００は、利用者が入力したクエリ文に明示されていない内容（例えば、暗示的な内容）に関するコンセプトを抽出することができる。また、情報処理装置１００は、利用者が入力したクエリ文に明示されていないコンセプト（例えば、暗示的なコンセプト）に基づいて画像を再検索することができる。したがって、情報処理装置１００は、画像の検索精度を向上させることができる。
【0110】
また、受付部１５３は、利用者によって入力されたクエリ画像を受け付ける。検索部１５５は、ＶＳＥモデルを用いて、受付部１５３によって受け付けられたクエリ画像に関する文字列を検索し、検索した文字列に基づく第３クエリ文に関する第３画像を検索する。
【0111】
これにより、情報処理装置１００は、利用者が入力したクエリ画像に明示されていない内容（例えば、暗示的な内容）に関するコンセプトを抽出することができる。
【0112】
また、取得部１５４は、複数の文章または複数の文章それぞれに含まれる各テキストである文字列を取得する。検索部１５５は、取得部１５４によって取得された文字列と受付部１５３によって受け付けられたクエリ画像の組をＶＳＥモデルに入力して、文字列とクエリ画像との第３類似度をＶＳＥモデルから出力し、出力された第３類似度が第３閾値を超える文字列を検索し、検索した文字列に基づく第３クエリ文に関する第３画像を検索する。
【0113】
これにより、情報処理装置１００は、ＶＳＥに基づく処理とコンセプト識別器に基づく処理を回すことで、適切なコンセプトを選択することができる。
【0114】
また、抽出部１５６は、第３画像に含まれるコンセプトを抽出する。検索部１５５は、ＶＳＥモデルを用いて、抽出部１５６によって抽出されたコンセプトに基づく第４クエリ文に関する第４画像を再検索する。
【0115】
これにより、情報処理装置１００は、利用者が入力したクエリ画像に明示されていない内容（例えば、暗示的な内容）に関するコンセプトを抽出することができる。また、情報処理装置１００は、利用者が入力したクエリ画像に明示されていないコンセプト（例えば、暗示的なコンセプト）に基づいて画像を再検索することができる。したがって、情報処理装置１００は、画像の検索精度を向上させることができる。
【0116】
〔６．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
また、上述してきた実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
【0117】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0118】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【0119】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。なお、ＣＰＵ１１００の代わりに、ＭＰＵ（Micro Processing Unit）、また多大な計算パワーを必要とすることからＧＰＵ（Graphics Processing Unit）を用いてもよい。
【0120】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0121】
例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１５０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0122】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0123】
〔７．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0124】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0125】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0126】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、検索部は、検索手段や検索回路に読み替えることができる。
【符号の説明】
【0127】
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 入力部
１４０ 出力部
１５０ 制御部
１５１ 関係情報生成部
１５２ モデル生成部
１５３ 受付部
１５４ 取得部
１５５ 検索部
１５６ 抽出部
１５７ 生成部
１１０ 通信部
１２０ 記憶部
１３０ 入力部
１４０ 出力部
１５０ 制御部
１５１ 関係情報生成部
１５２ モデル生成部
１５３ 受付部
１５４ 取得部
１５５ 検索部
１５６ 抽出部
１５７ 生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】