特開 2024-126732 情報処理装置、情報処理プログラム、及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126732

(43)【公開日】2024-09-20

(54)【発明の名称】情報処理装置、情報処理プログラム、及び情報処理システム

(51)【国際特許分類】

   G06F 16/583 20190101AFI20240912BHJP

【ＦＩ】

G06F16/583

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023035309

(22)【出願日】2023-03-08

(71)【出願人】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】池田 順哉

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FB02

5B175GB05

5B175HB03

(57)【要約】

【課題】複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に表示部に表示される表示要素が関連付けられたコンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報の修正に要する手間を軽減する。
【解決手段】メモリ２０には、複数の画像特徴量それぞれに対して、ディスプレイ１６に表示された動画像から当該画像特徴量が検出された場合にディスプレイ１６に表示される表示要素が関連付けられたコンテンツ情報２２が記憶される。画像特徴量検出部２８は、所定のルールに従って、対象動画像から画像特徴量を検出する。コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量との間に差異が有る、と判定した場合、当該差異に基づいて、コンテンツ情報２２を修正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能であり、
処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出し、
前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正する、
ことを特徴とする情報処理装置。

【請求項2】

前記プロセッサは、
前記コンテンツ情報に含まれない画像特徴量である新規画像特徴量を前記対象動画像から検出した場合、前記新規画像特徴量と、新たな前記表示要素である新規表示要素とを関連付けて前記コンテンツ情報に追加する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、
前記コンテンツ情報の修正者からの指示に基づいて、前記新規表示要素を決定する、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記プロセッサは、
前記コンテンツ情報の修正者からの指示に基づいて、前記表示部における前記新規表示要素の表示位置を決定し、
前記新規画像特徴量及び前記新規表示要素に対して、さらに前記表示位置を関連付けて前記コンテンツ情報に追加する、
ことを特徴とする請求項２又は３に記載の情報処理装置。

【請求項5】

前記プロセッサは、
前記コンテンツ情報に含まれる画像特徴量であって、前記対象動画像から検出されなかった画像特徴量である削除画像特徴量がある場合、前記削除画像特徴量と、前記削除画像特徴量に関連付けられた前記表示要素を前記コンテンツ情報から削除する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記プロセッサは、
前記削除画像特徴量に関する情報を前記コンテンツ情報の修正者に通知し、
前記修正者からの指示に応じて、前記削除画像特徴量と、前記削除画像特徴量に関連付けられた前記表示要素を前記コンテンツ情報から削除する、
ことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記コンテンツ情報において、複数の画像特徴量それぞれに対して、さらに、動画像において当該画像特徴量が出現すべき順番が関連付けられており、
前記プロセッサは、
前記対象動画像から検出された複数の画像特徴量の前記対象動画像における出現順序と、前記コンテンツ情報に含まれる複数の画像特徴量の出現順序とが互いに異なる場合、前記対象動画像から検出された複数の画像特徴量の前記対象動画像における出現順序となるように、前記コンテンツ情報の各画像特徴量に関連付けられた前記順番を修正する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項8】

前記プロセッサは、
前記対象動画像において、所定時間以上連続して撮影された物体の画像特徴量を検出する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記コンテンツ情報において、複数の画像特徴量それぞれに対して、さらに、当該画像特徴量を含む静止画像が関連付けられており、
前記プロセッサは、
前記コンテンツ情報を修正するに先立って、前記コンテンツ情報に含まれる複数の静止画像、及び、前記対象動画像を構成するフレーム画像であって、前記対象動画像からの複数の画像特徴量それぞれが検出された複数のフレーム画像を前記表示部に表示させる、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項10】

複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能なコンピュータに、
処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出させ、
前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正させる、
ことを特徴とする情報処理プログラム。

【請求項11】

１又はプロセッサを備え、
前記１又はプロセッサは、
複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能であり、
処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出し、
前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正する、
ことを特徴とする情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理プログラム、及び情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、製品のマニュアルデータの図面から抽出された、マニュアルの対象物を示す対象物図形、矢印や引き出し線などの指示図形、及び説明文などに基づいて、マニュアルデータを作成し、ＭＲ（Mixed Reality）グラスに表示させる情報処理装置が開示されている。特許文献２には、ＨＭＤ（Head Mounted Display）に内蔵されているカメラが撮影した撮影画像に基づいて、特定範囲内の対象物体に対してユーザが実際に行った操作が、マニュアルが示す手順に従っているか否かを判断する画像表示装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１６３１６５号公報

【特許文献2】国際公開２０１７／１２２２７４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、複数の画像特徴量それぞれに対して表示要素が関連付けられたコンテンツ情報を用意しておき、カメラで撮影することで得られた動画像から、コンテンツ情報に含まれる画像特徴量が検出された場合に、関連付けられた表示要素を表示部に表示させる情報処理装置がある。

【0005】

あくまで一例ではあるが、例えば、処理対象の画像特徴量に対して、当該処理対象に関して実行すべき処理内容が表示要素として関連付けられたコンテンツ情報を用意しておき、ユーザがカメラで当該処理対象を撮影しながら処理を実行することで、マニュアルとして、処理対象に対して実行すべき処理内容を逐次表示部に表示させることができる。

【0006】

上述のような情報処理装置において、コンテンツ情報の修正が必要となる場合がある。その場合、従来では、コンテンツ情報の管理者などが、コンテンツ情報を直接手動で修正する必要があった。コンテンツ情報を直接手動で修正する場合、例えば、コンテンツ情報の中から修正に係る部分を特定した上で画像特徴量や表示要素を修正する必要があるなど、手間が掛かかるという問題がある。

【0007】

本発明の目的は、複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に表示部に表示される表示要素が関連付けられたコンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報の修正に要する手間を軽減することにある。

【課題を解決するための手段】

【0008】

請求項１に係る発明は、プロセッサを備え、前記プロセッサは、複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能であり、処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出し、前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正する、ことを特徴とする情報処理装置である。
請求項２に係る発明は、前記プロセッサは、前記コンテンツ情報に含まれない画像特徴量である新規画像特徴量を前記対象動画像から検出した場合、前記新規画像特徴量と、新たな前記表示要素である新規表示要素とを関連付けて前記コンテンツ情報に追加する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に係る発明は、前記プロセッサは、前記コンテンツ情報の修正者からの指示に基づいて、前記新規表示要素を決定する、ことを特徴とする請求項２に記載の情報処理装置である。
請求項４に係る発明は、前記プロセッサは、前記コンテンツ情報の修正者からの指示に基づいて、前記表示部における前記新規表示要素の表示位置を決定し、前記新規画像特徴量及び前記新規表示要素に対して、さらに前記表示位置を関連付けて前記コンテンツ情報に追加する、ことを特徴とする請求項２又は３に記載の情報処理装置である。
請求項５に係る発明は、前記プロセッサは、前記コンテンツ情報に含まれる画像特徴量であって、前記対象動画像から検出されなかった画像特徴量である削除画像特徴量がある場合、前記削除画像特徴量と、前記削除画像特徴量に関連付けられた前記表示要素を前記コンテンツ情報から削除する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項６に係る発明は、前記プロセッサは、前記削除画像特徴量に関する情報を前記コンテンツ情報の修正者に通知し、前記修正者からの指示に応じて、前記削除画像特徴量と、前記削除画像特徴量に関連付けられた前記表示要素を前記コンテンツ情報から削除する、ことを特徴とする請求項５に記載の情報処理装置である。
請求項７に係る発明は、前記コンテンツ情報において、複数の画像特徴量それぞれに対して、さらに、動画像において当該画像特徴量が出現すべき順番が関連付けられており、前記プロセッサは、前記対象動画像から検出された複数の画像特徴量の前記対象動画像における出現順序と、前記コンテンツ情報に含まれる複数の画像特徴量の出現順序とが互いに異なる場合、前記対象動画像から検出された複数の画像特徴量の前記対象動画像における出現順序となるように、前記コンテンツ情報の各画像特徴量に関連付けられた前記順番を修正する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項８に係る発明は、前記プロセッサは、前記対象動画像において、所定時間以上連続して撮影された物体の画像特徴量を検出する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項９に係る発明は、前記コンテンツ情報において、複数の画像特徴量それぞれに対して、さらに、当該画像特徴量を含む静止画像が関連付けられており、前記プロセッサは、前記コンテンツ情報を修正するに先立って、前記コンテンツ情報に含まれる複数の静止画像、及び、前記対象動画像を構成するフレーム画像であって、前記対象動画像からの複数の画像特徴量それぞれが検出された複数のフレーム画像を前記表示部に表示させる、ことを特徴とする請求項１に記載の情報処理装置である。
請求項１０に係る発明は、複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能なコンピュータに、処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出させ、前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正させる、ことを特徴とする情報処理プログラムである。
請求項１１に係る発明は、１又はプロセッサを備え、前記１又はプロセッサは、複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能であり、処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出し、前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正する、ことを特徴とする情報処理システムである。

【発明の効果】

【0009】

請求項１、１０、又は１１に係る発明によれば、複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に表示部に表示される表示要素が関連付けられたコンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報の修正に要する手間を軽減することができる。
請求項２に係る発明によれば、コンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報への新コンテンツの追加に要する手間を軽減することができる。
請求項３に係る発明によれば、コンテンツ情報の修正者は、新コンテンツの新規表示要素を決定することができる。
請求項４に係る発明によれば、コンテンツ情報の修正者は、新規表示要素の表示位置を決定することができる。
請求項５に係る発明によれば、コンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報からのコンテンツの削除に要する手間を軽減することができる。
請求項６に係る発明によれば、コンテンツ情報の修正者は、削除画像特徴量に係るコンテンツを削除するか否かを決定することができる。
請求項７に係る発明によれば、コンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報におけるコンテンツの順番情報の修正に要する手間を軽減することができる。
請求項８に係る発明によれば、不要なオブジェクトの画像特徴量が対象動画像から検出されることを抑制することができる。
請求項９に係る発明によれば、コンテンツ情報の修正者は、コンテンツ情報に含まれる複数の静止画像と、対象動画像のフレーム画像とを確認することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る情報処理装置の構成概略図である。

【図2】コンテンツ情報の内容の例を示す概念図である。

【図3】動画像に重畳して表示要素が表示された様子を示す第１の図である。

【図4】動画像に重畳して表示要素が表示された様子を示す第２の図である。

【図5】動画像に重畳して表示要素が表示された様子を示す第３の図である。

【図6】対象動画像において画像特徴量が検出されたフレーム画像の例を示す第１の図である。

【図7】１つのフレーム画像から検出された複数のオブジェクトに対応する複数の外接矩形を示す図である。

【図8】表示テキストの設定画面の例を示す図である。

【図9】修正後のコンテンツ情報の内容の例を示す第１の概念図である。

【図10】コンテンツ情報に含まれる複数の静止画像と、複数のフレーム画像の表示例を示す第１の図である。

【図11】対象動画像において画像特徴量が検出されたフレーム画像の例を示す第２の図である。

【図12】修正後のコンテンツ情報の内容の例を示す第２の概念図である。

【図13】コンテンツの削除確認画面の例を示す図である。

【図14】コンテンツ情報に含まれる複数の静止画像と、複数のフレーム画像の表示例を示す第２の図である。

【図15】対象動画像において画像特徴量が検出されたフレーム画像の例を示す第３の図である。

【図16】修正後のコンテンツ情報の内容の例を示す第３の概念図である。

【図17】コンテンツ情報に含まれる複数の静止画像と、複数のフレーム画像の表示例を示す第３の図である。

【図18】本実施形態に係る情報処理装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

図１は、本実施形態に係る情報処理装置１０の構成概略図である。情報処理装置１０は、撮像部と表示部を備え、情報処理装置１０のユーザ、又は、後述のコンテンツ情報２２の修正者が携帯可能な装置である。情報処理装置１０は、例えば、スマートフォン、ＨＭＤ、又はＡＲ（Augmented Reality）グラスなどであるが、後述する機能を発揮可能な限りにおいて、その他の装置であってもよい。

【0012】

詳しくは後述するように、本実施形態では、情報処理装置１０は、撮像部で撮影した動画像を表示部に表示すると共に、動画像から検出された画像特徴量に基づく表示要素を表示部に表示する装置である。例えば、ある作業を行うユーザである作業者が、情報処理装置１０を用いて作業対象物を撮影しながら作業を行う。そして、得られた動画像から所定の画像特徴量が検出されると、当該画像特徴量に応じた、作業に関する情報（例えばマニュアルなど）が表示部に表示される。

【0013】

表示要素は、撮像部が撮影した動画像に重畳されて表示されてもよい。すなわち、情報処理装置１０は、ＡＲ、ＭＲ、又はＤＲ（Diminished Reality）などの技術によって、現実世界と仮想世界の融合をユーザに知覚させてもよい。

【0014】

通信インターフェース１２は、例えばネットワークカードなどから構成される。通信インターフェース１２は、例えばサーバなどの他の装置と通信する機能を発揮する。

【0015】

撮像部としてのカメラ１４は、レンズ、及びＣＣＤ（Charge-Coupled Device）などの撮像素子などから構成される。カメラ１４は、動画像を撮影する機能を有する。以下、本明細書では、カメラ１４が撮影した動画像を、単に「動画像」と記載する場合がある。

【0016】

表示部としてのディスプレイ１６は、例えば液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどから構成される。ディスプレイ１６には、後述のプロセッサ２４（特に表示制御部２６）からの指示に応じて、種々の画面が表示される。

【0017】

入力インターフェース１８は、例えば各種ボタン、タッチパネル、又はマイクなどから構成される。入力インターフェース１８は、情報処理装置１０に対して、ユーザ又はコンテンツ情報２２の修正者の指示を入力するために用いられる。

【0018】

メモリ２０は、ｅＭＭＣ（embedded Multi Media Card）、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）などを含んで構成される。メモリ２０は、後述のプロセッサ２４からアクセス可能なように、プロセッサ２４に接続されている。メモリ２０には、情報処理装置１０の各部を動作させるための情報処理プログラムが記憶される。なお、情報処理プログラムは、例えば、ＵＳＢ（Universal Serial Bus）メモリ又はＳＤカードなどのコンピュータ読み取り可能な非一時的な記憶媒体に格納することもできる。情報処理装置１０は、そのような記憶媒体から情報処理プログラムを読み取って実行することができる。また、図１に示されるように、メモリ２０には、コンテンツ情報２２が記憶される。

【0019】

図２は、コンテンツ情報２２の内容の例を示す概念図である。コンテンツ情報２２は、複数の画像特徴量それぞれに対して、ディスプレイ１６に表示された動画像から当該画像特徴量が検出された場合にディスプレイ１６に表示される表示要素が関連付けられた情報である。換言すれば、コンテンツ情報２２には、画像特徴量と表示要素との組み合わせが複数格納される。本明細書では、１つの画像特徴量と表示要素の組み合わせを含む情報（図２における１つのレコード）を「単位コンテンツ」と呼び、複数の単位コンテンツをまとめて「コンテンツ情報２２」と呼ぶ。なお、図２に示すように、１つの単位コンテンツには複数の表示要素が含まれていてもよい。換言すれば、１つの画像特徴量に対して複数の表示要素が関連付けられていてもよい。

【0020】

本実施形態では、コンテンツ情報２２に含まれる各単位コンテンツは、当該単位コンテンツを一意に識別するコンテンツＩＤと、画像特徴量と、表示要素と、表示位置と、順番情報と、が互いに関連付けられている。

【0021】

画像特徴量とは、例えば、動画像を構成する各フレーム画像（換言すれば、動画像を構成する静止画像）から検出された物体の形状、色、又はテクスチャなどを表すパラメータである。画像特徴量は、複数の要素を有する（換言すれば複数次元の）特徴ベクトルで表されてもよい。画像特徴量により、検出された物体が、例えば表示パネルであるのか、用紙トレイであるのか、などを識別することもできる。表示要素とは、ディスプレイ１６に表示されるオブジェクトである。本実施形態では、コンテンツ情報２２には、表示要素を表す情報として、表示要素を一意に識別する表示要素ＩＤと、当該表示要素がテキストを含むオブジェクトである場合のテキストの内容とが含まれる。表示位置とは、当該表示要素が表示されるディスプレイ１６上の位置を表す情報である。本実施形態では、表示位置は、ディスプレイ１６上のｘ座標及びｙ座標で表される。順番情報とは、動画像において当該画像特徴量が出現すべき順番を示す情報である。順番情報の利用としては、ユーザが現在行っている作業の前の作業や次の作業を確認したい場合に、利用することがある。

【0022】

コンテンツ情報２２においては、複数の画像特徴量に対して、さらに、当該画像特徴量を含む静止画像が関連付けられているとよい。

【0023】

コンテンツ情報２２の利用方法、及び、コンテンツ情報２２の修正方法については、プロセッサ２４の処理の詳細と共に後述する。

【0024】

プロセッサ２４は、例えばＣＰＵ（Central Processing Unit）などから構成される。プロセッサ２４は、メモリ２０に記憶された情報処理プログラムによって、表示制御部２６、画像特徴量検出部２８、及び、コンテンツ情報修正部３０としての機能を発揮する。

【0025】

表示制御部２６は、ディスプレイ１６に種々の画面を表示させる制御を実行する。本実施形態では、表示制御部２６は、カメラ１４が撮影した動画像をディスプレイ１６に表示させる。さらに、後述の画像特徴量検出部２８が、コンテンツ情報２２に含まれる画像特徴量を動画像から抽出したことに応じて、表示制御部２６は、コンテンツ情報２２において当該画像特徴量に関連付けられている表示要素をディスプレイ１６に表示させる。当該処理の詳細については、図３～５を参照しつつ、画像特徴量検出部２８の処理の詳細と共に後述する。

【0026】

画像特徴量検出部２８は、カメラ１４が撮影した動画像から画像特徴量を検出する。具体的には、画像特徴量検出部２８は、動画像から物体を検出した上で、検出した物体の特徴を表す画像特徴量を検出する。動画像から物体を検出する方法は、既知の方法を採用することができる。例えば、画像特徴量検出部２８は、畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））などの学習モデルを用いて、動画像から物体を検出することができる。上述のように、画像特徴量とは、検出された物体の形状、色、又はテクスチャなどを表すパラメータである。本実施形態では、画像特徴量検出部２８は、複数の要素を有する特徴ベクトルの形で画像特徴量を検出する。

【0027】

以下、図３～図５を参照しつつ、画像特徴量検出部２８による動画像からの画像特徴量の検出処理と、それに伴う、表示制御部２６が実行する表示要素の表示処理について説明する。図３～図５においては、コンテンツ情報２２が、複合機の操作に関するマニュアルであり、複合機に対するユーザの操作に応じて、マニュアルとしての表示要素が表示される例が示されている。

【0028】

ユーザは、カメラ１４で複合機を撮影しながら当該複合機を操作する。まず、ユーザは、カメラ１４で複合機の操作パネルを撮影する。図３に示すように、表示制御部２６は、カメラ１４により撮影された動画像をディスプレイ１６に表示させる。

【0029】

それと共に、画像特徴量検出部２８は、動画像を構成する各フレーム画像から画像特徴量を検出する。表示制御部２６は、画像特徴量検出部２８が画像特徴量を検出する度に、コンテンツ情報２２（図２参照）を参照し、検出された画像特徴量がコンテンツ情報２２に含まれるか否かを判定する。画像特徴量検出部２８が検出した画像特徴量がコンテンツ情報２２に含まれている場合、表示制御部２６は、図３に示すように、コンテンツ情報２２において当該画像特徴量に関連付けられている表示要素をディスプレイ１６に表示させる。ここでは、コンテンツ情報２２の内容が図２に示すようであり、図３に示すフレーム画像から画像特徴量として「特徴量１」が検出されたため、表示制御部２６は、コンテンツ情報２２において、「特徴量１」に関連付けられている表示要素である、表示要素ＩＤ「Ｏｂｊｅｃｔ１」が示す表示要素ＩＣ１、及び、表示要素ＩＤ「Ｏｂｊｅｃｔ２」が示す表示要素ＩＣ２をディスプレイ１６に表示させている。表示制御部２６は、コンテンツ情報２２において表示要素ＩＤ「Ｏｂｊｅｃｔ１」に関連付けられた表示位置が示す位置に表示要素ＩＣ１を表示させ、コンテンツ情報２２において表示要素ＩＤ「Ｏｂｊｅｃｔ２」に関連付けられた表示位置が示す位置に表示要素ＩＣ２を表示させる。

【0030】

複合機に対するユーザの操作が進むにつれ、カメラ１４により撮影された動画像（詳しくはフレーム画像）の内容が変化する。表示制御部２６は、動画像をディスプレイ１６に表示し続ける。画像特徴量検出部２８もは、各フレーム画像から画像特徴量の検出をし続け、それに応じて、表示制御部２６も、検出された画像特徴量がコンテンツ情報２２に含まれるか否かの判定をし続ける。

【0031】

図４に示すフレーム画像において、画像特徴量検出部２８が、画像特徴量として「特徴量２」を検出すると、表示制御部２６は、コンテンツ情報２２において、「特徴量２」に関連付けられている表示要素である、表示要素ＩＤ「Ｏｂｊｅｃｔ３」が示す表示要素ＩＣ３、及び、表示要素ＩＤ「Ｏｂｊｅｃｔ４」が示す表示要素ＩＣ４をディスプレイ１６に表示させる。

【0032】

同様に、図５に示すフレーム画像において、画像特徴量検出部２８が、画像特徴量として「特徴量３」を検出すると、表示制御部２６は、コンテンツ情報２２において、「特徴量３」に関連付けられている表示要素である、表示要素ＩＤ「Ｏｂｊｅｃｔ５」が示す表示要素ＩＣ５、及び、表示要素ＩＤ「Ｏｂｊｅｃｔ６」が示す表示要素ＩＣ６をディスプレイ１６に表示させる。

【0033】

上述のように、本実施形態では、単位コンテンツは順番情報を有していることから、表示制御部２６は、順番情報に基づく内容をディスプレイ１６に表示させてもよい。例えば、コンテンツ情報２２の内容が図２に示す内容であって、画像特徴量検出部２８が、動画像から画像特徴量「特徴量１」を検出したとする。この場合、当該画像特徴量「特徴量１」には順番情報「１」が関連付けられているから、次に検出されるべき画像特徴量は、順番情報「２」が関連付けられた「特徴量２」である。換言すれば、ユーザは、次に、画像特徴量「特徴量２」が示す物体に対して操作を行うべきである。したがって、表示制御部２６は、画像特徴量検出部２８が動画像から画像特徴量「特徴量１」を検出した場合、ユーザ指示に応じて又は自動的に、画像特徴量検出部２８が画像特徴量「特徴量２」を検出するに先立って、次にユーザが操作を行うべき物体に関する情報（例えば、順番情報「２」に関連付けられた表示要素に含まれるテキスト内容）をディスプレイ１６に表示させるようにしてもよい。

【0034】

あるいは、画像特徴量検出部２８が、画像特徴量「特徴量１」を検出した後、画像特徴量「特徴量２」を検出する前に、画像特徴量「特徴量３」を検出したとする。この検出順序は、画像特徴量「特徴量１」～「特徴量３」にそれぞれ関連付けられた順番情報が示す順序ではない。したがって、この場合、表示制御部２６は、ユーザに通知をするようにしてもよい。

【0035】

図１に戻り、コンテンツ情報修正部３０は、コンテンツ情報２２の修正を行う。詳しくは後述するように、情報処理装置１０によれば、コンテンツ情報２２の修正者は、コンテンツ情報２２を直接手動で修正する必要なく、コンテンツ情報２２を修正することができる。なお、コンテンツ情報２２の修正者とは、情報処理装置１０の管理者であってもよいし、ユーザであってもよい。ちなみに、コンテンツ情報２２の修正が必要になる場合とは、例えば、コンテンツ情報２２が機器の操作に関するマニュアルである場合に、当該機器の操作方法が変更になった場合が挙げられるが、これに限られるものではない。

【0036】

まず、コンテンツ情報２２の修正者は、新たに定められた手順に従って、カメラ１４によって動画像を撮影する。なお、本明細書では、コンテンツ情報２２の修正のために処理対象となる動画像を「対象動画像」と呼ぶ。

【0037】

画像特徴量検出部２８は、所定のルールに従って、対象動画像から画像特徴量を検出する。

【0038】

例えば、画像特徴量検出部２８は、動画像において所定時間以上連続して撮影された物体の画像特徴量を検出する。これにより、対象動画像の背景に短時間だけ映り込んだ物体や、カメラ１４の撮影対象を変更している間（カメラ１４のレンズの向きを変更している間など）に対象動画像に映り込んだ物体を、画像特徴量の抽出処理の対象から除外することができる。

【0039】

なお、同一物体が所定時間以上連続で撮影されたか否かは、既知の技術を用いて判定することができる。例えば、画像特徴量検出部２８は、対象動画像のあるフレーム画像から検出された物体の形状、位置、又は色などの画像特徴量を表す特徴ベクトルと、その次のフレーム画像から検出された物体の画像特徴量を表す特徴ベクトルとの間の類似度に基づいて、両フレーム画像から検出された両物体の同一性を検証する。例えば、両特徴ベクトル間のコサイン類似度が閾値以下であれば、両特徴ベクトル（すなわち両物体）は同一である、と判定することができる。画像特徴量検出部２８は、同一と判定した物体には、同一のラベル（換言すれば識別子）を付与する。そして、所定フレーム画像数以上（すなわち所定時間以上）、同一のラベルが付与された物体が検出され続けた場合に、画像特徴量検出部２８は、同一物体が所定時間以上連続で撮影された、と判定する。

【0040】

また、画像特徴量検出部２８は、対象動画像を構成する１つのフレーム画像から複数の物体が検出された場合であって、そのうちの１つの物体の画像特徴量がコンテンツ情報２２に記憶されている画像特徴量である場合、当該物体の画像特徴量のみを検出し、その他の物体の画像特徴量は検出しないようにする。

【0041】

上述の処理により、対象動画像から１又は複数の画像特徴量が検出される。なお、画像特徴量検出部２８は、カメラ１４による対象動画像の撮影に対し、リアルタイムに対象動画像から画像特徴量を検出してもよいし、カメラ１４が対象動画像を撮影し終わった後に、対象動画像から画像特徴量を検出してもよい。

【0042】

コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量とを比較する。その結果、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量との間に差異が有る、と判定した場合、コンテンツ情報修正部３０は、当該差異に基づいて、コンテンツ情報２２を修正する。

【0043】

コンテンツ情報２２の修正には、単位コンテンツの追加、単位コンテンツの削除、及び、単位コンテンツの順番情報の修正がある。以下、それぞれについて説明する。以下の説明において、修正前のコンテンツ情報２２の内容は、図２に示す内容であるとする。

【0044】

まず、図６～図１０を参照しつつ、単位コンテンツの追加について説明する。図６は、対象動画像において画像特徴量が検出されたフレーム画像ＦＬ１～ＦＬ４を示す図である。フレーム画像ＦＬ１～ＦＬ４は時系列に並ぶ画像である。すなわち、対象動画像において、フレーム画像ＦＬ１の後にフレーム画像ＦＬ２が現れ、フレーム画像ＦＬ２の後にフレーム画像ＦＬ３が現れ、フレーム画像ＦＬ３の後にフレーム画像ＦＬ４が現れる。

【0045】

図６の例では、対象動画像のフレーム画像ＦＬ１から画像特徴量「特徴量１」が検出され、対象動画像のフレーム画像ＦＬ２から画像特徴量「特徴量２」が検出され、対象動画像のフレーム画像ＦＬ３から画像特徴量「特徴量４」が検出され、対象動画像のフレーム画像ＦＬ４から画像特徴量「特徴量３」が検出されたとする。

【0046】

コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量とを比較する。上述のように、図６の例では、対象動画像から検出された複数の画像特徴量は、「特徴量１」、「特徴量２」、「特徴量４」、及び「特徴量３」である。一方、コンテンツ情報２２に含まれる複数の画像特徴量は、「特徴量１」、「特徴量２」、及び「特徴量３」である。したがって、対象動画像から検出された複数の画像特徴量には、画像特徴量「特徴量４」が含まれているのに対し、コンテンツ情報２２に含まれる複数の画像特徴量には、画像特徴量「特徴量４」が含まれていない。換言すれば、画像特徴量検出部２８は、コンテンツ情報２２に含まれない画像特徴量である新規画像特徴量（本例では画像特徴量「特徴量４」）を対象動画像から検出している。この場合、コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量との間に差異が有る、と判定する。

【0047】

なお、本明細書では、単純に「特徴量１」などと記載しているが、対象動画像から検出された１つの画像特徴量と、コンテンツ情報２２に含まれる１つの画像特徴量とが完全に一致することはあまりないと考えられる。したがって、コンテンツ情報修正部３０は、対象動画像から検出された１つの画像特徴量と、コンテンツ情報２２に含まれる各画像特徴量との間の類似度（例えばコサイン類似度）が所定の閾値以下である場合は、両画像特徴量が同一である、とみなしてよい。

【0048】

画像特徴量検出部２８が新規画像特徴量を検出すると、図７に示すように、表示制御部２６は、新規画像特徴量が検出されたフレーム画像（本例ではフレーム画像ＦＬ３）をディスプレイ１６に表示させる。上述のように、画像特徴量検出部２８は、新規画像特徴量を検出する前に、フレーム画像から物体を検出している。図７に示すように、本実施形態では、表示制御部２６は、新規画像特徴量が検出されたフレーム画像から検出された１又は複数の物体の外接矩形ＢＲを当該フレーム画像に重畳させて表示させる。図７の例では、「Ｌａｂｅｌ＿１」、「Ｌａｂｅｌ＿２」、及び「Ｌａｂｅｌ＿３」と記載された３つの外接矩形ＢＲが表示されている。すなわち、当該フレーム画像からは、当該３つの外接矩形ＢＲにそれぞれ対応する３つの物体に関する３つの新規画像特徴量が検出されている。

【0049】

コンテンツ情報２２の修正者（以下、単に「修正者」と記載する）は、表示された複数の外接矩形ＢＲから、所望の外接矩形ＢＲを選択することができる。これは、コンテンツ情報２２に追加する新規画像特徴量を選択することに相当する。ここでは、修正者が、「Ｌａｂｅｌ＿２」と記載された外接矩形ＢＲを選択したとする。これにより、コンテンツ情報修正部３０は、修正者からの指示に基づいて、コンテンツ情報２２に追加すべき新規画像特徴量を決定する。

【0050】

次いで、コンテンツ情報修正部３０は、決定した新規画像特徴量に関連付ける表示要素である新規表示要素を決定する。本実施形態では、新規表示要素は、テキストを含むオブジェクトであるとする。なお、新規表示要素としては、例えば予め用意されたアイコンなどであってもよい。

【0051】

コンテンツ情報修正部３０は、修正者からの指示に基づいて、新規表示要素を決定するとよい。本実施形態では、コンテンツ情報修正部３０は、修正者からの指示に基づいて、新規表示要素のテキストの内容を決定する。修正者は、入力インターフェース１８から新規表示要素のテキストを入力する。例えば、タッチパネルやボタンによってテキストを入力してもよいし、マイクから音声によってテキストを入力してもよい。コンテンツ情報修正部３０は、新たなコンテンツＩＤを採番し、当該コンテンツＩＤと、新規画像特徴量と、新規表示要素の表示要素ＩＤと、修正者から入力されたテキストの内容と、を関連付けた単位コンテンツをコンテンツ情報２２に追加する。

【0052】

また、コンテンツ情報修正部３０は、修正者からの指示に基づいて、ディスプレイ１６における新規表示要素の表示位置を決定するとよい。修正者は、入力インターフェース１８から新規表示要素の表示位置を入力する。コンテンツ情報修正部３０は、新規画像特徴量及び新規表示要素を含む単位コンテンツに対して、さらに、当該新規表示要素の表示位置を関連付けてコンテンツ情報２２に追加するとよい。

【0053】

また、コンテンツ情報修正部３０は、動画像において新規画像特徴量が出現すべき順番を決定するとよい。コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量の出現順序に基づいて、新規画像特徴量の順番を決定することができる。本例では、「特徴量１」、「特徴量２」、「特徴量４」、及び「特徴量３」の順で対象動画像から複数の画像特徴量が検出されているため、新規画像特徴量「特徴量４」の順番は「３」である。コンテンツ情報修正部３０は、新規画像特徴量及び新規表示要素を含む単位コンテンツに対して、さらに、順番情報を関連付けてコンテンツ情報２２に追加するとよい。これに伴い、コンテンツ情報修正部３０は、画像特徴量「特徴量３」に関連付けられた順番情報を修正（本例では「３」から「４」へ）するとよい。

【0054】

さらに、コンテンツ情報修正部３０は、新規画像特徴量及び新規表示要素を含む単位コンテンツに対して、さらに、当該新規画像特徴量が検出されたフレーム画像（本例ではフレーム画像ＦＬ３）を静止画像として関連付けてコンテンツ情報２２に追加するとよい。

【0055】

図９に、修正後のコンテンツ情報２２の例を示す。

【0056】

コンテンツ情報２２において、各画像特徴量に対して当該画像特徴量を含む静止画像が関連付けられている場合、コンテンツ情報修正部３０がコンテンツ情報２２を修正するに先立って、表示制御部２６は、図１０に示すように、コンテンツ情報２２に含まれる複数の画像特徴量にそれぞれ対応する複数の静止画像、及び、対象動画像からの複数の画像特徴量それぞれが検出された複数のフレーム画像とをディスプレイ１６に表示させるとよい。当該画面において、修正者が了承すると（例えば「はい」ボタンを押下すると）、コンテンツ情報修正部３０は、新規画像特徴量についての単位コンテンツの追加を行う。

【0057】

次に、図１１～図１４を参照しつつ、単位コンテンツの削除について説明する。図１１は、対象動画像において画像特徴量が検出されたフレーム画像ＦＬ５及びＦＬ６を示す図である。フレーム画像ＦＬ５及びＦＬ６は時系列に並ぶ画像である。すなわち、対象動画像において、フレーム画像ＦＬ５の後にフレーム画像ＦＬ６が現れる。

【0058】

図１１の例では、対象動画像のフレーム画像ＦＬ５から画像特徴量「特徴量１」が検出され、対象動画像のフレーム画像ＦＬ６から画像特徴量「特徴量３」が検出されたとする。

【0059】

コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量とを比較する。上述のように、図１１の例では、対象動画像から検出された複数の画像特徴量は、「特徴量１」及び「特徴量３」である。一方、コンテンツ情報２２に含まれる複数の画像特徴量は、「特徴量１」、「特徴量２」、及び「特徴量３」である。すなわち、コンテンツ情報２２に含まれる画像特徴量であって、対象動画像から検出されなかった画像特徴量である削除画像特徴量（本例では画像特徴量「特徴量２」）がある。この場合も、コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量との間に差異が有る、と判定する。

【0060】

コンテンツ情報修正部３０は、削除画像特徴量がある場合、削除画像特徴量についての単位コンテンツをコンテンツ情報２２から削除する。これに伴い、コンテンツ情報修正部３０は、画像特徴量「特徴量３」に関連付けられた順番情報を修正（本例では「３」から「２」へ）するとよい。

【0061】

図１２に、修正後のコンテンツ情報２２の例を示す。

【0062】

コンテンツ情報修正部３０が、削除画像特徴量があると判定した場合、削除画像特徴量についての単位コンテンツを削除するに先立って、表示制御部２６は、削除画像特徴量に関する情報を修正者に通知するとよい。例えば、表示制御部２６は、図１２に示すように、コンテンツ情報２２において、削除画像特徴量（本例では「特徴量２」）に関連付けられた表示要素をディスプレイ１６に表示させるとよい。また、コンテンツ情報２２において、各画像特徴量に対して当該画像特徴量を含む静止画像が関連付けられている場合、表示制御部２６は、削除画像特徴量に関連付けられた静止画像をディスプレイ１６に表示させるとよい。

【0063】

表示制御部２６は、削除画像特徴量に関する情報と共に、「一部の画像特徴量が検出されませんでした。」というようなテキストをディスプレイ１６に表示させるとよい。このテキストに対して、修正者が「はい」を押下すると、コンテンツ情報修正部３０は、修正者からの当該指示に応じて、削除画像特徴量についての単位コンテンツをコンテンツ情報２２から削除する。

【0064】

コンテンツ情報２２において、各画像特徴量に対して当該画像特徴量を含む静止画像が関連付けられている場合、図１３に示すように、表示制御部２６は、削除画像特徴量に関する情報と共に、「一部の画像特徴量が検出されませんでした。削除提案を確認しますか？」というようなテキストをディスプレイ１６に表示させるとよい。このテキストに対して、修正者が「はい」を押下すると、コンテンツ情報修正部３０がコンテンツ情報２２を修正するに先立って、表示制御部２６は、図１４に示すように、コンテンツ情報２２に含まれる複数の画像特徴量にそれぞれ対応する複数の静止画像、及び、対象動画像からの複数の画像特徴量それぞれが検出された複数のフレーム画像とをディスプレイ１６に表示させるとよい。当該画面において、修正者が了承すると（例えば「はい」ボタンを押下すると）、コンテンツ情報修正部３０は、削除画像特徴量についての単位コンテンツの削除を行う。

【0065】

最後に、図１５～図１７を参照しつつ、単位コンテンツの順番情報の修正について説明する。図１５は、対象動画像において画像特徴量が検出されたフレーム画像ＦＬ７～ＦＬ９を示す図である。フレーム画像ＦＬ７～ＦＬ９は時系列に並ぶ画像である。すなわち、対象動画像において、フレーム画像ＦＬ７の後にフレーム画像ＦＬ８が現れ、フレーム画像ＦＬ８の後にフレーム画像ＦＬ９が現れる。

【0066】

図１５の例では、対象動画像のフレーム画像ＦＬ７から画像特徴量「特徴量１」が検出され、対象動画像のフレーム画像ＦＬ８から画像特徴量「特徴量３」が検出され、対象動画像のフレーム画像ＦＬ９から画像特徴量「特徴量２」が検出されたとする。

【0067】

コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量とを比較する。上述のように、図１５の例では、対象動画像から検出された複数の画像特徴量は、「特徴量１」、「特徴量３」、「特徴量２」である。一方、コンテンツ情報２２に含まれる複数の画像特徴量は、「特徴量１」、「特徴量２」、及び「特徴量３」である。すなわち、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量と、が同じであるが、対象動画像から検出された複数の画像特徴量の対象動画像における出現順序と、コンテンツ情報２２に含まれる複数の画像特徴量の順番情報が示す、当該複数の画像特徴量の出現順序とが互いに異なる。この場合も、コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量との間に差異が有る、と判定する。

【0068】

この場合、コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量の対象動画像における出現順序となるように、コンテンツ情報２２の各画像特徴量に関連付けられた順番情報を修正する。例えば、本例の場合、画像特徴量「特徴量２」に関連付けられた順番情報を「２」から「３」に修正し、画像特徴量「特徴量３」に関連付けられた順番情報を「３」から「２」に修正する。

【0069】

図１６に、修正後のコンテンツ情報２２の例を示す。

【0070】

コンテンツ情報２２において、各画像特徴量に対して当該画像特徴量を含む静止画像が関連付けられている場合であって、対象動画像から検出された複数の画像特徴量の対象動画像における出現順序と、コンテンツ情報２２に含まれる複数の画像特徴量の出現順序とが互いに異なる場合、コンテンツ情報修正部３０がコンテンツ情報２２を修正するに先立って、表示制御部２６は、図１７に示すように、コンテンツ情報２２に含まれる複数の画像特徴量にそれぞれ対応する複数の静止画像を、各画像特徴量に関連付けられた順番情報の順序でディスプレイ１６に表示させ、且つ、対象動画像からの複数の画像特徴量それぞれが検出された複数のフレーム画像を、対象動画像における出現順序でディスプレイ１６に表示させるとよい。当該画面において、修正者が了承すると（例えば「はい」ボタンを押下すると）、コンテンツ情報修正部３０は、コンテンツ情報２２の各画像特徴量に関連付けられた順番情報を修正する。

【0071】

本実施形態に係る情報処理装置１０の概要は以上の通りである。以下、図１８に示すフローチャートに従って、情報処理装置１０の処理の流れを説明する。

【0072】

ステップＳ１０において、カメラ１４は対象動画像を取得する。

【0073】

ステップＳ１２において、画像特徴量検出部２８は、対象動画像から画像特徴量を検出する。

【0074】

ステップＳ１４において、コンテンツ情報修正部３０は、ステップＳ１２において対象動画像から検出された複数の画像動画像と、コンテンツ情報２２に含まれる複数の画像特徴量との間に差異が有るか否かを判定する。差異が無い場合は処理を終了し、差異が有る場合はステップＳ１６に進む。

【0075】

ステップＳ１６において、コンテンツ情報修正部３０は、対象動画像から検出された複数の画像動画像と、コンテンツ情報２２に含まれる複数の画像特徴量との間の差異の内容を判定する。コンテンツ情報２２に含まれない画像特徴量である新規画像特徴量が対象動画像から検出されている場合、差異の内容は追加であり、この場合はステップＳ１８に進む。

【0076】

ステップＳ１８において、コンテンツ情報修正部３０は、コンテンツ情報２２の修正者からの指示に基づいて、新規画像特徴量に関連付ける新規表示要素を決定する。例えば、コンテンツ情報修正部３０は、修正者からの指示に基づいて、新規表示要素に含まれるテキストの内容を決定する。

【0077】

ステップＳ２０において、コンテンツ情報修正部３０は、コンテンツ情報２２の修正者からの指示に基づいて、新規表示要素の表示位置を決定する。

【0078】

ステップＳ２２において、コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量の出現順序に基づいて、新規画像特徴量の順番を決定する。

【0079】

ステップＳ２２において、コンテンツ情報修正部３０は、新たなコンテンツＩＤと、新規画像特徴量と、新規表示要素の表示要素ＩＤと、新規表示要素のテキストの内容と、新規表示要素の表示位置と、順番情報と、を関連付けた単位コンテンツをコンテンツ情報２２に追加する

【0080】

ステップＳ１６において、コンテンツ情報２２に含まれる画像特徴量であって、対象動画像から検出されなかった画像特徴量である削除画像特徴量がある場合、差異の内容は削除であり、この場合はステップＳ２６に進む。

【0081】

ステップＳ２６において、コンテンツ情報修正部３０は、修正者からの許可を得たか否かを判定する、修正者から許可を得なかった場合、コンテンツ情報修正部３０は、コンテンツ情報２２の修正を行わずに処理を終了する。修正者から許可を得た場合、ステップＳ２８に進む。

【0082】

ステップＳ２８において、コンテンツ情報修正部３０は、削除画像特徴量についての単位コンテンツをコンテンツ情報２２から削除する。

【0083】

ステップＳ１６において、対象動画像から検出された複数の画像特徴量と、コンテンツ情報２２に含まれる複数の画像特徴量と、が同じであるが、対象動画像から検出された複数の画像特徴量の対象動画像における出現順序と、コンテンツ情報２２に含まれる複数の画像特徴量の順番情報が示す、当該複数の画像特徴量の出現順序とが互いに異なる場合、差異の内容は順番であり、この場合はステップＳ３０に進む。

【0084】

ステップＳ３０において、コンテンツ情報修正部３０は、修正者からの許可を得たか否かを判定する、修正者から許可を得なかった場合、コンテンツ情報修正部３０は、コンテンツ情報２２の修正を行わずに処理を終了する。修正者から許可を得た場合、ステップＳ３２に進む。

【0085】

ステップＳ３２において、コンテンツ情報修正部３０は、対象動画像から検出された複数の画像特徴量の対象動画像における出現順序となるように、コンテンツ情報２２の各画像特徴量に関連付けられた順番情報を修正する。

【0086】

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

【0087】

例えば、本実施形態では、コンテンツ情報２２が情報処理装置１０のメモリ２０に記憶されていたが、コンテンツ情報２２は、情報処理装置１０と通信可能な（換言すればプロセッサ２４がアクセス可能な）他の装置（サーバなど）に記憶されていてもよい。

【0088】

また、本実施形態では、画像特徴量検出部２８及びコンテンツ情報修正部３０の機能を情報処理装置１０のプロセッサ２４が発揮していたが、これらは、情報処理装置１０と通信可能な他の装置のプロセッサが発揮してもよい。例えば、情報処理装置１０の第１プロセッサとしてのプロセッサ２４が表示制御部２６の機能を発揮し、情報処理装置１０以外の他の第１装置の第２プロセッサが画像特徴量検出部２８の機能を発揮し、情報処理装置１０以外の他の第２装置の第３プロセッサがコンテンツ情報修正部３０の機能を発揮してもよい。この場合、本発明としての機能は、これらの装置から構成される情報処理システムにより発揮される。第１装置と第２装置は同じ装置であっても別の装置であってもよく、第２プロセッサと第３プロセッサは同じプロセッサであっても別のプロセッサであってもよい。

【0089】

また、上記実施形態において、プロセッサとは、広義的な処理装置を指し、汎用的な処理装置（例えばＣＰＵ（Central Processing Unit）など）、及び、専用の処理装置（例えばＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、あるいは、プログラマブル論理デバイスなど）の少なくとも１つを含んで構成される。プロセッサとしては、１つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。

【0090】

（付記）
（（（１）））
プロセッサを備え、
前記プロセッサは、
複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能であり、
処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出し、
前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正する、
ことを特徴とする情報処理装置。
（（（２）））
前記プロセッサは、
前記コンテンツ情報に含まれない画像特徴量である新規画像特徴量を前記対象動画像から検出した場合、前記新規画像特徴量と、新たな前記表示要素である新規表示要素とを関連付けて前記コンテンツ情報に追加する、
ことを特徴とする（（（１）））に記載の情報処理装置。
（（（３）））
前記プロセッサは、
前記コンテンツ情報の修正者からの指示に基づいて、前記新規表示要素を決定する、
ことを特徴とする（（（２）））に記載の情報処理装置。
（（（４）））
前記プロセッサは、
前記コンテンツ情報の修正者からの指示に基づいて、前記表示部における前記新規表示要素の表示位置を決定し、
前記新規画像特徴量及び前記新規表示要素に対して、さらに前記表示位置を関連付けて前記コンテンツ情報に追加する、
ことを特徴とする（（（２）））又は（（（３）））に記載の情報処理装置。
（（（５）））
前記プロセッサは、
前記コンテンツ情報に含まれる画像特徴量であって、前記対象動画像から検出されなかった画像特徴量である削除画像特徴量がある場合、前記削除画像特徴量と、前記削除画像特徴量に関連付けられた前記表示要素を前記コンテンツ情報から削除する、
ことを特徴とする（（（１）））に記載の情報処理装置。
（（（６）））
前記プロセッサは、
前記削除画像特徴量に関する情報を前記コンテンツ情報の修正者に通知し、
前記修正者からの指示に応じて、前記削除画像特徴量と、前記削除画像特徴量に関連付けられた前記表示要素を前記コンテンツ情報から削除する、
ことを特徴とする（（（５）））に記載の情報処理装置。
（（（７）））
前記コンテンツ情報において、複数の画像特徴量それぞれに対して、さらに、動画像において当該画像特徴量が出現すべき順番が関連付けられており、
前記プロセッサは、
前記対象動画像から検出された複数の画像特徴量の前記対象動画像における出現順序と、前記コンテンツ情報に含まれる複数の画像特徴量の出現順序とが互いに異なる場合、前記対象動画像から検出された複数の画像特徴量の前記対象動画像における出現順序となるように、前記コンテンツ情報の各画像特徴量に関連付けられた前記順番を修正する、
ことを特徴とする（（（１）））に記載の情報処理装置。
（（（８）））
前記プロセッサは、
前記対象動画像において、所定時間以上連続して撮影された物体の画像特徴量を検出する、
ことを特徴とする（（（１）））から（（（７）））のいずれか１項に記載の情報処理装置。
（（（９）））
前記コンテンツ情報において、複数の画像特徴量それぞれに対して、さらに、当該画像特徴量を含む静止画像が関連付けられており、
前記プロセッサは、
前記コンテンツ情報を修正するに先立って、前記コンテンツ情報に含まれる複数の静止画像、及び、前記対象動画像を構成するフレーム画像であって、前記対象動画像からの複数の画像特徴量それぞれが検出された複数のフレーム画像を前記表示部に表示させる、
ことを特徴とする（（（１）））から（（（８）））のいずれか１項に記載の情報処理装置。
（（（１０）））
複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能なコンピュータに、
処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出させ、
前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正させる、
ことを特徴とする情報処理プログラム。
（（（１１）））
１又はプロセッサを備え、
前記１又はプロセッサは、
複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に前記表示部に表示される表示要素が関連付けられたコンテンツ情報が記憶されたメモリにアクセス可能であり、
処理対象である対象動画像から、所定のルールに従って複数の画像特徴量を検出し、
前記対象動画像から検出された複数の画像特徴量と、前記コンテンツ情報に含まれる複数の画像特徴量との間に差異が有る場合に、前記差異に基づいて、前記コンテンツ情報を修正する、
ことを特徴とする情報処理システム。

【0091】

（（（１）））、（（（１０）））、又は（（（１１）））に係る発明によれば、複数の画像特徴量それぞれに対して、表示部に表示された動画像から当該画像特徴量が検出された場合に表示部に表示される表示要素が関連付けられたコンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報の修正に要する手間を軽減することができる。
（（（２）））に係る発明によれば、コンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報への新コンテンツの追加に要する手間を軽減することができる。
（（（３）））に係る発明によれば、コンテンツ情報の修正者は、新コンテンツの新規表示要素を決定することができる。
（（（４）））に係る発明によれば、コンテンツ情報の修正者は、新規表示要素の表示位置を決定することができる。
（（（５）））に係る発明によれば、コンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報からのコンテンツの削除に要する手間を軽減することができる。
（（（６）））に係る発明によれば、コンテンツ情報の修正者は、削除画像特徴量に係るコンテンツを削除するか否かを決定することができる。
（（（７）））に係る発明によれば、コンテンツ情報を直接手動で修正する場合に比して、当該コンテンツ情報におけるコンテンツの順番情報の修正に要する手間を軽減することができる。
（（（８）））に係る発明によれば、不要なオブジェクトの画像特徴量が対象動画像から検出されることを抑制することができる。
（（（９）））に係る発明によれば、コンテンツ情報の修正者は、コンテンツ情報に含まれる複数の静止画像と、対象動画像のフレーム画像とを確認することができる。

【符号の説明】

【0092】

１０ 情報処理装置、１２ 通信インターフェース、１４ カメラ、１６ ディスプレイ、１８ 入力インターフェース、２０ メモリ、２２ コンテンツ情報、２４ プロセッサ、２６ 表示制御部、２８ 画像特徴量検出部、３０ コンテンツ情報修正部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】