特開 2022-93533 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022093533

(43)【公開日】2022-06-23

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20220616BHJP

   G09G 5/36 20060101ALI20220616BHJP

【ＦＩ】

G09G5/00 X

G09G5/00 550C

G09G5/36 510M

G09G5/36 520P

G09G5/36 520F

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022074142

(22)【出願日】2022-04-28

(62)【分割の表示】P 2019201538の分割

【原出願日】2019-11-06

(71)【出願人】

【識別番号】504050275

【氏名又は名称】株式会社 ミックウェア

(74)【代理人】

【識別番号】100149870

【弁理士】

【氏名又は名称】芦北 智晴

(72)【発明者】

【氏名】藤井 猛

(57)【要約】

【課題】対象機器の表示部が設計通りの動画像を表示するか否かの評価をより簡便に行えること。
【解決手段】取得部５と、抽出部１５と、出力部８とを備える。取得部５は、動画像を取得する。対象機器２の表示部３は、対象機器が動作情報に基づいて、動画像を表示する。抽出部１５は、取得動画像と正解画像との差分を抽出する。取得動画像は、取得部５が取得する。出力部８は、抽出部１５が抽出した差分に関する情報を出力する。抽出部１５は、取得動画像を構成する複数の取得静止画像のうち、時間的に前後の取得静止画像について相関関数の一致率を算出する。抽出部１５は、算出した一致率が所定の第１閾値よりも低い取得静止画像の時間的に後の方の取得静止画像と、正解画像との差分を抽出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

動作情報に基づいて対象機器が表示部に表示させる動画像を取得する取得部と、
前記取得部が取得した取得動画像と、動画像である正解動画像との差分を抽出する抽出部と、
前記抽出部が抽出した差分に関する情報を出力する出力部と、を備える情報処理装置であって、
前記取得動画像は、複数の取得静止画像から構成されており、
前記抽出部は、複数の前記取得静止画像のうち、時間的に前の前記取得静止画像と時間的に後の前記取得静止画像とについて相関関数の一致率を算出し、一致率が所定の第１閾値よりも低く、かつ時間的に後の前記取得静止画像と、前記正解動画像を構成する正解静止画像との差分を抽出する情報処理装置。

【請求項2】

前記対象機器の動作を検証する検証情報を記憶した記憶装置と、
前記検証情報に基づいて前記正解動画像を生成する正解動画像生成部と、を備える請求項１に記載の情報処理装置。

【請求項3】

前記抽出部は、
時間的に前の前記取得静止画像と時間的に後の前記取得静止画像とについての相関関数の一致率を算出し、
一致率が所定の第１閾値よりも低い前記取得静止画像の時間的に後の前記取得静止画像を選出し、
選出した前記取得静止画像と、該取得静止画像と時間的に対応する前記正解静止画像との差分を抽出する請求項１に記載の情報処理装置。

【請求項4】

前記抽出部は、
時間的に前の前記正解静止画像と時間的に後の前記正解静止画像とについての相関関数の一致率を算出し、
一致率が所定の第１閾値よりも低い前記正解静止画像の時間的に後の前記正解静止画像を選出し、
選出した前記正解静止画像と、該正解静止画像と時間的に対応する前記取得静止画像との差分を抽出する請求項３に記載の情報処理装置。

【請求項5】

前記取得動画像及び前記正解動画像にアニメーション動画像が含まれている請求項３又は請求項４に記載の情報処理装置。

【請求項6】

前記出力部は、前記取得動画像と前記正解動画像とを対比して表示する表示装置であり、
前記表示装置は、前記取得静止画像において、前記抽出部が抽出した差分の領域を特定可能に表示する画面を表示する請求項１から請求項５のいずれか１項に記載の情報処理装置。

【請求項7】

前記抽出部は、前記取得静止画像と前記正解静止画像の相関関数の一致率が、所定の第２閾値よりも低い場合に、前記表示装置に、前記画面を表示させる請求項６に記載の情報処理装置。

【請求項8】

前記抽出部は、選出した前記取得静止画像と該取得静止画像と時間的に対応する前記正解静止画像との相関関数の一致率を算出し、一致率が第３閾値より低い場合、選出した前記取得静止画像との相関関数の一致率が第３閾値又は第３閾値よりも高くなる、選出した前記正解静止画像を時間的に対応する前記正解静止画像とみなして、以後の前記取得動画像と前記正解動画像の時間的なずれを補正する請求項４に記載の情報処理装置。

【請求項9】

前記抽出部は、選出した前記取得静止画像と選出した前記正解静止画像それぞれをグレースケール画像に変換し、画素の濃淡値を非線形化することにより特徴点を強調し、強調した特徴点同士をパターンマッチングすることで、選出した前記取得静止画像と選出した前記正解静止画像について相関関数の一致率を判定する請求項３から請求項８のいずれか１項に記載の情報処理装置。

【請求項10】

前記抽出部は、抽出した前記取得静止画像と前記正解静止画像との差分が、同じ画像の差分であるか異なる画像の差分であるかを、機械学習により判定する請求項１から請求項６のいずれか１項に記載の情報処理装置。

【請求項11】

前記抽出部は、選出した前記取得静止画像と選出した前記正解静止画像との相関関数の一致率が第４閾値よりも低い場合、注意喚起を通知する請求項３から請求項８の何れか１項に記載の情報処理装置。

【請求項12】

前記抽出部は、選出した前記取得静止画像と選出した前記正解静止画像との相関関数の一致率を複数のブロックごとに判定する請求項１から請求項１１の何れか１項に記載の情報処理装置。

【請求項13】

前記取得部は、前記表示部を撮像する撮像装置である請求項１から請求項１２のいずれか１項に記載の情報処理装置。

【請求項14】

動作情報に基づいて対象機器が表示部に表示させる動画像を取得する取得ステップと、
前記取得ステップで取得した取得動画像と、動画像である正解動画像との差分を抽出する抽出ステップと、
前記抽出ステップで抽出した差分に関する情報を出力する出力ステップと、を含む情報処理方法であって、
前記取得動画像は、複数の取得静止画像から構成されており、
前記抽出ステップにおいて、複数の前記取得静止画像のうち、時間的に前の前記取得静止画像と時間的に後の前記取得静止画像とについて相関関数の一致率を算出し、一致率が所定の第１閾値よりも低く、かつ時間的に後の前記取得静止画像と、前記正解動画像を構成する正解静止画像との差分を抽出する情報処理方法。

【請求項15】

コンピュータを
動作情報に基づいて対象機器が表示部に表示させる動画像を取得する取得部と、
前記取得部が取得した取得動画像と、動画像である正解動画像との差分を抽出する抽出部と、
前記抽出部が抽出した差分に関する情報を出力する出力部と、して機能させるためのプログラムであって、
前記取得動画像は、複数の取得静止画像から構成されており、
前記抽出部は、複数の前記取得静止画像のうち、時間的に前の前記取得静止画像と時間的に後の前記取得静止画像とについて相関関数の一致率を算出し、一致率が所定の第１閾値よりも低く、かつ時間的に後の前記取得静止画像と、前記正解動画像を構成する正解静止画像との差分を抽出するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機器が設計通りの処理を行うか否かを評価するために用いられる情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来、電子機器のソフトウェアの評価を自動的に行うシステムが開発されている（例えば特許文献１参照。）。特許文献１のシステムは、外部からの入力に対応して外部に対して表出させる形態や動作が変化する検査対象機器の設定操作、動作を不具合なく行えるか否かを検査、判定、確認する。特許文献１のシステムは、検査対象機器の画像データのうち、動画を１コマずつ切りだした静止画の集合体として扱うことで、自動でテスト結果を判定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－１０３０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、対象機器となる電子機器では、設計通りの動作を行うかを、より簡便に評価することが求められている。特に、電子機器においても、電子機器の表示部が設計通りの動画像を表示するか否かの評価を、より簡便に行えることが求められている。

【0005】

本願の目的は、対象機器が設計通りの処理を行うか否かの評価をより簡便に行える情報処理装置、情報処理方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の第一態様に係る情報処理装置は、取得部と、抽出部と、出力部と、を備える。上記取得部は、動画像を取得する。上記動画像は、動作情報に基づいて対象機器が表示部に表示させる。上記抽出部は、上記取得部が取得した取得動画像と、正解画像との差分を抽出する。上記出力部は、上記抽出部が抽出した差分に関する情報を出力する。上記取得動画像は、複数の取得静止画像から構成されている。上記抽出部は、複数の上記取得静止画像のうち、時間的に前の上記取得静止画像と時間的に後の上記取得静止画像とについて相関関数の一致率を算出する。上記抽出部は、算出した上記一致率が所定の第１閾値よりも低く、かつ時間的に後の上記取得静止画像と、上記正解画像との差分を抽出する。

【0007】

本開示の第二態様に係る情報処理装置は、第一態様に係る情報処理装置において、記憶装置と、正解動画像生成部とを備える。上記正解画像は、動画像である正解動画像である。上記記憶装置は、上記対象機器の動作を検証する検証情報を記憶している。上記正解動画像生成部は、上記検証情報に基づいて上記正解動画像を生成する。

【0008】

本開示の第三態様に係る情報処理装置は、第一態様又は第二態様に係る情報処理装置において、上記正解画像は、動画像である正解動画像である。上記抽出部は、上記取得静止画像と、上記正解動画像か取り出した正解静止画像との差分を抽出する。

【0009】

本開示の第四態様に係る情報処理装置は、第三態様に係る情報処理装置において、上記抽出部は、時間的に前の上記取得静止画像と時間的に後の上記取得静止画像とについての相関関数の一致率を算出する。上記抽出部は、算出した上記一致率が所定の第１閾値よりも低い上記取得静止画像の時間的に後の上記取得静止画像を選出する。上記抽出部は、選出した上記取得静止画像と、該取得静止画像と時間的に対応する上記正解静止画像との差分を抽出する。

【0010】

本開示の第五態様に係る情報処理装置は、第三態様又は第四態様に係る情報処理装置において、上記抽出部は、時間的に前の上記正解静止画像と時間的に後の上記正解静止画像とについての相関関数の一致率を算出する。上記抽出部は、算出した上記一致率が所定の第１閾値よりも低い上記正解静止画像の時間的に後の上記正解静止画像を選出する。上記抽出部は、選出した上記正解静止画像と、該正解静止画像と時間的に対応する上記取得静止画像との差分を抽出する。

【0011】

本開示の第六態様に係る情報処理装置は、第三態様から第五態様の何れか１態様に係る情報処理装置において、上記取得動画像及び上記正解動画像にアニメーション動画像が含まれている。

【0012】

本開示の第七態様に係る情報処理装置は、第一態様から第六態様の何れか１態様に係る情報処理装置において、上記出力部は、表示装置である。上記表示装置は、上記取得動画像と上記正解画像とを対比して表示する。上記表示装置は、上記取得静止画像において、上記抽出部が抽出した差分の領域を特定可能に表示する画面を表示する。

【0013】

本開示の第八態様に係る情報処理装置は、第七態様に係る情報処理装置において、上記抽出部は、上記取得静止画像と上記正解画像の相関関数の一致率が、所定の第２閾値よりも低い場合に、上記表示装置に、上記画面を表示させる。

【0014】

本開示の第九態様に係る情報処理装置は、第五態様に係る情報処理装置において、上記抽出部は、選出した上記取得静止画像と該取得静止画像と時間的に対応する上記正解静止画像との相関関数の一致率を算出する。上記抽出部は、算出した上記一致率が第３閾値より低い場合、選出した上記取得静止画像との相関関数の一致率が第３閾値又は第３閾値よりも高くなる、選出した上記正解静止画像を時間的に対応する上記正解静止画像とみなして、以後の上記取得動画像と上記正解動画像の時間的なずれを補正する。

【0015】

本開示の第十態様に係る情報処理装置は、第四態様から第九態様の何れか１態様に係る情報処理装置において、上記抽出部は、選出した上記取得静止画像と選出した上記正解画像それぞれをグレースケール画像に変換する。上記抽出部は、上記グレースケール画像の画素の濃淡値を非線形化することにより特徴点を強調する。上記抽出部は、強調した上記特徴点同士をパターンマッチングすることで、選出した上記取得静止画像と選出した上記正解画像について相関関数の一致率を判定する。

【0016】

本開示の第十一態様に係る情報処理装置は、第一態様から第七態様の何れか１態様に係る情報処理装置において、上記抽出部は、抽出した上記取得静止画像と上記正解画像との差分が、同じ画像の差分であるか異なる画像の差分であるかを、機械学習により判定する。

【0017】

本開示の第十二態様に係る情報処理装置は、第四態様から第九態様の何れか１態様に係る情報処理装置において、上記抽出部は、選出した上記取得静止画像と選出した上記正解画像との相関関数の一致率が第４閾値よりも低い場合、注意喚起を通知する。

【0018】

本開示の第十三態様に係る情報処理装置は、第一態様から第十二態様の何れか１態様に係る情報処理装置において、上記抽出部は、選出した上記取得静止画像と選出した上記正解画像との相関関数の一致率を複数のブロックごとに判定する。

【0019】

本開示の第十四態様に係る情報処理装置は、第一態様から第十三態様の何れか１態様に係る情報処理装置において、上記取得部は、上記表示部を撮像する撮像装置である。

【0020】

本開示の第十五態様に係る情報処理方法は、取得ステップと、抽出ステップと、出力ステップと、を含む。上記取得ステップは、動作情報に基づいて対象機器が表示部に表示させる動画像を取得する。上記抽出ステップは、上記取得ステップで取得した取得動画像と、正解画像との差分を抽出する。上記出力ステップは、上記抽出ステップで抽出した差分に関する情報を出力する。上記取得動画像は、複数の取得静止画像から構成されている。上記抽出ステップにおいて、複数の上記取得静止画像のうち、時間的に前の上記取得静止画像と時間的に後の上記取得静止画像とについて相関関数の一致率を算出する。算出した一致率が所定の第１閾値よりも低く、かつ時間的に後の上記取得静止画像と、上記正解画像との差分を抽出する。

【0021】

本開示の第十六態様に係るプログラムは、コンピュータを取得部と、抽出部と、出力部として機能させる。上記取得部は、動画像を取得する。上記動画像は、動作情報に基づいて対象機器が表示部に表示させる。上記抽出部は、取得動画像と正解画像との差分を抽出する。上記取得動画像は、上記取得部が取得する。上記出力部は、上記抽出部が抽出した差分に関する情報を出力する。上記取得動画像は、複数の取得静止画像から構成されている。上記抽出部は、複数の上記取得静止画像のうち、時間的に前の前記取得静止画像と時間的に後の上記取得静止画像とについて相関関数の一致率を算出する。上記抽出部は、算出した一致率が所定の第１閾値よりも低く、かつ時間的に後の上記取得静止画像と、上記正解画像との差分を抽出する。

【発明の効果】

【0022】

本発明によれば、対象機器が設計通りの処理を行うか否かの評価をより簡便に行える。

【図面の簡単な説明】

【0023】

【図1】本実施形態に係る情報処理システム及び対象機器の構成を示すブロック図である。

【図2】静止画像同士の一致率の算出手法の一例を示す図である。

【図3A】複数の取得静止画像と複数の正解静止画像から動きのある画像を選出する処理を示す図である。本図は図３Ｂとともに１つの状態を示す。

【図3B】複数の取得静止画像と複数の正解静止画像から動きのある画像を選出する処理を示す図である。本図は図３Ａとともに１つの状態を示す。

【図4A】複数の取得静止画像と複数の正解静止画像から選出された画像に対する処理を示す図である。本図は図４Ｂとともに１つの状態を示す。

【図4B】複数の取得静止画像と複数の正解静止画像から選出された画像に対する処理を示す図である。本図は図４Ａとともに１つの状態を示す。

【図5A】複数の取得静止画像と複数の正解静止画像から選出された画像同士の相関関数の一致率を算出した後の処理を説明する図である。本図は図５Ｂとともに１つの状態を示す。

【図5B】複数の取得静止画像と複数の正解静止画像から選出された画像同士の相関関数の一致率を算出した後の処理を説明する図である。本図は図５Ａとともに１つの状態を示す。

【図6】取得静止画像と正解静止画像の差分を抽出する際に実行する画像処理の一例を示す図である。

【図7】対象機器の表示部に表示される複数種類の画面の例を示す図である。

【図8】出力部に表示される再生画面の一例を示す図である。

【図9】出力部に表示される別の再生画面の一例を示す図である。

【図10】出力部に表示される不具合表示画面の一例を示す図である。

【図11】本実施形態に係る情報処理装置及び対象機器において実行される処理動作を示すフローチャートである。

【図12】本実施形態に係る情報処理装置において実行される処理動作を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、本実施形態に係る情報処理装置について、図面を参照しつつ説明する。情報処理装置１は、評価対象となる対象機器２が表示部３に表示する動画像が設計通りの表示を行うか否かを評価するために用いられる。対象機器２は、動作情報に基づいて表示部３に動画像を表示する。動作情報は、対象機器２を動作させる情報である。動作情報として、例えば、対象機器２に対して疑似的又は実際的に行われる操作により入力される情報、対象機器２が外部から受信する交通情報、対象機器２に入力される電源信号情報、対象機器２が外部から受信する車両信号情報が挙げられる。

【0025】

本実施形態では、対象機器２として車載装置を例に挙げて説明する。車載装置は、一例として、ナビゲーション装置が挙げられる。但し、対象機器２は、車載装置に限定されない。例えば、対象機器２は、ゲーム機、スマートフォン、携帯電話機又はタブレット端末であってもよい。

【0026】

情報処理装置１は、図１に示すように、取得部５、記憶装置６、情報処理部７、及び出力部８を備えている。

【0027】

取得部５は、対象機器２の表示部３に表示される動画像を取得する。取得部５は、例えば、表示部３を撮像する撮像装置を用いて構成される。取得部５は、撮像装置の代わりに、対象機器２の映像出力端子から出力される動画像を記録する動画像記録装置を用いて構成してもよい。映像出力端子として、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）出力端子が挙げられる。取得部５は、対象機器２からの動画像を通信により取得してもよい。言い換えれば、取得部５は、通信装置であってもよい。

【0028】

記憶装置６は、例えば、不揮発性メモリを用いて構成される。不揮発性メモリとして、例えば、フラッシュメモリが挙げられる。フラッシュメモリとして、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリが挙げられる。本実施形態では、対象機器２と情報処理部７が、記憶装置６に対して情報の書き込み及び読み出しができるように接続されている。

【0029】

記憶装置６には、対象機器２によって書き込まれる検証情報１１が記憶される。検証情報１１は、情報処理装置１が対象機器２の動作を検証するために用いる。検証情報１１として、例えば、対象機器２に対して疑似的又は実際的に行われた操作に関する操作情報と、対象機器２が受信した交通情報と、対象機器２が車載ネットワークを通じて受信した車両情報と、供給電源に関する情報と、車両信号情報とが挙げられる。交通情報として、例えば、ＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）情報が挙げられる。供給電源に関する情報としては、例えば、アクセサリ電源のオンとオフとの情報が挙げられる。車両信号情報として、例えば、車両の速度を示す車速信号と、パーキングブレーキの状態を示すパーキングブレーキ信号と、シフトがリバース状態にあることを示すリバース信号と、イルミネーション電源信号とが挙げられる。

【0030】

情報処理部７は、例えば、正解画像生成プログラム、差分抽出プログラム、及び画像再生プログラムがインストールされたコンピュータを用いて構成される。コンピュータとして、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を備えたパーソナルコンピュータを用いることができる。

【0031】

情報処理部７は、正解画像生成プログラムを実行することにより、正解画像生成部１２として機能する。正解画像生成部１２は、検証情報１１に基づいて正解画像を生成する。正解画像は、対象機器２の表示部３が設計通りに表示する場合の画像に相当する。本実施形態では、正解画像は、動画像である。以下では、正解画像の動画像を正解動画像という。正解画像生成部１２が生成した正解動画像は、記憶部１９に記憶される。なお、正解画像生成部１２が検証情報１１に基づいて生成した正解動画像に代えて、情報処理装置１の外部で生成された正解動画像を、情報処理装置１が対象機器２の動作を検証するために用いることも可能である。

【0032】

情報処理部７は、差分抽出プログラムを実行することにより、抽出部１５として機能する。抽出部１５は、取得部５が取得した取得動画像を構成する取得静止画像と、正解動画像を構成する正解静止画像との差分を抽出する。抽出部１５は、抽出した画像の差分を記憶部１９に記憶させる。以下、抽出部１５が取得動画像と正解動画像の差分を抽出する差分抽出処理について具体的に説明する。

【0033】

抽出部１５は、取得動画像を構成する複数の取得静止画像のうち、時間的に前の取得静止画像と時間的に後の取得静止画像とについて相関関数の一致率をそれぞれ算出する。抽出部１５は、算出した一致率が所定の第１閾値よりも低い取得静止画像の対を特定する。抽出部１５は、特定した取得静止画像の対の時間的に後の取得静止画像を選出する。

【0034】

また、抽出部１５は、正解動画像を構成する複数の正解静止画像のうち、時間的に前の正解静止画像と時間的に後の正解静止画像とについても相関関数の一致率を算出する。抽出部１５は、算出した一致率が所定の第１閾値よりも低い正解静止画像の対を特定する。抽出部１５は、特定した正解静止画像の対の時間的に後の正解静止画像を選出する。

【0035】

図２に示すよう本実施形態では、抽出部１５は、時間的に前の静止画像と時間的に後の静止画像との相関関数の一致率を算出するために、各静止画像の色情報のヒストグラムを作成する。ヒストグラムは、各色が何画素であるかの数を示す。
例えば、ＲＧＢ画像のヒストグラムを作成する場合、赤色、緑色、及び青色それぞれについてヒストグラムを作成してもよい。赤色、緑色、及び青色それぞれについてのヒストグラムを作成する場合、例えば、２５６階調の濃度値がそれぞれ何画素あるかの数を示すヒストグラムを作成してもよい。
例えばグレースケール画像のヒストグラムを作成する場合、２５６階調の濃度値がそれぞれ何画素あるかの数を示すヒストグラムを作成してもよい。
抽出部１５は、作成したヒストグラムのうち、時間的に前のヒストグラムと時間的に後のヒストグラムとの一致率を算出する。抽出部１５は、算出した一致率が第１閾値よりも低い場合、時間的に後のヒストグラムの基礎となった静止画像を選出する。一致率の計算式を次の数１及び数２に示す。計算式において、ｄ（H_１，H_２）は、一致率を示す。H_１（I）は、正解静止画像のヒストグラムの値を示し、H_２（I）は、取得静止画像のヒストグラムの値を示す。数３は、正解静止画像のヒストグラムの平均値を示し、数４は、取得静止画像のヒストグラムの平均値を示す。Ｎは、正解静止画像又は取得静止画像に含まれる総画素数を示す。Ｊは、特定画素を示す。ｋは、正解静止画像か取得静止画像の別を示している。なお、相関関数の一致率を算出する手法は一例に過ぎず、別の算出手法を用いることも可能である。

【0036】

【数1】

【数2】

【数3】

【数4】

【0037】

次に、図３Ａから図５Ｂを参照しながら、抽出部１５が取得静止画像及び正解静止画像を選出する際に実行する処理の内容を説明する。同図の上側に並んだ多数の四角形は時系列順に並んだ正解静止画像を示す。同図の下側に並んだ多数の四角形は時系列順に並んだ取得静止画像を示す。各取得静止画像には、文字Ａ及び番号が付されている。各正解静止画像には、文字Ｂ及び番号が付されている。文字Ａ又は文字Ｂの後に記載された数字は、時系列順を示す。以下、Ａ＊番の取得静止画像を単に「Ａ＊番」、Ｂ＊番の正解静止画像を単に「Ｂ＊番」ともいう。「＊」は任意の数字を示す。

【0038】

図３Ａ及び図３Ｂに示す例では、正解動画像は、例えば、Ｂ２番とＢ３番、Ｂ４２番からＢ４６番までの各々、Ｂ５５番とＢ５６番、及びＢ６３番とＢ６４番とで画像が変化する。Ｂ４２番からＢ４６番まではアニメーション動画像を形成している。取得動画像は、例えば、Ａ２番とＡ３番、Ａ１２番とＡ１３番、Ａ４２番からＡ４６番までの各々、Ａ５３番とＡ５４番、及びＡ６１番とＡ６２番とで画像が変化する。Ａ１４番及びＡ５４の取得静止画像には、正解静止画像に存在しない画像が含まれている。正解静止画像に存在しない画像として、例えば、チラつきを生じる画像が挙げられる。Ａ４２番からＡ４６番まではアニメーション動画像を形成している。

【0039】

先ず、抽出部１５は、取得動画像を構成する複数の取得静止画像のうち、時間的に前の正解静止画像と時間的に後の取得静止画像とについて相関関数の一致率をそれぞれ算出する。抽出部１５は、算出した一致率が所定の第１閾値よりも低い取得静止画像の対を特定する。図３Ａ及び図３Ｂに示す例では、抽出部１５は、一致率が第１閾値よりも低い取得静止画像の対として、Ａ２番とＡ３番、Ａ１３番とＡ１４番、Ａ４２番とＡ４３番、Ａ４３番とＡ４４番、Ａ４４番とＡ４５番、Ａ４５番とＡ４６番、Ａ５３番とＡ５４番、及びＡ６１番とＡ６２番を特定する。

【0040】

また、抽出部１５は、正解動画像を構成する複数の正解静止画像のうち、時間的に前の正解静止画像と時間的に後の正解静止画像とについて相関関数の一致率をそれぞれ算出する。抽出部１５は、算出した一致率が第１閾値よりも低い正解性画像の対として、Ｂ２番とＢ３番、Ｂ４２番とＢ４３番、Ｂ４３番とＢ４４番、Ｂ４４番とＢ４５番、Ｂ４５番とＢ４６番、Ｂ５５番とＢ５６番、及びＢ６３番とＢ６４番を特定する。

【0041】

つぎに、抽出部１５は、特定した各対の時間的に後の取得静止画像である、Ａ３番、Ａ１４番、Ａ４３番、Ａ４４番、Ａ４５番、Ａ４６番、Ａ５４番、及びＡ６２を選出する。また、抽出部１５は、特定した各対の時間的に後の正解静止画像である、Ｂ３番、Ｂ４３番、Ｂ４４番、Ｂ４５番、Ｂ４６番、Ｂ５６番、及びＢ６４番を選出する。

【0042】

抽出部１５は、取得静止画像及び正解静止画像を選出した後、図４Ａ及び図４Ｂに示すように、選出した取得静止画像と、該取得静止画像と時間的に対応する、選出した正解静止画像との相関関数の一致率を算出する。図４Ａ及び図４Ｂに示す例では、抽出部１５は、Ａ３番の取得静止画像とＢ３番の正解静止画像との相関関数の一致率を算出する。また、抽出部１５は、Ａ４３番からＡ４６番の取得静止画像とＢ４３番からＢ４６番の正解静止画像の相関関数の一致率をそれぞれ算出する。抽出部１５は、算出した一致率が所定の第２閾値よりも低くなった場合、一致率が第２閾値よりも低くなった取得静止画像と正解静止画像の差分を抽出する。抽出部１５は、抽出した差分を記憶部１９に記憶させる。本実施形態では、抽出部１５は、算出した一致率が第２閾値以上の場合、一致率が第２閾値以上となった取得静止画像と正解静止画像の差分を抽出しない。

【0043】

抽出部１５は、取得静止画像と正解静止画像の差分を抽出する際に、画像の不一致箇所を視覚的に明確にするための画像処理を行う。不一致箇所を視覚的に明確にするための画像処理としては、例えば、図６に示すように、取得静止画像と正解静止画像をそれぞれをグレースケール画像に変換し、画素の濃淡値を非線形化することにより特徴点を強調し、強調した特徴点同士をパターンマッチングすることが挙げられる。

【0044】

再び図３Ａ及び図３Ｂを参照して、図３Ａでは、Ａ１４番の取得静止画像のように、抽出部１５は、選出された静止画像と時間的に対応させる。図３Ｂでは、Ａ５４番及びＡ６２番の取得静止画像と、Ｂ５６番及びＢ６４番の正解静止画像のように、抽出部１５は、選出された静止画像と時間的に対応させる。選出された静止画像が相手側に存在しない場合、抽出部１５は、選出された静止画像と対応する時間から所定の時間内に選出された相手側の静止画像があるか検索する。抽出部１５は、例えば図４Ｂに示すように、Ａ５４番の取得静止画像とＢ５６番の正解静止画像、あるいは、Ａ６２番の取得静止画像とＢ６４番の正解静止画像のように、所定の時間内に選出された相手側の静止画像がある場合は、それら取得静止画像と正解静止画像の相関関数の一致率を算出する。所定の時間は、例えば、所定のコマ数以内とすることができる。本実施形態では、所定のコマ数は、２コマとしている。

【0045】

抽出部１５は、Ａ６２番の取得静止画像とＢ６４番の正解静止画像のように、互いの一致率が所定の第３閾値以上の場合、それら取得静止画像と正解静止画像を時間的に対応する静止画像とみなして、以後の取得動画像と正解動画像の時間的なずれを補正する。抽出部１５は、時間的なずれを補正するため、例えば、取得静止画像のＡ６１番の後にＡ６１′番、Ａ６１′′番を追加することができる。Ａ６１′番とＡ６１′′番とは、Ａ６１番と同じ画像である。また、抽出部１５は、時間的なずれを補正するため、例えば、正解静止画像のＢ６１番と、Ｂ６２番を削除してもよい。抽出部１５は、時間的なずれを補正した後の取得動画像を補正後取得動画像１９ｃとして記憶部１９に記憶する。

【0046】

一方、抽出部１５は、Ａ５４番の取得静止画像とＢ５６番の正解静止画像のように、互いの一致率が第３閾値未満の場合、図５Ｂに示すように、Ａ５４番の取得静止画像と時間的に対応するＢ５４番の正解静止画像を事後的に選出し、Ｂ５６番の正解静止画像と時間的に対応するＡ５６番の取得静止画像を事後的に抽出する。そして、抽出部１５は、先に選出した静止画像と事後的に選出した相手側の静止画像との差分を抽出する。抽出部１５は抽出した差分を記憶部１９に記憶させる。

【0047】

抽出部１５は、図４Ａに示すＡ１４番の取得静止画像のように、時間的に対応する選出された静止画像が相手側の正解静止画像に存在せず、かつ、対応する時間から所定の時間内に選出された静止画像が相手側の正解静止画像に存在しない場合も、選出した静止画像と時間的に対応する相手側の正解静止画像の静止画像を事後的に選出する。そして、抽出部１５は、先に選出した静止画像と事後的に選出した相手側の静止画像との差分を抽出する。抽出部１５は、抽出した差分を記憶部１９に記憶させる。図５Ａに示す例では、抽出部１５は、先に選出したＡ１４番の取得静止画像と時間的に対応するＢ１４番の正解静止画像を事後的に選出している。そして、抽出部１５は、先に選出したＡ１４番の取得静止画像と事後的に選出したＢ１４番の正解静止画像との差分を抽出している。

【0048】

次に、抽出部１５が、取得静止画像及び正解静止画像に対して、一致率の算出を行う範囲を説明する。

【0049】

本実施形態における対象機器２では、表示部３に表示される動画像は、情報の種別ごとに複数のブロックで構成されている。抽出部１５が、時間的に前後の静止画像の相関関数の一致率の算出、及び取得静止画像と正解静止画像の相関関数の一致率の算出を行うか否かは、ブロックごとに定められている。本実施形態では、抽出部１５は、一致率の算出を行わないブロックについては、差分の抽出も行わない。情報処理装置１は、抽出部１５が所定のブロック以外の時間的に前後の静止画像の相関関数の一致率の算出、及び取得静止画像と正解静止画像の相関関数の一致率の算出を行わないことで、処理負担を低減することができる。

【0050】

図７に対象機器２が表示部３に表示する動画像の画面２１の例を示す。画面２１は、主に第１画面２１Ａ、第２画面２１Ｂ、及び第３画面２１Ｃの間で互いに遷移する。

【0051】

第１画面２１Ａは、地図表示ブロック２４、操作用アイコンブロック２５、情報表示ブロック２６、時計表示ブロック２７を含む。操作用アイコンブロック２５は、１又は複数の操作用アイコンを表示する。操作用アイコンは、例えば、図８に示すように、ルートを再探索する再探索アイコン２５ａ、表示を変更する表示変更アイコン２５ｂ、地点を登録する登録アイコン２５ｃ、地図の拡大縮小アイコン２５ｄを表示する。情報表示ブロック２６は１又は複数の情報を表示する。情報表示ブロック２６に表示される情報として、例えば、図８に示すように、地図の縮尺を示すスケール情報２６ａ、ＶＩＣＳ（登録商標）更新情報２６ｂ、目的地到着予想時刻及び目的地までの距離情報２６ｃ、地図の方位情報２６ｄが挙げられる。

【0052】

第２画面２１Ｂは、リスト表示ブロック２８、タイトル表示ブロック２９、及び時計表示ブロック２７を含む。リスト表示ブロック２８は、例えば、メニュー、各種情報又は検索結果のリストを表示する。例えば、図９に示すように、点検情報を点検項目ごとに一覧表示する形態の画面も第２画面２１Ｂの１種として含まれる。タイトル表示ブロック２９は、リスト表示ブロック２８に表示されたリストに関するタイトルを表示する。表示部３において、第１画面２１Ａと第２画面２１Ｂが互いに切り替わるとき、アニメーション動画像が表示される。

【0053】

第３画面２１Ｃは、第１画面２１Ａ上に重ねて通知メッセージブロック３０を表示する。通知メッセージブロック３０は、各種の通知メッセージを表示する。表示部３において、第１画面２１Ａと第３画面２１Ｃが互いに切り替わるとき、アニメーション動画像が表示される。

【0054】

本実施形態では、抽出部１５は、地図表示ブロック２４、操作用アイコンブロック２５、情報表示ブロック２６、時計表示ブロック２７、リスト表示ブロック２８、タイトル表示ブロック２９、及び通知メッセージブロック３０ごとに、一致率を算出するか否かが設定されている。

【0055】

地図表示ブロック２４は、自車の位置を画面の中心として表示されるが、自車の位置の誤差は、一般に、１０ｍ～５０ｍあり、その誤差により、取得静止画像と正解静止画像の地図表示ブロック２４に表示される地図にずれが生じる場合がある。このため、取得静止画像の地図表示ブロック２４と正解静止画像の地図表示ブロック２４との一致率を算出する場合は、抽出部１５が取得静止画像の地図表示ブロック２４と正解静止画像の地図表示ブロック２４に対して地図の位置及び方位を合わせるための画像処理を行ったうえで一致率を算出することが好ましい。抽出部１５は、地図の位置及び方位を合わせるための画像処理として、例えば、取得静止画像及び正解静止画像それぞれをグレースケール画像に変換し、画素の濃淡を非線形化することにより特徴点を強調し、双方の画像の特徴点同士をパターンマッチングすることにより行うことができる。

【0056】

情報表示ブロック２６は、下地を透過して表示される透過表示部分がある場合は、透過表示部分を含まない範囲で一致率の算出を行うことが望ましい。

【0057】

時計表示ブロック２７は、一致率の算出を行わないことが望ましい。時計の場合、正解静止画像に表示される時刻と、取得静止画像に表示される時刻が通常ずれているため、一致率を算出しても有用な一致率が得られないためである。

【0058】

次に、情報処理装置１の出力部８が出力する情報について説明する。本実施形態では、出力部８は、表示装置を用いて構成されている。情報処理部７は、画像再生プログラムを実行することにより、画像再生部２０として機能する。但し、出力部８は表示装置に限定さない。出力部８は、例えば、記録紙への出力、又は音声による出力であってもよい。

【0059】

画像再生部２０は、再生画面３５を出力部８に表示させる。再生画面３５は、記憶部１９に記憶された正解動画像１９ａと、取得動画像１９ｂ又は補正後取得動画像１９ｃを表示する。

【0060】

図８に出力部８が表示する再生画面３５の一例を示す。再生画面３５は、取得動画像１９ｂ又は補正後取得動画像１９ｃと、正解動画像１９ａとを対比して表示する。取得動画像１９ｂと補正後取得動画像１９ｃが記憶部１９に記憶されている場合、補正後取得動画像１９ｃが再生画面３５に表示される。再生画面３５は、例えば、操作ボタン群３８を表示する。操作ボタン群３８には、例えば、再生ボタン３９、一時停止ボタン４０、及び停止ボタン４１が含まれている。ユーザーが再生ボタン３９を選択すると、取得動画像１９ｂ又は補正後取得動画像１９ｃ、及び正解動画像１９ａが再生される。ユーザーが一時停止ボタン４０を選択すると、再生中の取得動画像１９ｂ又は補正後取得動画像１９ｃ、及び正解動画像１９ａが一時停止して、各動画像の１コマである取得静止画像及び正解静止画像が表示される。

【0061】

再生画面３５には、その他に、不具合発生時間と現在の再生位置を示す再生位置表示バー４２が表示されている。また、再生画面３５には、対象機器２においてタッチ入力による操作があった場合に、タッチ箇所を特定するタッチ表示３４が表示される。このタッチ表示３４は、不具合表示と識別できるように表示される。タッチ表示３４は、例えば、不具合表示と識別できるように特定の色を用いて表示されることが望ましい。

【0062】

図９に出力部８が表示する再生画面３５Ａの別の一例を示す。再生画面３５Ａは、点検情報に関する取得動画像１９ｂ又は補正後取得動画像１９ｃと、正解動画像１９ａとを対比して表示する。再生画面３５Ａは、複数の点検項目ボタン５４を表示する。ユーザが実物の対象機器２において、点検項目ボタン５４の何れかを選択すると、その点検項目ボタン５４に対応付けられた点検情報を表示する画面に遷移する。図９に示す再生画面３５Ａにも、図８に示した再生画面３５と同様に、操作ボタン群３８、再生位置表示バー４２が表示されている。

【0063】

次に、出力部８が表示する不具合表示画面５０について説明する。不具合表示画面５０は、抽出部１５が抽出した差分に関する情報を表示する。

【0064】

図１０に出力部８が表示する不具合表示画面５０の一例を示す。不具合表示画面５０は、例えば、出力部８が再生画面３５又は再生画面３５Ａを再生中に、再生時間が不具合画像が表示される時間に到達したときに、画像再生部２０によって自動的に出力部８に表示される。不具合表示画面５０は、ユーザが情報処理部７に対して所定操作を行った場合に出力部８に表示されるように構成されていてもよい。

【0065】

図１０に示す不具合表示画面５０は、取得静止画像を表示する取得静止画像表示部５１と、正解静止画像を表示する正解静止画像表示部５２と、不具合対比表示部５３とを有する。取得静止画像表示部５１と正解静止画像表示部５２は、上下に対比して表示されている。不具合対比表示部５３は、例えば、不具合画像拡大表示５６と、正解画像拡大表示５７とで構成される。不具合画像拡大表示５６は、取得静止画像に、抽出部１５が抽出した差分５６ａの領域を特定可能に表示する。差分５６ａの領域を特定可能に表示するため手法として、例えば、差分５６ａの領域を不具合画像拡大表示５６の中央に配置すること、差分５６ａの領域内を周囲と異なる色彩若しくは輝度で表示すること、又は差分５６ａの領域の輪郭を周囲と異なる色彩若しくは輝度で表示することが挙げられる。正解画像拡大表示５７は、正解静止画像において、不具合画像拡大表示５６が拡大表示する部分に対応する部分を拡大表示する。ユーザは、正解画像拡大表示５７と不具合画像拡大表示５６を見比べることで容易に不具合箇所を見つけることができる。

【0066】

つぎに、本実施形態に係る情報処理装置１及び対象機器２において実行される処理動作について図１１及び図１２のフローチャートに基づき説明する。

【0067】

先ず、取得部５が対象機器２の表示部３に表示される動画像を取得する。一方、対象機器２は、表示部３に動画像を表示しながら、検証情報１１を記憶装置６に書き込む（ステップ１）。以下では、ステップをＳと称する。

【0068】

正解画像生成部１２は、記憶装置６に書き込まれた検証情報１１に基づいて正解動画像を生成する（Ｓ２）。

【0069】

次に、抽出部１５は、図３Ａから図５Ｂに基づいて説明した差分抽出処理を実行する（Ｓ３）。抽出部１５は、差分抽出処理において、一致率が第２閾値より低い第４閾値未満となる取得静止画像と正解静止画像の組み合わせを検出した場合（Ｓ４及びＳ５でＹｅｓの場合）、その取得静止画像と正解静止画像の一致率が第４閾値未満であることを示す不具合画像情報を記憶部１９に記憶する（Ｓ６）。

【0070】

抽出部１５は、不具合画像情報を記憶部１９に記憶した後、取得静止画像と正解静止画像の差分を抽出する。抽出部１５は抽出した差分を記憶部１９に記憶する（Ｓ７）。また、抽出部１５は、一致率が第４閾値以上第２閾値未満となる取得静止画像と正解静止画像の組み合わせを検出した場合（Ｓ４でＹｅｓ、Ｓ５でＮｏの場合）、取得静止画像と正解静止画像の差分を抽出し、抽出した差分を記憶部１９に記憶する（Ｓ７）。

【0071】

抽出部１５は、一致率が第２閾値未満となる取得静止画像と正解静止画像の組み合わせを検出しなかった場合（Ｓ４でＮｏの場合）、取得動画像に不具合が存在しない旨の情報を記憶する。

【0072】

つぎに、ユーザが情報処理部７において所定操作を行うことにより、画像再生部２０が出力部８に、図９に示す再生画面３５Ａを表示させる。再生画面３５Ａにおいて、ユーザの操作により、再生ボタン３９が選択されると、画像再生部２０は、記憶部１９から取得動画像１９ｂ及び正解動画像１９ａを読み出す。画像再生部２０は、読み出した取得動画像１９ｂ及び正解動画像１９ａを再生画面３５Ａ内で再生する（Ｓ５１）。

【0073】

画像再生部２０は、記憶部１９に取得静止画像と正解静止画像の差分が記憶されているか否か判定する（Ｓ５２）。画像再生部２０は、記憶部１９に差分が記憶されていると判定した場合（Ｓ５２でＹｅｓの場合）、一致率が第４閾値未満の取得静止画像と正解静止画像が再生中の動画に含まれているか否かを判定する（Ｓ５３）。画像再生部２０は、一致率が第４閾値未満の取得静止画像と正解静止画像が再生中の動画に含まれていると判定した場合（Ｓ５３でＹｅｓの場合）、動画再生時間が、一致率が第４閾値未満の取得静止画像を再生する時間に到達したときに、図１０に示すような、不具合表示画面５０を表示する。併せて、画像再生部２０は、ユーザに対して注意喚起を通知する（Ｓ５４）。注意喚起の通知として、例えば、警告音を発生すること、不具合表示画面５０に注意喚起するための文字を表示すること、又は不具合表示画面５０の全体の配色を特別な色にすることが挙げられる。

【0074】

画像再生部２０は、一致率が第４閾値未満の取得静止画像と正解静止画像が再生中の動画に含まれていないと判定した場合（Ｓ５３でＮｏの場合）、動画再生時間が、一致率が第４閾値以上第２閾値未満の取得静止画像を再生する時間に到達したときに、図１０に示すような、不具合表示画面５０を表示する（Ｓ５５）。この場合、画像再生部２０は、ユーザに対する注意喚起の通知は行わない。

【0075】

画像再生部２０は、記憶部１９に取得静止画像と正解静止画像の差分が記憶されていないと判断した場合（Ｓ５２でＮｏの場合）、不具合画像が存在しない旨の通知を行う（Ｓ５６）。不具合画像が存在しない旨の通知として、例えば、不具合画像が存在しない旨を表す文字列を再生画面３５Ａ上に表示することが挙げられる。

【0076】

画像再生部２０は、Ｓ５４又はＳ５５で不具合表示画面５０を表示して一定時間が経過した後、記憶部１９に他の差分が記憶されているか否かを判定する（Ｓ５７）。また、画像再生部２０は、ユーザが不具合表示画面５０を終了させるための所定操作を行った場合も、不具合表示画面５０を閉じて、記憶部１９に他の差分が記憶されているか否かを判定する（Ｓ５７）。

【0077】

画像再生部２０は、記憶部１９に他の差分が記憶されていると判定した場合（Ｓ５７でＹｅｓの場合）、処理をＳ５３に戻す。一方、画像再生部２０は、記憶部１９に他の差分が記憶されていないと判定した場合（Ｓ５７でＮｏの場合）、再生画面３５Ａにおける取得動画像１９ｂ及び正解動画像１９ａを最後まで再生した後、動画再生を終了する（Ｓ５８）。或いは、ユーザが再生画面３５Ａに対して所定の終了操作をすることにより、動画再生を終了する（Ｓ５８）。

【0078】

＜画像の比較のアルゴリズムに機械学習を用いる場合について＞
抽出部１５は、選出した取得静止画像と選出した正解静止画像の差分が同じ画像の差分であるか、異なる画像の差分であるかを機械学習により判定してもよい。抽出部１５が機械学習により、異なる画像の差分と判断した場合は、一致率が第２閾値未満又は第４閾値未満の取得静止画像と正解静止画像との組み合わせに対する処理と同様の処理を行ってもよい。機械学習としては、例えば、ディープラーニングを用いることができる。具体的には、抽出部１５は、過去に抽出した差分を教師データとして機械学習を行う。抽出部１５は、機械学習の結果に基づき、新たに抽出した差分が同じ画像の差分であるか異なる画像の差分であるかを判定する。

【0079】

なお、画像の比較のアルゴリズムは一般に多種存在し、機械学習を用いる方法のほか、色情報ごとに特徴点を抽出する方法もある。

【0080】

以上に説明した情報処理装置１によれば、全ての取得静止画像と全ての正解静止画像を対比させて一致率を判定するのではなく、変化のあった取得静止画像と正解静止画像のみを対比させて一致率を判定するので、取得動画像における画像の不具合を効率良く抽出することができる。

【0081】

本発明は、その精神や主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。

【符号の説明】

【0082】

１ 情報処理装置
２ 対象機器
３ 表示部
５ 取得部
６ 記憶装置
７ 情報処理部
８ 出力部
１１ 検証情報
１２ 正解画像生成部
１５ 抽出部
１９ 記憶部
１９ａ 正解動画像
１９ｂ 取得動画像
２０ 画像再生部
２４ 地図表示ブロック
２５ 操作用アイコンブロック
２６ 情報表示ブロック
２７ 時計表示ブロック
２８ リスト表示ブロック
２９ タイトル表示ブロック
３０ 通知メッセージブロック
３５，３５Ａ 再生画面
５０ 不具合表示画面
５１ 取得静止画像表示部
５２ 正解静止画像表示部
５３ 不具合対比表示部
５６ 不具合画像拡大表示部
５６ａ 差分

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】