特許 6512964 端末、画像判定システム、画像判定方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6512964

(24)【登録日】2019年4月19日

(45)【発行日】2019年5月15日

(54)【発明の名称】端末、画像判定システム、画像判定方法およびプログラム

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20190425BHJP

   G06F 3/0481 20130101ALI20190425BHJP

【ＦＩ】

   G06F3/0484 120

   G06F3/0481

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2015-132064(P2015-132064)

(22)【出願日】2015年6月30日

(65)【公開番号】特開2017-16370(P2017-16370A)

(43)【公開日】2017年1月19日

【審査請求日】2018年2月26日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100122426

【弁理士】

【氏名又は名称】加藤 清志

(72)【発明者】

【氏名】佐々木 祥

【審査官】 酒井 優一

(56)【参考文献】

【文献】 特開２０１３−２５７６９４（ＪＰ，Ａ）

【文献】 特開２００４−３５５４００（ＪＰ，Ａ）

【文献】 特開２０１２−１１１３３０（ＪＰ，Ａ）

【文献】 特開２００５−３３９５６０（ＪＰ，Ａ）

【文献】 特開２０１４−２１５８４５（ＪＰ，Ａ）

【文献】 特表２００２−５４４５８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、
前記既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、
前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、
前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、
前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、
前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせて表示する表示制御手段と、
を備えたことを特徴とする端末。

【請求項2】

前記合成画像作成手段が、前記固定表示部分に対応する前記テンプレート画像の画素と前記透明画素部分に対応する前記表示画像の画素とを合成することを特徴とする請求項１に記載の端末。

【請求項3】

前記合成画像は、前記表示画像を下部とし、前記テンプレート画像を上部から重ね合わせて合成することを特徴とする請求項１または２に記載の端末。

【請求項4】

前記表示画像取得手段は、特定の既存アプリケーションが起動すると、表示されている前記表示画像を定期的に取得し、前記特定の既存アプリケーションが起動を終了すると、表示されている前記表示画像の取得を停止することを特徴とする請求項１から３のいずれか１項に記載の端末。

【請求項5】

端末と表示装置とからなり、特定の既存アプリケーションに対する操作ガイドを提示する画像判定システムであって、
前記端末が、
表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、
前記既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、
前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、
前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、
前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、
前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせた画像を生成する画像生成手段と、
該生成した重ね合わせ画像を前記表示装置に送信する送信手段と、
を備え、
前記表示装置が、
前記端末の送信手段から、前記重ね合わせ画像を受信する受信手段と、
該受信した重ね合わせ画像を表示する表示手段と、
を備えたことを特徴とする画像判定システム。

【請求項6】

端末と表示装置とからなり、特定の既存アプリケーションに対する操作ガイドを提示する画像判定システムであって、
前記端末が、
表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、
前記既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、
前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、
前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、
前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、
前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示装置に送信する送信手段と、
を備え、
前記表示装置が、
前記端末の送信手段から、前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を受信する受信手段と、
該受信した前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を表示する表示手段と、
を備えたことを特徴とする画像判定システム。

【請求項7】

表示画像取得手段と、既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、合成画像作成手段と、画像比較手段と、前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、表示制御手段と、
を備えた端末における画像判定方法であって、
前記表示画像取得手段が、表示されている前記既存アプリケーションの表示画像を取得する第１のステップと、
前記合成画像作成手段が、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する第２のステップと、
前記画像比較手段が、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する第３のステップと、
前記表示制御手段が、前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせて表示する第４のステップと、
を備えることを特徴とする画像判定方法。

【請求項8】

表示画像取得手段と、既存アプリケーションの表示画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成され、複数の既存アプリケーションの表示画像に対応する複数のテンプレート画像を予め格納するテンプレート画像格納手段と、合成画像作成手段と、画像比較手段と、前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、表示制御手段と、を備えた端末における画像判定方法をコンピュータに実行させるためのプログラムであって、
前記表示画像取得手段が、表示されている前記既存アプリケーションの表示画像を取得する第１のステップと、
前記合成画像作成手段が、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する第２のステップと、
前記画像比較手段が、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する第３のステップと、
前記表示制御手段が、前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせて表示する第４のステップと、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末、画像判定システム、画像判定方法およびプログラムに関する。

【背景技術】

【0002】

例えば、スマートフォン等のタッチパネルディスプレイによるユーザインタラクションごとにアプリケーションの起動や表示・状況切り替えが行われる端末においては、現在の端末の表示状況に応じて、例えば、ホーム画面のショートカット位置を変更したり、ホームアプリケーションを異なるものに切り替えたり等、操作方法が多様に変化する。加えて、近年の端末は、クラウドサービスとの連携を前提としており、ＩＤの新規登録作業やログイン作業、ウェブ上のインタラクティブなＵＩ操作等、刻々とＵＩ仕様が切り替わる操作が増えてきている。

【0003】

そのため、従来の非タッチパネルディスプレイにおいて可能であった、例えば、ホーム画面等の端末標準開始位置から、説明書の表記を参照する等して、所定のハードウェアキーを順々に押していく方法による操作ナビゲーションが困難となっている。特に高齢者においては、ある目的に対して、同一の操作方法を記憶している利用者が多いため、上記の課題がスマートフォンの操作の困難性を高めている。そのような課題に対して、操作アプリケーション内で操作説明（いわゆるヘルプ機能）を提示することが求められるが、操作説明を提示すべき場面を予め想定することが難しく、また、ヘルプ機能を追加するためにアプリケーションを改修することは開発者にとって、大きなコスト増となる。

【0004】

こうしたことから、特許文献１〜３では、次の操作方法を示したり、よく実施するアプリケーションを表示したり、操作レベルに適したＵＩを提供したりする工夫がなされている。また、特許文献４では、操作フローを目視で確認できるようになっている。さらに、特許文献５によると、主要アプリケーションによって生成されたアプリケーションインターフェースにおいて、ユーザの注意力を過度にそらさないようにヘルプ機能を表示する方法として、主要アプリケーションの上に透過する操作ガイド画面を重ねて情報提示する方法が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第５３０２７１２号公報

【特許文献2】特開２０１１−１７０６７２号公報

【特許文献3】特開２０１１−０６６８５０号公報

【特許文献4】特許第５０８１９３４号公報

【特許文献5】特許第４７７２３８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１から３に記載の技術では、目的達成までの操作を誘導することが可能となるが、その一方で、利用者の操作習熟度が高まらず、端末の利用満足度を必ずしも高められない。また、予測が誤ってしまったときに、誘導に頼っているユーザはその後操作できない状況に陥ってしまう。加えて、アプリケーション内に操作説明する機能を導入する必要があるという問題は解決できないという問題がある。

【0007】

また、特許文献４に記載の技術では、操作説明機能をアプリ内に導入する必要があるという問題は解決できないという問題がある。さらに、特許文献５に記載の技術では、ヘルプ表示を行うトリガについては、ユーザの各種操作が必要であるため、特に、初心者やシニアといったユーザがそもそも何をしてよいかがわからない場合、必要に応じたヘルプの起動が困難であるという問題がある。また、ヘルプ表示の機能は、主要アプリケーションによって管理されるため、ヘルプ機能の追加や修正は主要アプリケーションの開発に依る必要があり、外部アプリケーションからの修正が検討されていないという問題がある。

【0008】

そこで、本発明は、上述の課題に鑑みてなされたものであり、既存アプリケーションに対して、複雑化したアプリコードに手を加えずに、表示画像の比較によって特定の処理のタイミングを取得することを目的とする。また、本発明は、既存アプリケーションに対して、複雑化したアプリコードに手を加えずに、操作ガイド情報を提供すべき適切なタイミングを取得すると、取得したタイミングで操作ガイド情報を提示することも目的とする。

【課題を解決するための手段】

【0009】

本発明は、上述の課題を解決するために、以下の事項を提案している。

【0010】

（１）本発明は、表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、複数の既存アプリケーション画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成されるテンプレート画像を予め格納するテンプレート画像格納手段と、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、を備え、前記画像比較手段において、前記表示画像と前記合成画像が完全一致するかを判定することを特徴とする端末を提案している。

【0011】

（２）本発明は、（１）の端末について、前記合成画像作成手段が、前記固定表示部分に対応する前記テンプレート画像の画素と前記透明画素部分に対応する前記表示画像の画素とを合成することを特徴とする端末を提案している。

【0012】

（３）本発明は、（１）または（２）の端末について、前記合成画像は、前記表示画像を下部とし、前記テンプレート画像を上部として合成することを特徴とする端末を提案している。

【0013】

（４）本発明は、（１）から（３）のいずれか１つの端末について、前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせて表示する表示制御手段と、をさらに備えたことを特徴とする端末を提案している。

【0014】

（５）本発明は、（１）から（４）のいずれか１つの端末について、前記表示画像取得手段は、特定の既存アプリケーションが起動すると、表示されている前記表示画像を定期的に取得し、特定の既存アプリケーションが起動を終了すると、表示されている前記表示画像の取得を停止することを特徴とする端末を提案している。

【0015】

（６）本発明は、端末と表示装置とからなり、特定の既存アプリケーションに対する操作ガイドを提示する画像判定システムであって、前記端末が、表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、複数の既存アプリケーション画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成されるテンプレート画像を予め格納するテンプレート画像格納手段と、前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示画像に前記読みだした前記操作ガイド画像を重ね合わせた画像を生成する画像生成手段と、該生成した重ね合わせ画像を前記表示装置に送信する送信手段と、を備え、前記表示装置が、前記端末の送信手段から、前記重ね合わせ画像を受信する受信手段と、該受信した重ね合わせ画像を表示する表示手段と、を備えたことを特徴とする画像判定システムを提案している。

【0016】

（７）本発明は、端末と表示装置とからなり、特定の既存アプリケーションに対する操作ガイドを提示する画像判定システムであって、前記端末が、表示されている既存アプリケーションの表示画像を取得する表示画像取得手段と、複数の既存アプリケーション画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成されるテンプレート画像を予め格納するテンプレート画像格納手段と、前記テンプレート画像に対応する操作ガイド画像を格納する操作ガイド画像格納手段と、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する合成画像作成手段と、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較する画像比較手段と、前記画像比較手段において、前記表示画像と完全一致する前記合成画像があったときに、前記操作ガイド画像格納手段から前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を読みだして、前記表示装置に送信する送信手段と、を備え、前記表示装置が、前記端末の送信手段から、前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を受信する受信手段と、該受信した前記合成画像元の前記テンプレート画像に対応する操作ガイド画像を表示する表示手段と、を備えたことを特徴とする画像判定システムを提案している。

【0017】

（８）本発明は、表示画像取得手段と、複数の既存アプリケーション画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成されるテンプレート画像を予め格納するテンプレート画像格納手段と、合成画像作成手段と、画像比較手段とを備えた端末における画像判定方法であって、前記表示画像取得手段が、表示されている既存アプリケーションの表示画像を取得する第１のステップと、前記合成画像作成手段が、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する第２のステップと、前記画像比較手段が、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較して、前記表示画像と前記合成画像とが完全一致するかを判定する第３のステップと、を備えることを特徴とする画像判定方法を提案している。

【0018】

（９）本発明は、表示画像取得手段と、複数の既存アプリケーション画像における固定表示部分と前記固定表示部分以外の透明画素部分とから構成されるテンプレート画像を予め格納するテンプレート画像格納手段と、合成画像作成手段と、画像比較手段とを備えた端末における画像判定方法をコンピュータに実行させるためのプログラムであって、前記表示画像取得手段が、表示されている既存アプリケーションの表示画像を取得する第１のステップと、前記合成画像作成手段が、前記テンプレート画像格納手段に格納されている前記テンプレート画像と前記表示画像取得手段が取得した前記表示画像とを合成して合成画像を作成する第２のステップと、前記画像比較手段が、前記表示画像取得手段において取得された前記表示画像と前記合成画像作成手段において作成された前記合成画像とを比較して、前記表示画像と前記合成画像とが完全一致するかを判定する第３のステップと、をコンピュータに実行させるためのプログラムを提案している。

【発明の効果】

【0019】

本発明によれば、画面の内容に即した特定の処理のタイミングを取得する判定を、表示中の画像の完全一致比較で行うため、作成済みの既存アプリケーションを改修することなく、かつ、端末や起動中の既存アプリケーションに対する負担を与えることがないという効果がある。また、既存アプリケーションに対して、複雑化したアプリコードに手を加えずに、操作ガイド情報を提供すべき適切なタイミングを取得すると、取得したタイミングで操作ガイド情報を提示できる効果がある。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施形態に係る装置構成図である。

【図2】本発明の第１の実施形態に係る各種画像を示す図である。

【図3】本発明の第１の実施形態に係る表示画像とテンプレート画像の一致判定処理に関するフロー図である。

【図4】本発明の第１の実施形態に係る処理フロー図である。

【図5】本発明の第２の実施形態に係るシステム構成図である。

【発明を実施するための形態】

【0021】

以下、図面を用いて、本発明の実施形態について詳細に説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0022】

＜第１の実施形態＞
以下、図１から図３を用いて、本発明の第１の実施形態について説明する。

【0023】

＜端末の構成＞
本実施形態に係る端末１００は、図１に示すように、表示画像取得部１１０と、表示用メモリ１２０と、テンプレート画像格納部１３０と、操作ガイド画像格納部１４０と、合成画像作成部１５０と、画像比較部１６０と、表示部１７０と、制御部１８０とから構成されている。

【0024】

表示画像取得部１１０は、画面表示されている既存アプリケーションの表示画像データ（例えば、図２（Ａ）のスクリーンキャプチャーＳ）を取得する。ここで、表示画像とは、オーバレイ画像を除く表示中の画像をいうが、現在の表示中のオーバレイ画像を含めた処理を除外するものではない。具体的には、表示画像取得部１１０は、制御部１８０に対して、表示画像取得要求信号を出力し、制御部１８０から表示画像データを受け取る。このとき、制御部１８０は、表示画像取得部１１０からの表示画像取得要求信号に対して、表示用メモリ１２０から直近のタイムスタンプを有する表示画像データあるいは、時系列管理がなされている場合には、直近の表示画像データを取得し、表示画像取得部１１０に出力する。より具体的には、制御部１８０は、端末のスクリーンキャプチャー機能を利用して、表示画像データを取得するよう制御を行う。なお、別の事例として、制御部１８０は、通信路から直接、表示画像データを取得するようにしてもよい。また、表示画像取得部１１０は、予め定められたタイミングで制御部１８０に対して、表示画像取得要求信号を出力する。

【0025】

表示用メモリ１２０は、表示画像データを一時的に格納する。なお、当該表示画像データには、タイムスタンプが付されている。あるいは、表示用メモリ１２０が格納領域等により、データを時系列管理している。テンプレート画像格納部１３０は、複数の既存アプリケーション画像に対応するテンプレート画像データ（例えば、図２（Ｂ）のテンプレート画像Ｔ）を格納している。

【0026】

ここで、テンプレート画像は、既存アプリケーション画像における固定表示部分と、固定表示部分以外の透明画素部分と、から構成されるものである。操作ガイド画像格納部１４０は、テンプレート画像に対応する操作ガイド画像（例えば、図２（Ｃ）のオーバレイ画像Ｏ）を格納する。ここで、操作ガイド画像とは、アプリケーションを利用するための補助的な情報を表示する画像であり、例えば、情報入力に関する表示やアイコンの機能説明表示等がなされた画像である。また、操作ガイド画像は、テンプレート画像と同様に透明画素部分を有する。

【0027】

ここで、透明画素とは、上部から下部に画像を重ね合わせたときに、下部画像（本実施形態では表示画像）の画素が透けて見えるように設定されている上部画像の画素をさしており、具体的には、ＰＮＧ（ポータブル・ネットワーク・グラフィクス）形式や透過ＧＩＦ（グラフィクス・インターチェンジ・フォーマット）形式での不透明度（アルファ値）が０％（ＰＮＧ形式であればアルファ値が０）をさす。あるいは、予め指定されたある単色（青背景等）や色範囲（色相、彩度が一定数値範囲内である等）を透明画素とみなす方法（クロマキー処理）も考えられる。

【0028】

合成画像作成部１５０は、テンプレート画像格納部１３０に格納されているテンプレート画像と表示画像取得部１１０が取得した画像とを合成して合成画像を作成する。なお、合成画像において、テンプレート画像Ｔの透明画素部分は、スクリーンキャプチャーＳに上書きされず、スクリーンキャプチャーＳのそのままの画素が残る。

【0029】

画像比較部１６０は、表示画像取得部１１０において取得された表示画像と合成画像作成部１５０において作成された合成画像とを比較する。この比較処理フローについて、以下、図３を用いて説明する。

【0030】

まず、一致中フラグを「Ｆａｌｓｅ」とし、Ｎｕｍ（テンプレート画像格納部１３０に複数格納されているそれぞれに付されているテンプレート画像のナンバー）を「０」とする初期化を行なう（ステップＳ１）。初期化処理後に、表示画像の取得を行なう（ステップＳ２）。

【0031】

次に、取得した表示画像に一致中フラグがあるか否かを判断し（ステップＳ３）、一致中フラグが「Ｔｒｕｅ」である場合には、表示画像とステップＳ８において一致したと判断した時の、番号Ｎｕｍのテンプレート画像とが一致するか否かを判断する（ステップＳ４）。ステップＳ４は、直近で一致したテンプレート画像から、表示画像が変更されているかどうかのみを判定するため、表示画像と複数枚のテンプレート画像との比較をせずにすみ、処理効率を高めている。なお、一致判定の具体例については、後述する。一致判定の結果、一致と判定された場合には、オーバレイ画像を表示させ続ける。

【0032】

一方で、ステップＳ４において、一致判定の結果、不一致と判定された場合には、現在表示中のオーバレイ画像を削除し、一致中フラグを「Ｆａｌｓｅ」とし（ステップＳ５）、ステップＳ１１に進む。

【0033】

また、ステップＳ３において、一致フラグが「Ｆａｌｓｅ」である場合には、ステップＳ６に移る。ステップＳ６〜Ｓ１０では、表示画像が格納されたテンプレート画像のいずれかに一致するかを比較するステップである。ステップＳ６では、現在の番号を示す数Ｎｕｍとテンプレート画像の格納枚数とを比較し（ステップＳ６）、Ｎｕｍの値がテンプレート画像の格納枚数よりも小さいときは、現在の番号Ｎｕｍに対応するテンプレート画像の取得を行ない（ステップＳ７）、表示画像とテンプレート画像とが一致するか否かを判断する（ステップＳ８）。一致判定の結果、一致していると判定された場合には、オーバレイ画像を表示するとともに、一致中フラグを「Ｔｒｕｅ」とし、ステップＳ２に移る（ステップＳ９）。

【0034】

一方で、ステップＳ８において、一致判定の結果、一致していないと判定された場合には、Ｎｕｍの数を＋１加算し（ステップＳ１０）、ステップＳ６に戻る。また、ステップＳ６において、Ｎｕｍの値がテンプレート画像の格納枚数よりも大きいときは、ステップＳ１１に進む。ステップＳ１１では、Ｎｕｍを「０」にクリアし、ステップＳ２に戻る。

【0035】

一致判定の具体例について以下に示す。

【0036】

まず、スクリーンキャプチャー（Ｓ）の各画素をＳ[ｘ、ｙ]、テンプレート画像（Ｔ）の各画素をＴ[ｘ、ｙ]、合成画像（Ｃ）の各画素をＣ[ｘ、ｙ]とする。ただし、ｘ、ｙは、画素の座標位置を示す整数である。

【0037】

このとき、合成画像（Ｃ）の各画素は下記のようになる。
Ｃ[ｘ、ｙ]＝Ｓ[ｘ、ｙ]（ｉｆ Ｔ[ｘ、ｙ]＝透明画素値）
＝Ｔ[ｘ、ｙ]（ｉｆ Ｔ[ｘ、ｙ]≠透明画素値）
つまり、このとき、Ｃ[ｘ、ｙ]＝Ｓ[ｘ、ｙ]がすべての画素値で成り立つときは、Ｔ[ｘ、ｙ]≠透明画素値となるすべての[ｘ、ｙ]において、Ｔ[ｘ、ｙ]＝Ｓ[ｘ、ｙ]を満たすこととなり、スクリーンキャプチャー（Ｓ）がテンプレート画像（Ｔ）と同一の画面になったことを意味する。

【0038】

実際のソフトウェア実装では、以下の２つの処理で実現することができる。

【0039】

「合成画像の生成」
スクリーンキャプチャーＳの画像データに、テンプレート画像Ｔの画像データを重ねる。具体的には、各ＯＳにおいて用意されている重ね合わせの画像処理コマンドを利用する方法、例えば、ａｎｄｒｏｉｄ（登録商標）では、スクリーンキャプチャーＳの画像データをＢｉｔｍａｐデータとして描写したキャンバスに、同じくＢｉｔｍａｐデータとして用意したテンプレート画像Ｔを加える方法等がある。

【0040】

「画像一致比較」
生成した合成画像の画像データとスクリーンキャプチャーＳの画像データとが一致しているかどうかを確認する。具体的には、各ＯＳにおいて用意されている画像一致比較コマンドを利用する方法、例えば、ａｎｄｒｏｉｄ（登録商標）では、双方のＢｉｔｍａｐデータが同じかどうかを確認するｓａｍｅＡｓというコマンドを利用する方法等がある。

【0041】

上記の処理内容をプログラムで示すと以下のようになる。
Ｂｉｔｍａｐ Ｓ＝ｓｃｒｅｅｎｓｈｏｔ（）；＃ （スクリーンキャプチャーの取得）
Ｂｉｔｍａｐ Ｃ＝Ｓ.ｃｏｐｙ（Ｂｉｔｍａｐ.Ｃｏｎｆｉｇ.ＡＲＧＢ_８８８８, ｔｒｕｅ）;＃ （Ｓを複製したＣを用意）
Ｃａｎｖａｓ ｃａｎｖａｓ＝ｎｅｗ Ｃａｎｖａｓ（Ｃ）；＃ （Ｃ（＝Ｓ）が描写されたキャンバスを用意する）
ｃａｎｖａｓ.ｄｒａｗＢｉｔｍａｐ（Ｔ、０、０、ｎｕｌｌ）；＃ （Ｃ（＝Ｓ）にＴを書き加える）
Ｉｆ（Ｃ.ｓａｍｅＡｓ（Ｓ））｛
＃一致処理
｝ｅｌｓｅ｛
＃不一致処理
｝
ただし、Ｔは予め用意された、テンプレート画像を意味するビットマップである。

【0042】

上記の方法以外にも、画素データの座標の位置と、画像をデータ列として見たときのビット列の位置との間に関係性がある場合には、画像としてではなく、データ列として処理する方法も、さらなる処理の軽減方法として望ましい。この方法の具体例を以下に示す。

【0043】

「合成画像の生成」
スクリーンキャプチャーＳを示すビット列に、テンプレート画像Ｔを示すビット列をビット演算により、加算する。

【0044】

「画像一致比較」
合成画像を示すビット列ＣとスクリーンキャプチャーＳを示すビット列Ｓとが完全に一致するか否かを判定する。

【0045】

上記の処理内容をプログラムで示すと以下のようになる。
Ｂｙｔｅ［］ Ｓ＝ｓｃｒｅｅｎｓｈｏｔ（）.ｔｏＢｙｔｅＡｒｒａｙ（）；＃ （スクリーンキャプチャーの取得、ビット列化）
Ｂｙｔｅ［］ Ｃ；＃ （Ｃを用意）
Ｃ ＝ Ｓ|Ｔ； （ビットＯＲ演算を行う）
Ｉｆ（Ｃ＝＝Ｓ）｛
＃一致処理
｝ｅｌｓｅ｛
＃不一致処理
｝
ただし、Ｔは予め用意された、テンプレート画像を示すビット列である。

【0046】

表示部１７０は、例えば、液晶ディスプレイ等で構成され、アプリケーションの表示画像等を表示する。制御部１８０は、予め格納されているプログラムにより端末全体の動作、処理を制御する。本実施形態においては、例えば、画像比較部１６０において、表示画像と完全一致する合成画像があったときに、操作ガイド画像格納部１４０から合成画像元のテンプレート画像に対応する操作ガイド画像を読みだして、表示画面に読みだした操作ガイド画像を重ね合わせて表示する制御を行う（例えば、図２（Ｄ）の表示）。また、表示画像取得部１１０が、特定の既存アプリケーションが起動すると、表示されている表示画像を定期的に取得し、特定の既存アプリケーションの起動が終了すると、表示されている表示画像の取得を停止するように制御する。

【0047】

＜端末の処理＞
図３を用いて、本実施形態に係る端末の処理について説明する。
まず、表示画像取得部が、表示されている既存アプリケーションの表示画像を取得する（ステップＳ１１０）。なお、同表示画像の取得においては、後述の操作ガイド画像を重ね合わせる前の、もとの表示画像を取得するように行うことが望ましい。合成画像作成部１５０は、テンプレート画像格納部１３０に格納されているテンプレート画像と表示画像取得部１１０が取得した画像とを合成して合成画像を作成する（ステップＳ１２０）。

【0048】

画像比較部１６０は、表示画像取得部１１０において取得された表示画像と合成画像作成部１５０において作成された合成画像とを比較する（ステップＳ１３０）。そして、制御部１８０は、画像比較部１６０において、表示画像と完全一致する合成画像があったときに、操作ガイド画像格納部１４０から合成画像元のテンプレート画像に対応する操作ガイド画像を読みだして、表示画面に読みだした操作ガイド画像を重ね合わせて表示する（ステップＳ１４０）。

【0049】

なお、上記の操作ガイド表示処理は、例えば、現在の表示画面にオーバレイすることにより、操作ガイドとなる文字や図形、キャラクターを表示する機能（オーバレイ表示（重ね合わせ画像表示）切替機能）として実装することも望ましい。このオーバレイ表示切替機能では、画面比較機能においての一致判定に応じて、対応するオーバレイ表示を行う。また、一致していない場合にオーバレイ表示を削除するようにすることも好ましい。

【0050】

以上、説明したように、本実施形態によれば、既存のアプリケーションに対して、複雑化したアプリコードに手を加えずに、表示画面の比較によって情報提示のタイミングを得ることができる。また、表示画面の比較が、軽量で簡単な「画像の上書き」および「完全一致比較」で実現可能であるため実用的である。

【0051】

＜第２の実施形態＞
以下、図４を用いて、本発明の第２の実施形態について説明する。

【0052】

本実施形態に係る画像判定システムは、図４に示すように、端末１００と表示装置２００とからなり、端末１００は、表示画像取得部１１０と、表示用メモリ１２０と、テンプレート画像格納部１３０と、操作ガイド画像格納部１４０と、合成画像作成部１５０と、画像比較部１６０と、制御部１８１と、画像生成部１９１と、送信部１９２とから構成され、表示装置２００は、受信部２１０と、表示部２２０と、制御部２３０とから構成されている。なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。

【0053】

画像生成部１９１は、画像比較部１６０において、表示画像と完全一致する合成画像があったときに、操作ガイド画像格納部１４０から合成画像元のテンプレート画像に対応する操作ガイド画像を読みだして、表示画面に読みだした操作ガイド画像を重ね合わせた画像を生成する。

【0054】

送信部１９２は、生成した重ね合わせ画像を表示装置２００に送信する。制御部１８１は、例えば、画像比較部１６０において、表示画像と完全一致する合成画像があったときに、操作ガイド画像格納部１４０から合成画像元のテンプレート画像に対応する操作ガイド画像を読みだして、表示画面に読みだした操作ガイド画像を重ね合わせた画像を生成し、生成した重ね合わせ画像を表示装置２００に送信するよう制御を行う。

【0055】

表示装置２００の受信部２１０は、端末の送信部１９２から、重ね合わせ画像を受信する。表示部２２０は、受信した重ね合わせ画像を表示する。制御部２３０は、例えば、重ね合わせ画像を受信し、受信した重ね合わせ画像を表示するよう制御を行う。また、受信部２１０は、端末１００の送信部１９２から、合成画像元のテンプレート画像に対応する操作ガイド画像を受信する。表示部２２０は、受信した操作ガイド画像を表示する。制御部２３０は、例えば、操作ガイド画像を受信し、受信した操作ガイド画像の表示制御を行う。

【0056】

なお、表示画像の取得（スクリーンキャプチャー）は、端末において現在稼働中のプロセスを確認し、所定のプロセス（パッケージネーム）が存在するときに機能するようにしてもよい。また、表示画像の取得（スクリーンキャプチャー）は、対象アプリケーションの起動元（例えば、ホームアプリケーションや専用アプリケーション）によって機能するかどうかを判定するようにしてもよい。例えば、通常起動であれば重ねあわせ（オーバレイ）を行わず、説明書要らずのアプリケーションのような特定モードからの起動であれば重ねあわせ（オーバレイ）を行うようにしてもよい。

【0057】

また、表示画像の取得（スクリーンキャプチャー）は、ヘルプボタンのようなものとし、端末の特定のハードウェアボタン、あるいは、端末画面内のソフトウェアボタンを押下することで機能するようにしてもよい。また、表示中内容において比較対象がない場合に、同表示画像の取得からはじまる一連の機能を実行しない、ヘルプボタンを表示しない、あるいは、ヘルプボタンを無効表示状態（例えば、ボタンをグレースケール化）するようにしてもよい。

【0058】

また、重ね合わせ画像の代わりに、テンプレート画像に対応する説明音声を用意し、操作ガイド表示は、音声による操作方法の説明を再生するようにしてもよい。また、重ね合わせ画像（オーバレイ画像）の代わりに、テンプレート画像に対応する操作説明動画像を用意し、操作ガイド表示は、操作説明動画像を再生するようにしてもよい。また、アニメーションを伴う画像のような動画像を重ね合わせ画像（オーバレイ画像）として重ね合わせて表示させてもよい。また、表示画像とテンプレート画像とが一致したときに、これをアプリケーションの利用状況ログとして、サーバに送信して保存することにより、このログをアプリケーションの機能改善のために利用してもよい。

【0059】

また、画像判定システムにおいて、端末は外部への通信機能を持ち、テンプレート画像および対応する操作ガイド情報を外部から取得するようにしてもよい。また、テンプレート画像および対応する操作ガイド情報の取得タイミングは、所定アプリの起動時、あるいは、定期タイミングであってもよい。また、所定アプリのアップデート時であってもよい。また、画像判定システムにおいて、表示装置は、アプリケーションごとにテンプレート画像、オーバレイ画像のセットを保持しており、画像セットを追加および更新する機能を有するようにしてもよい。また、判定に基づいて、アプリケーション中の表示を消す、あるいは、インストールや購入ボタン押下等操作をさせなくするようにしてもよい。例えば、表示に不適切な画像を見せないようにしたり、購入を防いだりするようにしてもよい。

【0060】

本実施形態において、表示画像と合成画像とが完全一致するか否かの判定処理を以下の技術に応用してもよい。例えば、ユーザが携帯端末でネットのショッピングサイトを閲覧して、商品を購入する場合に、ユーザが「購入する」のボタンを押すと、予め通信会社とサービスプロバイダが取り決めた「決済処理マーク」が画面表示され、このマークがテンプレート画像と一致すると、一致判定処理によりオフラインでの画面遷移に切り替わり、決済処理に必要な決済金額確認画面やクレカ番号記入画面等の画面遷移が行われるようにしてもよい。また、フィッシングサイトに特有の画像マークをテンプレート画像として登録しておき、一致するとフィッシングサイトから強制的に安全なページへ遷移させるようにしてもよい。

【0061】

なお、端末および画像判定システムの処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録された端末および画像判定システムに読み込ませ、実行することによって本発明の端末および画像判定システムを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

【0062】

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

【0063】

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0064】

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成は以上の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0065】

１００；端末
１１０；表示画像取得部
１２０；表示用メモリ
１３０；テンプレート画像格納部
１４０；操作ガイド画像格納部
１５０；合成画像作成部
１６０；画像比較部
１７０；表示部
１８０；制御部
１８１；制御部
１９１；画像生成部
１９２；送信部
２００；表示装置
２１０；受信部
２２０；表示部
２３０；制御部

【図1】

【図2】

【図3】

【図4】

【図5】