(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021623
(43)【公開日】2024-02-16
(54)【発明の名称】画像の決定方法、情報処理装置およびプログラム
(51)【国際特許分類】
G06F 3/0482 20130101AFI20240208BHJP
【FI】
G06F3/0482
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022124600
(22)【出願日】2022-08-04
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】名取 孝
(72)【発明者】
【氏名】有本 紗耶香
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA03
5E555BA06
5E555BB06
5E555BC17
5E555BD01
5E555CB42
5E555CC03
5E555DB11
5E555EA03
5E555FA00
(57)【要約】
【課題】ユーザーが操作に戸惑っている場合に、操作の対象となる項目を適切に決定する。
【解決手段】複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、操作情報に基づいて、第1のユーザーが複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、複数の項目画像を含む画像が表示された状態における第1のユーザーおよび第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、複数の項目画像のうちの、第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、を含む、画像の決定方法。
【選択図】
図6
【特許請求の範囲】
【請求項1】
複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、
前記操作情報に基づいて、前記第1のユーザーが前記複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、前記複数の項目画像を含む画像が表示された状態における前記第1のユーザーおよび前記第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、前記複数の項目画像のうちの、前記第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、
を含む、
画像の決定方法。
【請求項2】
前記操作履歴情報は、前記第1のユーザーおよび前記第2のユーザーのうちの少なくとも一方の前記複数の項目画像の各々に対する操作の頻度を示す頻度情報を含み、
前記少なくとも1つの項目画像を決定することは、前記頻度情報に基づいて、少なくとも1つの第1優先項目画像を決定することを含み、
前記少なくとも1つの第1優先項目画像は、前記第1のユーザーおよび前記第2のユーザーのうちの少なくとも一方の操作の対象となった頻度が最も高い項目画像である、
請求項1に記載の画像の決定方法。
【請求項3】
前記少なくとも1つの項目画像を決定することは、前記頻度情報に基づいて、少なくとも1つの第2優先項目画像を決定することを含み、
前記少なくとも1つの第2優先項目画像は、前記第1のユーザーおよび前記第2のユーザーのうちの少なくとも一方の操作の対象となった頻度が、前記少なくとも1つの第1優先項目画像の次に高い項目画像である、
請求項2に記載の画像の決定方法。
【請求項4】
前記少なくとも1つの第1優先項目画像を前記第1のユーザーへ通知するための第1の通知画像と、前記少なくとも1つの第2優先項目画像を前記第1のユーザーへ通知するための第2の通知画像と、を表示装置に表示させることを更に含む、
請求項3に記載の画像の決定方法。
【請求項5】
前記第1のユーザーおよび前記第2のユーザーのうちの少なくとも一方の前記複数の項目画像の各々に対する操作の頻度を示す頻度情報に基づいて、前記少なくとも1つの項目画像を決定することができない場合、前記複数の項目画像のうちの所定の項目画像を指定する指定情報に基づいて、前記少なくとも1つの項目画像を決定することを更に含む、
請求項1に記載の画像の決定方法。
【請求項6】
前記第1のユーザーに対して表示される前記複数の項目画像を含む画像の表示態様と、前記第2のユーザーに対して表示される前記複数の項目画像を含む画像の表示態様と、は相違し、
前記少なくとも1つの項目画像を決定することは、前記第1のユーザーに対して表示される前記複数の項目画像を含む画像の表示態様における、前記複数の項目画像の各々に対する操作の頻度を示す頻度情報に基づいて、前記第1のユーザーに対して操作を促す対象となる前記少なくとも1つの項目画像を決定することを含む、
請求項1から請求項5までのうちのいずれか1項に記載の画像の決定方法。
【請求項7】
処理装置を備え、
前記処理装置は、
複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、
前記操作情報に基づいて、前記第1のユーザーが前記複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、前記複数の項目画像を含む画像が表示された状態における前記第1のユーザーおよび前記第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、前記複数の項目画像のうちの、前記第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、
を実行する、
情報処理装置。
【請求項8】
処理装置に、
複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、
前記操作情報に基づいて、前記第1のユーザーが前記複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、前記複数の項目画像を含む画像が表示された状態における前記第1のユーザーおよび前記第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、前記複数の項目画像のうちの、前記第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、
を実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の決定方法、情報処理装置およびプログラムに関する。
【背景技術】
【0002】
ユーザーが、装置またはアプリケーションソフト等の操作に戸惑うことがある。ユーザーが操作に戸惑う原因としては、例えば、操作方法が不明であったり、操作方法が複雑であったり、またはユーザーが操作に不慣れであることが考えられる。このようにユーザーが操作に戸惑っている場合に、ユーザーの操作を支援する技術が開発されている。例えば、特許文献1には、クラウドコンピューティングを用いて収集されたソフトウェアの操作情報と、ユーザーによるソフトウェアの操作情報とに基づいて、当該ユーザーが困惑しているか否かを判定する操作支援システムが開示されている。ユーザーが困惑していると判定された場合、当該操作支援システムは、当該ユーザーに対して、ヘルプ情報記憶部に記憶されたヘルプ情報を提示する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1には、ユーザーに提示されるヘルプ情報の決定方法について開示がない。このため、ユーザーに提示される情報が適切に決定されないことがあった。従って、ユーザーは、提示されたヘルプ情報を確認しても、操作方法を把握することができない場合があり、その結果、困惑状態が解消されないことがあった。
【課題を解決するための手段】
【0005】
本発明に係る画像の決定方法の一態様は、複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、操作情報に基づいて、第1のユーザーが複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、複数の項目画像を含む画像が表示された状態における第1のユーザーおよび第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、複数の項目画像のうちの、第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、を含む。
【0006】
本発明に係る情報処理装置の一態様は、処理装置を備え、処理装置は、複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、操作情報に基づいて、第1のユーザーが複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、複数の項目画像を含む画像が表示された状態における第1のユーザーおよび第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、複数の項目画像のうちの、第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、を実行する。
【0007】
本発明に係るプログラムの一態様は、処理装置に、複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、操作情報に基づいて、第1のユーザーが複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、複数の項目画像を含む画像が表示された状態における第1のユーザーおよび第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、複数の項目画像のうちの、第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、を実行させる。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態に係る通知システムSysを説明するための模式図である。
【
図2】タッチパネル36aに表示される操作画像GWの一例を図示した模式図である。
【
図3】タッチパネル36bに表示される操作画像GWの一例を図示した模式図である。
【
図4】第1実施形態に係る通知システムSysの構成を示すブロック図である。
【
図5】第1実施形態に係る記憶装置10の構成を示すブロック図である。
【
図6】第1実施形態に係るサーバー1の動作について説明するためのフローチャートである。
【
図7】操作対象決定処理について説明するためのフローチャートである。
【
図8】第2実施形態に係るスマートフォン1Aの構成を示すブロック図である。
【
図9】第2実施形態に係る記憶装置10Aの構成を示すブロック図である。
【
図10】第2実施形態に係るスマートフォン1Aの動作について説明するためのフローチャートである。
【
図11】通知画像GN1を説明するための模式図である。
【
図12】通知画像GN2を説明するための模式図である。
【
図13】操作画像GWa2を説明するための模式図である。
【
図14】通知画像GN3を説明するための模式図である。
【
図15】操作画像GWa3を説明するための模式図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら、本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と異なる場合があり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
【0010】
1.第1実施形態
第1実施形態では、ユーザーが操作を行うスマートフォンと、スマートフォンからユーザーの操作に関する情報を取得し、当該情報に基づいてユーザーが操作に戸惑っているか否かを判定するサーバーとを備える通知システムを例示して、本発明に係る画像の決定方法、情報処理装置およびプログラムについて説明する。本実施形態に係るサーバーは、ユーザーが戸惑っている状態を検出すると、当該ユーザーを含む1または複数のユーザーの操作履歴に基づいて、当該ユーザーの操作を支援するための通知内容を決定する。本実施形態に係るスマートフォンは、サーバーが決定した通知内容に基づく画像を表示することで、ユーザーの操作を支援する。
【0011】
1.1.通知システムの概要
図1は、第1実施形態に係る通知システムSysを説明するための模式図である。通知システムSysは、サーバー1と、スマートフォン3aと、スマートフォン3bとを備える。サーバー1は、操作履歴情報102を記憶する。スマートフォン3aは、タッチパネル36aを備える。また、スマートフォン3aは、複数の項目画像GCを含む操作画像GWをタッチパネル36aに表示させる。複数の項目画像GCの各々は、所定の機能を実行するためのボタン、チェックボックス、ラジオボタンおよびスクロールバー等を示す画像である。ユーザーUaは、例えば、タッチパネル36aをタッチすることで、項目画像GCを押下する操作、または、操作画像GWをスワイプする操作等を実行する。スマートフォン3bは、タッチパネル36bを備える。また、スマートフォン3bは、スマートフォン3aと同様、複数の項目画像GCを含む操作画像GWをタッチパネル36bに表示させる。ユーザーUbは、例えば、タッチパネル36bをタッチすることで、ユーザーUaと同様、項目画像GCを押下する操作、または、操作画像GWをスワイプする操作等を実行する。なお、タッチパネル36aに表示される操作画像GWの表示態様と、タッチパネル36bに表示される操作画像GWの表示態様とは、互いに相違する場合がある。また、操作画像GWは、操作段階に応じて表示態様が変化したり、他の操作画像GWへ切り替わったりする場合がある。
【0012】
サーバー1は、ネットワークNWを介して、スマートフォン3aから操作情報JMaを取得する。操作情報JMaは、タッチパネル36aに操作画像GWが表示された状態において、ユーザーUaがスマートフォン3aに対して実行した操作に関する情報である。操作情報JMaは、例えば、操作が実行された際にタッチパネル36aに表示されていた操作画像GWを示す情報、操作を受け付けたタッチパネル36a上の位置を示す情報、操作の対象となった項目画像GCを示す情報、或る時点から行われた操作の回数を示す情報、および、或る操作から次の操作までにかかった時間を示す情報等を含む。また、操作画像GWが特定の装置を操作する際に用いられるGUI(Graphical User Interface)である場合、操作情報JMaは、当該装置の種類および型番に関する情報を含む。また、操作画像GWが特定のアプリケーションソフトを操作する際に用いられるGUIである場合、操作情報JMaは、当該アプリケーションソフトのバージョンを示す情報を含む。操作情報JMaは、ユーザーUaがスマートフォン3aに対して実行した操作の回数が所定の回数毎にサーバー1へ送信されてもよいし、所定の時間間隔で送信されてもよい。なお、以下において、操作の対象となった項目画像GCを示す情報を「対象情報」と称することがある。また、或る時点から行われた操作の回数を示す情報を「回数情報」と称することがある。また、或る操作から次の操作までにかかった時間を示す情報を「時間情報」と称することがある。
【0013】
また、サーバー1は、ネットワークNWを介して、スマートフォン3bから操作情報JMbを取得する。操作情報JMbは、タッチパネル36bに操作画像GWが表示された状態において、ユーザーUbがスマートフォン3bに対して実行した操作に関する情報である。操作情報JMbは、操作情報JMaと同様の情報を含む。例えば、操作情報JMbは、対象情報を含む。
【0014】
サーバー1は、操作情報JMaに基づいて、ユーザーUaが操作に戸惑っているか否かを判定する。具体的には、サーバー1は、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態であるか否かを判定する。
【0015】
ユーザーUaが操作に戸惑っていると判定された場合、すなわち、ユーザーUaが複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態であると判定された場合、サーバー1は、操作履歴情報102に基づいて、ユーザーUaの操作を支援するための通知内容を決定する。具体的には、サーバー1は、操作履歴情報102に基づいて、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する。
【0016】
操作履歴情報102は、操作画像GWが表示された状態におけるユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった項目画像GCに関する情報である。サーバー1は、操作情報JMaおよび操作情報JMbに基づいて、操作履歴情報102を更新する。すなわち、操作履歴情報102は、操作情報JMaおよび操作情報JMbに含まれる各種情報を含む。例えば、操作履歴情報102は、対象情報を含む。
【0017】
複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定した場合、サーバー1は、指示情報JDaをスマートフォン3aへ送信する。指示情報JDaは、スマートフォン3aに、ユーザーUaの操作を支援するための通知内容、すなわち、決定された少なくとも1つの項目画像GC、をユーザーUaへ通知させるための情報である。スマートフォン3aは、指示情報JDaに基づいて、タッチパネル36aに、決定された少なくとも1つの項目画像GCをユーザーUaへ通知するための画像を表示させる。ユーザーUaは、指示情報JDaに基づいて表示された画像の示す項目画像GCを確認することで、操作の方法を把握することが可能となり、戸惑いを解消することができる。
【0018】
図2は、タッチパネル36aに表示される操作画像GWの一例を図示した模式図である。タッチパネル36aには、操作画像GWとして、操作画像GWa1が表示される。
図3は、タッチパネル36bに表示される操作画像GWの一例を図示した模式図である。タッチパネル36bには、操作画像GWとして、操作画像GWb1が表示される。操作画像GWa1および操作画像GWb1は、各々、複数の項目画像GCとして、項目画像GC1~GC9を含む。操作画像GWa1の表示態様と、操作画像GWb1の表示態様とは、互いに相違する。
【0019】
1.2.通知システムの構成および機能
以下、
図4および
図5を参照しつつ、第1実施形態に係る通知システムSysの構成および機能について説明する。
【0020】
図4は、第1実施形態に係る通知システムSysの構成を示すブロック図である。サーバー1は、各種情報を記憶する記憶装置10と、サーバー1の動作を制御する処理装置12と、スマートフォン3aおよびスマートフォン3bを含む端末装置ならびに外部記憶装置等との通信を実行する通信装置14とを備える。処理装置12は、通信制御部120、戸惑い検出部121、決定部122、データ管理部123および指示部124としての機能を有する。
【0021】
記憶装置10は、例えば、RAM等の揮発性メモリーおよびROM等の不揮発性メモリーを含んで構成される。ここで、RAMとは、Random Access Memoryの略称である。また、ROMとは、Read Only Memoryの略称である。
【0022】
図5は、第1実施形態に係る記憶装置10の構成を示すブロック図である。記憶装置10の有する不揮発性メモリーは、サーバー1の動作を規定するプログラム100と、複数の項目画像GCのうちの所定の項目画像GCを指定する指定情報101と、操作履歴情報102とを記憶する。操作履歴情報102は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の複数の項目画像GCの各々に対する操作の頻度を示す頻度情報103を含む。すなわち、頻度情報103は、ユーザーUaおよびユーザーUbのうちの少なくとも一方が、複数の項目画像GCの各々に対して行った操作の回数を示す情報を含む。
【0023】
また、記憶装置10の有する揮発性メモリーは、プログラム100を実行する際のワークエリアとして処理装置12によって利用される。
【0024】
なお、記憶装置10の一部または全部は、外部記憶装置または外部サーバー等に設けてもよい。また、記憶装置10に記憶される各種情報の一部または全部は、予め記憶装置10に記憶されるものであってもよいし、外部記憶装置または外部サーバー等から取得されるものであってもよい。
【0025】
処理装置12は、1または複数のCPUを含んで構成される。但し、処理装置12は、CPUの代わりに、または、CPUに加えて、FPGA等のプログラマブルロジックデバイスを備えるものでもよい。ここで、CPUとはCentral Processing Unitの略称であり、FPGAとはField-Programmable Gate Arrayの略称である。
【0026】
処理装置12は、処理装置12が有するCPU等がプログラム100を実行することで、
図4に示す通信制御部120、戸惑い検出部121、決定部122、データ管理部123および指示部124として機能する。
【0027】
通信制御部120は、通信装置14を制御することで、サーバー1と通信可能に接続された端末装置、外部記憶装置ならびに外部サーバー等から、各種情報を取得する。また、通信制御部120は、取得した各種情報を記憶装置10に記憶させる。また、通信制御部120は、通信装置14を制御することで、端末装置、外部記憶装置ならびに外部サーバー等へ、各種情報を送信する。例えば、通信制御部120は、端末装置であるスマートフォン3aから操作情報JMaを取得する。また、通信制御部120は、端末装置であるスマートフォン3bから操作情報JMbを取得する。また、通信制御部120は、指示情報JDaをスマートフォン3aへ送信する。
【0028】
戸惑い検出部121は、操作情報JMaに基づいて、ユーザーUaが操作に戸惑っている状態を検出する。すなわち、戸惑い検出部121は、操作情報JMaに含まれる各種情報に基づいて、ユーザーUaが操作に戸惑っているか否かを判定する。より具体的には、戸惑い検出部121は、操作情報JMaに含まれる各種情報に基づいて、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態であるか否かを判定する。
【0029】
例えば、戸惑い検出部121は、時間情報の示す時間が閾値以上であるか否かを判定する。時間情報の示す時間が閾値以上である場合、戸惑い検出部121は、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態であると判定する。
【0030】
また、戸惑い検出部121は、回数情報の示す操作の回数が閾値以上であるか否かを判定する。回数情報の示す操作の回数が閾値以上である場合、戸惑い検出部121は、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態であると判定する。
【0031】
また、戸惑い検出部121は、同様の操作が複数回に亘って繰り返し実行されたか否かを判定する。同様の操作が複数回に亘って繰り返し実行された場合、例えば、特定の項目画像GCを繰り返し押下する操作、または、操作画像GWを上下に繰り返しスワイプする操作等が実行された場合、戸惑い検出部121は、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態であると判定する。
【0032】
なお、ユーザーUaが操作に戸惑っている状態を検出する方法については、前述した方法に限らず、種々の方法が採用され得る。
【0033】
決定部122は、ユーザーUaの操作を支援するための通知内容を決定する。すなわち、決定部122は、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する。
【0034】
例えば、決定部122は、頻度情報103に基づいて、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった頻度が最も高い項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。なお、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった頻度が最も高い項目画像GCを「第1優先項目画像」と称することがある。
【0035】
また、決定部122は、頻度情報103に基づいて、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった頻度が、第1優先項目画像の次に高い項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。なお、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった頻度が、第1優先項目画像の次に高い項目画像GCを「第2優先項目画像」と称することがある。
【0036】
頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができない場合、例えば、サーバー1が取得した操作情報JMaおよび操作情報JMbの数が十分ではなく、頻度情報103の示す操作頻度の信頼性が低い場合、決定部122は、指定情報101に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する。すなわち、決定部122は、指定情報101の指定する所定の項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。
【0037】
指定情報101に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができない場合、例えば、記憶装置10に指定情報101が記憶されていない場合、または、操作が実行された際にタッチパネル36aに表示されていた操作画像GWに含まれる複数の項目画像GCの中に、指定情報101の指定する所定の項目画像GCが含まれていない場合、決定部122は、操作履歴情報102に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する。具体的には、決定部122は、操作履歴情報102に含まれる対象情報の示す項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。
【0038】
以下、第1優先項目画像は、
図2および
図3に図示された項目画像GC3、項目画像GC4、項目画像GC5および項目画像GC9である場合を想定する。すなわち、項目画像GC3、項目画像GC4、項目画像GC5および項目画像GC9は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった頻度が最も高い項目画像GCであって、各々が操作の対象となった頻度は等しい。
【0039】
また、第2優先項目画像は、
図2および
図3に図示された項目画像GC2である場合を想定する。すなわち、項目画像GC2は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった頻度が、第1優先項目画像の次に高い項目画像GCである。
【0040】
また、指定情報101の指定する所定の項目画像GCは、
図2および
図3に図示された項目画像GC2、項目画像GC3、項目画像GC4、項目画像GC5および項目画像GC9である場合を想定する。
【0041】
データ管理部123は、各種情報の管理を行う。例えば、データ管理部123は、操作情報JMaに基づいて、操作履歴情報102を更新する。同様に、データ管理部123は、操作情報JMbに基づいて、操作履歴情報102を更新する。具体的には、データ管理部123は、操作情報JMaに含まれる対象情報に基づいて、頻度情報103を更新する。また、データ管理部123は、操作情報JMbに含まれる対象情報に基づいて、頻度情報103を更新する。より具体的には、データ管理部123は、頻度情報103に含まれる、対象情報の示す項目画像GCに対して行われた操作の回数を示す情報を更新する。
【0042】
指示部124は、決定部122が決定した通知内容に基づいて、指示情報JDaを生成する。すなわち、指示部124は、決定部122が決定した、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを、ユーザーUaへ通知させるための指示情報JDaを生成する。
【0043】
通信装置14は、例えば、コネクターおよびインターフェース回路を有するインターフェース基板を含み、端末装置、外部記憶装置および外部サーバー等から各種情報を受信する機能と、端末装置、外部記憶装置および外部サーバー等へ各種情報を送信する機能とを有する。通信装置14は、有線通信を利用して各種情報を送受信してもよいし、無線通信を利用して各種情報を送受信してもよい。無線通信を利用する場合、通信装置14は、所定の通信規格に準拠した無線通信に対応するアンテナを含んで構成される。本実施形態において、通信装置14は、ネットワークNWを介してスマートフォン3aおよびスマートフォン3bと通信可能に接続され、スマートフォン3aおよびスマートフォン3bとの間で各種情報を送受信する。
【0044】
タッチパネル36aは、画像を表示する表示装置と、ユーザーUaからの入力操作を受け付ける入力装置とが一体化された装置である。表示装置は、所謂ディスプレイパネルであり、例えば、液晶パネルや有機ELパネル等を含んで構成される。ここで、ELとはElectro-Luminescenceの略称である。表示装置は、スマートフォン3aの備える制御装置(図示省略)の制御により、各種画像を表示する。入力装置は、例えば透明なシート状の接触センサーを含んで構成される。入力装置は、表示装置を覆うように設けられる。入力装置は、入力装置に接触する物体と、入力装置とによって特定される静電容量を用いてタッチ位置を検出し、検出したタッチ位置を示すデータをスマートフォン3aの備える制御装置へ出力する。
【0045】
タッチパネル36bは、タッチパネル36aと同様の構成を有する。タッチパネル36bの備える表示装置は、スマートフォン3bの備える制御装置(図示省略)の制御により、各種画像を表示する。タッチパネル36bの備える入力装置は、ユーザーUbからの入力操作を受け付け、検出したタッチ位置を示すデータをスマートフォン3bの備える制御装置へ出力する。
【0046】
スマートフォン3aは、タッチパネル36aに操作画像GWを表示させた状態において、ユーザーUaから受け付けた操作に基づいて、操作情報JMaを生成する。また、スマートフォン3aは、操作情報JMaをサーバー1へ送信する。
【0047】
スマートフォン3bは、タッチパネル36bに操作画像GWを表示させた状態において、ユーザーUbから受け付けた操作に基づいて、操作情報JMbを生成する。また、スマートフォン3bは、操作情報JMbをサーバー1へ送信する。
【0048】
1.3.サーバーの動作
以下、
図6および
図7を参照しつつ、第1実施形態に係るサーバー1の動作について説明する。
【0049】
図6は、第1実施形態に係るサーバー1の動作について説明するためのフローチャートである。当該フローチャートに示す一連の動作は、例えば、サーバー1の電源がONの状態で、サーバー1がスマートフォン3aから操作情報JMaを受信した際に開始される。
【0050】
ステップS101において、通信制御部120は、通信装置14を制御することで、スマートフォン3aから操作情報JMaを取得する。
【0051】
ステップS102において、戸惑い検出部121は、操作情報JMaに基づいて、ユーザーUaが操作に戸惑っているか否かを判定する。すなわち、戸惑い検出部121は、操作情報JMaに基づいて、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態であるか否かを判定する。ユーザーUaが操作に戸惑っている場合、換言すれば、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態である場合、すなわち、ステップS102でYESの場合、戸惑い検出部121は処理をステップS200へ進める。また、ユーザーUaが操作に戸惑っていない場合、換言すれば、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態ではない場合、すなわち、ステップS102でNOの場合、戸惑い検出部121は処理をステップS105へ進める。
【0052】
操作情報JMaに基づいて、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態であると判定した場合、換言すれば、ユーザーUaが操作画像GWに含まれる複数の項目画像GCのうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合、処理装置12は、ステップS200において、ユーザーUaの操作を支援するための通知内容を決定する。すなわち、処理装置12は、ステップS200において実行される操作対象決定処理によって、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する。また、ステップS200における処理が実行された場合、処理装置12は、処理をステップS103へ進める。
【0053】
図7は、操作対象決定処理について説明するためのフローチャートである。当該フローチャートは、ステップS200の操作対象決定処理における一連の動作を示す。
【0054】
ステップS201において、決定部122は、頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができるか否かを判定する。頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができる場合、すなわち、ステップS201でYESの場合、決定部122は処理をステップS202へ進める。また、頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができない場合、すなわち、ステップS201でNOの場合、決定部122は処理をステップS203へ進める。
【0055】
ステップS202において、決定部122は、頻度情報103に基づいて、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する。具体的には、決定部122は、第1優先項目画像と、第2優先項目画像とを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。より具体的には、決定部122は、項目画像GC2と、項目画像GC3と、項目画像GC4と、項目画像GC5と、項目画像GC9とを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。
【0056】
ステップS203において、決定部122は、指定情報101に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができるか否かを判定する。指定情報101に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができる場合、すなわち、ステップS203でYESの場合、決定部122は処理をステップS204へ進める。また、指定情報101に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができない場合、すなわち、ステップS203でNOの場合、決定部122は処理をステップS205へ進める。
【0057】
ステップS204において、決定部122は、指定情報101に基づいて、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する。具体的には、決定部122は、指定情報101の指定する所定の項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。より具体的には、決定部122は、項目画像GC2と、項目画像GC3と、項目画像GC4と、項目画像GC5と、項目画像GC9とを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。
【0058】
ステップS205において、決定部122は、操作履歴情報102に基づいて、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する。具体的には、決定部122は、操作履歴情報102に含まれる対象情報の示す項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定する。
【0059】
ステップS202、ステップS204またはステップS205における処理が実行された後、処理装置12は、
図7のフローチャートに示す操作対象決定処理を終了させる。
【0060】
図7のフローチャートに示す操作対象決定処理を終了させた場合、処理装置12は、
図6のフローチャートに示すステップS103における処理を実行する。
【0061】
ステップS103において、指示部124は、決定部122が決定した通知内容に基づいて、指示情報JDaを生成する。
【0062】
例えば、決定部122が、頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定した場合、指示情報JDaは、スマートフォン3aに、当該少なくとも1つの項目画像GCが、項目画像GC2、項目画像GC3、項目画像GC4、項目画像GC5および項目画像GC9であることをユーザーUaへ通知させるための情報である。
【0063】
ステップS104において、通信制御部120は、通信装置14を制御することで、指示情報JDaをスマートフォン3aへ送信する。
【0064】
スマートフォン3aは、指示情報JDaに基づいて、決定部122が決定した通知内容をユーザーUaへ通知する。具体的には、スマートフォン3aは、指示情報JDaに基づいて、タッチパネル36aに、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを通知するための画像を表示させる。
【0065】
ステップS105において、データ管理部123は、操作情報JMaに基づいて、操作履歴情報102を更新する。具体的には、データ管理部123は、操作情報JMaに含まれる対象情報に基づいて、頻度情報103を更新する。
【0066】
ステップS105における処理が実行された後、処理装置12は、
図6のフローチャートに示す一連の動作を終了させる。
【0067】
以上より、第1実施形態によれば、サーバー1は、操作履歴情報102に基づいて、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができる。すなわち、サーバー1は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作実績のある項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとすることができる。
【0068】
また、第1実施形態によれば、サーバー1は、頻度情報103に基づいて、第1優先項目画像と、第2優先項目画像とを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定することができる。すなわち、サーバー1は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作実績のある項目画像GCの中から、操作頻度の高い項目画像GCを選択して、ユーザーUaに対して操作を促す対象となる項目画像GCとすることができる。
【0069】
また、第1実施形態によれば、サーバー1は、指定情報101に基づいて、所定の項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとして決定することができる。すなわち、サーバー1は、頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができない場合であっても、例えば、予め操作頻度が高くなると予想される項目画像GCを指定情報101の指定する項目画像GCとして設定することで、精度の高い操作支援を行うことができる。
【0070】
以上に説明したように、第1実施形態に係る画像の決定方法は、複数の項目画像GCを含む操作画像GWが表示された状態におけるユーザーUaの操作に関する操作情報JMaを取得することと、操作情報JMaに基づいて、ユーザーUaが複数の項目画像GCのうちのいずれの項目画像GCに対して操作を行うか決定することができない状態を検出した場合に、操作画像GWが表示された状態におけるユーザーUaおよびユーザーUaとは異なるユーザーUbのうちの少なくとも一方の操作の対象となった項目画像GCに関する操作履歴情報102に基づいて、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することと、を含む。
【0071】
また、第1実施形態に係るサーバー1は、処理装置12を備え、処理装置12は、複数の項目画像GCを含む操作画像GWが表示された状態におけるユーザーUaの操作に関する操作情報JMaを取得することと、操作情報JMaに基づいて、ユーザーUaが複数の項目画像GCのうちのいずれの項目画像GCに対して操作を行うか決定することができない状態を検出した場合に、操作画像GWが表示された状態におけるユーザーUaおよびユーザーUaとは異なるユーザーUbのうちの少なくとも一方の操作の対象となった項目画像GCに関する操作履歴情報102に基づいて、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することと、を実行する。
【0072】
また、第1実施形態に係るプログラム100は、処理装置12に、複数の項目画像GCを含む操作画像GWが表示された状態におけるユーザーUaの操作に関する操作情報JMaを取得することと、操作情報JMaに基づいて、ユーザーUaが複数の項目画像GCのうちのいずれの項目画像GCに対して操作を行うか決定することができない状態を検出した場合に、操作画像GWが表示された状態におけるユーザーUaおよびユーザーUaとは異なるユーザーUbのうちの少なくとも一方の操作の対象となった項目画像GCに関する操作履歴情報102に基づいて、複数の項目画像GCのうちの、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することと、を実行させる。
【0073】
すなわち、サーバー1は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作実績のある項目画像GCを、ユーザーUaに対して操作を促す対象となる項目画像GCとする。これにより、ユーザーUaは、操作の方法を把握することが可能となり、戸惑いを解消することができる。
【0074】
なお、第1実施形態において、項目画像GCは「項目画像」の一例であり、操作画像GWは「複数の項目画像を含む画像」の一例であり、ユーザーUaは「第1のユーザー」の一例であり、ユーザーUbは「第2のユーザー」の一例であり、操作情報JMaは「第1のユーザーの操作に関する操作情報」の一例であり、操作履歴情報102は「操作履歴情報」の一例であり、サーバー1は「情報処理装置」の一例であり、処理装置12は「処理装置」の一例であり、プログラム100は「プログラム」の一例である。
【0075】
また、第1実施形態に係る画像の決定方法において、操作履歴情報102は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の複数の項目画像GCの各々に対する操作の頻度を示す頻度情報103を含み、少なくとも1つの項目画像GCを決定することは、頻度情報103に基づいて、少なくとも1つの第1優先項目画像を決定することを含み、少なくとも1つの第1優先項目画像は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった頻度が最も高い項目画像GCである。
【0076】
すなわち、サーバー1は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作実績のある項目画像GCの中から、操作頻度が最も高い項目画像GCを選択して、ユーザーUaに対して操作を促す対象となる項目画像GCとする。これにより、ユーザーUaは、信頼性の高い操作方法を把握することが可能となり、確実に戸惑いを解消することができる。
【0077】
なお、第1実施形態において、頻度情報103は「頻度情報」の一例である。また、「少なくとも1つの第1優先項目画像」は、項目画像GC3、項目画像GC4、項目画像GC5および項目画像GC9を一例とする。
【0078】
また、第1実施形態に係る画像の決定方法において、少なくとも1つの項目画像GCを決定することは、頻度情報103に基づいて、少なくとも1つの第2優先項目画像を決定することを含み、少なくとも1つの第2優先項目画像は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作の対象となった頻度が、少なくとも1つの第1優先項目画像の次に高い項目画像GCである。
【0079】
すなわち、サーバー1は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の操作実績のある項目画像GCの中から、操作頻度の高い項目画像GCを選択しつつ、ユーザーUaに対して操作を促す対象となる項目画像GCの選択肢を増やすことができる。これにより、ユーザーUaは、信頼性の高い複数の操作方法を把握することが可能となり、より確実に戸惑いを解消することができる。
【0080】
なお、第1実施形態において、「少なくとも1つの第2優先項目画像」は、項目画像GC2を一例とする。
【0081】
また、第1実施形態に係る画像の決定方法は、ユーザーUaおよびユーザーUbのうちの少なくとも一方の複数の項目画像GCの各々に対する操作の頻度を示す頻度情報103に基づいて、少なくとも1つの項目画像GCを決定することができない場合、複数の項目画像GCのうちの所定の項目画像GCを指定する指定情報101に基づいて、少なくとも1つの項目画像GCを決定することを更に含む。
【0082】
これにより、サーバー1は、頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができない場合であっても、例えば、予め操作頻度が高くなると予想される項目画像GCを指定情報101の指定する項目画像GCとして設定することで、精度の高い操作支援を行うことができる。
【0083】
なお、第1実施形態において、指定情報101は「指定情報」の一例である。また、「所定の項目画像」は、項目画像GC2、項目画像GC3、項目画像GC4、項目画像GC5および項目画像GC9を一例とする。
【0084】
また、第1実施形態に係る画像の決定方法において、ユーザーUaに対して表示される操作画像GWの表示態様と、ユーザーUbに対して表示される操作画像GWの表示態様と、は相違し、少なくとも1つの項目画像GCを決定することは、ユーザーUaに対して表示される操作画像GWの表示態様における、複数の項目画像GCの各々に対する操作の頻度を示す頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することを含む。
【0085】
例えば、操作画像GWが特定のアプリケーションソフトを操作する際に用いられるGUIである場合、当該アプリケーションソフトのバージョンがアップデートされ、一部のユーザーの端末に表示される操作画像GWの表示態様が変化する場合がある。このような場合であっても、サーバー1は、各ユーザーの端末から取得された操作情報に基づく頻度情報103に基づいて、ユーザーUaに対して操作を促す対象となる項目画像GCを決定する。すなわち、サーバー1は、幅広いユーザーから操作情報を取得することが可能となり、頻度情報103の示す頻度の信頼性が向上する。これにより、ユーザーUaは、信頼性の高い操作方法を把握することが可能となり、ユーザーUaに対して表示される操作画像GWの表示態様と同様の表示態様の操作画像GWが表示される端末のみから操作情報を取得する場合と比べて、確実に戸惑いを解消することができる。
【0086】
2.第2実施形態
以下において、本発明の第2実施形態を説明する。なお、以下に例示する各形態において、作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
【0087】
第2実施形態では、ユーザーが操作に戸惑っている状態を検出すると、当該ユーザーの操作履歴に基づいて、操作を支援するための通知内容を決定するスマートフォンを例示して、本発明に係る画像の決定方法、情報処理装置およびプログラムについて説明する。
【0088】
以下、
図8および
図9を参照しつつ、第2実施形態に係るスマートフォン1Aの構成および機能について説明する。
図8は、第2実施形態に係るスマートフォン1Aの構成を示すブロック図である。
図9は、第2実施形態に係る記憶装置10Aの構成を示すブロック図である。
【0089】
スマートフォン1Aは、記憶装置10の代わりに記憶装置10Aを備える点と、処理装置12の代わりに処理装置12Aを備える点と、タッチパネル16Aを備える点とにおいて、第1実施形態に係るサーバー1と相違する。処理装置12Aは、操作情報取得部125としての機能を有する点と、指示部124の代わりに画像生成部126としての機能を有する点と、表示制御部127としての機能を有する点とにおいて、処理装置12と相違する。
【0090】
記憶装置10Aは、プログラム100の代わりにプログラム100Aを記憶する点と、操作履歴情報102の代わりに操作履歴情報102Aを記憶する点と、操作画像情報104を記憶する点とにおいて、記憶装置10と相違する。操作履歴情報102Aは、頻度情報103の代わりに頻度情報103Aを含む点において、操作履歴情報102と相違する。操作履歴情報102Aは、操作画像GWが表示された状態におけるスマートフォン1Aのユーザーの操作の対象となった項目画像GCに関する情報である。頻度情報103Aは、スマートフォン1Aのユーザーの複数の項目画像GCの各々に対する操作の頻度を示す情報である。操作画像情報104は、操作画像GWを表す情報である。操作画像情報104は、第1操作画像情報105と、第2操作画像情報106とを含む。第1操作画像情報105は、操作画像GWa1を表す情報である。第2操作画像情報106は、操作画像GWa1に、スマートフォン1Aのユーザーの操作を支援するための画像が重畳された画像を表す情報である。
【0091】
なお、本実施形態において、スマートフォン1Aのユーザーの操作の対象となった頻度が最も高い項目画像GCを「第1優先項目画像」と称することがある。また、スマートフォン1Aのユーザーの操作の対象となった頻度が、第1優先項目画像の次に高い項目画像GCを「第2優先項目画像」と称することがある。
【0092】
処理装置12Aは、処理装置12Aが有するCPU等がプログラム100Aを実行することで、
図8に示す操作情報取得部125、戸惑い検出部121、決定部122、データ管理部123、画像生成部126および表示制御部127として機能する。
【0093】
タッチパネル16Aは、タッチパネル36aおよびタッチパネル36bと同様の構成を有する。タッチパネル16Aの備える表示装置は、表示制御部127の制御により、各種画像を表示する。タッチパネル16Aの備える入力装置は、スマートフォン1Aのユーザーからの入力操作を受け付け、検出したタッチ位置を示すデータを処理装置12Aへ出力する。
【0094】
表示制御部127は、タッチパネル16Aを制御することで、各種画像を表示させる。例えば、表示制御部127は、操作画像情報104に基づいて、タッチパネル16Aに操作画像GWを表示させる。具体的には、表示制御部127は、第1操作画像情報105に基づいて、タッチパネル16Aに操作画像GWa1を表示させる。
【0095】
操作情報取得部125は、タッチパネル16Aがユーザーからの操作を受け付けた場合に、タッチパネル16Aから当該操作に関するデータを取得する。当該データは、操作を受け付けたタッチパネル16A上の位置を示す情報を含む。すなわち、操作情報取得部125は、タッチパネル16Aから操作情報を取得する。また、操作情報取得部125は、取得した操作情報に、例えば、操作が実行された際にタッチパネル16Aに表示されていた操作画像GWを示す情報、対象情報、回数情報および時間情報等の、ユーザーがスマートフォン1Aに対して実行した操作に関する各種情報を付与する。従って、各種情報を付与された操作情報は、操作情報JMaおよび操作情報JMbと同様の情報を含む。
【0096】
画像生成部126は、決定部122が決定した通知内容に基づいて、通知画像GNを生成する。通知画像GNは、ユーザーの操作を支援するための画像である。具体的には、通知画像GNは、決定部122が決定した通知内容をユーザーへ通知するための画像である。より具体的には、通知画像GNは、決定部122が決定した、ユーザーに対して操作を促す対象となる少なくとも1つの項目画像GCを、ユーザーへ通知するための画像である。
【0097】
また、画像生成部126は、操作画像GWに通知画像GNを重畳する。例えば、画像生成部126は、操作画像GWa1に通知画像GNを重畳する。換言すれば、画像生成部126は、決定部122が決定した通知内容に基づいて、操作画像GWa1を編集する。さらに換言すれば、画像生成部126は、操作画像GWa1を表す第1操作画像情報105と、決定部122が決定した通知内容とに基づいて、第2操作画像情報106を生成する。すなわち、第2操作画像情報106は、操作画像GWa1に通知画像GNが重畳された画像を表す情報である。
【0098】
図10は、第2実施形態に係るスマートフォン1Aの動作について説明するためのフローチャートである。
図10に示すフローチャートは、ステップS101の代わりにステップS111およびステップS112の処理を実行する点と、ステップS103の代わりにステップS113の処理を実行する点と、ステップS104の代わりにステップS114の処理を実行する点と、ステップS115の処理を実行する点とを除き、
図6に示すフローチャートと同様である。
【0099】
ステップS111において、表示制御部127は、第1操作画像情報105に基づいて、タッチパネル16Aに操作画像GWa1を表示させる。
【0100】
ステップS112において、操作情報取得部125は、タッチパネル16Aから操作情報を取得する。また、操作情報取得部125は、取得した操作情報に、各種情報を付与する。
【0101】
ステップS113において、画像生成部126は、決定部122が決定した通知内容に基づいて、操作画像GWa1を編集する。すなわち、画像生成部126は、決定部122が決定した通知内容に基づいて、通知画像GNを生成する。また、画像生成部126は、操作画像GWa1に通知画像GNを重畳する。
【0102】
図11は、通知画像GN1を説明するための模式図である。
図12は、通知画像GN2を説明するための模式図である。通知画像GN1および通知画像GN2は、通知画像GNの一例である。通知画像GN1および通知画像GN2は、
図7のフローチャートに示すステップS201でYESの場合に、ステップS113において生成される。
【0103】
通知画像GN1は、ステップS202において、ユーザーに対して操作を促す対象となる項目画像GCとして決定された第1優先項目画像を、ユーザーへ通知するための画像である。通知画像GN1は、指示画像GF1と、指示画像GF2とを含む。指示画像GF1は、項目画像GC3と、項目画像GC4と、項目画像GC5とを指示するための画像である。指示画像GF2は、項目画像GC9を指示するための画像である。
【0104】
通知画像GN2は、ステップS202において、ユーザーに対して操作を促す対象となる項目画像GCとして決定された第2優先項目画像を、ユーザーへ通知するための画像である。通知画像GN2は、指示画像GF3を含む。指示画像GF3は、項目画像GC2を指示するための画像である。
【0105】
図13は、操作画像GWa2を説明するための模式図である。操作画像GWa2は、操作画像GWa1に、通知画像GN1と、通知画像GN2とが重畳された画像である。操作画像GWa2は、後述するステップS114において、タッチパネル16Aに表示されることがある。
図13に示される通り、第1優先項目画像は、指示画像GF1および指示画像GF2によって指示される。また、第2優先項目画像は、指示画像GF3によって指示される。すなわち、ユーザーは、通知画像GN1および通知画像GN2によって通知された項目画像GCを確認することで、操作の方法を把握することが可能となり、戸惑いを解消することができる。
【0106】
通知画像GN1と、通知画像GN2との表示態様は、互いに相違してもよい。例えば、指示画像GF1として示される枠線と、指示画像GF2として示される枠線とは、指示画像GF3として示される枠線よりも太い。すなわち、ユーザーは、通知画像GN1と、通知画像GN2との表示態様の違いから、通知画像GN1によって指示される項目画像GCの操作頻度と、通知画像GN2によって指示される項目画像GCの操作頻度との大小関係を把握することができる。
【0107】
図14は、通知画像GN3を説明するための模式図である。通知画像GN3は、通知画像GNの一例である。通知画像GN3は、
図7のフローチャートに示すステップS203でYESの場合に、ステップS113において生成される。
【0108】
通知画像GN3は、ステップS204において、ユーザーに対して操作を促す対象となる項目画像GCとして決定された、指定情報101の指定する所定の項目画像GCを、ユーザーへ通知するための画像である。通知画像GN3は、指示画像GF4と、指示画像GF5と、指示画像GF6とを含む。指示画像GF4は、項目画像GC2を指示するための画像である。指示画像GF5は、項目画像GC3と、項目画像GC4と、項目画像GC5とを指示するための画像である。指示画像GF6は、項目画像GC9を指示するための画像である。
【0109】
図15は、操作画像GWa3を説明するための模式図である。操作画像GWa3は、操作画像GWa1に、通知画像GN3が重畳された画像である。操作画像GWa3は、後述するステップS114において、タッチパネル16Aに表示されることがある。
図15に示される通り、指定情報101の指定する所定の項目画像GCは、指示画像GF4、指示画像GF5および指示画像GF6によって指示される。すなわち、ユーザーは、通知画像GN3によって通知された項目画像GCを確認することで、操作の方法を把握することが可能となり、戸惑いを解消することができる。
【0110】
通知画像GN3に含まれる指示画像GF4~GF6は、各々、操作の順番をユーザーに示すための数字を含んでもよい。例えば、指示画像GF4には、1番目の操作の対象であることを示す「1」が含まれる。また、指示画像GF5には、2番目の操作の対象であることを示す「2」が含まれる。また、指示画像GF6には、3番目の操作の対象であることを示す「3」が含まれる。すなわち、ユーザーは、指示画像GF4~GF6の各々に含まれる数字を確認することで、操作の順番を把握することができる。これにより、ユーザーは、指示画像GF4~GF6の各々に含まれる数字の順に、指示画像GF4~GF6の各々が指示する項目画像GCを押下することで、一連の操作を完遂することができる。
【0111】
ステップS114において、表示制御部127は、第2操作画像情報106に基づいて、タッチパネル16Aに、操作画像GWa1に通知画像GNが重畳された画像を表示させる。例えば、表示制御部127は、タッチパネル16Aに、操作画像GWa2、または、操作画像GWa3を表示させる。
【0112】
ステップS115において、データ管理部123は、操作情報に基づいて、ユーザーから操作終了に関する操作が行われたか否かを判定する。ユーザーから操作終了に関する操作が行われた場合、すなわち、ステップS115でYESの場合、データ管理部123を備える処理装置12Aは
図10のフローチャートに示す一連の動作を終了させる。また、ユーザーから操作終了に関する操作が行われていない場合、すなわち、ステップS115でNOの場合、データ管理部123は処理をステップS112へ進める。
【0113】
例えば、押下された項目画像GCが、操作終了をスマートフォン1Aに指示するボタンであった場合、または、タッチパネル16Aに表示されている操作画像GWを他の操作画像GWへ遷移させることをスマートフォン1Aに指示するボタンであった場合、処理装置12は、
図10のフローチャートに示す一連の動作を終了させる。
【0114】
以上より、第2実施形態によれば、スマートフォン1Aは、頻度情報103Aに基づいて、第1優先項目画像と、第2優先項目画像とを、ユーザーに対して操作を促す対象となる項目画像GCとして決定することができる。また、スマートフォン1Aは、第1優先項目画像をユーザーに通知するための通知画像GN1と、第2優先項目画像をユーザーに通知するための通知画像GN2とを、タッチパネル16Aに表示させることができる。すなわち、スマートフォン1Aは、第1実施形態と比較して簡素な構成で、ユーザーの操作を支援するために決定した事項を通知することができる。
【0115】
以上に説明したように、第2実施形態に係る画像の決定方法において、少なくとも1つの第1優先項目画像をスマートフォン1Aのユーザーに通知するための通知画像GN1と、少なくとも1つの第2優先項目画像をスマートフォン1Aのユーザーに通知するための通知画像GN2と、をタッチパネル16Aに表示させることを更に含む。
【0116】
すなわち、本実施形態に係るスマートフォン1Aは、ユーザーに対して、操作を促す対象となる項目画像GCを視覚的に通知する。これにより、ユーザーは、例えば、対象となる項目画像GCがどの項目画像GCなのか、また、対象となる項目画像GCがどこにあるのかを容易に把握することができる。
【0117】
なお、第2実施形態において、スマートフォン1Aのユーザーは「第1のユーザー」の一例であり、通知画像GN1は「第1の通知画像」の一例であり、通知画像GN2は「第2の通知画像」の一例であり、タッチパネル16Aは「表示装置」の一例である。また、「少なくとも1つの第1優先項目画像」は、項目画像GC3、項目画像GC4、項目画像GC5および項目画像GC9を一例とする。また、「少なくとも1つの第2優先項目画像」は、項目画像GC2を一例とする。
【0118】
3.変形例
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
【0119】
3.1.変形例1
前述の実施形態において、決定された通知内容を、画像を用いて通知する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、決定された通知内容を、音声を用いて通知してもよい。音声を用いて通知を行う場合、操作画像に通知画像が重畳されないため、例えば、表示装置における画像表示部分の面積が狭い場合であっても、操作画像の視認性を悪化させることなく通知を行うことができる。
【0120】
3.2.変形例2
前述の実施形態および変形例において、本発明に係る情報処理装置として、サーバー1およびスマートフォン1Aを例示したが、本発明はこのような態様に限定されるものではない。例えば、スマートフォン1Aと同様の機能を有するパーソナルコンピューターを用いてもよい。
【0121】
パーソナルコンピューターを用いる場合、パーソナルコンピューターの備える表示装置、または、パーソナルコンピューターと接続された表示装置上に、項目画像GCを押下するポインターが表示される場合を想定する。このような場合、ポインターの座標に関する情報を用いて、ユーザーが操作に戸惑っているか否かを判定してもよい。具体的には、ポインターの座標が、特定の2つの領域を繰り返し行き来しているような場合、ユーザーは、操作に戸惑っていると判定してもよい。すなわち、本発明を実施する装置に応じて適切な判定方法を設定することで、ユーザーが操作に戸惑っている状態を精度良く検出することができる。
【0122】
3.3.変形例3
前述の実施形態および変形例において、1または複数のユーザーの複数の項目画像GCの各々に対する操作の頻度を示す頻度情報に基づいて、ユーザーに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、1または複数のユーザーの複数の項目画像GCの各々に対する操作のうちの、所定の条件を満たす操作の頻度を示す成功頻度情報に基づいて、ユーザーに対して操作を促す対象となる少なくとも1つの項目画像GCを決定してもよい。成功頻度情報は、例えば、1または複数のユーザーが、複数の項目画像GCのうちの所定の項目画像GCを押下した頻度、または、所定の項目画像GCを所定の順番で押下した頻度等を示す。また、操作対象決定処理のステップS201において、決定部122は、成功頻度情報に基づいて、ユーザーに対して操作を促す対象となる少なくとも1つの項目画像GCを決定することができるか否かを判定してもよい。これにより、ユーザーに通知される可能性のある項目画像GCを予め限定することが可能となり、確度の高い通知を行うことができる。
【0123】
3.4.変形例4
前述の実施形態および変形例において、頻度情報に基づいて、ユーザーに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する場合、第1優先項目画像と、第2優先項目画像とを、ユーザーに対して操作を促す対象となる項目画像GCとして決定する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、第1優先項目画像のみを、ユーザーに対して操作を促す対象となる項目画像GCとして決定してもよい。また、1または複数のユーザーの操作の対象となった頻度が、第2優先項目画像の次に高い項目画像GCを「第3優先項目画像」と称する場合、第1優先項目画像と、第2優先項目画像と、第3優先項目画像とを、ユーザーに対して操作を促す対象となる項目画像GCとして決定してもよい。
【0124】
また、第1優先項目画像と、第2優先項目画像と、第3優先項目画像とを指示する指示画像は、指定情報101の指定する所定の項目画像GCを指示する指示画像と同様に、頻度の大小関係をユーザーに示すための数字を含んでもよい。すなわち、ユーザーは、複数の指示画像の各々に含まれる数字を確認することで、操作の優先度を把握することができる。
【0125】
3.5.変形例5
前述の実施形態および変形例において、スマートフォン1Aは、操作履歴情報102Aに基づいて、ユーザーに対して操作を促す対象となる少なくとも1つの項目画像GCを決定する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、スマートフォン1Aは、複数のユーザーから操作情報を収集するサーバーから操作履歴情報を取得し、当該操作履歴情報に基づいて、ユーザーに対して操作を促す対象となる少なくとも1つの項目画像GCを決定してもよい。すなわち、スマートフォン1Aは、複数のユーザーの操作の対象となった項目画像GCに関する情報に基づいて、ユーザーに対して操作を促す対象となる少なくとも1つの項目画像GCを決定してもよい。
【0126】
4.付記
以下、付記として本発明のまとめを記載する。
【0127】
4.1.付記1
複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、前記操作情報に基づいて、前記第1のユーザーが前記複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、前記複数の項目画像を含む画像が表示された状態における前記第1のユーザーおよび前記第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、前記複数の項目画像のうちの、前記第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、を含む、画像の決定方法。
【0128】
すなわち、付記1に記載の画像の決定方法を実現する情報処理装置は、第1のユーザーおよび第2のユーザーのうちの少なくとも一方の操作実績のある項目画像を、第1のユーザーに対して操作を促す対象となる項目画像とする。これにより、第1のユーザーは、操作の方法を把握することが可能となり、戸惑いを解消することができる。
【0129】
4.2.付記2
前記操作履歴情報は、前記第1のユーザーおよび前記第2のユーザーのうちの少なくとも一方の前記複数の項目画像の各々に対する操作の頻度を示す頻度情報を含み、前記少なくとも1つの項目画像を決定することは、前記頻度情報に基づいて、少なくとも1つの第1優先項目画像を決定することを含み、前記少なくとも1つの第1優先項目画像は、前記第1のユーザーおよび前記第2のユーザーのうちの少なくとも一方の操作の対象となった頻度が最も高い項目画像である、付記1に記載の画像の決定方法。
【0130】
すなわち、付記2に記載の画像の決定方法を実現する情報処理装置は、第1のユーザーおよび第2のユーザーのうちの少なくとも一方の操作実績のある項目画像の中から、操作頻度が最も高い項目画像を選択して、第1のユーザーに対して操作を促す対象となる項目画像とする。これにより、第1のユーザーは、信頼性の高い操作方法を把握することが可能となり、確実に戸惑いを解消することができる。
【0131】
4.3.付記3
前記少なくとも1つの項目画像を決定することは、前記頻度情報に基づいて、少なくとも1つの第2優先項目画像を決定することを含み、前記少なくとも1つの第2優先項目画像は、前記第1のユーザーおよび前記第2のユーザーのうちの少なくとも一方の操作の対象となった頻度が、前記少なくとも1つの第1優先項目画像の次に高い項目画像である、付記2に記載の画像の決定方法。
【0132】
すなわち、付記3に記載の画像の決定方法を実現する情報処理装置は、第1のユーザーおよび第2のユーザーのうちの少なくとも一方の操作実績のある項目画像の中から、操作頻度の高い項目画像を選択しつつ、第1のユーザーに対して操作を促す対象となる項目画像の選択肢を増やすことができる。これにより、第1のユーザーは、信頼性の高い複数の操作方法を把握することが可能となり、より確実に戸惑いを解消することができる。
【0133】
4.4.付記4
前記少なくとも1つの第1優先項目画像を前記第1のユーザーへ通知するための第1の通知画像と、前記少なくとも1つの第2優先項目画像を前記第1のユーザーへ通知するための第2の通知画像と、を表示装置に表示させることを更に含む、付記3に記載の画像の決定方法。
【0134】
すなわち、付記4に記載の画像の決定方法を実現する情報処理装置は、第1のユーザーに対して、操作を促す対象となる項目画像を視覚的に通知する。これにより、第1のユーザーは、例えば、対象となる項目画像がどの項目画像なのか、また、対象となる項目画像がどこにあるのかを容易に把握することができる。
【0135】
4.5.付記5
前記第1のユーザーおよび前記第2のユーザーのうちの少なくとも一方の前記複数の項目画像の各々に対する操作の頻度を示す頻度情報に基づいて、前記少なくとも1つの項目画像を決定することができない場合、前記複数の項目画像のうちの所定の項目画像を指定する指定情報に基づいて、前記少なくとも1つの項目画像を決定することを更に含む、付記1から付記4までのうちのいずれか一つに記載の画像の決定方法。
【0136】
これにより、付記5に記載の画像の決定方法を実現する情報処理装置は、頻度情報に基づいて、第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することができない場合であっても、例えば、予め操作頻度が高くなると予想される項目画像を、指定情報の指定する項目画像として設定することで、精度の高い操作支援を行うことができる。
【0137】
4.6.付記6
前記第1のユーザーに対して表示される前記複数の項目画像を含む画像の表示態様と、前記第2のユーザーに対して表示される前記複数の項目画像を含む画像の表示態様と、は相違し、前記少なくとも1つの項目画像を決定することは、前記第1のユーザーに対して表示される前記複数の項目画像を含む画像の表示態様における、前記複数の項目画像の各々に対する操作の頻度を示す頻度情報に基づいて、前記第1のユーザーに対して操作を促す対象となる前記少なくとも1つの項目画像を決定することを含む、付記1から付記5までのうちのいずれか一つに記載の画像の決定方法。
【0138】
例えば、複数の項目画像を含む画像が特定のアプリケーションソフトを操作する際に用いられるGUIである場合、当該アプリケーションソフトのバージョンがアップデートされ、一部のユーザーの端末に表示される、複数の項目画像を含む画像の表示態様が変化する場合がある。このような場合であっても、付記6に記載の画像の決定方法を実現する情報処理装置は、各ユーザーの端末から取得された操作情報に基づく頻度情報に基づいて、第1のユーザーに対して操作を促す対象となる項目画像を決定する。すなわち、付記6に記載の画像の決定方法を実現する情報処理装置は、幅広いユーザーから操作情報を取得することが可能となり、頻度情報の示す頻度の信頼性が向上する。これにより、第1のユーザーは、信頼性の高い操作方法を把握することが可能となり、第1のユーザーに対して表示される複数の項目画像を含む画像の表示態様と同様の表示態様の、複数の項目画像を含む画像が表示される端末のみから操作情報を取得する場合と比べて、確実に戸惑いを解消することができる。
【0139】
4.7.付記7
処理装置を備え、前記処理装置は、複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、前記操作情報に基づいて、前記第1のユーザーが前記複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、前記複数の項目画像を含む画像が表示された状態における前記第1のユーザーおよび前記第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、前記複数の項目画像のうちの、前記第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、を実行する、情報処理装置。
【0140】
すなわち、付記7に記載の情報処理装置は、第1のユーザーおよび第2のユーザーのうちの少なくとも一方の操作実績のある項目画像を、第1のユーザーに対して操作を促す対象となる項目画像とする。これにより、第1のユーザーは、操作の方法を把握することが可能となり、戸惑いを解消することができる。
【0141】
4.8.付記8
処理装置に、複数の項目画像を含む画像が表示された状態における第1のユーザーの操作に関する操作情報を取得することと、前記操作情報に基づいて、前記第1のユーザーが前記複数の項目画像のうちのいずれの項目画像に対して操作を行うか決定することができない状態を検出した場合に、前記複数の項目画像を含む画像が表示された状態における前記第1のユーザーおよび前記第1のユーザーとは異なる第2のユーザーのうちの少なくとも一方の操作の対象となった項目画像に関する操作履歴情報に基づいて、前記複数の項目画像のうちの、前記第1のユーザーに対して操作を促す対象となる少なくとも1つの項目画像を決定することと、を実行させる、プログラム。
【0142】
すなわち、付記8に記載のプログラムを実行する情報処理装置は、第1のユーザーおよび第2のユーザーのうちの少なくとも一方の操作実績のある項目画像を、第1のユーザーに対して操作を促す対象となる項目画像とする。これにより、第1のユーザーは、操作の方法を把握することが可能となり、戸惑いを解消することができる。
【符号の説明】
【0143】
1…サーバー、1A…スマートフォン、3a…スマートフォン、10…記憶装置、12…処理装置、14…通信装置、16A…タッチパネル、36a…タッチパネル、100…プログラム、101…指定情報、102…操作履歴情報、103…頻度情報、104…操作画像情報、105…第1操作画像情報、106…第2操作画像情報、120…通信制御部、121…戸惑い検出部、122…決定部、123…データ管理部、125…操作情報取得部、126…画像生成部、127…表示制御部、GW…操作画像、GC…項目画像、GN1…通知画像、GF1…指示画像、JMa…操作情報、JDa…指示情報、NW…ネットワーク、Ua…ユーザー、Sys…通知システム。