特許 7396475 情報処理装置、情報処理方法及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】情報処理装置、情報処理方法及び記録媒体

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20231205BHJP

   G06F 3/0481 20220101ALI20231205BHJP

   G06F 3/16 20060101ALI20231205BHJP

【ＦＩ】

G06F3/0484

G06F3/0481

G06F3/16 620

【請求項の数】 7

(21)【出願番号】P 2022524752

(86)(22)【出願日】2020-05-20

(86)【国際出願番号】 JP2020019913

(87)【国際公開番号】W WO2021234850

(87)【国際公開日】2021-11-25

【審査請求日】2022-11-09

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】有田 英司

(72)【発明者】

【氏名】鹿野 龍太朗

【審査官】酒井 優一

(56)【参考文献】

【文献】特開２００４－３３４３１３（ＪＰ，Ａ）

【文献】特開２００４－０２９９３２（ＪＰ，Ａ）

【文献】特許第６６９２５３８（ＪＰ，Ｂ２）

【文献】特開２０１９－１５９６９０（ＪＰ，Ａ）

【文献】特開２０１１－０５３９３６（ＪＰ，Ａ）

【文献】特開２０１９－０７５１３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

ユーザが操作可能な端末装置の前記ユーザによる操作を支援する情報処理装置であって、
前記端末装置の操作に関する前記ユーザの質問を音声で示す音声データと、前記端末装置の操作に関して前記ユーザが質問したときに前記端末装置の表示手段に表示されていた現在画面に関する情報とに基づいて、前記ユーザが行うべき操作の手順を特定する特定手段と、
前記特定手段が特定した手順で前記端末装置を操作することを前記ユーザに促す支援表示処理を行うように前記表示手段を制御する制御手段と
を備え、
前記現在画面に関する情報は、前記端末装置が前記現在画面の内容に基づいて生成した情報である
情報処理装置。

【請求項2】

前記特定手段は、前記現在画面で前記ユーザが行うべき操作を含む一連の操作の手順を特定し、
前記支援表示処理は、前記現在画面を含む前記表示手段の表示画面上で前記ユーザが行うべき操作の内容を前記表示画面上に表示する処理を含む
請求項１に記載の情報処理装置。

【請求項3】

前記端末装置は、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅ Ｓｙｓｔｅｍ）レジ端末であり、
前記現在画面を含む前記表示手段の表示画面は、商品の販売に関する画面である
請求項１又は２に記載の情報処理装置。

【請求項4】

前記支援表示処理は、前記現在画面を含む前記表示手段の表示画面上で前記ユーザが操作するべき操作対象領域を強調表示する処理を含む
請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記支援表示処理は、前記表示画面上で強調表示された第１の操作対象領域を前記ユーザが操作した後に、前記表示画面上で前記ユーザが次に操作するべき第２の操作対象領域を強調表示する処理を含む
請求項４に記載の情報処理装置。

【請求項6】

ユーザが操作可能な端末装置の前記ユーザによる操作を支援する情報処理方法であって、
前記端末装置の操作に関する前記ユーザの質問を音声で示す音声データと、前記端末装置の操作に関して前記ユーザが質問したときに前記端末装置の表示手段に表示されていた現在画面に関する情報とに基づいて、前記ユーザが行うべき操作の手順を特定する特定工程と、
前記特定工程において特定された手順で前記端末装置を操作することを前記ユーザに促す支援表示処理を行うように前記表示手段を制御する制御工程と
を含み、
前記現在画面に関する情報は、前記端末装置が前記現在画面の内容に基づいて生成した情報である
情報処理方法。

【請求項7】

ユーザが操作可能な端末装置の前記ユーザによる操作を支援する情報処理方法をコンピュータに実行させるコンピュータプログラムであって、
前記情報処理方法は、
前記端末装置の操作に関する前記ユーザの質問を音声で示す音声データと、前記端末装置の操作に関して前記ユーザが質問したときに前記端末装置の表示手段に表示されていた現在画面に関する情報とに基づいて、前記ユーザが行うべき操作の手順を特定する特定工程と、
前記特定工程において特定された手順で前記端末装置を操作することを前記ユーザに促す支援表示処理を行うように前記表示手段を制御する制御工程と
を含み、
前記現在画面に関する情報は、前記端末装置が前記現在画面の内容に基づいて生成した情報である
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ユーザが操作可能な端末装置のユーザによる操作を支援する情報処理装置、情報処理方法及び記録媒体の技術分野に関する。

【背景技術】

【0002】

端末装置の操作手順をユーザに知らせることでユーザによる端末装置の操作を支援可能な情報処理装置が知られている。例えば、特許文献１には、端末装置の一例である携帯端末のユーザからの携帯端末の操作方法に関する質問を音声データで受け付け、音声データを音声認識処理することで質問の内容を特定し、特定した質問に沿ったガイダンス画面を表示するように携帯端末を制御する情報処理装置が記載されている。

【0003】

その他、本開示に関連する先行技術文献として、特許文献２から特許文献３があげられる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－０２８３４６号公報

【文献】特開２０１８－０９２６６４号公報

【文献】特開２０１６－１５７２４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した特許文献１に記載された情報処理装置は、ユーザの質問を音声データで受け付けた時点で携帯端末に表示されていた表示画面を考慮することなく、常に、質問に沿ったガイダンス画面が携帯端末に表示されるように携帯端末を制御する。このため、ユーザは、携帯端末に表示されたガイダンス画面上で、質問に対応する操作を行う。しかしながら、ユーザが質問すると常にガイダンス画面が表示されるがゆえに、ユーザは、過去に質問したことがある操作を行おうとしても、ガイダンス画面が表示されなければ当該操作を行う方法が分からない。つまり、ユーザは、ガイダンス画面を起点とする携帯端末の操作手順は分かるものの、携帯端末の現在の表示画面からの操作手順が分からない。このため、ユーザは、目的とする操作を行うために、同じ質問を再度行い、情報処理装置は、同じガイダンス画面を再度表示する必要があるように端末装置を制御する必要がある。このため、情報処理装置による支援の頻度がいつまでも変わらないという技術的問題が生ずる。

【0006】

本開示は、上述した技術的問題を解決可能な情報処理装置、情報処理方法及び記録媒体を提供することを課題とする。一例として、本開示は、ユーザの操作を支援しつつも、ユーザの操作を支援する頻度を低減可能な情報処理装置、情報処理方法及び記録媒体を提供することを課題とする。

【課題を解決するための手段】

【0007】

本開示の情報処理装置は、ユーザが操作可能な端末装置の前記ユーザによる操作を支援する情報処理装置であって、前記端末装置の操作に関する前記ユーザの質問を音声で示す音声データと、前記端末装置の操作に関して前記ユーザが質問したときに前記端末装置の表示手段に表示されていた現在画面に関する情報とに基づいて、前記ユーザが行うべき操作の手順を特定する特定手段と、前記特定手段が特定した手順で前記端末装置を操作することを前記ユーザに促す支援表示処理を行うように前記表示手段を制御する制御手段とを備える。

【0008】

本開示の情報処理方法は、ユーザが操作可能な端末装置の前記ユーザによる操作を支援する情報処理方法であって、前記端末装置の操作に関する前記ユーザの質問を音声で示す音声データと、前記端末装置の操作に関して前記ユーザが質問したときに前記端末装置の表示手段に表示されていた現在画面に関する情報とに基づいて、前記ユーザが行うべき操作の手順を特定する特定工程と、前記特定工程において特定された手順で前記端末装置を操作することを前記ユーザに促す支援表示処理を行うように前記表示手段を制御する制御工程とを含む。

【0009】

本開示の記録媒体は、ユーザが操作可能な端末装置の前記ユーザによる操作を支援する情報処理方法をコンピュータに実行させるコンピュータプログラムが記録された記録媒体であって、前記情報処理方法は、前記端末装置の操作に関する前記ユーザの質問を音声で示す音声データと、前記端末装置の操作に関して前記ユーザが質問したときに前記端末装置の表示手段に表示されていた現在画面に関する情報とに基づいて、前記ユーザが行うべき操作の手順を特定する特定工程と、前記特定工程において特定された手順で前記端末装置を操作することを前記ユーザに促す支援表示処理を行うように前記表示手段を制御する制御工程とを含む。

【発明の効果】

【0010】

上述した情報処理装置、情報処理方法及びコンピュータプログラムによれば、ユーザが行うべき操作の手順を特定する際に現在画面が考慮されるため、ユーザの操作を支援しつつも、ユーザの操作を支援する頻度を低減することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態の操作支援システムの全体構成を示すブロック図である。

【図2】図２は、本実施形態のユーザ端末の構成を示すブロック図である。

【図3】図３は、本実施形態の操作支援サーバの構成を示すブロック図である。

【図4】図４は、操作支援サーバが行う操作支援動作の流れを示すフローチャートである。

【図5】図５は、表示装置に表示される表示画面の一例を示す平面である。

【図6】図６は、支援表示処理が行われている表示装置の表示画面を示す平面図である。

【図7】図７は、支援表示処理が行われている表示装置の表示画面を示す平面図である。

【図8】図８は、支援表示処理が行われている表示装置の表示画面を示す平面図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。以下では、店情報処理装置、情報処理方法及び記録媒体の実施形態が適用された操作支援システムＳＹＳについて説明する。

【0013】

（１）操作支援システムＳＹＳの構成
（１－１）操作支援システムＳＹＳの全体構成
はじめに、図１を参照しながら、本実施形態の操作支援システムＳＹＳの全体構成について説明する。図１は、本実施形態の操作支援システムＳＹＳの全体構成を示すブロック図である。

【0014】

図１に示すように、操作支援システムＳＹＳは、ユーザ端末１と、操作支援サーバ２とを備える。但し、操作支援システムＳＹＳは、単一のユーザ端末１を備えていてもよいし、複数のユーザ端末１を備えていてもよい。ユーザ端末１と操作支援サーバ２との夫々とは、通信ネットワーク３を介して互いに通信可能である。通信ネットワーク３は、有線の通信ネットワークを含んでいてもよいし、無線の通信ネットワークを含んでいてもよい。

【0015】

ユーザ端末１は、ユーザが操作可能な端末装置である。このようなユーザ端末の一例として、スマートフォン、タブレット及びパソコンの少なくとも一つがあげられる。このようなユーザ端末の他の一例として、ＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅ Ｓｙｓｔｅｍ）レジ端末があげられる。

【0016】

操作支援サーバ２は、ユーザによるユーザ端末１の操作を支援するための操作支援動作を行うことが可能な情報処理装置である。操作支援動作は、例えば、ユーザ端末１の操作の手順（言い換えれば、操作の方法）が分からないユーザに対して、ユーザ端末１の操作の手順をユーザに教えるための動作である。具体的には、ユーザは、ユーザ端末１に対して、ユーザ端末１の操作に関して質問する。特に、ユーザは、ユーザ端末１に対して、ユーザ端末１の操作に関する質問を音声で入力する。操作支援サーバ２は、ユーザ端末１から、ユーザ端末１の操作に関するユーザの質問を音声で示す音声データを取得する。操作支援サーバ２は、取得した音声データに基づいて、ユーザが行うべき操作の手順を特定する。本実施形態では特に、操作支援サーバ２は、取得した音声データに加えて、ユーザ端末１の操作に関してユーザが質問したときにユーザ端末１の表示装置１４（後述する図２参照）に表示されていた表示画面（以降、このタイミングで表示されていた表示画面を、“現在画面”と称する）の内容に基づいて、ユーザが行うべき操作の手順を特定する。このため、操作支援サーバ２は、音声データに加えて、現在画面に関する画面情報をユーザ端末１から取得してもよい。その後、操作支援サーバ２は、特定した手順でユーザ端末１を操作することをユーザに促す支援表示処理を行うように、ユーザ端末１の表示装置１４を制御する。その結果、ユーザは、支援表示処理によって表示装置１４に表示された内容を参照しながら、目的とする操作を行うことができる。

【0017】

（１－２）ユーザ端末１の構成
続いて、図２を参照しながら、本実施形態のユーザ端末１の構成について説明する。図２は、本実施形態のユーザ端末１の構成を示すブロック図である。

【0018】

図２に示すように、ユーザ端末１は、演算装置１１と、記憶装置１２と、録音装置１３と、「表示手段」の一具体例である表示装置１４と、入力装置１５と、通信装置１６とを備えている。演算装置１１と、記憶装置１２と、録音装置１３と、表示装置１４と、入力装置１５と、通信装置１６とは、データバス１７を介して接続されている。

【0019】

演算装置１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｅｃｓｓｉｎｇ Ｕｎｉｔ）を含む。演算装置１１は、コンピュータプログラムを読み込む。例えば、演算装置１１は、記憶装置１２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置１１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置１１は、通信装置１６を介して、ユーザ端末１の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置１１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置１１内には、ユーザ端末１が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置１１は、ユーザ端末１が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

【0020】

図２には、ユーザ端末１が行うべき動作を実行するために演算装置１１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置１１内には、送信制御部１１１と、表示制御部１１２とが実現される。尚、送信制御部１１１及び表示制御部１１２の動作については、図４等を参照しながら後に詳述するが、以下にその概要について説明する。送信制御部１１１は、通信装置１６を用いて、ユーザ端末１の操作に関するユーザの質問を音声で示す音声データを、操作支援サーバ２に送信する。更に、送信制御部１１１は、通信装置１６を用いて、ユーザ端末１の操作に関してユーザが質問したときに表示装置１４に表示されていた現在画面に関する画面情報を、操作支援サーバ２に送信する。表示制御部１１２は、操作支援サーバ２が特定した手順でユーザ端末１を操作することをユーザに促す支援表示処理を行うように、表示装置１４を制御する。具体的には、表示制御部１１２は、支援表示処理をユーザ端末１に行わせるために操作支援サーバ２が生成した表示制御情報を取得し、取得した表示制御情報に基づいて、支援表示処理を行うように表示装置１４を制御する。

【0021】

記憶装置１２は、所望のデータを記憶可能である。例えば、記憶装置１２は、演算装置１１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置１２は、演算装置１１がコンピュータプログラムを実行している際に演算装置１１が一時的に使用するデータを一時的に記憶してもよい。記憶装置１２は、ユーザ端末１が長期的に保存するデータを記憶してもよい。尚、記憶装置１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0022】

録音装置１３は、ユーザの音声を録音する装置である。本実施形態では、録音装置１３は、ユーザ端末１の操作に関する質問をしているユーザの音声を録音する。その結果、録音装置１３は、ユーザ端末１の操作に関するユーザの質問を音声で示す音声データを生成する。音声データを生成するために、録音装置１３は、例えば、マイクを含んでいてもよい。

【0023】

表示装置１４は、所望の情報を表示可能な出力装置（つまり、ディスプレイ）である。表示装置１４は、例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を含む表示画面を表示してもよい。この場合、ユーザは、ＧＵＩを用いて、ユーザ端末１を操作してもよい。

【0024】

入力装置１５は、ユーザの操作の入力を受け付ける装置である。例えば、入力装置１５は、ユーザが操作可能な操作装置を含んでいてもよい。入力装置１５は、操作装置の一例として、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。タッチパネルは、上述した表示装置１４と一体化されていてもよい。

【0025】

通信装置１６は、通信ネットワーク３を介して、操作支援サーバ２と通信可能である。本実施形態では、通信装置１６は、送信制御部１１１の制御下で、通信ネットワーク３を介して、音声データ及び画面情報の少なくとも一方を、操作支援サーバ２に送信可能である。また、通信装置１６は、表示制御部１１２の制御下で、通信ネットワークを介して、支援表示処理をユーザ端末１に行わせるために操作支援サーバ２が生成した表示制御情報を、操作支援サーバ２から受信する。

【0026】

（１－３）操作支援サーバ２の構成
続いて、図３を参照しながら、本実施形態の操作支援サーバ２の構成について説明する。図３は、本実施形態の操作支援サーバ２の構成を示すブロック図である。

【0027】

図３に示すように、操作支援サーバ２は、演算装置２１と、記憶装置２２と、通信装置２３とを備えている。演算装置２１と、記憶装置２２と、通信装置２３とは、データバス２４を介して接続されている。

【0028】

演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｅｃｓｓｉｎｇ Ｕｎｉｔ）を含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置２１は、通信装置２３を介して、操作支援サーバ２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、操作支援サーバ２が行うべき動作（具体的には、操作支援動作）を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、操作支援サーバ２が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

【0029】

図３には、操作支援動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図３に示すように、演算装置２１内には、「特定手段」の一具体例である操作特定部２１１と、「制御手段」の一具体例である表示制御部２１２とが実現される。尚、操作特定部２１１及び表示制御部２１２の動作については、図４等を参照しながら後に詳述するが、以下にその概要について説明する。操作特定部２１１は、ユーザ端末１から送信される音声データ及び画面情報に基づいて、ユーザが行うべき操作の手順を特定する。表示制御部２１２は、操作特定部２１１が特定した手順でユーザ端末１を操作することをユーザに促す支援表示処理を行うように、ユーザ端末１を制御する。具体的には、表示制御部２１２は、支援表示処理をユーザ端末１に行わせるようにユーザ端末１（特に、表示装置１４）を制御するための表示制御情報を生成し、生成した表示制御情報を、通信装置２３を用いてユーザ端末１に送信する。

【0030】

記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している際に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、操作支援サーバ２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ、ＲＯＭ、ハードディスク装置、光磁気ディスク装置、ＳＳＤ及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0031】

通信装置２３は、通信ネットワーク３を介して、ユーザ端末１と通信可能である。本実施形態では、通信装置２３は、通信ネットワーク３を介して、音声データ及び画面情報の少なくとも一方を、ユーザ端末１から受信可能である。また、通信装置２３は、表示制御部２１２の制御下で、通信ネットワーク３を介して、支援表示処理をユーザ端末１に行わせるために表示制御部２１２が生成した表示制御情報を、ユーザ端末１に送信する。

【0032】

（２）操作支援サーバ２が行う操作支援動作の流れ
続いて、図４を参照しながら、操作支援サーバ２が行う操作支援動作の流れについて説明する。図４は、操作支援サーバ２が行う操作支援動作の流れを示すフローチャートである。尚、操作支援動作は主として操作支援サーバ２によって行われる動作であるが、説明を分かりやすくするために、図４は、ユーザ端末１が行う動作も合わせて記載している。

【0033】

図４に示すように、ユーザ端末１の録音装置１３は、ユーザ端末１の操作に関してユーザが質問した場合には、ユーザ端末１の操作に関して質問しているユーザの音声を録音する（ステップＳ１１）。その結果、録音装置１３は、ユーザ端末１の操作に関するユーザの質問を音声で示す音声データを生成する（ステップＳ１１）。

【0034】

音声データが生成された場合には、ユーザ端末１の送信制御部１１１は、通信装置１６を用いて、ユーザ端末１の操作に関するユーザの質問を音声で示す音声データを、操作支援サーバ２に送信する（ステップＳ１２）。

【0035】

更に、送信制御部１１１は、通信装置１６を用いて、ユーザ端末１の操作に関してユーザが質問したときに表示装置１４に表示されていた現在画面に関する画面情報を、操作支援サーバ２に送信する（ステップＳ１２）。つまり、送信制御部１１１は、通信装置１６を用いて、ステップＳ１１において音声データが生成されたときに表示装置１４に表示されていた現在画面に関する画面情報を、操作支援サーバ２に送信する（ステップＳ１２）。具体的には、送信制御部１１１は、表示装置１４に表示されていた現在画面の内容に基づいて画面情報を生成し、生成した画面情報を操作支援サーバ２に送信する。画面情報は、現在画面がどのような表示画面であるかを示す情報を含んでいてもよい。例えば、画面情報は、現在画面に含まれている表示オブジェクトに関する情報を含んでいてもよい。例えば、現在画面がＧＵＩを含む場合は、画面情報は、例えば、現在画面に含まれているＧＵＩを構成する表示オブジェクトに関する情報を含んでいてもよい。

【0036】

ＧＵＩを含む表示画面の一例が図５に示されている。図５は、ユーザ端末１がＰＯＳレジ端末である場合に表示装置１４に表示される表示画面の一例を示している。特に、図５は、ＰＯＳレジ端末で商品を販売するときに表示される「売上登録画面」と称される表示画面の一例を示している。図５に示すように、表示画面は、ＧＵＩを構成する表示オブジェクトの一例として、ユーザが選択可能な少なくとも一つのボタン１４１を含んでいてもよい。表示画面は、ＧＵＩを構成する表示オブジェクトの一例として、任意の情報を表示可能な表示フィールド（例えば、バーコードがスキャンされた商品の名称、単価、数量及び金額の少なくとも一つを表示可能な表示フィールド）１４２を含んでいてもよい。表示画面は、ＧＵＩを構成する表示オブジェクトの一例として、表示フィールド１４２の表示内容をスクロールするためにユーザが操作可能なスクロールバー１４３を含んでいてもよい。

【0037】

再び図４において、操作支援サーバ２の通信装置２３は、ユーザ端末１から送信された音声データ及び画面情報を受信（つまり、取得）する（ステップＳ２１）。通信装置２３が受信した音声データ及び画面情報は、操作特定部２１１に出力される。その後、操作特定部２１１は、ステップＳ２１で受信された音声データ及び画面情報に基づいて、ユーザが行うべき操作の手順を特定する（ステップＳ２２からステップＳ２３）。

【0038】

具体的には、操作特定部２１１は、まず、音声データに基づいて、ユーザの質問の内容を特定する（ステップＳ２２）。例えば、操作特定部２１１は、音声データに対して音声認識処理を行うことで、ユーザの質問の内容を特定してもよい。

【0039】

その後、操作特定部２１１は、ステップＳ２２で特定したユーザの質問の内容に基づいて、ユーザが行うべき操作の手順を特定する（ステップＳ２３）。つまり、操作特定部２１１は、ステップＳ２２で特定したユーザの質問の内容に基づいて、ユーザがユーザ端末１を用いて行いたい操作（つまり、目的とする操作）を特定し、特定した操作を行うためにユーザがユーザ端末１を用いて実際に行うべき操作の手順を特定する。

【0040】

本実施形態では特に、操作特定部２１１は、画面情報に基づいて、画面情報が示す現在画面を起点にユーザが行うべき操作の手順を特定する。つまり、操作特定部２１１は、ユーザが目的とする操作を行うために、現在画面からユーザが行うべき操作の手順を特定する。言い換えれば、操作特定部２１１は、ユーザが目的とする操作を行うために、現在画面上でユーザが行うべき操作を含む一連の操作の手順を特定する。例えば、目的とする操作をユーザが行うために、ユーザが、現在画面上で第１の操作を行うことで現在画面上に所定の情報を表示し、その後、表示された所定の情報に対して第２の操作を行う必要がある場合には、操作特定部２１１は、現在画面上で第１の操作を行い、その後、表示された所定の情報に対して第２の操作を行うという手順を特定する。例えば、目的とする操作をユーザが行うために、ユーザが、現在画面上で第３の操作を行うことで現在画面に代えて他の表示画面を表示装置１４に表示させ、その後、表示された他の表示画面上で第４の操作を行う必要がある場合には、操作特定部２１１は、現在画面上で第３の操作を行い、その後、表示された表示画面上で第４の操作を行うという手順を特定する。

【0041】

その後、表示制御部２１２は、ステップＳ２３で操作特定部２１１が特定した手順でユーザ端末１を操作することをユーザに促す支援表示処理を行うように、ユーザ端末１を支援する（ステップＳ２４）。具体的には、表示制御部２１２は、支援表示処理をユーザ端末１に行わせるようにユーザ端末１（特に、表示装置１４）を制御するための表示制御情報を生成する（ステップＳ２４）。更に、表示制御部２１２は、生成した表示制御情報を、通信装置２３を用いてユーザ端末１に送信する（ステップＳ２４）。

【0042】

支援表示処理は、ユーザ端末１の表示装置１４が表示している表示画面上でユーザが行うべき操作の内容を当該表示画面上に表示する処理を含んでいてもよい。例えば、支援表示処理は、表示画面上でユーザが行うべき操作の内容を示すテキストメッセージを、当該表示画面上に表示する処理を含んでいてもよい。例えば、支援表示処理は、表示画面上でユーザが行うべき操作の内容を示す図形（言い換えれば、イラスト）を、当該表示画面上に表示する処理を含んでいてもよい。

【0043】

支援表示処理は、表示画面上でユーザが操作するべき操作対象領域（典型的には、ユーザが選択するべき領域）を強調表示する処理を含んでいてもよい。つまり、支援表示処理は、表示画面上で、操作対象領域が操作対象領域以外の領域よりも目立つように操作対象領域を表示する処理を含んでいてもよい。操作対象領域は、例えば、表示画面に含まれるＧＵＩを構成する表示オブジェクトの少なくとも一部が表示されている領域を含んでいてもよい。例えば、表示画面上でユーザが一のボタン１４１（図５参照）を押下するべきである場合には、操作対象領域は、ユーザが押下するべき一のボタン１４１が表示されている領域を含んでいてもよい。例えば、表示画面上でユーザが表示フィールド１４２に表示されている一の項目を選択するべきである場合には、操作対象領域は、ユーザが選択するべき表示フィールド１４２中の一の項目が表示されている領域を含んでいてもよい。

【0044】

上述したように、ユーザが行うべき操作の手順を操作特定部２１１が特定しているため、場合によっては、ユーザは、一連の操作（つまり、複数の操作）を順に行う必要がある。つまり、上述したように、場合によっては、ユーザは、第１の操作を行った後に、第２の操作を行う必要がある。このため、支援表示処理は、ユーザが行うべき複数の操作の内容を順に表示する処理を含んでいてもよい。例えば、支援表示処理は、ユーザが行うべき第１の操作の内容を表示し、第１の操作がユーザによって行われた後に、第１の操作の次にユーザが行うべき第２の操作の内容を表示する処理を含んでいてもよい。同様に、支援表示処理は、複数の操作を順に行うために表示画面上でユーザが順に操作するべき複数の操作対象領域を順に強調表示する処理を含んでいてもよい。例えば、支援表示処理は、ユーザが第１の操作を行うために操作するべき第１の操作対象領域を強調表示し、第１の操作対象領域がユーザによって操作された後（つまり、第１の操作がユーザによって行われた後）に、第１の操作対象領域の次にユーザが操作するべき第２の操作対象領域を強調表示する処理を含んでいてもよい。

【0045】

上述したように、操作特定部２１１は、現在画面を起点にユーザが行うべき操作の手順を特定している。このため、支援表示処理は、現在画面を起点に開始される。このため、支援表示処理は、現在画面上でユーザが行うべき操作の内容を当該現在画面上に表示する処理を含んでいてもよい。つまり、支援表示処理は、現在画面上でユーザが行うべき操作の内容を当該現在画面に重ねて表示する処理を含んでいてもよい。支援表示処理は、現在画面上でユーザが操作するべき操作対象領域を当該現在画面上で強調表示する処理を含んでいてもよい。

【0046】

その後、ユーザ端末１の通信装置１６は、操作支援サーバ２から送信された表示制御情報を受信（つまり、取得）する（ステップＳ１３）。通信装置１６が受信した表示制御情報は、表示制御部１１２に出力される。その後、表示制御部１１２は、ステップＳ１３において受信された表示制御情報に基づいて、支援表示処理を行うように表示装置１４を制御する（ステップＳ１４）。

【0047】

（３）支援表示処理の具体例
続いて、図６から図８を参照しながら、支援表示処理の具体例について説明する。図６から図８の夫々は、支援表示処理が行われている表示装置１４の表示画面を示す平面図である。尚、以下では、ユーザ端末１がＰＯＳレジ端末であり、図５に示す表示画面が現在画面であり、且つ、ユーザが、「レシートを発行済みの商品を返品するための操作を行うにはどうすればよいか？」という質問をした場合に行われる支援表示処理の具体例について説明する。

【0048】

上述したように、支援表示処理は、図５に示す現在画面を起点に開始される。図５に示す現在画面に表示されている状況下で商品を返品するための操作を行うには、ユーザは、現在画面に表示されている「商品照会」というボタン１４１ａを押下し、その後、発行済みのレシートに印刷されたバーコード（つまり、販売した商品に関する情報を示すバーコード）を読み取り、その後、表示画面に表示される商品の一覧の中から返品したい商品を選択する操作を少なくとも行う必要があるものとする。

【0049】

この場合、まずは、図６に示すように、支援表示処理によって、「商品照会」というボタンの押下をユーザに促すための表示オブジェクトが現在画面上に新たに表示される。例えば、図６に示すように、支援表示処理によって、「商品照会」というボタンを押下することをユーザに促すテキストメッセージ１４４＃１（つまり、現在画面上でユーザが行うべき操作の内容を示す表示オブジェクト）が現在画面上に新たに表示されてもよい。例えば、図６に示すように、支援表示処理によって、「商品照会」というボタン１４１ａが強調表示されてもよい。つまり、支援表示処理によって、現在画面上でユーザが操作するべき「商品照会」というボタン１４１ａが表示されている操作対象領域が強調表示されてもよい。その結果、ユーザは、商品を返品するための操作を行うためには、まずは「商品照会」というボタン１４１ａを押下すればよいと容易に認識することができる。

【0050】

その後、ユーザが「商品照会」というボタン１４１ａを押下した後には、図７に示すように、支援表示処理によって、レシートのバーコードのスキャンをユーザに促すための表示オブジェクトが表示画面上に新たに表示される。例えば、図７に示すように、支援表示処理によって、レシートのバーコードをスキャンすることをユーザに促すテキストメッセージ１４４＃２（つまり、「商品照会」というボタン１４１ａを押下する操作の次にユーザが行うべき操作の内容を示す表示オブジェクト）が表示画面上に新たに表示されてもよい。その結果、ユーザは、商品を返品するための操作を行うためには、続いてレシートのバーコードをスキャンすればよいと容易に認識することができる。

【0051】

その後、ユーザがレシートのバーコードをスキャンすると、表示画面内の表示フィールド１４２に、販売した商品のリストが表示される。この場合、図８に示すように、支援表示処理によって、商品の一覧の中から返品したい商品の選択をユーザに促すための表示オブジェクトが現在画面上に新たに表示される。例えば、図８に示すように、支援表示処理によって、商品の一覧の中から返品したい商品を選択することをユーザに促すテキストメッセージ１４４＃３（つまり、レシートのバーコードをスキャンする操作の次にユーザが行うべき操作の内容を示す表示オブジェクト）が表示画面上に新たに表示されてもよい。例えば、図８に示すように、支援表示処理によって、ユーザが選択するべき商品の一覧を示す項目フィールド１４２１が強調表示されてもよい。つまり、支援表示処理によって、ユーザが選択するべき項目フィールド１４２１が表示されている操作対象領域が強調表示されてもよい。その結果、ユーザは、商品を返品するための操作を行うためには、続いて返品する商品を選択すればよいと容易に認識することができる。このため、ユーザは、返品する商品を選択することで、商品を返品するための操作を完了することができる。或いは、更に別の操作が必要となる場合には、支援表示処理によって別の操作をユーザに促す表示オブジェクトが表示され、ユーザは、表示される表示オブジェクトに従った別の操作を行うことで、商品を返品するための操作を完了することができる。

【0052】

（４）技術的効果
以上説明したように、本実施形態の操作支援サーバ２は、ユーザ端末１を用いたユーザの操作を支援するための操作支援動作を行う。具体的には、操作支援サーバ２は、目的とする操作を行うためにユーザが行うべき操作の手順をユーザ端末１の表示装置１４に表示させるための支援表示処理を、ユーザ端末１に行わせる。その結果、ユーザは、支援表示処理によって表示される表示オブジェクトを参照しながら、支援表示処理が示す手順で一連の操作を行うことで、目的の操作を行うことができる。

【0053】

特に、本実施形態では、操作支援サーバ２は、ユーザが行うべき操作の手順を特定する際に、ユーザ端末１の操作に関してユーザが質問したときにユーザ端末１の表示装置１４に表示されていた現在画面に関する画面情報を参照する。このため、操作支援サーバ２は、現在画面を起点にユーザが行うべき操作の手順を特定することができる。その結果、ユーザは、今現在表示装置１４に表示されている現在画面を起点に支援表示処理が示す手順で一連の操作を行うことで、目的の操作を行うことができる。更に、ユーザは、現在画面から目的の操作を行うことで、現在画面から目的とする操作を行うためにユーザが行うべき操作の手順を実質的に学習することができる。このため、ユーザは、次に同じ表示画面から同じ操作を行う際には、操作支援サーバ２による操作支援動作を必要とすることなく、目的とする操作を行うことができる。その結果、操作支援サーバ２が操作支援動作を行う頻度が低減される。このため、操作支援サーバ２は、ユーザによるユーザ端末１の操作を支援しつつも、ユーザによるユーザ端末１の操作を支援する頻度を低減することができる。

【0054】

また、本実施形態では、支援表示処理によって、ユーザが行うべき操作の内容を示す表示オブジェクトが表示される。また、支援表示処理によって、ユーザが操作するべき操作対象領域が強調表示される。このため、ユーザは、ユーザが次に行う操作を直感的に把握することができる。このため、ユーザは、支援表示処理によって表示される表示オブジェクトを参照しながら、支援表示処理が示す手順で一連の操作を容易に行うことができる。

【0055】

（５）変形例
上述した説明では、操作支援サーバ２が、ユーザが行うべき操作の手順を特定している。しかしながら、ユーザ端末１が、ユーザが行うべき操作の手順を特定してもよい。つまり、ユーザ端末１の演算装置１１が、操作特定部２１１を備えていてもよい。この場合、ユーザ端末１から操作支援サーバ２に対して、音声データ及び画面情報が送信されなくてもよい。また、操作支援サーバ２からユーザ端末１に対して、表示制御情報が送信されなくてもよい。つまり、ユーザ端末１の表示制御部１１２が、操作支援サーバ２の表示制御部２１２と同様の動作を行うことで、支援表示処理を行うように表示装置１４を制御してもよい。

【0056】

上述した説明では、ユーザ端末１がＰＯＳレジ端末である場合の例について説明されている。つまり、操作支援システムＳＹＳが、商品を販売する店舗に導入されている例について説明されている。しかしながら、操作支援システムＳＹＳの適用先が店舗に限定されることはない。上述したように、ユーザ端末１はユーザが操作可能な端末であるため、ユーザが操作可能なユーザ端末１を使用する任意の場面で操作支援システムＳＹＳが用いられてもよい。例えば、操作支援システムＳＹＳは、企業に入社した新入社員の研修のために用いられてもよい。この場合、新入社員の研修のためのアプリがインストールされた端末装置（例えば、タブレット又はパソコン）が、ユーザ端末１として用いられてもよい。新入社員は、ユーザ端末１に対して、目的とする研修を受けるためのアプリの操作方法を質問してもよい。この場合、操作支援サーバ２は、適切な研修を受けるために必要な操作の手順を新入社員に促すための操作支援動作を行ってもよい。

【0057】

本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理装置、情報処理方法及び記録媒体もまた本発明の技術思想に含まれる。

【符号の説明】

【0058】

ＳＹＳ 操作支援システム
１ ユーザ端末
１１ 演算装置
１１１ 送信制御部
１１２ 表示制御部
１２ 記憶装置
１３ 録音装置
１４ 表示装置
１５ 入力装置
１６ 通信装置
２ 操作支援サーバ
２１ 演算装置
２１１ 操作特定部
２１２ 表示制御部
２２ 記憶装置
２３ 通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】