特許 6133460 操作支援システム、操作支援プログラム及び操作支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6133460

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】操作支援システム、操作支援プログラム及び操作支援方法

(51)【国際特許分類】

   G06F 3/048 20130101AFI20170515BHJP

   G06F 3/14 20060101ALI20170515BHJP

【ＦＩ】

   G06F3/048

   G06F3/14 330A

【請求項の数】7

【全頁数】25

(21)【出願番号】特願2016-27284(P2016-27284)

(22)【出願日】2016年2月16日

【審査請求日】2016年4月1日

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】100117514

【弁理士】

【氏名又は名称】佐々木 敦朗

(72)【発明者】

【氏名】浅尾 崇宏

(72)【発明者】

【氏名】福泉 武史

(72)【発明者】

【氏名】唐戸 真耶

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２０１５−１９１４１６（ＪＰ，Ａ）

【文献】 特開２０１４−０３５６８８（ＪＰ，Ａ）

【文献】 特開２００８−０６５６３０（ＪＰ，Ａ）

【文献】 特開２００９−２０５３７５（ＪＰ，Ａ）

【文献】 特開２０１３−１２２６５６（ＪＰ，Ａ）

【文献】 特開２０１５−０１１３７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

３／０４８−３／０４８９

３／１４

Ｈ０４Ｍ １／００

１／２４−１／８２

９９／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置の操作手順を提示して操作を支援する操作支援システムであって、
前記情報処理装置が有する表示手段に表示される画面情報に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部と、
前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部と、
前記状態情報に含まれる画面情報及びステータス情報に基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部と、
前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力部と
を備え、
前記シナリオ情報には、操作支援に係る機能に関する画面を特定する図形又は文字列を含む画面特定情報と、当該操作支援に係る機能に必要な操作指示とが関連づけられて記述され、
前記操作解析部は、前記シナリオ情報を参照して、前記画面情報から画面特定情報を抽出し、抽出された画面特定情報に基づいてユーザーによる操作状態を判定し、
前記指示出力部は、前記操作解析部が判定した操作状態に基づいて、前記シナリオ情報に記述された操作指示を出力させる
ことを特徴とする操作支援システム。

【請求項2】

前記シナリオ情報には、操作支援に係る機能に関する画面と、当該操作支援に係る機能に必要な操作の対象を特定する図形又は文字列を含む操作対象特定情報とが関連づけられて記述され、
前記操作解析部は、前記シナリオ情報を参照して、前記画面情報から前記操作対象特定情報を抽出し、抽出された操作対象特定情報に基づいて、前記ユーザーによる操作状態を判定し、
前記指示出力部は、前記操作解析部が判定した操作状態に基づき、前記抽出された操作対象特定情報及びその画面上における位置に応じて、前記シナリオ情報に記述された操作指示を、前記画面情報に重畳させて表示させる
ことを特徴とする請求項１に記載の操作支援システム。

【請求項3】

情報処理装置の操作手順を提示して操作を支援する操作支援システムであって、
前記情報処理装置が有する表示手段に表示される画面情報に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部と、
前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部と、
前記状態情報に含まれる画面情報及びステータス情報に基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部と、
前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力部と、
前記状態取得部が取得した状態情報の履歴に、前記指示出力部によって出力された操作指示と、操作指示が表示される際に参照されたシナリオ情報とを関連づけて指示履歴として記録する履歴蓄積部と、
前記履歴蓄積部に蓄積された指示履歴を集計して解析し、その解析結果を参照されたシナリオ情報に関連づけて出力可能に保持する履歴解析部と
を備えることを特徴とする操作支援システム。

【請求項4】

情報処理装置の操作手順を提示して操作を支援する操作支援プログラムであって、前記情報処理装置を、
前記情報処理装置が有する表示手段に表示される画面情報に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部と、
前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部と、
前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部と、
前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力部として
機能させ、
前記シナリオ情報には、操作支援に係る機能に関する画面を特定する図形又は文字列を含む画面特定情報と、当該操作支援に係る機能に必要な操作指示とが関連づけられて記述され、
前記操作解析部は、前記シナリオ情報を参照して、前記画面情報から画面特定情報を抽出し、抽出された画面特定情報に基づいてユーザーによる操作状態を判定し、
前記指示出力部は、前記操作解析部が判定した操作状態に基づいて、前記シナリオ情報に記述された操作指示を出力させる
ことを特徴とする操作支援プログラム。

【請求項5】

情報処理装置の操作手順を提示して操作を支援する操作支援プログラムであって、前記情報処理装置を、
前記情報処理装置が有する表示手段に表示される画面情報に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部と、
前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部と、
前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部と、
前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力部と、
前記状態取得部が取得した状態情報の履歴に、前記指示出力部によって出力された操作指示と、操作指示が表示される際に参照されたシナリオ情報とを関連づけて指示履歴として記録する履歴蓄積部と、
前記履歴蓄積部に蓄積された指示履歴を集計して解析し、その解析結果を参照されたシナリオ情報に関連づけて出力可能に保持する履歴解析部として
機能させることを特徴とする操作支援プログラム。

【請求項6】

情報処理装置の操作手順を提示して操作を支援する操作支援方法であって、
シナリオ取得部が、前記情報処理装置が有する表示手段に表示される画面に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得ステップと、
状態取得部が、前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得ステップと、
操作解析部が、前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析ステップと、
指示出力部が、前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力ステップと、
を含み、
前記シナリオ情報には、操作支援に係る機能に関する画面を特定する図形又は文字列を含む画面特定情報と、当該操作支援に係る機能に必要な操作指示とが関連づけられて記述され、
前記操作解析部は、前記シナリオ情報を参照して、前記画面情報から画面特定情報を抽出し、抽出された画面特定情報に基づいてユーザーによる操作状態を判定し、
前記指示出力部は、前記操作解析部が判定した操作状態に基づいて、前記シナリオ情報に記述された操作指示を出力させる
ことを特徴とする操作支援方法。

【請求項7】

情報処理装置の操作手順を提示して操作を支援する操作支援方法であって、
シナリオ取得部が、前記情報処理装置が有する表示手段に表示される画面に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得ステップと、
状態取得部が、前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得ステップと、
操作解析部が、前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析ステップと、
指示出力部が、前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力ステップと、
前記状態取得部が取得した状態情報の履歴に、前記指示出力部によって出力された操作指示と、操作指示が表示される際に参照されたシナリオ情報とを関連づけて指示履歴として履歴蓄積部が記録するステップと、
履歴解析部が、前記履歴蓄積部に蓄積された指示履歴を集計して解析し、その解析結果を参照されたシナリオ情報に関連づけて出力可能に保持するステップと
を含むことを特徴とする操作支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートフォンなどの情報処理装置の操作手順をユーザーに提示して操作を支援する操作支援システム、操作支援プログラム及び操作支援方法に関する。

【背景技術】

【0002】

近年、スマートフォンなどの情報処理端末が広く普及してきており、コンピュータの操作に不慣れな利用者層も増大してきている。統計によれば、スマートフォンの利用者の８割がスマートフォンの利用時に不安を感じているという。その不安を解消するためには、その都度にショップ等の販売店を訪問するといった方法が主に採られており、その際、販売店において説明を受けるまで長時間待たされたり、店員に不安をうまく伝えられなかったりと、利用者にとって負担が大きいことから、不安を抱えている利用者のうち６割がその不安を解消できずに諦めているともいわれている。

【0003】

このような問題に対し、従来、ユーザーに対して情報処理装置の操作を案内する技術として、情報処理装置が、操作案内を表示するための情報を予め記憶しておき、ネットワークを介して受信される遠隔からの指示又は当該情報処理装置に対するユーザー操作に基づいて上述の情報を使用して操作案内を表示するものなどがある（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−０２３４９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１に開示された技術では、操作案内を表示するための情報を予め作成し、記憶しておくものであることから、操作案内が、実際の画面と異なることが多く、実用性に欠けるという問題があった。詳述すると、近年のスマートフォンではユーザーが自由にカスタマイズしたり、任意のアプリケーションをインストールすることができるため、ユーザーが任意にカスタマイズした設定内容や、インストールしたアプリケーションによって、画面表示が多様に変化する。そのため、予め準備された操作案内と、実際の画面表示が食い違う場合があり、利用者が混乱してしまいうまく操作案内従えない場合も多い。特に、設定画面などでは表示項目が多いことから、画面スクロールが必要となるケースが多く、操作が不慣れな利用者にあっては、操作案内で指示された項目が見つけられないことも多く、また、操作案内の途中で誤った操作をした場合には、操作案内で指示する画面に戻ることもできず、操作案内に従うことができないというケースもある。

【0006】

そこで、本発明は、上記のような問題を解決するものであり、スマートフォンなどの情報処理装置について、多様に変化する実際の画面に則し、利用者の操作に動的に対応した操作手順を示し、操作に不慣れな利用者であっても適切に操作案内ができる操作支援システム、操作支援プログラム及び操作支援方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る操作支援システムは、情報処理装置の操作手順を提示して操作を支援するシステムであって、
前記情報処理装置が有する表示手段に表示される画面に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部と、
前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部と、
前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部と、
前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力部と
を備え、
前記シナリオ情報には、操作支援に係る機能に関する画面を特定する図形又は文字列を含む画面特定情報と、当該操作支援に係る機能に必要な操作指示とが関連づけられて記述され、
前記操作解析部は、前記シナリオ情報を参照して、前記画面情報から画面特定情報を抽出し、抽出された画面特定情報に基づいてユーザーによる操作状態を判定し、
前記指示出力部は、前記操作解析部が判定した操作状態に基づいて、前記シナリオ情報に記述された操作指示を出力させることを特徴とする。
また、本発明に係る操作支援システムは、情報処理装置の操作手順を提示して操作を支援する操作支援システムであって、
前記情報処理装置が有する表示手段に表示される画面情報に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部と、
前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部と、
前記状態情報に含まれる画面情報及びステータス情報に基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部と、
前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力部と、
前記状態取得部が取得した状態情報の履歴に、前記指示出力部によって出力された操作指示と、操作指示が表示される際に参照されたシナリオ情報とを関連づけて指示履歴として記録する履歴蓄積部と、
前記履歴蓄積部に蓄積された指示履歴を集計して解析し、その解析結果を参照されたシナリオ情報に関連づけて出力可能に保持する履歴解析部と
を備えることを特徴とする。
また、本発明に係る操作支援プログラムは、情報処理装置の操作手順を提示して操作を支援するプログラムであって、前記情報処理装置を、
前記情報処理装置が有する表示手段に表示される画面に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部と、
前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部と、
前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部と、
前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力部として
機能させ、
前記シナリオ情報には、操作支援に係る機能に関する画面を特定する図形又は文字列を含む画面特定情報と、当該操作支援に係る機能に必要な操作指示とが関連づけられて記述され、
前記操作解析部は、前記シナリオ情報を参照して、前記画面情報から画面特定情報を抽出し、抽出された画面特定情報に基づいてユーザーによる操作状態を判定し、
前記指示出力部は、前記操作解析部が判定した操作状態に基づいて、前記シナリオ情報に記述された操作指示を出力させることを特徴とする。
また、本発明に係る操作支援プログラムは、情報処理装置の操作手順を提示して操作を支援する操作支援プログラムであって、前記情報処理装置を、
前記情報処理装置が有する表示手段に表示される画面情報に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部と、
前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部と、
前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部と、
前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力部と、
前記状態取得部が取得した状態情報の履歴に、前記指示出力部によって出力された操作指示と、操作指示が表示される際に参照されたシナリオ情報とを関連づけて指示履歴として記録する履歴蓄積部と、
前記履歴蓄積部に蓄積された指示履歴を集計して解析し、その解析結果を参照されたシナリオ情報に関連づけて出力可能に保持する履歴解析部として
機能させることを特徴とする。
さらに、本発明に係る操作支援方法は、情報処理装置の操作手順を提示して操作を支援する方法であって、
シナリオ取得部が、前記情報処理装置が有する表示手段に表示される画面に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得ステップと、
状態取得部が、前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得ステップと、
前記操作解析部が、前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析ステップと、
指示出力部が、前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力ステップと、
を含み、
前記シナリオ情報には、操作支援に係る機能に関する画面を特定する図形又は文字列を含む画面特定情報と、当該操作支援に係る機能に必要な操作指示とが関連づけられて記述され、
前記操作解析部は、前記シナリオ情報を参照して、前記画面情報から画面特定情報を抽出し、抽出された画面特定情報に基づいてユーザーによる操作状態を判定し、
前記指示出力部は、前記操作解析部が判定した操作状態に基づいて、前記シナリオ情報に記述された操作指示を出力させることを特徴とする。
また、本発明に係る操作支援方法は、情報処理装置の操作手順を提示して操作を支援する操作支援方法であって、
シナリオ取得部が、前記情報処理装置が有する表示手段に表示される画面に対応させて、前記情報処理装置が有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得ステップと、
状態取得部が、前記表示手段に現在表示されている画面情報と、前記情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得ステップと、
操作解析部が、前記状態情報に含まれる画面情報及びステータス情報と基づいて、前記シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析ステップと、
指示出力部が、前記操作解析部による解析結果及び前記シナリオ情報に基づき、操作指示を出力させる指示出力ステップと、
前記状態取得部が取得した状態情報の履歴に、前記指示出力部によって出力された操作指示と、操作指示が表示される際に参照されたシナリオ情報とを関連づけて指示履歴として履歴蓄積部が記録するステップと、
履歴解析部が、前記履歴蓄積部に蓄積された指示履歴を集計して解析し、その解析結果を参照されたシナリオ情報に関連づけて出力可能に保持するステップと
を含むことを特徴とする。

【0008】

これらの本発明によれば、タッチパネル等の表示手段に現在表示されている画面や動作状態をリアルタイムに解析し、シナリオ情報を参照して画面に則した操作手順を動的に示すことができる。この結果、本発明によれば、ユーザーが任意にカスタマイズした設定内容や、インストールしたアプリケーションによって、画面表示が変化していたり、画面スクロールが必要であったり、操作案内の途中で誤った操作をした場合であっても、適切な操作支援を提供することができる。

【0009】

また、上記発明によれば、次に操作すべき対象となるアイコンや設定項目名などのように図形又は文字列を含む操作対象特定情報を特定することができるとともに、操作すべきアイコン等の、タッチパネルなどの画面上における座標位置も特定できることから、より正確に画面に則した操作手順を動的に示すことができる。

【0010】

さらに、上記発明によれば、シナリオ情報を参照して示された操作指示と、それに応じたユーザーの操作を状態情報として関連づけて記録して解析することにより、シナリオ情報によるユーザーの反応を解析でき、その解析結果をシナリオ情報に関連づけて出力することができる。これにより、シナリオ情報の適正度を評価することができ、シナリオ情報の修正などに反映させることができ、より適切な操作支援を提供することができる。

【0011】

上記発明において前記シナリオ情報には、操作支援に係る機能に関する画面を特定する図形又は文字列を含む画面特定情報と、当該操作支援に係る機能に必要な操作指示とが関連づけられて記述され、
前記操作解析部は、前記シナリオ情報を参照して、前記画像情報から画面特定情報を抽出し、抽出された画面特定情報に基づいてユーザーによる操作状態を判定し、
前記指示出力部は、前記操作解析部が判定した操作状態に基づいて、前記シナリオ情報に記述された操作指示を前記画面情報に重畳させて表示させる
ことができる。

【0012】

この場合には、アイコンや設定項目名などのように図形又は文字列を含む画面特定情報を目印として現在表示されている画面を特定することができるとともに、目印となるアイコン等の画面上における座標位置も特定できることから、より正確に画面に則した操作手順を動的に示すことができる。

【発明の効果】

【0014】

以上述べたように、これらの発明によれば、スマートフォンなどの情報処理装置について、多様に変化する実際の画面に則し、現在表示されている利用者の操作に動的に対応した操作手順を示し、操作に不慣れな利用者であっても適切に操作案内を行うことができる。

【図面の簡単な説明】

【0015】

【図1】第１実施形態に係る情報処理装置の内部構成を示すブロック図である。

【図2】第１実施形態に係る情報処理装置のＣＰＵ上に構築されるモジュールを示すブロック図である。

【図3】第１実施形態に係る操作支援システムの動作を示すフローチャート図である。

【図4】第１実施形態に係る操作支援システムの動作に関し、情報処理装置の画面構成を示す説明図である。

【図5】第１実施形態に係る操作支援システムの動作に関し、情報処理装置の画面構成を示す説明図である。

【図6】第１実施形態に係る操作支援システムの動作に関し、情報処理装置の画面構成を示す説明図である。

【図7】第２実施形態に係る操作支援システムの全体構成を模式的に示す概念図である。

【図8】第２実施形態に係る支援サーバーの内部構成を示すブロック図である。

【図9】第２実施形態に係る情報処理装置の内部構成を示すブロック図である。

【図10】第２実施形態に係る操作支援システムの動作を示すシーケンス図である。

【図11】第１実施形態に係る操作支援システムの動作に関し、情報処理装置及び表示装置の画面構成を示す説明図である。

【図12】変更例に係る操作支援システムの全体構成を模式的に示す概念図である。

【発明を実施するための形態】

【0016】

以下に添付図面を参照して、本発明に係る操作支援システム、操作支援方法及び操作支援プログラムの実施形態を詳細に説明する。

【0017】

［第１実施形態］
本発明の第１実施形態について説明する。本実施形態では、情報処理装置に操作支援プログラムをインストールし、情報処理装置がスタンドアローンで動作する場合について説明する。なお、以下の各実施形態において「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

【0018】

（情報端末装置の構成）
図１は、本実施形態に係るスマートフォン１の内部構成を示すブロック図であり、図２は、スマートフォン１のＣＰＵ上に構築されるモジュールを示すブロック図である。

【0019】

スマートフォン１は、操作支援サービスの提供を受けるユーザーが使用する情報処理装置であり、通信機能やＣＰＵを備え、各種アプリケーションソフトをインストールすることにより様々な機能が実装可能となっている。本実施形態では、このスマートフォン１に操作支援アプリケーションをインストールして、操作支援システムとして機能させる。この情報処理端末としては、スマートフォンの他、例えば、パーソナルコンピュータ等の汎用コンピュータや、機能を特化させた専用装置により実現することができ、タブレットＰＣやモバイルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ ）、携帯電話機が含まれる。

【0020】

（スマートフォン１の構成）
詳しくは、スマートフォン１は、演算処理を行うＣＰＵ１１と、情報を一時的に記憶するメモリ１２と、通信回線やインターネットを介して外部との通信を行う通信インターフェース１３と、蓄積部であるストレージ１４と、出力インターフェース１５と、入力インターフェース１６とを有している。なお、本実施形態では、これらの各装置１１〜１６等はＣＰＵバス１０を介して接続されており、相互にデータの受渡しが可能となっている。

【0021】

ＣＰＵ１１は、各部を制御する際に必要な種々の演算処理を行う装置であり、各種プログラムを実行することにより、ＣＰＵ１１上に仮想的に各種モジュールを構築する。本実施形態では、このＣＰＵ９により、操作支援プログラムを実行することによって、この汎用的なスマートフォン１を、操作支援システムとして機能させる。

【0022】

通信インターフェース１３は、無線通信により無線基地局３１と通信を行うモジュールであり、ＬＴＥ回線、３Ｇ・４Ｇ回線や、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワーク、その他の公知の装置・通信方式を用いることができる。

【0023】

ストレージ１４は、データを記録媒体に蓄積するとともに、これら蓄積されたデータを各デバイスの要求に応じて読み出す装置であり、例えば、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリカード等により構成することができる。

【0024】

また、ＣＰＵバスには、ＧＰＳや無線基地局３１の識別子・座標などから自機の現在位置を測定する位置情報取得手段や、現在時刻を計時する時計手段などが接続されている。これらの位置情報取得手段及び時計手段による測定結果は、相互に紐付けられて自機のステータス情報として、メモリ１２やストレージ１４に蓄積されるとともに、ＣＰＵ１１上で実行されるＯＳやアプリケーションの要求に応じて受渡される。

【0025】

出力インターフェース１５は、ディスプレイやスピーカー等の出力デバイスから映像や音声を出力するために映像信号や音声信号を送出するモジュールであり、アプリケーション実行部１１２で実行されるアプリケーションソフトに関する映像や音声を出力することができる。入力インターフェース１６は、タッチパネル１６ａや物理的な操作ボタン１６ｂ等の操作デバイスから操作信号を受信するモジュールであり、受信された操作信号はＣＰＵ１１に伝えられ、ＯＳや各アプリケーションに対する操作を行うことができる。なお、本実施形態では、これら入力インターフェース１６及び出力インターフェース１５に接続されたタッチパネル１６ａでは、入力デバイスであるタッチパネルが、表示デバイスであるディスプレイに重畳されて構成されており、操作用画面の表示データをディスプレイに表示させ、それに応じたタッチ操作やゼスチャー操作がなされることによってユーザー操作信号を取得するＧＵＩが提供される。

【0026】

そして、ＣＰＵ１１上では、ＯＳ実行部１１１によってスマートフォン用に提供されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が起動・実行されており、このＯＳによってスマートフォン１の基本的な機能が制御されている。また、このＯＳ上ではアプリケーション実行部１１２によって、種々のアプリケーションが実行可能になっており、このアプリケーション実行部１１２によって、アプリケーションを実行することにより、様々な機能が実行される。

【0027】

詳述すると、ＯＳ実行部１１１は、ＣＰＵ上でＯＳプログラムを実行するためのモジュールであり、このＯＳ実行部１１１でＯＳプログラムが実行されることによって、スマートフォン１の基本的な機能が管理・制御され、アプリケーション実行部１１２で構築された各モジュールと、スマートフォン１の各装置・機能との連携を可能としている。アプリケーション実行部１１２は、ＣＰＵ上でアプリケーションプログラムを実行するためのモジュールであり、このアプリケーション実行部１１２でアプリケーションプログラムを実行することによって、種々の機能モジュールがＣＰＵ上に仮想的に構築される。

【0028】

（操作支援プログラムの構成）
本実施形態では、アプリケーション実行部１１２によって操作支援アプリケーションが実行されることにより、操作解析部１１２ａと、状態取得部１１２ｂと、シナリオ取得部１１２ｃと、支援選択部１１２ｄと、指示出力部１１２ｅとが提供される。

【0029】

シナリオ取得部１１２ｃは、シナリオ情報を取得するモジュールである。このシナリオ情報の取得方法としては、操作支援プログラムのダウンロードの際に、アプリケーションの一部として同時にダウンロードしたり、支援サーバーにアクセスしてダウンロードしたり、定期的にアップデートしたりして、データファイルとしてローカルデバイスであるメモリ１２やストレージ１４に蓄積しておき、アプリケーションの実行にあたり適宜読み出す等が挙げられる。

【0030】

このシナリオ情報とは、スマートフォン１のタッチパネル１６ａに表示される画面に対応させて、スマートフォン１が有する機能に関する操作手順を記述したテーブルデータであり、下表に示すような情報が画面毎に記述されている。

【表1】

【0031】

上表において「画面情報」とは、画面を表す画面名と、現在操作対象となっている画面を示すActivityのクラス名とが含められる。また、「画面特定目印画像」及び「画面特定目印テキスト」とは、例えば、図３（ｄ）に示すような、画面を特定する図形又は文字列を含む画面特定情報であり、この画像やテキストが画面内にあれば、その画面が現在の画面として判定される。「タッチ目印画像」とは、操作支援に係る機能に必要な操作の対象を特定するアイコン等の図形である操作特定情報であり、図４（ｃ）に示すようなアイコン等の図形の他、メニュー画面における項目名等の文字列も含まれる。また、「ガイド終了目印画像」とは、操作支援に係る操作が完了した画面を特定する図形又は文字列を含む画面特定情報である。

【0032】

このシナリオ情報では、上述した画面特定情報及び操作特定情報に、操作支援に係る機能に必要な操作指示が関連づけられている。この操作指示としては、上表における「スクロール方向」、「枠線の余白」、「メッセージ」、及び「次の画面情報」が含まれる。例えば、電話をかける場合の操作指示としては、
１．電話アイコンを押す
２．番号入力画面にする
３．番号を入力する
４．発信ボタンを押す
といった操作手順が含まれ、この操作手順の案内にあたり必要な画面特定情報及び操作特定情報として、上記操作手順の案内順に則し、
１．ホームアイコン
２．電話アプリアイコン
３．番号入力画面を開くボタン
４．番号ボタン（０〜９）
５．発信ボタン
がシナリオ情報に記述されている。

【0033】

支援選択部１１２ｄは、図４（ａ）に示すような操作支援アプリケーションのメニュー画面やスタート画面において、操作支援に関するシナリオの一覧を表示し、ユーザーがどの操作について支援を求めているのかの選択操作を受け付けるモジュールであり、ユーザーがタッチ操作などによって選択したシナリオをシナリオ取得部１１２ｃに取得させる。

【0034】

状態取得部１１２ｂは、画面に関する画面情報と、スマートフォン１の動作状態に関するステータス情報とを、状態情報として取得するモジュールである。ここで、「画面に関する画面情報」としては、ディスプレイに表示されているＧＵＩをそのままキャプチャーした静止画や動画である。この「ステータス情報」としては、現在表示されている画面名や、操作対象となってアクティブになっている画面を特定するActivityのクラス名の他、実行中のアプリケーション、電話をかけたり、カメラのシャッターを切ったりなど、スマートフォン１から発生するイベント情報、各種設定情報、アプリケーション等のレイアウト情報等が含まれる。この状態取得部１１２ｂで取得された各情報は、操作解析部１１２ａや指示出力部１１２ｅに入力される。

【0035】

操作解析部１１２ａは、状態取得部１１２ｂが取得した状態情報に含まれる画面情報及びステータス情報と基づいて、シナリオ情報を参照し、ユーザーによる操作状態を解析するモジュールである。この操作解析部１１２ａは、シナリオ取得部１１２ｃが読み出したシナリオ情報を参照して、画像情報中を検索して画面特定目印画像若しくは画面特定目印テキストに合致する画像や文字列を抽出し、抽出された画面特定目印画像若しくは画面特定目印テキストに基づいて、現在のユーザーによる操作状態を判定するとともに、画像情報中を検索してタッチ目印画像や文字列に合致する画像や文字列を抽出し、抽出された操作対象特定情報に基づいて、現在のユーザーによる操作状態を判定して、次に表示すべき操作指示の位置やタイミングを決定する。

【0036】

指示出力部１１２ｅは、操作解析部１１２ａによる解析結果及びシナリオ情報に基づき、操作指示を出力させるモジュールであり、例えば、操作解析部１１２ａが判定した操作状態に基づき、抽出された操作対象特定情報及びその画面上における位置に応じて、案内用のマークやメッセージなど、シナリオ情報に記述された操作指示を、画面情報に重畳させて表示させる。また、この指示出力部１１２ｅによる操作指示の出力としては、案内用やサポート用のメッセージ、アラートを音声や音響などで出力するようにしてもよい。

【0037】

（操作支援方法の手順）
以上説明した操作支援システムを動作させることにより、本発明の操作支援方法を実施することができる。図３は、本実施形態に係る操作支援システムの動作を示すフローチャート図である。なお、ここでは、ユーザーが電話をかける操作について支援を求めている場合を例に説明する。

【0038】

先ず、スマートフォン１において操作支援アプリケーションを起動する（Ｓ１０１）。この起動により、支援選択部１１２ｄが、図４（ａ）に示すような操作支援アプリケーションのメニュー画面Ｗ１において、操作支援に関するシナリオの一覧を表示させる。支援選択部１１２ｄは、このシナリオ一覧において、ユーザーがどの操作について支援を求めているのかの選択操作を促す。

【0039】

このシナリオ一覧において、ユーザーがタッチ操作などによって選択すると（Ｓ１０２）、支援選択部１１２ｄは、ユーザーが選択したシナリオ情報をシナリオ取得部１１２ｃに取得させる（Ｓ１０３）。ここでは、ユーザーが電話をかける操作について支援を求めていることから、図４（ａ）において矢印で示すアイコンＭ１「電話をかける(2)」を選択したものとする。

【0040】

このとき本実施形態では、スタンドアローン形式で動作することから、シナリオ情報は、既にローカルデバイスであるメモリ１２やストレージ１４に蓄積してあり、アプリケーションの実行にあたり適宜読み出されるようになっている。なお、ここで、このシナリオ情報の取得に際し、シナリオ取得部１１２ｃは、ローカルデバイスに適切なシナリオが存在しない場合には支援サーバーにアクセスして必要なシナリオ情報をダウンロードすることができる。また、このシナリオ情報の取得にあたり、最新のシナリオ情報がリリースされていないかどうかを確認し、常に、最新版のものにアップデートするようにしてもよい。

【0041】

ユーザー操作の解析についての前処理として、特定の画面及び操作対象を探索し、検出するために必要な情報を、選択されたシナリオ情報から抽出する。具体的には、シナリオ情報に記述されている「画面情報」、「画面特定目印画像」、「画面特定目印テキスト」、「タッチ目印画像」及び「ガイド終了目印画像」を抽出する。なお、ここでは、ユーザーが電話をかける操作について支援を求めていることから、図４（ｂ）に示すホーム画面Ｗ２を検出すべく、画面特定目印画像として、図４（ｄ）に示すアイコンＭ４を抽出するとともに、ユーザーが次に操作すべき対象である図４（ｃ）に示すアイコンＭ２を抽出する。

【0042】

次いで、ディスプレイに表示されている画面情報と、スマートフォン１の動作状態に関するステータス情報とを、状態情報として取得する（Ｓ１０４）。具体的には、画面情報として、ディスプレイに表示されているＧＵＩをそのままキャプチャーした静止画や動画として取得するとともに、ステータス情報として、現在表示されている画面名や、操作対象となってアクティブになっている画面を特定するActivityのクラス名の他、実行中のアプリケーション、電話をかけたり、カメラのシャッターを切ったりなど、スマートフォン１から発生するイベント情報、各種設定情報、アプリケーション等のレイアウト情報等が取得される。この状態取得部１１２ｂで取得された各情報は、操作解析部１１２ａや指示出力部１１２ｅに入力される。

【0043】

そして、状態取得部１１２ｂが取得した状態情報に含まれる画面情報及びステータス情報と基づいて、シナリオ情報を参照し、ユーザーによる操作状態を解析する。具体的には、操作解析部１１２ａが、シナリオ取得部１１２ｃが読み出したシナリオ情報を参照して、画像情報中を検索して画面特定目印画像、画面特定目印テキスト、又は操作対象特定情報に合致する画像や文字列を探索する（Ｓ１０５）。ここでは、図４に示すように、ホーム画面Ｗ２上に配置された電話をかけるアイコンＭ２をタッチ操作させるべく、ホーム画面Ｗ２を開く操作を誘導する。このホーム画面Ｗ２には、サブ画面へ遷移するためのアイコンＭ４が配置されていることから、ホーム画面Ｗ２の画面特定目印画像としてアイコンＭ４を探索、ホーム画面Ｗ２が検出された後、その画面内のアイコンＭ２を探索する。

【0044】

この状態取得は、画面特定目印画像が見つかるまで繰り返される（Ｓ１０５にける「Ｎ」）。なお、一定時間経過しても、ホーム画面Ｗ２が見つからない場合には、ホーム画面へ遷移するための操作支援として、メッセージをポップアップさせたり、ホーム画面を開くためのシナリオへ切り替えて、現在の画面からホーム画面Ｗ２に遷移するための案内を行った後、電話をかけるためのシナリオを再開させたりするようにしてもよい。

【0045】

そして、画面特定目印画像（アイコンＭ４）及び操作対象特定情報（Ｍ２）が検出された場合には（Ｓ１０５にける「Ｙ」）、現在のユーザーによる操作がシナリオに則したものであると判断し、その旨のメッセージとともに、次に操作すべき指示を出力させる（Ｓ１０６）。ここでは、電話をかけるための電話ダイヤル用画面Ｗ３に移行すべくアイコンＭ２のタッチを促す指示を表示させる。ここでは、アイコンＭ２を矩形状に囲んで強調するフレームＭ３を表示させる。なお、スクロールやスワイプなど同一画面であっても異なる箇所を表示させる必要があるときには、スクロール方向やスワイプ方向などを指示する。また、これらの操作指示の表示と合わせて、或いは操作指示の表示に代えて、メッセージやアラートを音声・音響などで出力するようにしてもよい。

【0046】

このフレームＭ３による案内に従ってユーザーが適正な操作を行った場合には（Ｓ１０７における「Ｙ」）、一連の操作が完了し、目的が達成されたか否かを判断する（Ｓ１０８）。ここでは、アイコンＭ２をタッチすることにより、図５（ａ）に示す電話ダイヤル用画面Ｗ３に遷移し、この電話ダイヤル用画面Ｗ３においても、同様の特定情報の探索が実行される。詳述すると、電話ダイヤル用画面Ｗ３において、ダイヤルの番号や、発信のためのアイコンＭ５を画面特定目印画像或いは操作対象特定情報として探索し、これらのアイコンＭ５などが検出された場合には（Ｓ１０５にける「Ｙ」）、現在のユーザーによる操作がシナリオに則したものであると判断し、その旨のメッセージとともに、次に操作すべき指示を出力させる（Ｓ１０６）。

【0047】

ここでは、ダイヤルをするためにプッシュボタンである数字を順にタッチするように、矩形状に囲んで強調するフレームＭ３を順次表示させる。その後、図５（ｂ）に示すように、発信のためのアイコンＭ５をタッチするようにフレームＭ３で強調する。なお、これらの操作指示の表示と合わせて、或いは操作指示の表示に代えて、メッセージやアラートを音声・音響などで操作指示を出力することもできる。

【0048】

なお、上記ステップＳ１０８における目的が達成されたか否かの判断としては、例えば、シナリオ情報中に、次の画面の指示が記述されているか否か、或いは「ガイド終了目印画像」が画面中にあるか否か等に基づいて、操作が完了したか、又は次の操作があるかを判断する。一方、ステップＳ１０７において一定時間経過しても、ユーザーが適正な操作を行わない場合には、操作を促すメッセージを表示又は音声を出力させるようにしてもよい。また、ユーザーがステップＳ１０７において、誤った操作を行ってしまった場合には、ステップＳ１０４に戻って状態を取得し直し、操作をやり直すための操作支援として、メッセージをポップアップさせたり、適正画面に戻るためのシナリオへ切り替えて、現在の画面から適正画面に遷移するための案内を行い、その後、電話をかけるためのシナリオを再開させたりするようにしてもよい。

【0049】

ステップＳ１０８において、操作が完了した場合には（Ｓ１０８における「Ｙ」）、図６に示すように、操作支援アプリケーションのメニュー画面Ｗ１に戻るとともに、ポップアップＭ６のような、操作が完了した旨を伝えるための完了表示を実行する（Ｓ１０９）。他方、操作が完了していない場合には（Ｓ１０８における「Ｎ」）、ステップＳ１０３に戻り、シナリオを参照したのち、上記ステップＳ１０４〜Ｓ１０８を繰り返す。

【0050】

（作用・効果）
このような本実施形態によれば、タッチパネルに現在表示されている画面や動作状態をリアルタイムに解析し、シナリオ情報を参照して画面に則した操作手順を動的に示すことができることから、ユーザーが任意にカスタマイズした設定内容や、インストールしたアプリケーションによって、画面表示が変化していたり、画面スクロールが必要であったり、操作案内の途中で誤った操作をした場合であっても、適切な操作支援を提供することができる。

【0051】

特に、本実施形態では、システムの全体を単体のアプリケーションとしてスマートフォン１にインストールし、スタンドアローン形式で動作することから、ネットワーク上の支援サーバーとの通信が不要であり、オフラインでも本システムを利用することができ、支援サーバーとの間での通信に要するタイムラグが発生せず、ストレスなくシステムを利用することができる。

【0052】

（変更例）
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

【0053】

例えば、上記実施形態では、スタンドアローン形式で動作することを前提としているが、状態取得部１１２ｂが取得した状態情報の履歴や、指示出力部１１２ｅによって表示された操作指示と、操作指示が表示される際に参照されたシナリオ情報Ｄ１とを関連づけて指示履歴として記録し、通信ネットワーク上の支援サーバーに定期的にアップロードするようにしてもよい。支援サーバでは、このアップロードされた指示履歴を集計し、その操作指示が表示された際に参照されたシナリオ情報と関連づけて解析するようにしてもよい。

【0054】

このような変更例によれば、シナリオ情報を参照して示された操作指示と、それに応じたユーザーの操作を状態情報として関連づけて記録して解析することにより、シナリオ情報によるユーザーの反応を解析でき、その解析結果をシナリオ情報に関連づけて出力することができる。これにより、シナリオ情報の適正度を評価することができ、シナリオ情報の修正などに反映させることができ、より適切な操作支援を提供することができる。

【0055】

［第２実施形態］
次いで、本発明の第２実施形態について説明する。本実施形態では、インターネットを通じて、スマートフォン１と、サービス提供者が運用する支援サーバーとを協働させる場合について説明する。なお、本実施形態において、上述した実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。

【0056】

（操作支援システムの全体構成）
図７は、第２実施形態に係る操作支援システムの全体構成を模式的に示す概念図であり、図８及び図９は、本実施形態に係る支援サーバー２、スマートフォン１の内部構成を示すブロック図である。

【0057】

図７に示すように、本実施形態に係る操作支援システムは、インターネット３上において、操作支援サービスを提供するサーバー群である支援サーバー２と、ユーザーが使用するスマートフォン１ａと、表示手段であるパーソナルコンピュータ１ｂとが相互にアクセス可能に配置されている。

【0058】

インターネット３は、無線通信網を含み、通信プロトコルＴＣＰ／ＩＰを用いて種々の通信回線（電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、４Ｇ、ＬＴＥ、３Ｇなど無線通信網）を相互に接続して構築される分散型の通信ネットワークであり、このインターネット３には、１０ＢＡＳＥ−Ｔや１００ＢＡＳＥ−ＴＸ等によるイントラネット（企業内ネットワーク）や、所定領域（企業、家庭等）内ネットワークなどのＬＡＮ・Ｗｉｆｉなども含まれる。

【0059】

無線基地局３１は、中継装置を通じてインターネット３に接続され、スマートフォン１ａやＰＣ１ｂとの間で４Ｇ、ＬＴＥ、３Ｇ、無線ＬＡＮなどの各種通信方式によって無線通信接続を確立し、スマートフォン１ａやＰＣ１ｂによる通話やデータ通信を提供する装置である。無線基地局３１には、インターネット３に接続するためのモデムやターミナルアダプタ、ゲートウェイ装置等のノード装置を備えられており、通信経路の選択や、データ（信号）の相互変換を行い、無線基地局３１と、インターネット３との間における中継処理も行う。

【0060】

支援サーバー２は、ユーザー管理機能や、操作支援機能、及びコンテンツ配信機能等を有するサーバー装置であり、複数の機能を分散させたサーバー群で実現可能となっている。この支援サーバー２には、Ｗｅｂサーバー機能が含まれ、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）等のドキュメントシステムにおいて、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、映像、音声、画像などの素材データから構成され、操作支援に必要なＷｅｂページ等のコンテンツを配信できるようになっている。

【0061】

スマートフォン１ａは、上述した実施形態同様に通信機能やＣＰＵを備えた情報処理端末であり、各種アプリケーションソフトをインストールすることにより様々な機能が実装可能であるが、本実施形態では、ＯＳの仕様上、複数のアプリケーションを重畳して実行・表示できないようになっており、上記第１実施形態のように、ホーム画面や設定画面、その他の画面上にマークを表示させることができないようになっている。このため本実施形態では、このようなＯＳの仕様に対応して、図９（ａ）に示すように、スマートフォン１ａには、インターネット３を通じて端末の状態情報を支援サーバー２に送信する状態送信部１１２ｆを設け、シナリオを参照した状態取得や操作解析は支援サーバー２側で行い、操作支援の指示出力は、パーソナルコンピュータ１ｂのディスプレイにて行う。

【0062】

（スマートフォン１ａの構成）
詳述すると、ＯＳ実行部１１１は、ＣＰＵ上でＯＳプログラムを実行するためのモジュールであり、このＯＳ実行部１１１でＯＳプログラムが実行されることによって、スマートフォン１の基本的な機能が管理・制御され、アプリケーション実行部１１２で構築された各モジュールと、スマートフォン１の各装置・機能との連携を可能としている。アプリケーション実行部１１２は、ＣＰＵ上でアプリケーションプログラムを実行するためのモジュールであり、このアプリケーション実行部１１２でアプリケーションプログラムを実行することによって、種々の機能モジュールがＣＰＵ上に仮想的に構築される。

【0063】

本実施形態では、アプリケーション実行部１１２によって操作支援アプリケーションが実行されることにより、状態送信部１１２ｆと、支援選択部１１２ｄとが提供される。

【0064】

支援選択部１１２ｄは、図４（ａ）に示すような操作支援アプリケーションのメニュー画面やスタート画面において、操作支援に関するシナリオの一覧を表示し、ユーザーがどの操作について支援を求めているのかの選択操作を受け付けるモジュールであり、ユーザーがタッチ操作などによって選択したシナリオを、サーバー側のシナリオ取得部２３に取得させる。

【0065】

状態送信部１１２ｆは、画面に関する画面情報と、スマートフォン１の動作状態に関するステータス情報とを、状態情報Ｄ２として支援サーバー２に送信するモジュールである。ここで、「画面情報」としては、ディスプレイに表示されているＧＵＩをそのままキャプチャーした静止画や動画である。この「ステータス情報」としては、現在表示されている画面名や、操作対象となってアクティブになっている画面を特定するActivityのクラス名の他、実行中のアプリケーション、電話をかけたり、カメラのシャッターを切ったりなど、スマートフォン１から発生するイベント情報、各種設定情報、アプリケーション等のレイアウト情報等が含まれる。

【0066】

（支援サーバー２の構成）
次いで、支援サーバー２の構成について説明する。図８は、実施形態に係る支援サーバー２の機能モジュールを示すブロック図である。同図に示すように、支援サーバー２は、インターネット３上に設置されたサーバー装置であり、インターネット３にアクセスして、スマートフォン１ａやパーソナルコンピュータ１ｂとの間でデータの送受信を行う通信インターフェース２１を備えている。

【0067】

この支援サーバー２においても、ＣＰＵ上にて操作支援プログラムが実行されており、ＣＰＵ１１上でアプリケーションが実行されることにより、様々な機能が実行される。この支援サーバー２は、操作支援に関するモジュールとして、操作解析部２２と、シナリオ取得部２３と、操作指示生成部２４と、状態取得部２５とを備えている。

【0068】

シナリオ取得部２３は、シナリオ情報Ｄ１を取得するモジュールであり、ハードディスク等の蓄積部２６内に格納されたシナリオ情報Ｄ１をアプリケーションの実行にあたり適宜読み出すモジュールである。

【0069】

状態取得部２５は、スマートフォン１側の状態送信部１１２ｆを通じて、スマートフォン１の画面に関する画面情報と、動作状態に関するステータス情報とを状態情報として取得するモジュールである。なお、本実施形態において状態取得部２５が取得する状態情報Ｄ２には、スマートフォン１側の支援選択部１１２ｄにおいて、ユーザーがタッチ操作などによって選択したシナリオを特定する識別子などが含まれる。

【0070】

操作解析部２２は、状態取得部２５が取得した状態情報Ｄ２に含まれる画面情報及びステータス情報と基づいて、シナリオ情報Ｄ１を参照し、ユーザーによる操作状態を解析するモジュールである。この操作解析部２２は、シナリオ取得部２３が読み出したシナリオ情報を参照して、画像情報中を検索して画面特定目印画像若しくは画面特定目印テキストに合致する画像や文字列を抽出し、抽出された画面特定目印画像若しくは画面特定目印テキストに基づいて、現在のユーザーによる操作状態を判定するとともに、画像情報中を検索してタッチ目印画像や文字列に合致する画像や文字列を抽出し、抽出された操作対象特定情報に基づいて、現在のユーザーによる操作状態を判定して、次に表示すべき操作指示の位置やタイミングを決定する。この解析結果は、操作指示生成部２４に出力される。

【0071】

操作指示生成部２４は、操作解析部２２による解析結果及びシナリオ情報Ｄ１に基づき、パーソナルコンピュータ１ｂに出力させる操作指示としての表示データや音声データを生成するモジュールであり、例えば、操作解析部２２が判定した操作状態に基づき、抽出された操作対象特定情報及びその画面上における位置に応じて、案内用のマークやメッセージなど、シナリオ情報に記述された操作指示を、画面情報に重畳させた表示データを生成し、通信インターフェース２１を通じてパーソナルコンピュータ１ｂに送信する。

【0072】

また、本実施形態において支援サーバー２は、操作支援のシステム性能及びサービス品質の向上を図る仕組みとして、履歴解析部２７を備えている。詳述すると、本実施形態では、状態取得部２５が取得した状態情報Ｄ２の履歴である状態履歴データＤ４に、操作指示生成部２４によって生成された操作指示データＤ３と、各操作指示データＤ３が出力される際に参照されたシナリオ情報Ｄ１とを関連づけて指示履歴データＤ５として蓄積部２６に記録しておき、この指示履歴データＤ５を解析することによって、シナリオ情報Ｄ１の改善が行えるようになっている。

【0073】

この履歴解析部２７は、蓄積部２６に蓄積された指示履歴データＤ５を集計して解析し、その解析結果を参照されたシナリオ情報Ｄ１に関連づけて解析結果データＤ６として蓄積部２８に蓄積する。この解析結果データＤ６は、関連づけられたシナリオ情報Ｄ１や、操作指示データＤ３、状態履歴データＤ４とともに出力可能となっており、各シナリオ情報によってユーザーがどのような振る舞いをしたか、どのような操作結果となったかなど、シナリオ情報に基づくユーザーの反応を解析することができる。これにより、シナリオ情報の適正度を評価することができ、シナリオ情報の修正などに反映させることができ、より適切な操作支援を提供することができる。

【0074】

この履歴解析部２７による解析としては、例えば、各シナリオ情報に基づいてユーザーが目的の操作を完了できたかどうか、完了できなかった場合、どの段階で操作を誤ったか、どの段階で操作指示から外れてしまったかを抽出し、その段階で出力されていた操作指示（指示出力情報）を特定するなどが挙げられる。また、他の解析手法としては、ユーザーが目的の操作を完了できた場合であっても、その操作を完了するまでの所要時間や、繰り返してしまった操作、手戻りなどが発生した箇所を抽出して、その段階で出力されていた操作指示（指示出力情報）を特定するようにしてもよい。

【0075】

（パーソナルコンピュータ１ｂの構成）
次いで、パーソナルコンピュータ１ｂについて説明する。図９（ｂ）は、本実施形態に係る表示装置の内部構成を示すブロック図である。本実施形態においてパーソナルコンピュータ１ｂは、インターネット３を通じての通信機能を備え、インターネット３を通じて受信されたデータを表示・出力できる機能を有する装置であり、例えば、パーソナルコンピュータや、タブレットＰＣ、スマートフォンの他、インターネット接続機能を備えたテレビ受像器などでもよい。

【0076】

このパーソナルコンピュータ１ｂにおいても、ＣＰＵ上にて画像表示用のプログラムが実行されており、ＣＰＵ１１上でアプリケーションが実行されることにより、様々な機能が提供される。このパーソナルコンピュータ１ｂは、操作支援に関するモジュールとして、指示出力部１１２ｅを備えている。

【0077】

この指示出力部１１２ｅは、支援サーバー２側の操作指示生成部２４で生成された操作指示データＤ３を出力させるモジュールであり、図１１に示すように、パーソナルコンピュータ１ｂのディスプレイ１５１では、スマートフォン１ａ側の画面に表示された画面と同一の画像がリアルタイムに表示されるとともに、操作対象特定情報であるアイコンＭ２に、案内用のフレームＭ３やメッセージなど、シナリオ情報に記述された操作指示が、画面情報に重畳されて表示される。また、この指示出力部１１２ｅによる操作指示の出力としては、案内用やサポート用のメッセージ、アラートを音声や音響などで出力するようにしてもよい。なお、この指示出力部１１２ｅは、本システム専用のアプリケーションとして提供されもよく、ブラウザソフトなどの汎用的なプログラムとしてもよい。

【0078】

（操作支援方法の手順）
以上説明した操作支援システムを動作させることにより、本実施形態に係る操作支援方法を実施することができる。図１０は、本実施形態に係る操作支援システムの動作を示すシーケンス図である。なお、ここでは、ユーザーが電話をかける操作について支援を求めている場合を例に説明する。

【0079】

先ず、スマートフォン１ａにおいて操作支援アプリケーションを起動する（Ｓ２０１）。この起動により、支援選択部１１２ｄが、図４（ａ）に示すような操作支援アプリケーションのメニュー画面Ｗ１において、操作支援に関するシナリオの一覧を表示させる。支援選択部１１２ｄは、このシナリオ一覧において、ユーザーがどの操作について支援を求めているのかの選択操作を促す。

【0080】

このシナリオ一覧において、ユーザーがタッチ操作などによって選択すると（Ｓ２０２）、支援選択部１１２ｄは、ユーザーが選択したシナリオ情報を特定する識別子を支援サーバー２側に送信して取得させる（Ｓ２０２及びＳ３０１）。ここでは、ユーザーが電話をかける操作について支援を求めていることから、図４（ａ）において矢印で示すアイコンＭ１「電話をかける(2)」を選択したものとする。

【0081】

本実施形態では、支援サーバー２側で操作解析を行うことから、シナリオ情報Ｄ１は蓄積部２６に蓄積してあり、支援選択部１１２ｄにおける選択操作に応じて、選択されたシナリオ情報がシナリオ取得部２３によって適宜読み出される（Ｓ３０２）。読み出されたシナリオ情報Ｄ１は、操作解析部２２や操作指示生成部２４、状態取得部２５に送出される。

【0082】

ユーザー操作の解析についての前処理として、特定の画面及び操作対象を探索し、検出するために必要な情報を、選択されたシナリオ情報から抽出する。具体的には、シナリオ情報に記述されている「画面情報」、「画面特定目印画像」、「画面特定目印テキスト」、「タッチ目印画像」及び「ガイド終了目印画像」を抽出する。なお、ここでは、ユーザーが電話をかける操作について支援を求めていることから、図４（ｂ）に示すホーム画面Ｗ２を検出すべく、画面特定目印画像として、図４（ｄ）に示すアイコンＭ４を抽出するとともに、ユーザーが次に操作すべき対象である図４（ｃ）に示すアイコンＭ２を抽出する。

【0083】

次いで、ディスプレイに表示されている画面情報と、スマートフォン１の動作状態に関するステータス情報とを、状態情報として支援サーバー２へ送信する（Ｓ２０３、Ｓ３０３）。具体的には、スマートフォン１側において、画面情報としてディスプレイに表示されているＧＵＩをそのままキャプチャーした静止画や動画として支援サーバー２に送信するとともに、ステータス情報として、現在表示されている画面名や、操作対象となってアクティブになっている画面を特定するActivityのクラス名の他、実行中のアプリケーション、電話をかけたり、カメラのシャッターを切ったりなど、スマートフォン１から発生するイベント情報、各種設定情報、アプリケーション等のレイアウト情報等が送信される。なお、ここで送信される状態情報は、時系列にしたがって記録され、状態履歴データＤ４として蓄積部２６に蓄積される。

【0084】

そして、支援サーバー２側において、状態取得部２５が取得した状態情報に含まれる画面情報及びステータス情報と基づき、シナリオ情報を参照し、ユーザーによる操作状態を解析する。具体的には、状態取得部２５が、シナリオ取得部２３が読み出したシナリオ情報を参照して、画像情報中を検索して画面特定目印画像、画面特定目印テキスト、又は操作対象特定情報に合致する画像や文字列を探索する（Ｓ３０４）。ここでは、図４に示すように、ホーム画面Ｗ２上に配置された電話をかけるアイコンＭ２をタッチ操作させるべく、ホーム画面Ｗ２を開く操作を誘導する。このホーム画面Ｗ２には、サブ画面へ遷移するためのアイコンＭ４が配置されていることから、ホーム画面Ｗ２の画面特定目印画像としてアイコンＭ４を探索、ホーム画面Ｗ２が検出された後、その画面内のアイコンＭ２を探索する。

【0085】

この状態取得は、画面特定目印画像が見つかるまで繰り返される（Ｓ３０４にける「Ｎ」）。なお、一定時間経過しても、ホーム画面Ｗ２が見つからない場合には、ホーム画面へ遷移するための操作支援として、メッセージをパーソナルコンピュータ１ｂ側で表示させたり、ホーム画面を開くためのシナリオへ切り替えて、現在の画面からホーム画面Ｗ２に遷移するための案内を行った後、電話をかけるためのシナリオを再開させたりするようにしてもよい。

【0086】

そして、画面特定目印画像（アイコンＭ４）及び操作対象特定情報（Ｍ２）が検出された場合には（Ｓ３０３にける「Ｙ」）、現在のユーザーによる操作がシナリオに則したものであると判断し、その旨のメッセージとともに、次に操作すべき指示をパーソナルコンピュータ１ｂに送信し、パーソナルコンピュータ１ｂ側にて出力させる（Ｓ３０５及びＳ４０３）。ここでは、電話をかけるための電話ダイヤル用画面Ｗ３に移行すべくアイコンＭ２のタッチを促す指示を表示させるとともに、対象となるアイコンＭ２を矩形状に囲んで強調するフレームＭ３を表示させる。なお、スクロールやスワイプなど同一画面であっても異なる箇所を表示させる必要があるときには、スクロール方向やスワイプ方向などを指示する。また、これらの操作指示の表示と合わせて、或いは操作指示の表示に代えて、メッセージやアラートを音声・音響などで指示を出力するようにしてもよい。
このステップＳ３０５で送信された指示出力情報は、時系列にしたがって記録され、指示履歴データＤ５として蓄積部２６に蓄積される。

【0087】

このフレームＭ３による案内に従ってユーザーが、スマートフォン１に対して適正な操作を行った場合には（Ｓ３０６における「Ｙ」）、一連の操作が完了し、目的が達成されたか否かを判断する（Ｓ３０７）。このステップＳ３０７における判断としては、例えば、シナリオ情報中に、次の画面の指示が記述されているか否か、或いは「ガイド終了目印画像」が画面中にあるか否か等に基づいて、操作が完了したか、又は次の操作があるかを判断する。一方、ステップＳ３０６において一定時間経過しても、ユーザーが適正な操作を行わない場合には、操作を促すメッセージを表示又は音声によって出力させるようにしてもよい。また、ユーザーがステップＳ３０６において、誤った操作を行ってしまった場合には、ステップＳ３０３に戻って状態を取得し直し、操作をやり直すための操作支援として、メッセージをポップアップさせたり、適正画面に戻るためのシナリオへ切り替えて、現在の画面から適正画面に遷移するための案内を行い、その後、電話をかけるためのシナリオを再開させたりするようにしてもよい。

【0088】

ステップＳ３０７において、操作が完了した場合には（Ｓ３０７における「Ｙ」）、操作支援アプリケーションのメニュー画面Ｗ１に戻るとともに、ポップアップＭ６のような、操作が完了した旨を伝えるための完了表示をパーソナルコンピュータ１ｂに送信し、パーソナルコンピュータ１ｂ側において表示させる（Ｓ３０８及びＤ４０４）。なお、本システムの操作支援をスマートフォン１主導で終了する場合には、スマートフォン１側のアプリケーションで終了操作を行い（Ｓ２０７及び完了表示Ｓ２０８）、この終了操作を状態情報として支援サーバー２側に送信することで、前記ステップＳ３０７において、操作完了であると判断される。他方、操作が完了していない場合には（Ｓ３０７における「Ｎ」）、ステップＳ３０２に戻り、シナリオを参照したのち、上記ステップＳ３０３〜Ｓ３０７を繰り返す。

【0089】

なお、本実施形態では、このような各ユーザーに対する操作支援を実行し、その履歴を蓄積するとともに、その各ユーザーに対する操作支援の履歴を定期的に集計して解析することにより、操作支援のシステム性能及びサービス品質の向上を図っている。具体的には、ステップＳ３０３で取得した状態情報Ｄ２の履歴である状態履歴データＤ４に対して、ステップＳ３０５で生成された操作指示データＤ３と、ステップＳ３０２で参照されたシナリオ情報Ｄ１とを関連づけて指示履歴データＤ５として蓄積部２６に記録しておき、この指示履歴データＤ５を解析する。これにより、各シナリオ情報によってユーザーがどのような振る舞いをしたか、どのような操作結果となったかなど、シナリオ情報に基づくユーザーの反応を解析することができ、シナリオ情報の適正度を評価して、シナリオ情報の修正などに反映させることができる。

【0090】

（作用・効果）
このような本実施形態によれば、タッチパネルに現在表示されている画面や動作状態をリアルタイムに解析し、シナリオ情報を参照して画面に則した操作手順を動的に示すことができることから、ユーザーが任意にカスタマイズした設定内容や、インストールしたアプリケーションによって、画面表示が変化していたり、画面スクロールが必要であったり、操作案内の途中で誤った操作をした場合であっても、適切な操作支援を提供することができる。

【0091】

特に、本実施形態では、スマートフォン１側には状態送信部１１２ｆを設け、操作解析や指示出力を支援サーバー２側で行うため、スマートフォン１側で行う演算処理を軽減することができる。さらに、本実施形態では、パーソナルコンピュータ１ｂをスマートフォン１とは別個に設け、指示出力をパーソナルコンピュータ１ｂで行うことから、例えば、ＯＳの仕様上、複数のアプリケーションを重畳して実行・表示できないような場合であっても、パーソナルコンピュータ１ｂにおいて、ホーム画面や設定画面、その他の画面上にマークを表示させることができ、ＯＳの仕様によらず操作支援サービスを提供することができる。

【0092】

（変更例）
なお、上述した実施形態の説明は、本発明の一例であり、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

【0093】

例えば、上記第２実施形態では、スマートフォン１側の状態送信部１１２ｆを、スマートフォン１のＣＰＵ上に構築されたモジュールとしたが、例えば、図１２に示すような、専用の中継装置３２としてもよい。この中継装置３２には、スマートフォン１の映像出力端子からＵＳＢケーブル３２ａやビデオ・オーディオケーブルなどを通じて、画面情報を映像信号として取得し、その映像信号をデジタル化してストリーミング配信にて支援サーバー２側に送信する機能を設ける。

【0094】

なお、この中継装置３２には、例えば、接続端子にＵＳＢケーブル３２ａが接続された時点で、自動的に支援サーバー２にアクセスし、ＵＳＢケーブル３２ａを通じて取得される映像信号を、状態情報として支援サーバー２に送信を開始する機能を設けてもよい。また、この中継装置３２にタッチパネルなどの映像出力・入力デバイスを設けて、上述した支援選択部１１２ｄや指示出力部１１２ｅの機能を設けてもよい。

【0095】

このような本変更例によれば、スマートフォン１を専用の中継装置３２に接続するだけで、操作支援システムを実行できるため、情報処理装置の操作に不慣れなユーザーであっても、簡単に操作支援サービスを受けることができる。

【符号の説明】

【0096】

Ｄ１…シナリオ情報
Ｄ２…状態情報
Ｄ３…操作指示データ
Ｄ４…状態履歴データ
Ｄ５…指示履歴データ
Ｄ６…解析結果データ
Ｍ１，Ｍ２，Ｍ４，Ｍ５…アイコン
Ｍ３…フレーム
Ｍ６…ポップアップ
Ｗ１…メニュー画面
Ｗ２…ホーム画面
Ｗ３…電話ダイヤル用画面
１，１ａ…スマートフォン
１ｂ…パーソナルコンピュータ（表示装置）
２…支援サーバー
３…インターネット
１０…ＣＰＵバス
１１…ＣＰＵ
１２…メモリ
１３…通信インターフェース
１４…ストレージ
１５…出力インターフェース
１６…入力インターフェース
１６ａ…タッチパネル
１６ｂ…操作ボタン
２１…通信インターフェース
２２…操作解析部（サーバー側）
２３…シナリオ取得部（サーバー側）
２４…操作指示生成部（サーバー側）
２５…状態取得部（サーバー側）
２６，２８…蓄積部
２７…履歴解析部
３１…無線基地局
３２…中継装置
３２ａ…ＵＳＢケーブル
１１１…ＯＳ実行部
１１２…アプリケーション実行部
１１２ａ…操作解析部（スマートフォン側）
１１２ｂ…状態取得部（スマートフォン側）
１１２ｃ…シナリオ取得部（スマートフォン側）
１１２ｄ…支援選択部（スマートフォン側）
１１２ｅ…指示出力部（スマートフォン側）
１１２ｆ…状態送信部（スマートフォン側）
１５１…ディスプレイ

【要約】      （修正有）

【課題】利用者の操作に動的に対応した操作手順を示し、操作に不慣れな利用者であっても適切に操作案内をする操作支援システムを提供する。
【解決手段】スマートフォンが有する表示手段に表示される画面に対応させて、スマートフォンが有する機能に関する操作手順を示すシナリオ情報を取得するシナリオ取得部１１２ｃと、表示手段に現在表示されている画面情報と、情報処理装置の動作状態に関するステータス情報とを、状態情報として取得する状態取得部１１２ｂと、状態情報に含まれる画面情報及びステータス情報と基づいて、シナリオ情報を参照し、ユーザーによる操作状態を解析する操作解析部１１２ａと、操作解析部１１２ａによる解析結果及びシナリオ情報に基づき、操作指示を出力させる指示出力部１１２ｅと、を備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】