特許 5715977 操作支援表示装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5715977

(24)【登録日】2015年3月20日

(45)【発行日】2015年5月13日

(54)【発明の名称】操作支援表示装置およびプログラム

(51)【国際特許分類】

   G06F 3/048 20130101AFI20150423BHJP

   G06F 3/01 20060101ALI20150423BHJP

【ＦＩ】

   G06F3/048 653A

   G06F3/01 310C

【請求項の数】4

【全頁数】9

(21)【出願番号】特願2012-48563(P2012-48563)

(22)【出願日】2012年3月5日

(65)【公開番号】特開2013-186500(P2013-186500A)

(43)【公開日】2013年9月19日

【審査請求日】2013年3月21日

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】望月 克人

(72)【発明者】

【氏名】三部 雅法

【審査官】 征矢 崇

(56)【参考文献】

【文献】 特開平０８−０４４４９０（ＪＰ，Ａ）

【文献】 特開２００１−２１６０６９（ＪＰ，Ａ）

【文献】 特開２００６−０６８３１５（ＪＰ，Ａ）

【文献】 特開２０１０−０１５５５３（ＪＰ，Ａ）

【文献】 特開２０１１−１８６７３０（ＪＰ，Ａ）

【文献】 特開２０００−０２０２０７（ＪＰ，Ａ）

【文献】 特開２００２−２２９７０４（ＪＰ，Ａ）

【文献】 特開２０１１−０９６０８４（ＪＰ，Ａ）

【文献】 特開２００８−０５２５９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ３／０１；３／０４８

(57)【特許請求の範囲】

【請求項1】

利用者の位置および動作を認識する動作認識装置と、
操作支援表示処理の開始の合図となる動作を表したアイコンを初期画面として表示するとともに、当該アイコンを参考にした動作の前記動作認識装置による認識に基づく前記操作支援表示処理の開始後、前記動作認識装置の認識動作情報を表示部に表示される画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示するサブウィンドウを前記画像に重畳させて表示する表示制御部と、
前記動作認識装置からの前記認識動作情報に基づく前記利用者の位置および動作をユーザ操作として反映させる動作反映部と、
を備え、
前記表示制御部は、前記動作反映部で反映した前記ユーザ操作に応じて前記サブウィンドウの前記操作ガイダンスを更新する、
ことを特徴とする操作支援表示装置。

【請求項2】

前記表示制御部は、前記動作認識装置の認識結果として前記利用者による指示ポインタが前記サブウィンドウ上に重なる場合には、当該サブウィンドウの表示位置を移動させる、
ことを特徴とする請求項１記載の操作支援表示装置。

【請求項3】

利用者の位置および動作を認識する動作認識装置を備えるコンピュータを、
操作支援表示処理の開始の合図となる動作を表したアイコンを初期画面として表示するとともに、当該アイコンを参考にした動作の前記動作認識装置による認識に基づく前記操作支援表示処理の開始後、前記動作認識装置の認識動作情報を表示部に表示される画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示するサブウィンドウを前記画像に重畳させて表示する表示制御部と、
前記動作認識装置からの前記認識動作情報に基づく前記利用者の位置および動作をユーザ操作として反映させる動作反映部と、
として機能させ、
前記表示制御部は、前記動作反映部で反映した前記ユーザ操作に応じて前記サブウィンドウの前記操作ガイダンスを更新する、
ことを特徴とするプログラム。

【請求項4】

前記表示制御部は、前記動作認識装置の認識結果として前記利用者による指示ポインタが前記サブウィンドウ上に重なる場合には、当該サブウィンドウの表示位置を移動させる、
ことを特徴とする請求項３記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、操作支援表示装置およびプログラムに関する。

【背景技術】

【0002】

広告、イベント、お知らせ等のコンテンツを不特定者に提示する仕組みとして、表示装置等のサイネージ端末にデジタル化されたコンテンツを表示させるシステム、いわゆるデジタルサイネージシステムが知られている。

【0003】

また、近年においては、カメラに映った利用者までの距離を計測するとともに、利用者の骨格のさまざまな動きを検出する動作認識装置も開発されている。このような動作認識装置による利用者の位置や動作などの認識結果をポインティングデバイスの出力とすることによって、各種の操作を行うことも検討されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、動作認識装置の認識結果をポインティングデバイスの出力として利用する場合、利用者はマウスやタッチパネルなどと異なり直接インタフェース装置に直接触れることがないため、体感的なフィードバッグが生じない。そのため、従来においては、利用者は画面上の状況を見て操作状況を判断するしかなかった。

【課題を解決するための手段】

【0005】

実施形態の操作支援表示装置は、利用者の位置および動作を認識する動作認識装置と、操作支援表示処理の開始の合図となる動作を表したアイコンを初期画面として表示するとともに、当該アイコンを参考にした動作の前記動作認識装置による認識に基づく前記操作支援表示処理の開始後、前記動作認識装置の認識動作情報を表示部に表示される画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示するサブウィンドウを前記画像に重畳させて表示する表示制御部と、前記動作認識装置からの前記認識動作情報に基づく前記利用者の位置および動作をユーザ操作として反映させる動作反映部と、を備え、前記表示制御部は、前記動作反映部で反映した前記ユーザ操作に応じて前記サブウィンドウの前記操作ガイダンスを更新する。

【0006】

実施形態のプログラムは、利用者の位置および動作を認識する動作認識装置を備えるコンピュータを、操作支援表示処理の開始の合図となる動作を表したアイコンを初期画面として表示するとともに、当該アイコンを参考にした動作の前記動作認識装置による認識に基づく前記操作支援表示処理の開始後、前記動作認識装置の認識動作情報を表示部に表示される画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示するサブウィンドウを前記画像に重畳させて表示する表示制御部と、前記動作認識装置からの前記認識動作情報に基づく前記利用者の位置および動作をユーザ操作として反映させる動作反映部と、として機能させ、前記表示制御部は、前記動作反映部で反映した前記ユーザ操作に応じて前記サブウィンドウの前記操作ガイダンスを更新する。

【図面の簡単な説明】

【0007】

【図1】図１は、本実施形態にかかる情報処理システムの概略構成を示すブロック図である。

【図2】図２は、サイネージ端末装置の外観正面図である。

【図3】図３は、サイネージ端末装置の概略構成を示すブロック図である。

【図4】図４は、サイネージ端末装置の機能構成を示すブロック図である。

【図5】図５は、表示画面の一例を示す正面図である。

【図6】図６は、操作支援表示処理の流れを示すフローチャートである。

【図7】図７は、画面の遷移を説明するための図である。

【発明を実施するための形態】

【0008】

図１は、本実施形態にかかる情報処理システム１０の概略構成を示すブロック図である。以下の説明では、本実施形態にかかる情報処理システムがショッピングモールに設けられた場合について説明する。

【0009】

本実施形態にかかる情報処理システム１０は、デジタルサイネージ管理装置である情報配信サーバ１１と、デジタルサイネージ再生装置である複数のサイネージ端末装置１４とを備えている。

【0010】

情報配信サーバ１１は、構内ＬＡＮ（Local Area Network）等の通信ネットワーク１２を介してサイネージ端末装置１４に接続されており、商品の広告情報やイベントの情報などの情報のコンテンツをサイネージ端末装置１４に対して配信、またコンテンツをサイネージ端末装置１４からのアクセスによって取得させる。

【0011】

サイネージ端末装置１４は、通信ネットワーク１２を介して情報配信サーバ１１から配信または取得したコンテンツデータを再生して表示する。

【0012】

図２は、サイネージ端末装置の外観正面図である。サイネージ端末装置１４は、液晶ディスプレイあるいはプラズマディスプレイとして構成された表示部であるディスプレイユニット２１と、各種チケット，クーポン等を印刷して発行するプリンタユニット２２と、ディスプレイユニット２１，プリンタユニット２２を保持する筐体部２４と、を備えている。

【0013】

筐体部２４の上部には、動作認識装置２５と、ＢＧＭや広告音声等の各種音響出力を行うスピーカユニット２６が内蔵されている。なお、画像認識等の処理は、サイネージ端末装置１４で行うことなく、情報配信サーバ１１等の上流側サーバで行っても良い。

【0014】

動作認識装置２５は、例えばカメラ、センサ、プロセッサなどを備えており、サイネージ端末装置１４に対面する利用者の位置、動作、顔などを認識する。より詳細には、動作認識装置２５は、カメラに映った利用者から当該装置までの距離を計測し、利用者の骨格のさまざまな動きを検出する。

【0015】

図３は、サイネージ端末装置１４の概略構成を示すブロック図である。サイネージ端末装置１４は、上述したディスプレイユニット２１、プリンタユニット２２、動作認識装置２５、およびスピーカユニット２６の他、当該サイネージ端末装置１４全体を制御するコントローラ３１と、ユーザが各種操作を行うための操作部３２と、通信ネットワーク１２を介して情報配信サーバ１１との間で通信を行うためのネットワーク通信インタフェース（ＩＦ）３３と、近距離無線通信部２３を構成し、携帯情報端末装置１３に対して広告情報やイベント情報等の情報に関連する情報を配信するための情報配信用通信インタフェース（ＩＦ）３４と、各種データを記憶する外部記憶装置３５と、を備えている。

【0016】

ここで、コントローラ３１は、当該コントローラ３１全体を制御するＭＰＵ（Micro Processing Unit）３６と、ＭＰＵ３６が動作するための制御プログラム等を格納したＲＯＭ（Read Only Memory）３７と、各種データを一時的に記憶するＲＡＭ（Random Access Memory）３８と、を備えている。そして、コントローラ３１は、ＭＰＵ３６がＲＯＭ３７に格納された制御プログラムを実行することにより、通信ネットワーク１２を介して情報配信サーバ１１から配信されたコンテンツを再生して、再生したコンテンツをディスプレイユニット２１に表示する。また、操作部３２は、各種スイッチ、ボタン等で構成したり、ポインティングデバイスであるタッチパネルとしてディスプレイユニット２１と一体に構成したりしても良い。

【0017】

また、本実施形態においては、動作認識装置２５もポインティングデバイスとして機能する。より詳細には、コントローラ３１は、動作認識装置２５が認識した利用者の動作や手の位置などの認識結果に基づいて、ディスプレイユニット２１に表示されたコンテンツに対する操作を可能にしている。

【0018】

ところが、動作認識装置２５の認識結果をポインティングデバイスの出力として利用する場合、利用者はマウスやタッチパネルなどと異なり直接インタフェース装置に直接触れることがないため、体感的なフィードバッグが生じない。そのため、従来においては、利用者は画面上の状況を見て操作状況を判断するしかなかった。

【0019】

次に、上述したような問題を解決するために、本実施形態にかかる操作支援表示装置であるサイネージ端末装置１４が有する特徴的な機能について説明する。図４は、サイネージ端末装置１４の機能構成を示すブロック図である。コントローラ３１は、ＲＯＭ３７に記憶された制御プログラムに従ってＭＰＵ３６を動作させることで、図４に示すように、表示制御部３１１、動作反映部３１２として機能する。

【0020】

表示制御部３１１は、サイネージ端末装置１４に配信されてディスプレイユニット２１に表示されるコンテンツ画像に対する操作を支援する操作支援サブウィンドウＳＷ（図５参照）を表示するための情報（例えば、表示位置、表示アイコン等）を付加して配信する。また、表示制御部３１１は、動作認識装置２５の認識結果として利用者による指示ポインタが操作支援サブウィンドウＳＷ上に重なる場合には、操作支援サブウィンドウＳＷの表示位置を移動させる。これにより、ユーザの操作に影響を与えないようにすることもできる。なお、表示制御部３１１は、利用者による指示ポインタの移動に同期させて操作支援サブウィンドウＳＷを移動させてカーソル代わりにしても良い。

【0021】

ここで、図５はサイネージ端末装置１４のディスプレイユニット２１に表示される表示画面の一例を示す正面図である。図５に示すように、例えば操作部３２が操作されて、サイネージ端末装置１４で再生するコンテンツの決定が要求されると、表示制御部３１１は、ディスプレイユニット２１にコンテンツＣを表示する。加えて、表示制御部３１１は、サイネージ端末装置１４のディスプレイユニット２１に表示されているコンテンツＣに重畳させて操作支援サブウィンドウＳＷを表示する。

【0022】

操作支援サブウィンドウＳＷは、動作認識装置２５からの認識動作情報をポインティングデバイスの出力として利用する場合における操作状態を示す操作ガイダンスを表示するものである。

【0023】

動作反映部３１２は、サイネージ端末装置１４のディスプレイユニット２１に表示された操作支援サブウィンドウＳＷの表示内容に従った利用者の位置や動作を識別した動作認識装置２５からの認識動作情報を取得し、当該利用者の位置および動作をユーザ操作として反映させる。

【0024】

次に、サイネージ端末装置１４における操作支援表示処理について詳細に説明する。ここで、図６はサイネージ端末装置１４における操作支援表示処理の流れを示すフローチャート、図７はサイネージ端末装置１４のディスプレイユニット２１に表示された画面の遷移を説明するための図である。

【0025】

表示制御部３１１は、情報配信サーバ１１から配信されたコンテンツを受信した順に再生して、再生したコンテンツの画像をディスプレイユニット２１に表示するとともに（ステップＳ１）、動作認識装置２５の認識可能領域に利用者が映ることにより利用者の動作の認識が開始されると（ステップＳ２のＹｅｓ）、動作認識装置２５からの認識動作情報をポインティングデバイスの出力として利用する場合における操作ガイダンスを操作支援サブウィンドウＳＷとして表示する（ステップＳ３）。

【0026】

例えば、図７（ａ）に示す操作支援サブウィンドウＳＷの初期画面では、操作ガイダンスとして操作支援表示処理の開始の合図となる動作を表した開始アイコンＡが表示される。開始アイコンＡは、「人物が右手を挙げた状態」を簡単な絵柄で記号化して表現している。なお、開始アイコンＡに表現される動作としては、「手を右に振る」、「手を左に振る」など様々な動作が適用可能である。なお、絵だけでは意味が分からないような場合には、文字による説明が付されていても良いし、文字のみであっても良い。

【0027】

次いで、表示制御部３１１は、利用者が開始アイコンＡを参考にして同じように右手を挙げる動作を実施したことを示す認識動作情報を動作認識装置２５から受信して処理の開始を判断すると（ステップＳ４のＹｅｓ）、操作支援表示処理を開始する（ステップＳ６）。なお、操作支援サブウィンドウＳＷに表示されるアイコンと動作認識装置２５から受信する認識動作情報とは予め対応付けられて外部記憶装置３５に格納されるテーブルに記憶されている。

【0028】

操作支援表示処理が開始されると、動作反映部３１２は、動作認識装置２５から受信した認識動作情報をポインティングデバイスの出力と同等の操作に置換えた状態を、操作支援サブウィンドウＳＷに示す。また、操作支援表示処理の開始の結果として、ポインティングデバイスの指示ポインタ（カーソル）が操作支援サブウィンドウＳＷの表示とともに表示されるとともに、指示ポインタ（カーソル）が手の動きに従って移動することになる。

【0029】

例えば、図７（ｂ）に示す操作支援サブウィンドウＳＷでは、利用者がまだ動作していないことを示す認識動作情報を、マウスが動かされていない状態と同等の操作に置換えた状態の操作ガイダンスに更新している。

【0030】

例えば、図７（ｃ）に示す操作支援サブウィンドウＳＷでは、利用者が手を右から左に動かす動作を実施したことを示す認識動作情報を、マウスを移動させた状態と同等の操作に置換えた状態の操作ガイダンスに更新している。

【0031】

また、図７（ｄ）に示す操作支援サブウィンドウＳＷでは、利用者が手を一時的に停止する動作を実施したことを示す認識動作情報を、マウスを停止させた状態と同等の操作に置換えた状態の操作ガイダンスに更新している。

【0032】

また、図７（ｅ）に示す操作支援サブウィンドウＳＷでは、利用者が手の指でクリックする動作を実施したことを示す認識動作情報を、マウスをクリックした状態と同等の操作に置換えた状態の操作ガイダンスに更新している。

【0033】

また、図７（ｆ）に示す操作支援サブウィンドウＳＷでは、利用者が手をサイネージ端末装置１４に近づけて弾く動作を実施したことを示す認識動作情報を、フリックした状態と同等の操作に置換えた状態の操作ガイダンスに更新している。

【0034】

このように、本実施形態の操作支援表示装置によれば、利用者の位置および動作を認識する動作認識装置２５の認識動作情報をディスプレイユニット２１に表示されるコンテンツ画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示する操作支援サブウィンドウＳＷをコンテンツ画像に重畳させて表示させる表示制御部３１１と、動作認識装置２５からの認識動作情報に基づく利用者の位置および動作をユーザ操作として反映させる動作反映部３１２と、を備え、表示制御部３１１は、動作反映部３１２で反映したユーザ操作に応じて操作支援サブウィンドウＳＷの操作ガイダンスを更新する。これにより、ディスプレイユニット２１に表示されたコンテンツに対する操作を行うユーザは、操作支援サブウィンドウＳＷの操作ガイダンスを見ることで現在の操作内容を理解することができるので、ユーザは操作に対するフィードバックを受けることができる。

【0035】

また、これらの操作支援表示処理はサイネージ端末装置１４側で行うため、情報配信サーバ１１側はこれを意識した実装をする必要がない。

【0036】

本実施形態においては、操作支援表示装置としてサイネージ端末装置１４を適用したが、これに限るものではなく、パーソナルコンピュータ等の情報処理装置などにも適用可能である。

【0037】

本実施形態のサイネージ端末装置１４で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0038】

また、本実施形態のサイネージ端末装置１４で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のサイネージ端末装置１４で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0039】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0040】

１４ 操作支援表示装置
２１ 表示部
２５ 動作認識装置
３１１ 表示制御部
３１２ 動作反映部
ＳＷ サブウィンドウ

【先行技術文献】

【特許文献】

【0041】

【特許文献1】特開２０１０−０７９７７０号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】