特開 2023-49411 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023049411

(43)【公開日】2023-04-10

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230403BHJP

   G06F 3/16 20060101ALI20230403BHJP

【ＦＩ】

G06F3/01 570

G06F3/01 590

G06F3/16 690

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021159127

(22)【出願日】2021-09-29

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】青山 紀章

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA54

5E555BA05

5E555BA06

5E555BA23

5E555BA24

5E555BA33

5E555BB05

5E555BB06

5E555BB23

5E555BB24

5E555BB33

5E555BC17

5E555CA42

5E555CB65

5E555CB66

5E555CC07

5E555DA23

5E555DB44

5E555DC72

5E555EA22

5E555FA00

(57)【要約】

【課題】電子コンテンツの利用を適切に支援し得る情報処理装置を提供する。
【解決手段】電子コンテンツを表示可能なディスプレイと、利用者の視線の先にあるディスプレイ上の位置を特定する特定部と、カメラにより取得された利用者の画像から、利用者のジェスチャを認識する認識部と、認識部により認識されたジェスチャが所定のジェスチャであるか否かを判定し、所定のジェスチャであると判定した場合、特定部により特定された位置に表示されている電子コンテンツに係る情報を出力する出力部と、を設けるようにした。
【選択図】図１

【特許請求の範囲】

【請求項1】

電子コンテンツを表示可能なディスプレイと、
利用者の視線の先にある前記ディスプレイ上の位置を特定する特定部と、
カメラにより取得された前記利用者の画像から、前記利用者のジェスチャを認識する認識部と、
前記認識部により認識されたジェスチャが所定のジェスチャであるか否かを判定し、前記所定のジェスチャであると判定した場合、前記特定部により特定された位置に表示されている電子コンテンツに係る情報を出力する出力部と、
を備える情報処理装置。

【請求項2】

スピーカを備え、
前記出力部は、前記所定のジェスチャが前記電子コンテンツに係る情報を音声出力するための第１のジェスチャである場合、前記電子コンテンツに係る情報を、前記スピーカを介して音声出力する、
請求項１に記載の情報処理装置。

【請求項3】

前記出力部は、前記所定のジェスチャが前記電子コンテンツに係る情報を表示出力するための第２のジェスチャである場合、前記電子コンテンツに係る情報を前記ディスプレイに表示する、
請求項１に記載の情報処理装置。

【請求項4】

前記出力部は、前記特定部により特定された位置に表示されている電子コンテンツが文章である場合、前記スピーカを介して前記文章の音声出力を開始する、
請求項２に記載の情報処理装置。

【請求項5】

前記出力部は、前記認識部により認識されたジェスチャが前記所定のジェスチャとは異なる第３のジェスチャであるか否かを判定し、前記第３のジェスチャであると判定した場合、前記文章の音声出力を終了する、
請求項４に記載の情報処理装置。

【請求項6】

前記出力部は、前記特定部により特定された位置に表示されている電子コンテンツが漢字を含む単語であり、かつ、前記利用者の視線が一定の時間を超えて前記位置にある場合、前記単語の読みを、前記スピーカを介して音声出力する、
請求項２に記載の情報処理装置。

【請求項7】

前記出力部は、前記特定部により特定された位置に表示されている電子コンテンツが外国語の単語であり、かつ、前記利用者の視線が一定の時間を超えて前記位置にある場合、前記外国語の単語の翻訳に用いる語を、前記スピーカを介して音声出力する、
請求項２に記載の情報処理装置。

【請求項8】

電子コンテンツを表示可能なディスプレイを備える情報処理装置が実行する情報処理方法であって、
特定部が、利用者の視線の先にある前記ディスプレイ上の位置を特定することと、
認識部が、カメラにより取得された前記利用者の画像から、前記利用者のジェスチャを認識することと、
出力部が、前記認識部により認識されたジェスチャが所定のジェスチャであるか否かを判定し、前記所定のジェスチャであると判定した場合、前記特定部により特定された位置に表示されている電子コンテンツに係る情報を出力することと、
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、電子コンテンツの利用を支援する技術に関する。

【背景技術】

【0002】

従来、利用者の視線を検出することで、文字認識の対象を特定し、特定した対象について文字認識処理を行う情報処理装置が開発されている。かかる情報処理装置において、文字認識の対象を正確に特定することは容易でない。

【0003】

この点、使用者の注視点を検出しつつ、画面上の認識すべき文字が映っている領域を容易に特定することができ、認識した文字を正確に翻訳することが可能な表示文字翻訳装置が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５－２６７３８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術によれば、利用者が画面上の所定の位置に表示されている文字を注視した場合、利用者が注視した文字を認識することができるとともに、認識した文字に対する翻訳結果を出力することが可能となる。しかしながら、利用者が画面上の文字を注視した場合に、必ず翻訳されてしまうという問題がある。

【0006】

本発明は、以上の点を考慮してなされたもので、電子コンテンツの利用を適切に支援し得る情報処理装置等を提案しようとするものである。

【課題を解決するための手段】

【0007】

かかる課題を解決するため本発明においては、電子コンテンツを表示可能なディスプレイと、利用者の視線の先にある前記ディスプレイ上の位置を特定する特定部と、カメラにより取得された前記利用者の画像から、前記利用者のジェスチャを認識する認識部と、前記認識部により認識されたジェスチャが所定のジェスチャであるか否かを判定し、前記所定のジェスチャであると判定した場合、前記特定部により特定された位置に表示されている電子コンテンツに係る情報を出力する出力部と、を設けるようにした。

【0008】

上記構成では、所定のジェスチャが認識された場合、視線の先にある電子コンテンツに係る情報が出力される。上記構成によれば、例えば、利用者は、電子コンテンツから視線を逸らすことなく、所望のタイミングで電子コンテンツに係る情報を得ることができる。また、例えば、利用者は、情報処理装置に触れることなく電子コンテンツに係る情報が得られる。

【発明の効果】

【0009】

本発明によれば、利便性の高い情報処理装置を実現することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施の形態による情報処理装置の一例を示す図である。

【図2】第１の実施の形態による情報処理装置に係るハードウェア構成の一例を示す図である。

【図3】第１の実施の形態による情報処理装置に係る機能構成の一例を示す図である。

【図4】第１の実施の形態による出力処理の一例を示す図である。

【図5】第１の実施の形態による情報処理装置の一例を示す図である。

【図6】第１の実施の形態による出力処理の一例を示す図である。

【発明を実施するための形態】

【0011】

（Ｉ）第１の実施の形態
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。

【0012】

本実施の形態の情報処理装置は、例えば、インカメラを用いて、利用者の視線を検出し、電子コンテンツが表示されている画面上のどの部分を利用者が読んでいるかを分析するとともに、利用者の顔の状況も捉える。かかる情報処理装置では、利用者が読めない漢字、外国語等の単語に遭遇した場合、指を顔の一部にあてるジェスチャにより、読めないと想定される単語、当該単語の訳語（翻訳に用いる語）等が、スピーカから読み上げられたり、ディスプレイに表示されたりする。

【0013】

ここで、情報処理装置は、タブレット端末、スマートフォン、ナビゲーション装置、ＩＶＩ（In-Vehicle Infotainment）、リアエンターテイメントシステム、デジタルサイネージ等である。また、電子コンテンツは、電子書籍、地図データ、ユーザマニュアルデータ、取扱説明書データ、写真データ等であり、その内容は問わない。

【0014】

次に、本発明の実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。

【0015】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0016】

図１において、１００は、全体として第１の実施の形態による情報処理装置を示す。

【0017】

情報処理装置１００は、電子コンテンツを表示可能なディスプレイ１０１と、電子コンテンツの利用者１１０を撮影可能なカメラ１０２とを備える。

【0018】

情報処理装置１００は、利用者１１０の視線の先にあるディスプレイ１０１上の位置（以下、「視線位置」と記す）を特定し、利用者１１０が所定のジェスチャを行った場合、視線位置に表示されている電子コンテンツに係る情報を出力する。所定のジェスチャは、例えば、電子コンテンツに係る情報を音声出力するために、利用者１１０が耳１１２を手１１１で指差すジェスチャ（以下、「音声ジェスチャ」と記す）である。また、所定のジェスチャは、電子コンテンツに係る情報を表示出力するために、利用者１１０が目１１３を手１１１で指差すジェスチャ（以下、「表示ジェスチャ」と記す）等、その他のジェスチャであってもよい。

【0019】

例えば、音声ジェスチャが行われた場合、情報処理装置１００は、視線位置の漢字の読み上げ、視線位置の文章の読み上げ、視線位置の外国語の訳語の読み上げ等を実行する。また、例えば、表示ジェスチャが行われた場合、情報処理装置１００は、視線位置の漢字の読みの表示、視線位置の外国語の訳語の表示等を実行する。

【0020】

図２は、情報処理装置１００に係るハードウェア構成の一例を示す図である。

【0021】

情報処理装置１００は、プロセッサ２０１と、主記憶装置２０２と、補助記憶装置２０３と、入力装置２０４と、出力装置２０５と、通信装置２０６と、撮像装置２０７と、を備える。

【0022】

プロセッサ２０１は、演算処理を行う装置である。プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ等である。

【0023】

主記憶装置２０２は、プログラム、データ等を記憶する装置である。主記憶装置２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等である。ＲＯＭは、ＳＲＡＭ（Static Random Access Memory）、ＮＶＲＡＭ（Non Volatile RAM）、マスクＲＯＭ（Mask Read Only Memory）、ＰＲＯＭ（Programmable ROM）等である。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）等である。

【0024】

補助記憶装置２０３は、ハードディスクドライブ（Hard Disk Drive）、フラッシュメモリ（Flash Memory）、ＳＳＤ（Solid State Drive）、光学式記憶装置等である。光学式記憶装置は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等である。補助記憶装置２０３に格納されているプログラム、電子コンテンツ、電子コンテンツに係る情報等のデータ等は、主記憶装置２０２に随時読み込まれる。

【0025】

入力装置２０４は、ユーザから情報を受付けるユーザインターフェースである。入力装置２０４は、例えば、キーボード、マウス、カードリーダ、タッチパネル等である。

【0026】

出力装置２０５は、ディスプレイ１０１の一例であり、各種の情報を出力（表示出力、音声出力、印字出力等）するユーザインターフェースである。出力装置２０５は、例えば、各種情報を可視化する表示装置（ディスプレイ）、音声出力装置（スピーカ）、印字装置（プリンタ）、投影装置（プロジェクタ）等である。

【0027】

通信装置２０６は、通信媒体を介して他の装置と通信する通信インターフェースである。通信装置２０６は、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。通信装置２０６は、通信可能に接続する他の装置から情報を受信する入力装置として機能することもできる。また、通信装置２０６は、通信可能に接続する他の装置に情報を送信する出力装置として機能することもできる。

【0028】

撮像装置２０７は、カメラ１０２の一例であり、撮像レンズ、撮像素子等を備え、撮像レンズにより結像する光学像を撮像素子により電気信号に変換する装置である。撮像装置２０７は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等で構成されている。なお、カメラ１０２は、情報処理装置１００内に設けられていなくてもよい。

【0029】

図３は、情報処理装置１００に係る機能構成の一例を示す図である。

【0030】

情報処理装置１００は、入力部３０１と、特定部３０２と、認識部３０３と、出力部３０４とを備える。

【0031】

入力部３０１は、カメラ１０２で取得された画像を入力する。特定部３０２は、利用者１１０の視線の先にあるディスプレイ１０１上の位置（視線位置）を特定する。認識部３０３は、カメラ１０２により取得された利用者１１０の画像から、利用者１１０のジェスチャを認識する。出力部３０４は、認識部３０３により認識されたジェスチャが所定のジェスチャ（例えば、後述の出力ジェスチャ）であると判定した場合、特定部３０２により特定された視線位置に表示されている電子コンテンツに係る情報を出力する。

【0032】

情報処理装置１００の機能（入力部３０１、特定部３０２、認識部３０３、出力部３０４等）は、例えば、プロセッサ２０１が補助記憶装置２０３に格納されたプログラムを主記憶装置２０２に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。なお、情報処理装置１００の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。また、情報処理装置１００の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。また、情報処理装置１００の機能の一部は、情報処理装置１００と通信可能な他のコンピュータにより実現されてもよい。

【0033】

図４は、情報処理装置１００が実行する出力処理の一例を示す図である。出力処理は、所定の周期で実行されている。

【0034】

Ｓ４０１では、情報処理装置１００は、電子コンテンツをディスプレイ１０１に表示しているか否かを判定する。情報処理装置１００は、電子コンテンツをディスプレイ１０１に表示していると判定した場合、Ｓ４０２に処理を移し、電子コンテンツをディスプレイ１０１に表示していないと判定した場合、Ｓ４０１に処理を移す。

【0035】

Ｓ４０２では、情報処理装置１００は、視線位置を特定する。例えば、情報処理装置１００は、カメラ１０２により撮像された利用者１１０の画像をもとに、利用者１１０の目１１３の動かない部分（基準点）と目１１３の動く部分（動点）を設定し、基準点に対する動点の位置に基づいて、利用者１１０の視線を検出する。例えば、情報処理装置１００は、基準点として目頭を用い、動点として虹彩を用いる。

【0036】

なお、利用者１１０の視線の検出方法については、上述の例に限らず、他の公知の技術を採用してもよい。例えば、情報処理装置１００は、図示は省略する赤外線ＬＥＤと図示は省略する赤外線カメラとを備え、基準点として角膜反射を用い、動点として瞳孔を用いてもよい。

【0037】

Ｓ４０３では、情報処理装置１００は、カメラ１０２により撮像された利用者１１０の画像をもとに画像処理を行い、利用者１１０のジェスチャが、電子コンテンツに係る情報を出力するためのジェスチャ（出力ジェスチャ）であるか否かを判定する。情報処理装置１００は、出力ジェスチャであると判定した場合、Ｓ４０４に処理を移し、出力ジェスチャでないと判定した場合、Ｓ４０２に処理を移す。なお、以下では、出力ジェスチャとしては、音声ジェスチャと表示ジェスチャとを例に挙げて説明する。

【0038】

Ｓ４０４では、情報処理装置１００は、利用者１１０の視線が止まってから一定時間が経過しているか否かを判定する。情報処理装置１００は、一定時間が経過している（利用者１１０が迷っている）と判定した場合、Ｓ４０５に処理を移し、一定時間が経過していないと判定した場合、Ｓ４０６に処理を移す。

【0039】

Ｓ４０５では、情報処理装置１００は、視線位置の電子コンテンツの読みを出力し、出力処理を終了する。例えば、出力ジェスチャが音声ジェスチャであり、かつ、視線位置の電子コンテンツが単語（例えば、漢字、英単語）である場合、情報処理装置１００は、視線位置の単語を読み上げる。また、例えば、出力ジェスチャが表示ジェスチャであり、かつ、視線位置の電子コンテンツが単語である場合、情報処理装置１００は、視線位置の単語の読み（例えば、漢字の振り仮名、英単語の発音記号）を表示する。かかる表示は、ポップアップウィンドウで行われてもよいし、視線位置の単語に続けてかっこ書きで行われてもよいし、その他の態様で行われてもよい。

【0040】

例えば、情報処理装置１００の出力部３０４は、特定部３０２により特定された視線位置に表示されている漢字を含む単語を、出力装置２０５（スピーカ）を介して音声出力する場合、補助記憶装置２０３に記憶している、当該単語に対応する音声データを再生する。なお、出力部３０４は、当該単語のテキストデータを音声データに変換するアプリケーションソフトウェアを用いて音声出力してもよい。上記構成によれば、利用者１１０は、例えば、本を読んでいて視線の先の漢字が読めない場合であっても、音声ジェスチャを行うことで当該漢字が読み上げられるので、当該漢字から視線を外すことなく、迅速に本を読み進めることができる。

【0041】

また、例えば、出力部３０４は、特定部３０２により特定された視線位置に表示されている外国語の単語の訳語を、出力装置２０５を介して音声出力してもよい。この場合、情報処理装置１００は、外国語の単語の訳語のデータについては、補助記憶装置２０３に記憶していてもよいし、ネットワーク等を介して外部から取得してもよい。上記構成によれば、例えば、利用者１１０は、英単語を含む本を読んでいて、視線の先の英単語の意味が分からない場合であっても、音声ジェスチャにより当該英単語の訳語が読み上げられるので、当該英単語から視線を外すことなく、迅速に本を読み進めることができる。

【0042】

このように、出力部３０４は、認識部３０３により認識されたジェスチャが第１のジェスチャ（例えば、音声ジェスチャ）であると判定した場合、特定部３０２により特定された視線位置に表示されている電子コンテンツに係る情報を、出力装置２０５を介して音声出力する。上記構成によれば、例えば、利用者１１０は、視線の先の単語が読めない場合であっても、音声ジェスチャにより当該単語が読み上げられるので、辞書を使って単語の読みを調べる必要がなく、コンテンツの世界に没頭できる。

【0043】

また、例えば、出力部３０４は、認識部３０３により認識されたジェスチャが第１のジェスチャとは異なる第２のジェスチャ（例えば、表示ジェスチャ）であると判定した場合、特定部３０２により特定された視線位置に表示されている電子コンテンツに係る情報をディスプレイ１０１に表示する。上記構成によれば、例えば、周りの環境音がうるさいとき、背景に流れるオーディオ音が大きいとき、図書館、電車等で音を控えるべきとき、つまり、音声の出力が適さない状況である場合、利用者１１０は、表示ジェスチャにより電子コンテンツに係る情報を表示することができる。このように、利用者１１０は、状況に応じて、電子コンテンツに係る情報を出力することができる。

【0044】

Ｓ４０６では、情報処理装置１００は、視線位置の電子コンテンツの読みの出力を開始する。例えば、出力ジェスチャが音声ジェスチャであり、かつ、視線位置の電子コンテンツが文章である場合、情報処理装置１００は、視線位置の文章の読み上げを開始する。この場合、情報処理装置１００は、視線位置の文の先頭または当該視線位置の箇所から、後述の停止ジェスチャが行われるまで、文章の読み上げを継続する。また、例えば、出力ジェスチャが音声ジェスチャであり、かつ、視線位置に電子コンテンツがない場合、情報処理装置１００は、ディスプレイ１０１に表示されている電子コンテンツの文章の最初から読み上げを開始する。なお、出力ジェスチャが表示ジェスチャである場合、図示は省略するが、情報処理装置１００は、出力処理を終了する。

【0045】

このように、出力部３０４は、特定部３０２により特定された視線位置に表示されている電子コンテンツが文章であり、利用者１１０の視線が留まっている時間が一定の時間を経過していない場合、出力装置２０５を介して文章の音声出力を開始する。上記構成によれば、例えば、利用者１１０が黙読に疲れたとしても、音声ジェスチャにより文章が読み上げられるので、読書の負担を低減することができる。

【0046】

Ｓ４０７では、情報処理装置１００は、カメラ１０２により撮像された利用者１１０の画像をもとに画像処理を行い、利用者１１０のジェスチャが、電子コンテンツに係る情報の出力を終了（停止）するためのジェスチャ（停止ジェスチャ）であるか否かを判定する。情報処理装置１００は、停止ジェスチャであると判定した場合、Ｓ４０８に処理を移し、停止ジェスチャでないと判定した場合、Ｓ４０７に処理を移す。なお、停止ジェスチャは、利用者１１０が口に手１１１をあてるジェスチャ（以下、「沈黙ジェスチャ」と記すことがある）である。

【0047】

Ｓ４０８では、情報処理装置１００は、電子コンテンツの読みの出力を終了し、出力処理を終了する。

【0048】

このように、出力部３０４は、認識部３０３により認識されたジェスチャが停止ジェスチャであると判定した場合、文章の音声出力を終了する。上記構成によれば、例えば、利用者１１０は、文章の読み上げが不要となった場合、情報処理装置１００に触れることなく、停止ジェスチャにより文章の読み上げを終了できる。

【0049】

また、上記構成では、例えば、利用者１１０は、読み上げを望む場合は、音声ジェスチャを行い、表示を望む場合は、表示ジェスチャを行い、読み上げを終了する場合は、沈黙ジェスチャを行えばよい。上記構成によれば、操作方法が直感的に分かり易いので、利用者１１０の利便性を高めることができる。

【0050】

なお、出力処理は、上述の内容に限らない。例えば、情報処理装置１００は、停止ジェスチャを受け付ける構成に代えて、停止アイコンをディスプレイ１０１に表示してもよい。この場合、情報処理装置１００は、Ｓ４０７において停止アイコンが押下されたか否かを判定し、停止アイコンが押下されたと判定した場合、電子コンテンツの読みの出力を終了する。また、例えば、情報処理装置１００は、Ｓ４０４の処理を行うことなく、Ｓ４０６の処理を行ってもよい。また、例えば、情報処理装置１００は、Ｓ４０６～Ｓ４０８の処理を行わなくてもよい。

【0051】

ここで、電子コンテンツが、小説といった電子書籍である場合、読み進めるとその世界に浸る楽しさがある。しかしながら、文章で使われている漢字がすべて分かるのは、読み手の知識次第であり、漢字が読めないことで小説の世界から引きはがされて興ざめる。そのとき、辞書を使って漢字を検索するのも煩わしく、読み進めたい気持ちと内容を正しく理解したい気持ちとの葛藤が起こる。この点、本実施の形態によれば、例えば、電子書籍をターゲットに、通読という目的のプロセスの中で、目的から離れずシームレスに補助すること（読めない言葉の支援）ができる。

【0052】

（ＩＩ）第２の実施の形態
本実施の形態では、情報処理装置１００がデジタルサイネージである場合を例に挙げて説明する。なお、本実施の形態では、第１の実施の形態の構成と同じ構成については、同じ符号を用いて、その説明を省略する。

【0053】

街中に設置されている、地図、観光案内等を表示するデジタルサイネージは、その場に初めて訪れる人、不慣れな人に向けた情報処理装置といえる。初めて見る情報、初めて使う情報処理装置、初めての操作方法ということで、戸惑うことも多い。そのようなときは、自分で画面上の文章を追いかけるより、言葉で使い方、ポイント等を教えてもらった方がよい場合がある。ここで、一定の長さの音声ガイダンスを繰り返し流す方法もあるが、人によっては途中から聞くことになり、繰り返しの始めまで待つ必要がある。

【0054】

この点、本実施の形態のデジタルサイネージ５００は、音声ガイダンスを、オンデマンドで提供する。図５に示すように、デジタルサイネージ５００は、ディスプレイ１０１およびカメラ１０２を備え、立ち止まってディスプレイ１０１に顔を向けている人（利用者５１０）を認識する。デジタルサイネージ５００は、利用者５１０を認識したところで、画面の一部に、音声ジェスチャを促すピクトグラムのポップアップ表示を行い、このポップアップ表示に注意を向けさせる。利用者５１０が音声ジェスチャを行ったところで、利用者５１０の耳の位置に聞こえる音声ガイダンスを再生する。かかる音声ガイダンスの支援によって、利用者５１０は、悩むことなくデジタルサイネージ５００から有用な情報を得ることができる。

【0055】

ここで、観光案内が目的である場合、日本に訪れる外国人（例えば、インバウンド客）の利用もあり得る。そのような人たちには、多言語対応が必要である。そこで、デジタルサイネージ５００は、多言語対応の機能を備えてもよい。例えば、デジタルサイネージ５００は、音声ジェスチャのポップアップ表示を行うタイミングにおいて、多言語切替のためのジェスチャ（多言語ジェスチャ）を促すピクトグラムの表示も併せて行う。利用者５１０は、多言語ジェスチャを行うことで、利用者５１０が選んだ言語による音声ガイダンスが始まり、多言語対応のサービスを享受できる。

【0056】

例えば、多言語対応が、英語、中国語、および韓国語である場合、デジタルサイネージ５００は、音声ジェスチャの説明の他に、画面には３つの国旗アイコンに紐づくさらなる多言語ジェスチャを促すピクトグラムを表示する。より具体的には、英語変換ピクトグラムと、中国語変換ピクトグラムと、韓国語変換ピクトグラムとが表示される。英語変換ピクトグラムは、アメリカおよび／またはイギリスの国旗アイコンが紐づけられているピクトグラムであって、顔の前で指を１本立てるジェスチャを促すピクトグラムである。中国語変換ピクトグラムは、中国の国旗アイコンが紐づけられているピクトグラムであって、顔の前で指を２本立てるジェスチャを促すピクトグラムである。韓国語変換ピクトグラムは、韓国の国旗アイコンが紐づけられているピクトグラムであって、顔の前で指を３本立てるジェスチャを促すピクトグラムである。

【0057】

図６は、デジタルサイネージ５００が実行する出力処理の一例を示す図である。出力処理は、所定の周期で実行されている。

【0058】

Ｓ６０１では、デジタルサイネージ５００は、バスの乗り場、バスの行先、バスの時刻表、周辺地図、観光地、ホテル等の電子コンテンツをディスプレイ１０１に表示する。

【0059】

Ｓ６０２では、デジタルサイネージ５００は、デジタルサイネージ５００の前に立ち止まり、ディスプレイ１０１を注視している利用者５１０がいるか否かを判定する。デジタルサイネージ５００は、利用者５１０がいると判定した場合、Ｓ６０３に処理を移し、利用者５１０がいないと判定した場合、Ｓ６０２に処理を移す。例えば、デジタルサイネージ５００は、カメラ１０２により撮像された画像をもとに画像処理を行い、デジタルサイネージ５００の前に立ち止まる人を検出する。続いて、デジタルサイネージ５００は、検出した人の画像から、当該人の視線を検出し、検出した視線が一定の時間、デジタルサイネージ５００に向けられている場合、当該人を、ディスプレイ１０１を注視している利用者５１０として検出する。

【0060】

Ｓ６０３では、デジタルサイネージ５００は、ピクトグラムをディスプレイ１０１に表示する。より具体的には、デジタルサイネージ５００は、音声ジェスチャを促すピクトグラムと、多言語ジェスチャを促すピクトグラムとを含むポップアップウィンドウをディスプレイ１０１に表示する。

【0061】

Ｓ６０４では、デジタルサイネージ５００は、カメラ１０２により撮像された利用者５１０の画像をもとに画像処理を行い、利用者５１０のジェスチャが、多言語ジェスチャであるか否かを判定する。情報処理装置１００は、多言語ジェスチャであると判定した場合、Ｓ６０５に処理を移し、多言語ジェスチャでないと判定した場合、Ｓ６０６に処理を移す。

【0062】

Ｓ６０５では、デジタルサイネージ５００は、ディスプレイ１０１に表示されている電子コンテンツの言語を、利用者５１０により選択された多言語ジェスチャに対応する言語に変更する。

【0063】

Ｓ６０６では、デジタルサイネージ５００は、カメラ１０２により撮像された利用者５１０の画像をもとに画像処理を行い、利用者１１０のジェスチャが、音声ジェスチャであるか否かを判定する。情報処理装置１００は、音声ジェスチャであると判定した場合、Ｓ６０７に処理を移し、音声ジェスチャでないと判定した場合、Ｓ６０４に処理を移す。

【0064】

Ｓ６０７では、デジタルサイネージ５００は、利用者５１０にのみ聞こえる音（音像）で、電子コンテンツに係る情報として所定の音声ガイダンスを開始する。

【0065】

なお、出力処理は、上述の内容に限らない。例えば、第１の実施の形態と同様、停止ジェスチャを受け付けてもよい。また、例えば、デジタルサイネージ５００は、Ｓ６０１においてピクトグラムを表示し、Ｓ６０４～Ｓ６０６の処理において視線位置を特定し、Ｓ６０７において視線位置に表示されている電子コンテンツに対応する音声ガイダンスを再生してもよい。

【0066】

本実施の形態によれば、外国人に向けた電子コンテンツの利用を適切に支援することができる。

【0067】

（ＩＩＩ）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。

【0068】

上述の実施の形態においては、本発明を情報処理装置に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

【0069】

また、上述の実施の形態において、プログラムの一部またはすべては、プログラムソースから、情報処理装置を実現するコンピュータのような装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、上述の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0070】

また、上述の実施の形態において、情報の出力は、スピーカによる音声出力とディスプレイへの表示とに限るものではない。情報の出力は、ファイルへの出力であってもよいし、印刷装置による紙媒体等への印刷であってもよいし、プロジェクタによるスクリーン等への投影であってもよいし、その他の態様であってもよい。

【0071】

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0072】

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

【符号の説明】

【0073】

１００……情報処理装置、１０１……ディスプレイ、１０２……カメラ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】