特許 6600596 音声ガイド支援システム及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6600596

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】音声ガイド支援システム及びそのプログラム

(51)【国際特許分類】

   G01C 21/34 20060101AFI20191021BHJP

   G06F 16/00 20190101ALI20191021BHJP

   G09B 21/00 20060101ALI20191021BHJP

   H04M 3/493 20060101ALI20191021BHJP

【ＦＩ】

   G01C21/34

   G06F16/00

   G09B21/00 D

   H04M3/493

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2016-80118(P2016-80118)

(22)【出願日】2016年4月13日

(62)【分割の表示】特願2015-93097(P2015-93097)の分割

【原出願日】2015年4月30日

(65)【公開番号】特開2016-183968(P2016-183968A)

(43)【公開日】2016年10月20日

【審査請求日】2018年3月23日

(31)【優先権主張番号】特願2014-95752(P2014-95752)

(32)【優先日】2014年5月7日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】314005632

【氏名又は名称】アクセラス株式会社

(74)【代理人】

【識別番号】100093104

【弁理士】

【氏名又は名称】船津 暢宏

(72)【発明者】

【氏名】佐藤 学

【審査官】 上野 博史

(56)【参考文献】

【文献】 特開２００１−２２１６４９（ＪＰ，Ａ）

【文献】 特開平１１−２５３４８１（ＪＰ，Ａ）

【文献】 特開２００２−１９５８５０（ＪＰ，Ａ）

【文献】 特開２０１２−１４６２３６（ＪＰ，Ａ）

【文献】 特開２００６−１９５９１３（ＪＰ，Ａ）

【文献】 特開２０１１−１７５６１４（ＪＰ，Ａ）

【文献】 特開２００６−３３３１１４（ＪＰ，Ａ）

【文献】 特開２００１−０２３０９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−９９／００

Ｇ０１Ｃ ２１／００−２１／３６

２３／００−２５／００

Ｇ０６Ｆ １７／３０

Ｇ０６Ｆ １６／００

Ｇ０９Ｂ ２１／００−２１／０６

Ｈ０４Ｍ ３／００

３／１６−３／２０

３／３８−３／５８

７／００−７／１６

１１／００−１１／１０

(57)【特許請求の範囲】

【請求項1】

カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムであって、
前記ユーザ端末に対してガイドのための音声データを入力して送信するオペレータ端末と、
前記ユーザ端末からネットワークを介してアクセスがあると、前記ユーザ端末で撮影されたカメラ撮影画像データを前記ユーザ端末から受信して前記オペレータ端末に提供するセンタサーバとを有し、
前記オペレータ端末は、前記センタサーバからの前記カメラ撮影画像データを受信して表示部に表示し、前記ユーザ向けの音声入力がある場合には、当該音声入力に対して前記ユーザ向けの信号種別を付与し、ユーザ用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信すると共に、前記ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対して前記ユーザ周囲の人向けの信号種別を付与し、外部用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信し、
前記ユーザ端末は、通信部、制御部、音声入出力装置及び音声外部出力部を備え、前記センタサーバを介して前記通信部で受信した前記ユーザ用音声データ又は前記外部用音声データに付与された信号種別により、前記制御部が、受信した前記ユーザ用音声データを前記音声入出力装置に音声出力し、受信した前記外部用音声データを前記音声外部出力部から外部へ音声出力することを特徴とする音声ガイド支援システム。

【請求項2】

センタサーバは、ユーザ端末で撮影された前方及び後方のカメラ撮影画像データを前記ユーザ端末から受信してオペレータ端末に提供するものであり、
前記オペレータ端末は、前記センタサーバからの前記前方及び後方のカメラ撮影画像データを受信して表示部に表示することを特徴とする請求項１記載の音声ガイド支援システム。

【請求項3】

ユーザ端末は、カメラで撮影されたハンドジェスチャーのカメラ撮影画像データが予め設定されたガイドプログラムの開始要求であれば、当該ガイドプログラム開始要求をセンタサーバに送信してアクセスし、
前記センタサーバは、前記ガイドプログラム開始要求を前記ユーザ端末から受信し、対応するオペレータ端末を呼び出すことを特徴とする請求項１又は２記載の音声ガイド支援システム。

【請求項4】

センタサーバは、ユーザ端末のカメラで読み取られた２次元コードから得られるアクセス情報を取得し、当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供することを特徴とする請求項１乃至３のいずれか記載の音声ガイド支援システム。

【請求項5】

センタサーバは、ユーザ端末のカメラで読み取られた２次元コードから得られるアクセス情報によるアクセスがあると、読み聞かせのための標準音声ファイル以外にユーザが生成したユーザ音声ファイルが記憶されているか判定し、記憶されていなければ、ガイダンスに従ってユーザ音声ファイルを生成して記憶し、前記ユーザ音声ファイルが記憶されている場合には、当該ユーザ音声ファイルを再生して前記ユーザ端末に出力することを特徴とする請求項１乃至４のいずれか記載の音声ガイド支援システム。

【請求項6】

カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるセンタサーバで実行されるプログラムであって、
前記センタサーバを、
前記ユーザ端末からネットワークを介してアクセスがあると、前記ユーザ端末で撮影されたカメラ撮影画像データを前記ユーザ端末から受信する受信手段と、
前記カメラ撮影画像データをオペレータ端末に提供する提供手段と、
前記オペレータ端末から前記ユーザ向けの音声入力に対して前記ユーザ向けの信号種別を付与したユーザ用音声データを前記ユーザ端末宛に送信すると共に、前記ユーザ周囲の人向けの音声入力に対して前記ユーザ周囲の人向けの信号種別を付与した外部用音声データを前記ユーザ端末宛に送信する送信手段として機能させることを特徴とするプログラム。

【請求項7】

センタサーバを、
ユーザ端末のカメラで読み取られた２次元コードから得られるアクセス情報を取得する取得手段と、
当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供する提供手段として機能させることを特徴とする請求項６記載のプログラム。

【請求項8】

カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるオペレータ端末で実行されるプログラムであって、
前記オペレータ端末を、
センタサーバから受信した、前記ユーザ端末で撮影されたカメラ撮影画像データを表示部に表示する表示手段と、
前記ユーザ向けの音声入力がある場合には、当該音声入力に対して前記ユーザ向けの信号種別を付与し、ユーザ用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信すると共に、前記ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対して前記ユーザ周囲の人向けの信号種別を付与し、外部用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信する送信手段として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視覚障がい者や外国人観光客等を音声でガイドするオペレータを支援するシステムに係り、特に、オペレータが状況に応じて的確で安全なガイドを行うことができる音声ガイド支援システム及びそのプログラムに関する。

【背景技術】

【0002】

［従来の技術］
従来の技術において、視覚障がい者や外国人観光客等を音声でガイドするシステムがある。
［関連技術］
尚、関連する先行技術として、特許第４１９０８４３号公報「個人ナビゲーションシステム」（ＮＥＣフィールディングシステム株式会社）［特許文献１］、特開２００２−０９８５４８号公報「ガイド情報送信装置及び記録媒体」（カシオ計算機株式会社）［特許文献２］がある。

【0003】

［特許文献１：特許第４１９０８４３号公報］
特許文献１には、視覚障がい者等の使用者が、携帯電話機を用いて誘導装置に接続して、出発地から目的地までのルートを検索させ、最適なルートを選択すると、監視装置にルートの地図、施設、交通機関等のデータが送られ、監視装置はＧＰＳや携帯電話機で撮影された画像によって使用者の移動を監視して、自動音声でガイドするシステムが示されている。

【0004】

［特許文献２：特開２００２−０９８５４８号公報］
特許文献２には、カメラ付きのユーザ端末からの映像を情報ガイドサーバが受信して、情報ガイドサーバはその映像を解析して、ユーザの前方の環境ガイド情報や交通標識や信号等の交通ガイド情報を取得して、各ガイド情報を音声情報としてユーザ端末に送信するガイド情報送信装置が示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４１９０８４３号公報

【特許文献2】特開２００２−０９８５４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

［従来技術に対する問題点］
しかしながら、従来のガイドを行うシステムでは、画像や位置情報に基づいて音声でガイドするものであるから、ユーザの行動に合わせてきめ細かく適切なガイドを行うのは困難であり、ガイドが不十分であれば、特に視覚障がい者のユーザを危険な状態にしてしまう恐れがあるという問題点があった。

【0007】

［発明の目的］
本発明は上記実情に鑑みて為されたもので、ユーザのガイドを行う場合にオペレータの端末に、ユーザ端末からのカメラ撮影画像を表示して、オペレータが状況に応じてユーザと会話でき、ユーザの周囲の人にユーザの手助けを要請する場合には、ユーザの周囲の人向けに音声出力でき、的確で安全なガイドを行うことができる音声ガイド支援システム及びそのプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

（カメラ撮影画像でガイドし、ユーザ周囲の人にオペレータが音声出力するシステム）
上記従来例の問題点を解決するための本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムであって、ユーザ端末に対してガイドのための音声データを入力して送信するオペレータ端末と、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供するセンタサーバとを有し、オペレータ端末が、センタサーバからのカメラ撮影画像データを受信して表示部に表示し、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信し、ユーザ端末が、通信部、制御部、音声入出力装置及び音声外部出力部を備え、センタサーバを介して通信部で受信したユーザ用音声データ又は外部用音声データに付与された信号種別により、制御部が、受信したユーザ用音声データを音声入出力装置に音声出力し、受信した外部用音声データを音声外部出力部から外部へ音声出力することを特徴とする。

【0009】

（前後の撮影画像に対応）
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末で撮影された前方及び後方のカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供するものであり、オペレータ端末が、センタサーバからの前方及び後方のカメラ撮影画像データを受信して表示部に表示することを特徴とする。

【0010】

（ハンドジェスチャー対応）
本発明は、上記音声ガイド支援システムにおいて、ユーザ端末が、カメラで撮影されたハンドジェスチャーのカメラ撮影画像データが予め設定されたガイドプログラムの開始要求であれば、当該ガイドプログラム開始要求をセンタサーバに送信してアクセスし、センタサーバが、ガイドプログラム開始要求をユーザ端末から受信し、対応するオペレータ端末を呼び出すことを特徴とする。

【0011】

（２次元コードで得られた情報をオペレータ端末等に出力）
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末のカメラで読み取られた２次元コードから得られるアクセス情報を取得し、当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供することを特徴とする。

【0012】

（ユーザ音声ファイルの生成と再生）
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末のカメラで読み取られた２次元コードから得られるアクセス情報によるアクセスがあると、読み聞かせのための標準音声ファイル以外にユーザが生成したユーザ音声ファイルが記憶されているか判定し、記憶されていなければ、ガイダンスに従ってユーザ音声ファイルを生成して記憶し、ユーザ音声ファイルが記憶されている場合には、当該ユーザ音声ファイルを再生してユーザ端末に出力することを特徴とする。

【0013】

（センタサーバの処理プログラム）
本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるセンタサーバで実行されるプログラムであって、センタサーバを、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信する受信手段と、カメラ撮影画像データをオペレータ端末に提供する提供手段と、オペレータ端末からユーザ向けの音声入力に対してユーザ向けの信号種別を付与したユーザ用音声データをユーザ端末宛に送信すると共に、ユーザ周囲の人向けの音声入力に対してユーザ周囲の人向けの信号種別を付与した外部用音声データをユーザ端末宛に送信する送信手段として機能させることを特徴とする。

【0014】

（センタサーバの関連情報提供のプログラム）
本発明は、上記プログラムにおいて、センタサーバを、ユーザ端末のカメラで読み取られた２次元コードから得られるアクセス情報を取得する取得手段と、当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供する提供手段として機能させることを特徴とする。

【0015】

（オペレータ端末の処理プログラム）
本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるオペレータ端末で実行されるプログラムであって、オペレータ端末を、センタサーバから受信した、ユーザ端末で撮影されたカメラ撮影画像データを表示部に表示する表示手段と、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信する送信手段として機能させることを特徴とする。

【発明の効果】

【0016】

（カメラ撮影画像でガイドし、ユーザ周囲の人にオペレータが音声出力するシステムの効果）
本発明によれば、オペレータ端末が、ユーザ端末に対してガイドのための音声データを入力して送信し、センタサーバが、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供し、更に、オペレータ端末が、センタサーバからのカメラ撮影画像データを受信して表示部に表示し、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信し、ユーザ端末が、通信部、制御部、音声入出力装置及び音声外部出力部を備え、センタサーバを介して通信部で受信したユーザ用音声データ又は外部用音声データに付与された信号種別により、制御部が、受信したユーザ用音声データを音声入出力装置に音声出力し、受信した外部用音声データを音声外部出力部から外部へ音声出力する音声ガイド支援システムとしているので、オペレータが状況に応じてユーザと会話でき、ユーザの周囲の人向けに音声出力でき、的確で安全なガイドを行うことができる効果がある。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る音声ガイド支援システムの概略図である。

【図2】ユーザ端末の概略構成図である。

【図3】ユーザ端末の装着例を示す図である。

【図4】センタサーバの概略構成図である。

【図5】オペレータ端末の概略構成図である。

【図6】オペレータ端末の表示部の表示画面例を示す概略図である。

【図7】地図情報の表示例を示す概略図である。

【図8】センタサーバの処理を示すフローチャートである。

【図9】書籍読み上げ録音・再生処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る音声ガイド支援システムは、ユーザ端末からの位置情報とカメラ撮影画像データを受信するセンタサーバが、オペレータ端末にユーザ端末の位置情報、その位置情報を対応した地図情報、事前に撮影した基本画像データ、カメラ撮影画像データを提供し、これら情報等を元にユーザ端末への音声ガイド情報を送信するものであり、オペレータが状況に応じて的確で安全なガイドを行うことができるものである。
尚、ガイドする場所は、テーマパーク、鉄道（駅構内及び車内）、空港、競技場、ショッピングセンター、観光地、市街地等が対象になる。

【0019】

［本システム：図１］
本発明の実施の形態に係る音声ガイド支援システム（本システム）について図１を参照しながら説明する。図１は、本発明の実施の形態に係る音声ガイド支援システムの概略図である。尚、図１では、一例として、視覚障がい者を対象としてテーマパークをガイドする音声ガイド支援システムに本システムを適用した例である。
本システムは、図１に示すように、ユーザ端末１と、センタサーバ２と、オペレータ端末３とがネットワーク４で接続され、テーマパークで視覚障がい者に音声ガイドを提供するものである。
尚、ユーザ端末１とオペレータ端末３は複数、ネットワーク４に接続するものである。図１では、ネットワーク４にユーザ端末１ａ，１ｂが接続し、オペレータ端末３ａ，３ｂが接続している。
尚、ネットワーク４は、インターネットを利用するものであるが、専用のネットワークを用いて実現してもよい。

【0020】

［音声ガイド支援システムの各構成］
次に、本システム（音声ガイド支援システム）の各構成を具体的に説明する。
［ユーザ端末１］
ユーザ端末１は、カメラ、音声入出力装置（マイクとイヤホン）、ＧＰＳ（Global Positioning System：全地球測位網）機能、通信機能を備えたウエアラブル端末であり、ユーザの近辺（周囲）の人と会話するための音声外部出力装置（スピーカ）も備え、位置情報、カメラ撮影画像データ、音声情報をセンタサーバ２に送信すると共にセンタサーバ２からの音声情報を受信してユーザに音声出力する。

【0021】

［ユーザ端末１の各部：図２］
ユーザ端末１の具体的な構成について図２を参照しながら説明する。図２は、ユーザ端末の概略構成図である。
ユーザ端末１は、図２に示すように、具他的には耳に装着できる小型コンピュータであり、内部構成として、制御部１１と、記憶部１２と、音声処理部１３と、音声入出力装置（音声入出力部）１４と、音声外部出力装置（音声外部出力部）１５と、ＧＰＳ部１６と、通信部１７と、画像入力装置（画像入力部）１８と、バッテリー１９とを備えている。
尚、ユーザ端末１は、耳に装着する形状であるが、メガネ形状であってもよいし、肩乗せ形状であってもよい。

【0022】

［制御部１１、記憶部１２］
制御部１１は、端末内の処理全般を行うと共に、センタサーバ２との通信を制御する。制御部１１での処理の詳細は、後述する。
記憶部１２は、制御部１１が実行する処理プログラムを記憶する。また、記憶部１２は、必要なデータ等を一時的に記憶する。

【0023】

［音声処理部１３］
音声処理部１３は、音声入出力部１４のマイクからの音声アナログ信号を音声デジタル信号に変換して制御部１１に出力し、制御部１１からの音声デジタル信号を音声アナログ信号に変換して音声入出力部１４のイヤホン又は音声外部出力部１５の外部スピーカに出力する。

【0024】

［音声入出力部１４、音声外部出力部１５］
音声入出力部１４は、マイクとイヤホンであり、マイクはユーザの音声及びユーザ近辺の音を入力して音声処理部１３に音声アナログ信号を出力し、イヤホンは音声処理部１３からの音声アナログ信号を音声としてユーザに出力する。
音声外部出力部１５は、外部スピーカであり、音声処理部１３からの音声アナログ信号を外部に音声として出力する。音声外部出力部１５は、オペレータ端末３を操作するオペレータの音声をユーザ周辺の人に出力するものである。

【0025】

［ＧＰＳ部１６、通信部１７］
ＧＰＳ部１６は、ＧＰＳ機能により位置情報を取得し、制御部１１に出力する。また、位置情報を取得するのにＧＰＳ機能以外の位置検出手段を利用してもよい。
更に、ＧＰＳ部１６とは別に方位情報を出力する電子磁石も備えている。
通信部１７は、センタサーバ２との通信を行うもので、制御部１１からのデータを無線送信し、無線受信したデータを制御部１１に出力する。

【0026】

［画像入力部１８、バッテリー１９］
画像入力部１８は、動画像を撮影して入力するカメラであり、入力された画像データは制御部１１により通信部１５からセンタサーバ２に送信される。
バッテリー１９は、ユーザ端末１内の各部へ電源スイッチのオンにより電源を供給する。尚、バッテリー１９は充電可能である。

【0027】

［ユーザ端末１の装着例：図３］
ユーザ端末１の装着例について図３を参照しながら説明する。図３は、ユーザ端末の装着例を示す図である。
ユーザ端末１は、図３に示すように、耳に装着するものであり、前方にカメラ（画像入力装置）１８が設けられ、その近くにマイク（音声入力部）１４ａとスピーカ（音声外部出力部）１５を備えている。
また、ユーザ端末１は、耳孔にイヤホン（音声出力部）１４ｂが挿入できる構造となっている。

【0028】

カメラ１８は、前方の画像を撮影するもので、マイク１４ａは、ユーザの近辺の音を入力し、イヤホン１４ｂは、オペレータの音声を出力し、スピーカ１５は、オペレータがユーザ以外の人に向けて音声を外部に出力するものである。
尚、図２に示したユーザ端末１のその他の各構成は、本体内部に収納されている。
図３では、カメラ１８は、１台としたが、ユーザの後方に向けた２台目のカメラを備えるようにすれば、ユーザの前方と後方の画像をオペレータが認識でき、より安全なガイドを行うことができる。

【0029】

［ユーザ端末１での処理概略］
ユーザ端末１の電源スイッチがオンされ、センタサーバ２へのアクセスが為されると、ユーザ端末１は、ユーザＩＤ（若しくは機器ＩＤ）、位置情報等をセンタサーバ２に送信し、更に、カメラ１８で撮影した画像データ（カメラ撮影画像データ）及びマイク１４ａから入力された音声データをセンタサーバ２に送信する。カメラ撮影画像データと音声データの送信は継続して行われる。

【0030】

センタサーバ２によってユーザ端末１とオペレータ端末３が接続され、ユーザ端末１は、オペレータ端末３からのユーザ向けの音声データを受信してイヤホン１４ｂに出力し、また、オペレータ端末３からのユーザ周辺の人向けの外部用音声データをスピーカ１５に出力する。
ユーザ向けの音声データとユーザ周辺の人向けの外部用音声データには、信号の種別が設定されており、その種別によってイヤホン１４ｂ又はスピーカ１５のいずれかに出力するかを決定する。

【0031】

［センタサーバ２：図４］
次に、センタサーバ２について図４を参照しながら説明する。図４は、センタサーバの概略構成図である。
センタサーバ２は、データベース（ＤＢ）２５が接続されている。
ＤＢ２５には、ユーザ端末１の情報、オペレータ端末３の情報、地図情報、事前撮影の基本画像データが記憶されている。
センタサーバ２は、ユーザ端末１がネットワーク４を介してアクセスすると、対応するオペレータ端末３を呼び出し、データの送受信を行い、ＤＢ２５からガイドに必要な情報及びデータをオペレータ端末３に提供する。

【0032】

具体的には、センタサーバ２は、図４に示すように、制御部２１と、記憶部２２と、インタフェース部２３とを基本的に備え、インタフェース部２３は、ネットワーク４、ＤＢ２５に接続するようになっている。
［制御部２１］
制御部２１は、ＤＢ２５にユーザ端末１の情報（ユーザＩＤ等）、オペレータ端末３の情報（オペレータＩＤ等）を記憶すると共に、ユーザ端末１に対してガイドするオペレータ端末３の対応スケジュール情報も記憶する。
また、制御部２１は、ＤＢ２５に対して該当する地図情報、事前撮影された基本画像データ、ガイドに必要な施設等に関する案内情報も記憶する。

【0033】

制御部２１は、ユーザ端末１からアクセスがあると、対応するオペレータ端末３を呼び出し、ユーザ端末１からの位置情報、方位情報を受信し、当該位置情報等を対応するオペレータ端末３にネットワーク４を介して送信する。
また、制御部２１は、受信した位置情報等を基にＤＢ２５から該当する地図情報を読み込み、オペレータ端末３に送信すると共に、事前に予約されたルート情報と位置情報等に基づいてカメラで撮影された基本画像データもＤＢ２５から読み込み、オペレータ端末３に送信する。基本画像データは、ルート情報、ユーザ端末１の位置情報、ユーザ端末１の方向情報によって特定される。

【0034】

［センタサーバ２のプログラムの各手段］
上記の制御部２１の処理動作は、記憶部２２に記憶された処理プログラムを制御部２１が読み込んで実行するものであり、ユーザ端末１の位置情報、方位情報とユーザ端末１で撮影されたカメラ撮影画像データをユーザ端末１から受信する「受信手段」と、ＤＢ２５から、ユーザ端末１の位置情報及び方位情報に対応する地図情報と基本画像データ、更に関連情報を読み出す「読出手段」と、ユーザ端末１の位置情報及び方位情報、カメラ撮影画像データ、地図情報、及び基本画像データ、更に関連情報をオペレータ端末３に提供する「提供手段」があって、それら手段をセンタサーバ２で機能させている。

【0035】

［記憶部２２、インタフェース部２３］
記憶部２２には、制御部２１を実行される処理プログラムを記憶し、その他必要なデータ等も一時的に記憶する。
インタフェース部２３は、センタサーバ２をネットワーク４に接続すると共に、ＤＢ２５に接続するインタフェース部である。

【0036】

［オペレータ端末３：図５］
次に、オペレータ端末３について図５を参照しながら説明する。図５は、オペレータ端末の概略構成図である。
オペレータ端末３は、ガイドを行うオペレータが操作するコンピュータで、表示部にはガイドに必要な情報が表示され、ユーザと対話を行ってガイドし、場合によっては、ユーザの周囲の人と会話して、ユーザを安全で、親切丁寧にガイドできるものである。

【0037】

オペレータ端末３は、図５に示すように、制御部３１と、記憶部３２と、音声処理部３３と、音声入出力部３４と、インタフェース部３５と、表示部３６と、入力部３７とを基本的に備えている。
［制御部３１］
制御部３１は、センタサーバ２から受信した地図情報、基本画像データ、ガイド情報を記憶部３２に記憶し、表示部３６に表示する。
制御部３１は、地図情報を表示する際には、ユーザ端末１の位置情報、方位情報も重ねて表示する。

【0038】

制御部３１は、ユーザ端末１からの音声データを、センタサーバ２を経由して受信し、音声データを音声処理部３３に出力する。
また、制御部３１は、音声処理部３３からの音声データを、センタサーバ２を経由してユーザ端末１に送信する。

【0039】

また、制御部３１は、入力部３７からの指示により、地図情報の拡大縮小、移動方向の地図情報、これまで移動してきた地図情報も表示可能であり、基本画像データも、移動方向の場所の画像データ、これまで移動してきた場所の画像データを表示させ、更に、ユーザ端末１からのカメラ撮影画像データを表示させ、ガイド情報も選択可能に表示させる。
ガイド情報は、地図情報の施設等を指示すると表示されるようリンクさせてもよい。

【0040】

［オペレータ端末３のプログラムの各手段］
上記の制御部３１の処理動作は、記憶部３２に記憶された処理プログラムを制御部３１が読み込んで実行するものであり、センタサーバ２から受信したカメラ撮影画像データ、地図情報、及び基本画像データを表示部３６に表示する「第１の表示手段」と、センタサーバ２から受信したユーザ端末１の位置情報と方位情報に基づいて地図情報上にユーザの位置と方向を表示する「第２の表示手段」があって、それら手段をオペレータ端末３で機能させている。

【0041】

［記憶部３２、音声処理部３３、音声入出力部３４］
記憶部３２は、制御部３１で実行される処理プログラムを記憶し、センタサーバ２から送信された情報、データを記憶する。
音声処理部３３は、制御部３１からの音声デジタル信号を音声アナログ信号に変換して音声入出力部３４に出力し、音声入出力部３４からの音声アナログ信号を音声デジタル信号に変換して制御部３１に出力する。
音声入出力部３４は、マイクとスピーカであり、マイクから入力された音声アナログ信号が音声処理部３３に出力し、音声処理部３３からの音声アナログ信号をスピーカから出力する。

【0042】

［インタフェース部３５、表示部３６、入力部３７］
インタフェース部３５は、オペレータ端末３をネットワーク４に接続し、表示部３４と入力部３７に接続するインタフェース部である。
表示部３６は、ユーザ端末１に対応する地図情報、基本画像データ、カメラ撮影画像データ、ガイド情報を表示する。表示部３６での表示画面例は後述する。
入力部３７は、ユーザの指示を入力し、インタフェース部３５に出力する。

【0043】

［表示部３６における表示画面：図６］
次に、オペレータ端末３の表示部３６における表示画面例について図６を参照しながら説明する。図６は、オペレータ端末の表示部の表示画面例を示す概略図である。
図６に示すように、表示部３６には、ユーザ端末１の位置情報に基づいて関連する地図情報が表示され、その位置情報とユーザ端末１の方位情報に基づいてＤＢ２５から取得された基本画像も表示される。
そして、表示部３６には、ユーザ端末１のカメラ１８で撮影されたカメラ撮影画像が表示される。
また、表示部３６には、ユーザ端末１の位置情報に基づいてガイドに関する関連情報が表示可能である。
これら画像、情報は、画面の異なった領域にそれぞれ表示される。

【0044】

オペレータは、表示部３６に表示画面を参照し、地図情報と基本画像を参考に、カメラ撮影画像の状況に応じてユーザに対してガイドを行い、必要であれば、関連情報も参考にする。
オペレータの声は、音声入出力部３４のマイクから入力され、音声処理部３３で音声デジタル信号に変換され、ユーザ端末１に送信され、音声入出力部１４のイヤホン１４ｂに出力される。
また、ユーザの声は、音声入出力部１４のマイク１４ａから入力され、音声処理部１３で音声デジタル信号に変換され、オペレータ端末３に送信され、音声入出力部３４のスピーカに出力される。
このようにして、オペレータとユーザの会話が為される。

【0045】

また、オペレータは、ユーザの周囲の人に、ユーザの手助けを要請する場合には、ユーザ周囲の人向けの音声を音声入出力部３４のマイクから入力し、音声処理部３３で音声デジタル信号に変換して、ユーザ端末１に送信し、スピーカ（外部音声出力部）１５に出力させる。
ユーザ周囲の人向けの音声を音声入出力部３４のマイクに入力する場合、例えば、入力部３７の特定キーを押しながら音声を入力することで、当該音声データにはユーザ周囲の人向けの信号種別が付加され、特定キーの押下がなく音声が入力されれば、ユーザ向けの信号種別が付加され、当該信号種別によってユーザ端末１の制御部１１で音声データのイヤホン１４ｂ又はスピーカ１５の出力先が特定される。

【0046】

関連情報は、ユーザ端末１の位置情報に基づいて近辺の施設等のリストを表示し、そのリストから施設等の項目が選択されると詳細情報を表示するようにしてもよいし、ユーザの移動によるユーザ端末１の位置情報の変更に伴って施設等の情報の表示を変更してもよいし、位置情報に基づいて表示される地図情報の中から特定施設をクリックすることにより施設等の情報を表示するようにしてもよい。

【0047】

［地図情報の表示例：図７］
次に、オペレータ端末３の表示部３６における地図情報の表示例について図７を参照しながら説明する。図７は、地図情報の表示例を示す概略図である。
地図情報は、図７に示すように、地図情報領域に、施設Ａ，Ｂ，Ｃが描画され、それに対するルートが表示される。本システムでは、テーマパークにおける音声ガイドであるため、ユーザは予め案内されるルートを選択することになる。

【0048】

図７では、ルートで予定の部分を点線で、既に終了した部分を実線で表示し、更に、現在のユーザ端末１の位置を矢印で示している。尚、矢印は、ユーザ端末１の方位情報から先端方向をユーザが向いている方向を示すようになっている。
尚、地図情報内に、東西南北の方角を示す情報を含めると分かりやすい。

【0049】

ユーザ端末１の位置情報と方位情報から、ユーザの進む方向の基本画像が基本画像領域に表示され、カメラ撮影画像領域にはユーザ端末１のカメラ１８で撮影された画像が表示され、関連情報領域にはユーザが向かう施設Ｂの情報が表示されることになる。

【0050】

［音声ガイド支援システムの処理動作］
本システムにおける全体の処理動作について説明する。
テーマパークのガイドコースの画像を予め撮影して基本画像データとしてＤＢ２５に記憶しておく。
ユーザは、ユーザ端末１の電源スイッチをオンにして起動すると、ユーザ端末１は、センタサーバ２にユーザＩＤ等を送信してアクセスを行う。

【0051】

そして、ユーザ端末１のカメラ１８の前で、ある一定の時間内に特定のハンドジェスチャー（ハンドサイン）を行うと、予め設定されたガイドプログラム（例えば、ユーザの現在位置の天気予報を読み上げる等）の開始要求をセンタサーバ２に送信する。または、上記一定時間内にハンドジェスチャーがない場合は、音声ガイド開始要求と認識して、当該要求をセンタサーバ２に送信する。その際に、ユーザ端末１は、センタサーバ２にＧＰＳ等の位置情報、方位情報とカメラ撮影画像データを送信する。位置情報等とカメラ撮影画像データは、継続してユーザ端末１からセンタサーバ２に送信される。

【0052】

音声ガイド開始要求を受信したセンタサーバ２は、対応するオペレータ端末３を呼び出し、ユーザ端末１の位置情報、方位情報に対応する地図情報とガイドコースに従った基本画像データをＤＢ２５から読み込み、ユーザ端末１の位置情報、方位情報、地図情報、基本画像データ、更にユーザ端末１からのカメラ撮影画像データをオペレータ端末３に送信する。

【0053】

オペレータ端末３は、センタサーバ２からの情報とデータを受信して表示部３６に地図情報、基本画像、カメラ撮影画像、関連情報を表示する。
オペレータは、オペレータ端末３の表示部３６に表示された情報、画像等を参照しながらユーザに対して音声入出力部３４のマイクから音声を入力し、ユーザ端末１に音声データを送信してユーザに対する音声ガイドを行う。

【0054】

また、オペレータは、オペレータ端末３の表示部３６に表示されるカメラ撮影画像に映し出される第三者と、ユーザ端末１の音声外部出力部（スピーカ）１５とマイク１４ａを利用して、会話を行うことができ、ユーザを第三者の力を借りてサポートすることができる。

【0055】

［センタサーバ２での処理：図８］
更に、センタサーバ２での処理について図８を参照しながら説明する。図８は、センタサーバの処理を示すフローチャートである。
センタサーバ２の制御部２１では、記憶部２２の処理プログラムを読み込んで実行可能とし、ユーザ端末１からのアクセスがあると、ログイン処理を行う（Ｓ１）。
ログイン処理は、ユーザ端末１からアクセスに伴いユーザＩＤ（又は機器ＩＤ）を受信するので、そのＩＤがＤＢ２５に登録されているか否かをセンタサーバ２が認証し、登録されていればログインを許可し、登録されていなければログインを不許可とする。

【0056】

次に、ユーザ端末１からガイド開始要求があると、ユーザ端末１の位置情報、方位情報を受信し、対応するオペレータ端末３を呼び出す処理を行う（Ｓ２）。
通常、ユーザのガイドに対してオペレータが事前に割り当てられているので、割り当てられたオペレータのオペレータ端末３を呼び出すことになる。尚、事前にオペレータの割り当てがなければ、センタサーバ２がスケジュールに空きのあるオペレータ端末３を呼び出して割り当てるようにしてもよい。

【0057】

そして、センタサーバ２は、ユーザ端末１からのカメラ撮影画像データをオペレータ端末３に送信する（Ｓ３）。
処理Ｓ３と並行して、センタサーバ２は、ユーザ端末１の位置情報から該当する地図情報をＤＢ２５から読み込み、オペレータ端末３に送信する（Ｓ４）。地図情報は、位置情報と方位情報を基に、現在地に対して向かう方向の地図情報を中心に選択して読み込むようにしてもよい。

【0058】

続いて、センタサーバ２は、ユーザ端末１の位置情報、方位情報から対応する基本画像データをＤＢ２５から読み込み、オペレータ端末３に送信する。
処理Ｓ３と処理Ｓ５の後に、ユーザからログオフがあったか否かを判定し（Ｓ６）、ログオフであれば（Ｙｅｓの場合）、処理を終了する。
ログオフでなければ（Ｎｏの場合）、ユーザ端末１からの信号断を判断し、信号断であれば（Ｙｅｓの場合）、処理を終了し、信号断でなければ（Ｎｏの場合）、処理Ｓ３，Ｓ４に戻る。

【0059】

ログオフは、ユーザ端末１でユーザがログオフ処理を行った場合であり、例えば、カメラ１８の前でログオフのハンドジェスチャーを行うことで為される。
信号断は、ユーザ端末１の電源スイッチをオフにしたような場合で、ユーザ端末１との通話ができなくなるので、処理を終了させることにしている。

【0060】

［応用例］
本システムでは、テーマパークにおける視覚障がい者向けの音声ガイドの例を説明したが、これは「見ることを補完」するサービスであり、それ以外に本システムは、「聴くことを補完」するサービス、「話すことを補完」するサービスにも応用できる。尚、サービスによっては、「見る」「聴く」「話す」の複合的なものになることがある。
尚、応用例の各動作は、コンピュータプログラムが実行されて機能実現手段により実現されるものである。
まず、「見ることを補完」するサービスについての応用例を説明する。

【0061】

［見ることを補完するサービスの応用例］
［応用例１：鉄道利用者向けサービス］
鉄道会社で利用して、改札を入る時にユーザ端末１を貸し出し、電車に乗って改札を出る時に返却してもらい、ユーザ端末１をユーザが装着している間は、ユーザのホームからの転落防止や、オペレータによって安全な誘導を実現できるものである。尚、オペレータ端末３の表示部３６に表示される関連情報は、乗り換え案内、乗り換え時間等の情報となる。このサービスは、視覚障がい者だけでなく、電車の乗り継ぎや、大きな駅での利用に不安を感じる乗客にも適用可能である。オペレータは、鉄道会社が監督する社員等が担当することが考えられる。

【0062】

［応用例２：スポーツ観戦サービス］
また、スポーツ観戦で、観客がユーザ端末１を装着し、そのスポーツに詳しいオペレータや同じチームを応援するオペレータがオペレータ端末３を用いてガイドするようにしてもよい。
その場合に、オペレータは、オペレータ端末３の表示部３６に表示される画像データを確認しながらゲーム、試合等を解説し、表示部３６に表示される関連情報としての選手情報、相手方チームの情報をユーザに提供するもので、ユーザは、臨場感を持って楽しめる。このガイドのサービスのオペレータは、スポーツ観戦のホーム会場の社員等が担当することが考えられる。

【0063】

［応用例３：市街地案内サービス］
また、市街地の画像情報（ビューデータ）を利用すれば、それを基本画像データとしてオペレータ端末３の表示部３６に表示して、視覚障がい者にユーザ端末１を装着し、視覚障がい者に対して市街地での音声ガイドを実現できる。

【0064】

［聴くことを補完するサービスの応用例］
［応用例４：観光地・美術館等案内サービス］
また、視覚障がい者に限らず、観光地や美術館では、外国人や健常者にユーザ端末１を装着し、外国人や健常者に対しても日本語又は外国語のオペレータによる音声ガイドのサービス提供が可能である。

【0065】

［応用例５：展示会向けサービス］
展示会向けサービスでは、展示会場のブースを訪問するユーザがユーザ端末１を装着し、オペレータがブースの会社情報、製品情報をユーザに提供し、ブースの説明者が外国人である場合には、オペレータが通訳を行うことも可能である。
このサービスは、見ること、聴くこと、話すことを補完するものとなる。

【0066】

［応用例６：高齢者向けサービス］
高齢者向けサービスでは、高齢者の外出をサポートするもので、例えば、病院、役所、買い物等で外出する場合に、家族が予め外出ルートをセンタサーバ２に登録しておけば、高齢者の外出ルートをオペレータが音声で案内し、必要に応じてオペレータが高齢者に代わり外部の人と直接会話を行うことがある。

【0067】

［応用例７：視覚障がいの子供向けサービス］
視覚障がいの子供向けサービスでは、視覚障がいの子供がユーザ端末１を装着し、子供が遊んだり、学んだりする場合に、オペレータが音声でサポートするものである。具体的には、子供が触れる物をオペレータが説明し、子供に興味を持たせるようにする。

【0068】

［応用例８：失読症患者向けサービス］
失読症（ディスレクシア）患者向けサービスでは、患者が読書等で書籍の文字を読む場合に、ユーザ端末１を装着し、画像入力部１８で書籍のページを撮影し、オペレータ端末３の表示部３６にそのページを表示し、オペレータが読み上げて音声入出力部３４から音声を入力し、ユーザ端末１の音声入出力部１４に音声出力するものである。
尚、ユーザ端末１で撮影されたページの文字を識別して音声データに変換し、ユーザ端末１に返信する処理をセンタサーバ２の制御部２１で行うようにしてもよい。

【0069】

［話すことを補完するサービスの応用例］
［応用例９：書籍読み聞かせサービス］
書籍の読み聞かせサービスとしては、子供向けにオペレータがリアルタイムで読み聞かせるもの（第１の読み聞かせ方法）と、予め声優などのプロが読んだ内容を録音データとしてセンタサーバ２の記憶部２２に記憶しておき、ユーザからの要求により再生するもの（第２の読み聞かせ方法）と、視覚障がいの母親又はディスクレシアの母親が肉声で読んだ内容を録音データとしてセンタサーバ２の記憶部２２に記憶させておき、そのデータを再生するもの（第３の読み聞かせ方法）がある。

【0070】

第２の読み聞かせ方法と第３の読み聞かせ方法では、ユーザ端末１の画像入力部１８で２次元コードを読み取ることで、センタサーバ２にアクセスして再生要求を送信し、録音データを再生することが考えられる。
また、ユーザ端末１に代えて、スマートフォンを用いて２次元コードを読み取り、センタサーバ２にアクセスして録音ファイルをスマートフォンで再生させてもよい。

【0071】

次に、第３の読み聞かせ方法について、更に具体的に説明する。
視覚障がい者の母親の肉声で子供向け書籍を読み聞かせるサービスは、視覚障がい者の母親がユーザ端末１を装着し、オペレータが子供向け書籍を読むと、母親はオペレータの言葉を反復し、反復した言葉を録音してセンタサーバ２の記憶部２２に記憶する。そして、ユーザ端末１を装着した子供から「本を読んで」との要求があると、オペレータが該当する書籍の母親の音声を再生して子供のユーザ端末１に送信し、音声出力する。

【0072】

［書籍読み上げ録音・再生処理：図９］
次に、第３の読み聞かせ方法を実現するための書籍読み上げ録音・再生処理について図９を参照しながら説明する。図９は、書籍読み上げ録音・再生処理を示すフローチャートである。
当該処理の前提として、センタサーバ２にアクセスして書籍読み上げ録音処理を実行するための２次元コードが書籍に付与されている。
図９に示すように、母親が装着したユーザ端末１の画像入力部１８で書籍の２次元コードを読み取ってセンタサーバ２にアクセスが為されると（Ｓ１１）、センタサーバ２は、記憶部２２にユーザ端末１のユーザＩＤに対応する母親の録音済みの音声ファイル（ユーザ音声ファイル）が存在するか否かを判定し（Ｓ１２）、音声ファイルが存在しない場合（Ｎｏの場合）は、母親の肉声を録音するために予め録音された、当該２次元コードに対応した音声ファイル（標準音声ファイル）を再生して音声出力（書籍の読み上げ）処理を行う（Ｓ１３）。

【0073】

書籍の読み上げ処理は、音声ガイダンスに従って、短い文章が読み上げられ、それに続いて母親の音声を録音する（書籍読み込み）処理を行う（Ｓ１４）。音声録音に際して、録音した音声データを逐次再生して確認し、気に入らなければ、録音した音声データをキャンセルして再録音できるようにしてもよい。
次に、書籍の読み上げ処理が終了したか否かを判定し（Ｓ１５）、終了していなければ（Ｎｏの場合）、次の文章の音声出力を行い（Ｓ１６）、処理Ｓ１４の音声録音処理に移行する。

【0074】

書籍の読み上げ処理が終了したならば（Ｙｅｓの場合）、編集処理を行い（Ｓ１７）、処理を終了する。
編集処理Ｓ１７は、処理Ｓ１４で録音された母親の声のデータをつなぎ合わせて一つの音声ファイル（ユーザ音声ファイル）を作成するものである。最終的に編集された音声データを再生して母親に確認してもらい、気に入らない場合には、最初から書籍読み上げ処理を行うようにしてもよい。
作成されたユーザ音声ファイル（母親音声ファイル）は、ユーザ端末１のユーザＩＤに対応付けられてセンタサーバ２の記憶部２２に記憶される。

【0075】

［書籍再生処理］
次に、子供に視覚障がい者の母親の声で書籍を読み聴かせる処理について説明する。
子供は、ユーザ端末１を装着して、ユーザ端末１の画像入力部１８で書籍の２次元コードを読み取ってセンタサーバ２にアクセスが為される（図９の処理Ｓ１１に相当）と、図９の判定処理Ｓ１２が為される。

【0076】

つまり、センタサーバ２は、ユーザ端末１のユーザＩＤに対応した母親音声ファイルが記憶部２２に記憶されているか否かを判定し、母親音声ファイルがセンタサーバ２の記憶部２２に記憶されている場合（Ｙｅｓの場合）には、当該音声ファイルの音声再生（書籍の読み聴かせる）処理（Ｓ１８）を行う。

【0077】

書籍を読み聴かせる処理は、図９の書籍読み上げ録音処理が完了している状態で為されるものであり、つまり、通常は、センタサーバ２の記憶部２２に母親音声ファイルが生成されて格納されている状態である。
書籍読み上げ録音処理が為される前に子供が２次元コードを読み取ると、書籍読み上げ録音処理が開始されることになる（図９の判定処理Ｓ１２でＮｏの場合）が、録音ファイルの確認作業がなされなければ、母親音声ファイルは生成されない。

【0078】

上記の例では、一つの２次元コードを書籍読み上げ録音処理と書籍を読み聴かせる処理に使用したが、書籍読み上げ録音処理の２次元コードと、書籍を読み聴かせる処理の２次元コードとを別のものを準備してもよい。この場合、書籍を読み聴かせる処理の２次元コード（第１のコード）は書籍に印刷し、書籍読み上げ録音処理の２次元コード（第２のコード）は、書籍とは分離してユーザに提供するのが望ましい。
つまり、第２のコードを読み取って母親の音声を録音して母親音声ファイルを生成し、その後は第１のコードを子供が読み取って母親音声ファイルの再生を行う。第１のコードには、点字を付与して視覚障がい者の母親が識別できるようにしておくとよい。

【0079】

［応用例１０：手話・ハンドサイン提供サービス］
聴覚障がい者に対するサービスとして、図２に示したユーザ端末１の代わりにスマートフォンを利用するものが考えられる。この場合、オペレータ端末３は画像入力部を備え、インタフェース部３５に接続している。

【0080】

具体的には、ユーザのスマートフォンとオペレータ端末３を回線接続し、スマートフォンを置いた状態又は誰かに持たせた状態で、スマートフォンのカメラ（画像入力部）で聴覚障がい者の手話又はハンドサインを撮影し、オペレータ端末３にリアルタイムで伝送する。
オペレータ端末３は、聴覚障がい者の手話又はハンドサインを表示部３６に表示して、オペレータが手話又はハンドサインで会話する様子を画像入力部で撮影して、ユーザのスマートフォンにその画像を伝送し、スマートフォンの表示画面に表示する。
このようにして、聴覚障がい者とオペレータとの間で手話等による会話が為される。

【0081】

そして、聴覚障がい者が手話のできない人（相手）と会話をしたい場合には、まず、オペレータと接続し、話したい内容を手話等でオペレータに伝え、オペレータはそれに応答しつつ、スマートフォンの外部出力スピーカで相手と音声で会話する。相手との会話内容は、オペレータが手話等により表現した画像データがスマートフォンに伝送され、その表示画面に表示される。
この例では、手話又はハンドサインをそれ以外の意思伝達手段を用いてもよい。例えば、文字を用いて実現してもよい。

【0082】

［応用例１１：接触物提供サービス］
次に、３Ｄプリンタを用いた接触物提供サービスについて説明する。３Ｄプリンタは、ユーザ宅に設置され、ユーザ端末となるコンピュータに接続され、当該コンピュータはネットワークを介してセンタサーバ２に接続されるようになっている。
そして、特定の２次元コードをコンピュータの読取装置で読み取ると、センタサーバ２にアクセスし、当該２次元コードに対応した物（模型、フィギュア）を形成するためのデータ（３Ｄプリンタ用データ）をダウンロードし、接続する３Ｄプリンタでそのデータに基づいた物を生成する。

【0083】

これは、子供、視覚障がい者、聴覚障がい者に模型、フィギュアを提供することで、それらに接触して形状を学ぶことができるものである。
また、３Ｄプリンタに接続するコンピュータ（特定のコンピュータ）とは別のユーザ端末で２次元コードを読み込み、センタサーバ２にアクセスがあると、センタサーバ２が３Ｄプリンタ用データを特定のコンピュータにダウンロード可能として提供してもよい。

【0084】

［応用例１２：ガイド中の２次元コード読み取り］
次に、テーマパーク、駅の構内、美術館、観光地等においてガイド途中に２次元コードを地面又は壁に配置しておき、ユーザ端末１の画像入力部１８で読み込み、その２次元コードから得られるアクセス情報をユーザ端末１がセンタサーバ２に送信し、センタサーバ２は、アクセス情報から得られる関連情報をオペレータ端末３に提供するようにしてもよい。
ここで、得られる関連情報としては、詳細な位置情報、お店、交通、お天気などの周辺情報が考えられる。
また、２次元コードは、遠くからでも認識できるように通常のサイズより何倍又は何十倍も大きいサイズで配置することが望ましい。

【0085】

［応用例１３：音を認識・通知］
ユーザ端末１とオペレータ端末３を用いてユーザをガイド中であって、ユーザ端末１の音声入力部１４から入力された音をセンタサーバ２の制御部２１で解析して認識し、ユーザに知らせるべき音の情報であれば、オペレータ端末３の表示部３６に表示し、オペレータからユーザ端末１のユーザに通知するようにしてもよい。

【0086】

［応用例１４：メガネのＬＥＤ点滅］
ユーザ端末としてスマートフォンを利用する場合に、オペレータからスマートフォンに連絡があった場合に、微弱電波でメガネに取り付けられたＬＥＤ（Light Emitting Diode）を点滅させて、通知するようにしてもよい。
当該メガネは、メガネの一部にＬＥＤ、微弱電波受信部とバッテリーを備えた構成であり、微弱電波を受信すると、ＬＥＤを点滅させる動作を行うものである。

【0087】

［ガイド予約］
上記応用例の中で様々なガイドを利用できるようにするための仕組みとして、ユーザは本サービスにアクセスすると、総合オペレータに接続して、ガイド予約を行うようにするとよい。
ガイド予約には、ガイド日時、地域、場所、ルート、言語、希望のオペレータの性別等を予め登録しておく。

【0088】

ＤＢ２５には、オペレータのスケジュール、得意な地域、場所、言語、性別が記憶されており、センタサーバ２がガイド予約の登録情報を参照して該当するオペレータを検索してオペレータの割り当てを行い（マッチング）、スケジュールにガイド予約を設定する。

【0089】

センタサーバ２は、ユーザのガイド時間になって、ユーザ端末１からアクセスがあると、ＤＢ２５のスケジュールを参照し、ガイド予約が設定されたオペレータ端末３を呼び出し、表示部３６にユーザの位置情報、方位情報、地図情報、基本画像、カメラ撮影画像を表示させる。

【0090】

［実施の形態の効果］
本システムによれば、予め施設又は構内の基本画像を撮影してＤＢ２５に基本画像データを記憶しておき、ユーザのガイドを行う場合にオペレータ端末３に、ユーザ端末１からのカメラ撮影画像データと、位置情報等を利用した地図情報と、位置情報等に対応する基本画像データとを表示して、ユーザ端末１へ音声ガイド情報を提供するようにしているので、オペレータが状況に応じて的確で安全なガイドを行うことができる効果がある。

【0091】

また、本システムによれば、ユーザ端末１に音声外部出力部１５を備え、オペレータがカメラ撮影画像を参考に、ユーザの近辺にいる人に音声外部出力部１５を介して音声で会話できるようにしているので、突発的なことが起きても臨機応変に対応可能となり、総合的に安全なガイドを行うことができる効果がある。

【産業上の利用可能性】

【0092】

本発明は、予め施設又は構内の基本画像を撮影しておき、ユーザのガイドを行う場合にオペレータの端末に、ユーザ端末からのカメラ撮影画像と、位置情報を利用した地図情報と、カメラ撮影画像に対応する基本画像とを表示して、オペレータが状況に応じて的確で安全なガイドを行うことができる音声ガイド支援システム及びそのプログラムに好適である。

【符号の説明】

【0093】

１...ユーザ端末、 ２...センタサーバ、 ３...オペレータ端末、 ４...ネットワーク、 １１...制御部、 １２...記憶部、 １３...音声処理部、 １４...音声入出力装置（音声入出力部）、１４ａ...マイク、 １４ｂ...イヤホン、 １５...音声外部出力装置（音声外部出力部）、 １６...ＧＰＳ部、 １７...通信部、 １８...画像入力装置（画像入力部）、 １９...バッテリー、 ２１...制御部、 ２２...記憶部、 ２３...インタフェース部、 ２５...データベース（ＤＢ）、 ３１...制御部、 ３２...記憶部、 ３３...音声処理部、 ３４...音声入出力部、 ３５...インタフェース部、 ３６...表示部、 ３７...入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】