特開 2016-205865 誘導システム、携帯端末、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-205865(P2016-205865A)

(43)【公開日】2016年12月8日

(54)【発明の名称】誘導システム、携帯端末、およびプログラム

(51)【国際特許分類】

   G01C 21/26 20060101AFI20161111BHJP

   G08G 1/005 20060101ALI20161111BHJP

   H04M 1/00 20060101ALI20161111BHJP

   H04M 11/00 20060101ALI20161111BHJP

【ＦＩ】

   G01C21/26 P

   G08G1/005

   H04M1/00 R

   H04M11/00 302

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2015-84442(P2015-84442)

(22)【出願日】2015年4月16日

(71)【出願人】

【識別番号】513104745

【氏名又は名称】株式会社パンタグラフ

(74)【代理人】

【識別番号】100100549

【弁理士】

【氏名又は名称】川口 嘉之

(74)【代理人】

【識別番号】100125357

【弁理士】

【氏名又は名称】中村 剛

(72)【発明者】

【氏名】吉田 靖規

【テーマコード（参考）】

2F129

5H181

5K127

5K201

【Ｆターム（参考）】

2F129AA02

2F129BB03

2F129BB21

2F129CC03

2F129CC15

2F129CC31

2F129DD15

2F129DD62

2F129EE02

2F129EE41

2F129EE43

2F129EE50

2F129EE52

2F129EE65

2F129FF02

2F129FF11

2F129FF15

2F129FF20

2F129FF73

5H181AA23

5H181BB04

5H181BB05

5H181FF04

5H181FF13

5H181FF25

5H181FF27

5H181FF32

5H181MB11

5K127AA31

5K127BA03

5K127CA19

5K127CB13

5K127CB16

5K127CB20

5K127DA11

5K127DA15

5K127DA19

5K127GA14

5K127GD07

5K127GD17

5K127JA14

5K127JA26

5K201AA06

5K201BA06

5K201BA19

5K201BC27

5K201BD01

5K201CA01

5K201CA04

5K201CC04

5K201EA05

5K201EA07

5K201EB07

5K201EC06

5K201ED04

5K201ED07

(57)【要約】

【課題】ネットワーク経由で、低コストで被誘導者を誘導する。
【解決手段】携帯端末と、サーバ装置と、からなる誘導システムであって、前記携帯端末が、画像を撮像し、前記サーバ装置に送信する画像送信手段と、自端末の位置情報を取得し、前記サーバ装置に送信する位置情報送信手段と、前記サーバ装置と音声の送受信を行う第一の音声通信手段と、を有し、前記サーバ装置が、前記携帯端末から送信された画像を受信する画像受信手段と、前記携帯端末から送信された位置情報を受信する位置情報受信手段と、前記受信した画像および位置情報に基づいて、オペレータに提示する画面を生成する画面生成手段と、前記携帯端末と音声の送受信を行う第二の音声通信手段と、を有し、前記第一および第二の音声通信手段は、リアルタイム伝送が可能な第一のプロトコルを用いて音声を送受信し、前記画像送信手段および画像受信手段は、リアルタイム伝送を行わない第二のプロトコルを用いて画像を送受信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

被誘導者が所持する携帯端末と、前記携帯端末と通信を行い、被誘導者を誘導するオペレータがアクセスするサーバ装置と、からなる誘導システムであって、
前記携帯端末が、
画像を撮像し、前記サーバ装置に送信する画像送信手段と、
自端末の位置情報を取得し、前記サーバ装置に送信する位置情報送信手段と、
前記サーバ装置と音声の送受信を行う第一の音声通信手段と、
を有し、
前記サーバ装置が、
前記携帯端末から送信された画像を受信する画像受信手段と、
前記携帯端末から送信された位置情報を受信する位置情報受信手段と、
前記受信した画像および位置情報に基づいて、オペレータに提示する画面を生成する画面生成手段と、
前記携帯端末と音声の送受信を行う第二の音声通信手段と、
を有し、
前記第一および第二の音声通信手段は、リアルタイム伝送が可能な第一のプロトコルを用いて音声を送受信し、
前記画像送信手段および画像受信手段は、リアルタイム伝送を行わない第二のプロトコルを用いて画像を送受信する
ことを特徴とする、誘導システム。

【請求項2】

前記位置情報送信手段は、前記携帯端末の姿勢に関する情報を、前記位置情報に付加して送信し、
前記画面生成手段は、前記携帯端末の姿勢に関する情報を、前記位置情報とともに表示する画面を生成する
ことを特徴とする、請求項１に記載の誘導システム。

【請求項3】

前記サーバ装置が、オペレータの入力に基づいて、被誘導者を誘導すべき方向を含む情報である誘導情報を前記携帯端末に送信する第一の誘導手段をさらに有し、
前記携帯端末が、受信した誘導情報に基づいて、音声または振動によって、方向を被誘導者に伝達する第二の誘導手段をさらに有する
ことを特徴とする、請求項１または２に記載の誘導システム。

【請求項4】

前記第二の誘導手段は、前記オペレータが入力を行った際に表示されている画像を撮像したタイミングから、前記携帯端末が誘導情報を取得したタイミングまでの時間差を検出し、当該時間差における、前記携帯端末の方位の変化を補正する
ことを特徴とする、請求項３に記載の誘導システム。

【請求項5】

前記携帯端末は、
自端末の状態に関する情報を参照した結果、誘導中にサービスの継続が不可能となることが見込まれる場合に、位置情報、画像、音声の少なくともいずれかの送信を一時的に停止させ、あるいは、画像または音声のデータレートを低下させる負荷調整手段をさらに有する
ことを特徴とする、請求項１から４のいずれかに記載の誘導システム。

【請求項6】

前記負荷調整手段は、電池残量または自端末の温度に基づいて、サービスの継続が不可能となるか否かを判定する
ことを特徴とする、請求項５に記載の誘導システム。

【請求項7】

前記画像送信手段は、画像の撮像と送信を周期的に行う第一のモードと、画像の撮像と送信を手動で行う第二のモードとを選択可能である
ことを特徴とする、請求項１から６のいずれかに記載の誘導システム。

【請求項8】

前記携帯端末は、
識別情報を発信するビーコンから、近距離無線通信によって前記識別情報を受信する近距離通信手段と、
受信した前記識別情報に基づいて、音声案内を出力する音声案内手段と、
をさらに有する
ことを特徴とする、請求項１から７のいずれかに記載の誘導システム。

【請求項9】

被誘導者が所持し、前記被誘導者を誘導するオペレータがアクセスするサーバ装置に対して情報を送信する携帯端末であって、
画像を撮像し、前記サーバ装置に送信する画像送信手段と、
自端末の位置情報を取得し、前記サーバ装置に送信する位置情報送信手段と、
前記サーバ装置と音声の送受信を行う音声通信手段と、
を有し、
前記音声通信手段は、リアルタイム伝送が可能な第一のプロトコルを用いて音声を送受信し、
前記画像送信手段は、リアルタイム伝送を行わない第二のプロトコルを用いて画像を送信する
ことを特徴とする、携帯端末。

【請求項10】

被誘導者が所持し、前記被誘導者を誘導するオペレータがアクセスするサーバ装置に対して情報を送信する携帯端末に、
画像を撮像し、前記サーバ装置に送信する画像送信ステップと、
自端末の位置情報を取得し、前記サーバ装置に送信する位置情報送信ステップと、
前記サーバ装置と音声の送受信を行う音声通信ステップと、
を実行させ、
前記音声通信ステップでは、リアルタイム伝送が可能な第一のプロトコルを用いて音声を送受信し、
前記画像送信ステップでは、リアルタイム伝送を行わない第二のプロトコルを用いて画像を送信する
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被誘導者を誘導するシステムに関する。

【背景技術】

【0002】

視覚障害者の歩行を補助するためのものとして、白杖や盲導犬などが広く利用されている。しかし、白杖や盲導犬は、障害物を知るための補助的なものであり、目的地に対する積極的な誘導を行うものではない。これに対し、近年、ネットワークや携帯端末等を用いて、視覚障害者などのハンディキャップを有する人々が歩行する際のサポートを行おうとする試みがある。

【0003】

例えば、特許文献１には、被誘導者が保持する携帯端末と、サーバ装置との間で通信を行い、音声によって被誘導者を誘導するナビゲーションシステムが記載されている。当該システムでは、携帯端末から、動画像と位置情報をサーバに送信し、サーバ側で、サポーターが画像と位置情報を確認しながら、音声指示によって被誘導者を誘導するという構成をとっている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−１９５８５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載のシステムでは、携帯端末から動画像を送信することによって、被誘導者の周囲の状況をサポーターに伝達している。しかし、当該構成によると、被誘導者が歩行中において、常に通信をし続けなければならないため、バッテリなどのリソースを消費するという問題がある。特に、スマートフォンなどの携帯型の端末は、長時間の通信に耐えうるバッテリ容量を有していない場合があり、このような場合、短時間しか利用することができない。また、ＣＰＵの発熱に起因する温度上昇によって、端末の動作が制限される可能性もある。

【0006】

また、通話しながら被誘導者を誘導するためには、指示が遅延しないよう、リアルタイム性が保証された通信プロトコルを用いる必要があるが、このようなプロトコルを利用すると、携帯端末における処理量が増大し、リソースの消費につながる。すなわち、従来の技術においては、リソースの節約という面で改善の余地があった。

【0007】

本発明は上記の課題を考慮してなされたものであり、低コストで被誘導者を誘導できる誘導システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る誘導システムは、被誘導者が所持する携帯端末と、前記携帯端末と通信を行い、被誘導者を誘導するオペレータがアクセスするサーバ装置と、からなるシステムである。
具体的には、前記携帯端末が、画像を撮像し、前記サーバ装置に送信する画像送信手段と、自端末の位置情報を取得し、前記サーバ装置に送信する位置情報送信手段と、前記サーバ装置と音声の送受信を行う第一の音声通信手段と、を有し、前記サーバ装置が、前記携帯端末から送信された画像を受信する画像受信手段と、前記携帯端末から送信された位置情報を受信する位置情報受信手段と、前記受信した画像および位置情報に基づいて、オ
ペレータに提示する画面を生成する画面生成手段と、前記携帯端末と音声の送受信を行う第二の音声通信手段と、を有し、前記第一および第二の音声通信手段は、リアルタイム伝送が可能な第一のプロトコルを用いて音声を送受信し、前記画像送信手段および画像受信手段は、リアルタイム伝送を行わない第二のプロトコルを用いて画像を送受信することを特徴とする。

【0009】

本発明に係る誘導システムは、携帯端末からサーバ装置に画像を送信し、かつ、携帯端末とサーバ装置間で音声の送受信を行うことで被誘導者を誘導するシステムである。
各音声通信手段が利用する第一のプロトコルは、リアルタイム性が保証されたプロトコル、例えば、受信側が期待する時間内に到着したパケットのみを用いてデータを再生するプロトコルである。第一のプロトコルを用いると、音声パケットの伝送遅延や喪失が発生した場合、当該パケットを無視して音声の再生を行うため、音声の遅延が発生しない。すなわち、被誘導者を誘導するための指示がリアルタイムで行えるため、精度のよい誘導を行うことができる。

【0010】

一方で、例えば、ＲＴＰ（Real-Time Transport Protocol）といった、リアルタイム性を保証するプロトコルでは、データ転送チャネルとは別に、送受信の品質を制御するための制御チャネルを別途設け、品質に関するレポートを送受信する必要がある。すなわち、リアルタイム性が保証されないプロトコルと比較すると、データ送受信時の処理量が増えるという問題がある。

【0011】

そこで、本発明に係る誘導システムでは、画像の伝送において、リアルタイム伝送を行わない第二のプロトコルを利用する。画像は、誘導を行うための重要な情報であるが、音声と比較して厳密なリアルタイム性が求められるわけではない。よって、このように構成することで、音声と画像を共に第一のプロトコルで送信する場合と比較して、処理量を抑えることができる。

【0012】

また、本発明に係る誘導システムでは、画像の伝送をリアルタイムで行わない代わりに、これを補完する情報として位置情報を送信する。これにより、オペレータが、画像によって得られる情報を補完することができ、誘導の精度を向上させることができる。

【0013】

なお、本発明に係るサーバ装置は、オペレータがアクセスすることができれば、必ずしもオペレータが直接操作するものでなくてもよい。例えば、コンピュータのブラウザや、アプリケーションを介してオペレータとインタラクションを行うものであってもよい。この場合、生成された画面は、当該ブラウザやアプリケーションを介してオペレータに提供される。
また、本発明に係るサーバ装置は、通信を処理するための他のコンピュータまたは装置を含んでいてもよい。例えば、第一のプロトコルを処理するための独立した音声サーバ装置を含んでいてもよい。

【0014】

また、前記位置情報送信手段は、前記携帯端末の姿勢に関する情報を、前記位置情報に付加して送信し、前記画面生成手段は、前記携帯端末の姿勢に関する情報を、前記位置情報とともに表示する画面を生成することを特徴としてもよい。

【0015】

携帯端末の位置情報に加えて、当該端末の姿勢に関する情報を付加して送信するようにしてもよい。例えば、携帯端末が向いている方位角を付加して送信することで、オペレータは、被誘導者がどの方位を向いているかを知ることができる。これにより、誘導の精度を更に向上させることができる。なお、姿勢に関する情報とは、方位に限られず、例えば、携帯端末の仰角や俯角を表す情報など、三次元空間における姿勢を表すものであれば、どのようなものであってもよい。

【0016】

また、本発明に係る誘導システムは、前記サーバ装置が、オペレータの入力に基づいて、被誘導者を誘導すべき方向を含む情報である誘導情報を前記携帯端末に送信する第一の誘導手段をさらに有し、前記携帯端末が、受信した誘導情報に基づいて、音声または振動によって、方向を被誘導者に伝達する第二の誘導手段をさらに有することを特徴としてもよい。

【0017】

本発明に係る誘導システムでは、オペレータの発話によって被誘導者を誘導する。しかし、誘導中に常にオペレータが発話し続けることは現実的ではない。そこで、サーバ装置から携帯端末に対して、誘導すべき方向を含んだ情報（誘導情報）を送信し、当該誘導情報を受信した携帯端末が、音声や振動によって方向を伝達するようにしてもよい。方向の伝達は、例えば、方向ごとに対応する音声ファイルを再生することで行ってもよいし、振動子（バイブレータ）を複数設け、誘導すべき方位に対応する振動子を振動させることで行ってもよい。
なお、サーバ装置から送信される誘導情報とは、バイナリデータやテキストデータであってもよいし、サーバ装置で生成された音声データ等であってもよい。

【0018】

また、前記第二の誘導手段は、前記オペレータが入力を行った際に表示されている画像を撮像したタイミングから、前記携帯端末が誘導情報を取得したタイミングまでの時間差を検出し、当該時間差における、前記携帯端末の方位の変化を補正することを特徴としてもよい。

【0019】

前述したように、携帯端末から送信される画像は、リアルタイム性が保証されないため、遅延が発生する場合がある。すなわち、オペレータが指示を行う前提となる画像を撮像したタイミングと、指示を行ったタイミングとの間にずれが生じる可能性があるため、指示すべき方向が変わってしまうケースが発生し得る。例えば、オペレータが視認した画像では、被誘導者が北を向いていたが、被誘導者が指示を受信したタイミングでは北西を向いていたといった場合である。このような場合、そのまま「直進」といったような指示すると、被誘導者が誤った方向に誘導されてしまう。そこで、当該時間差を検出し、方位の変化を補正するようにしてもよい。例えば、前述のケースの場合、誘導すべき方向を右方向に４５度補正する。このようにすることで、タイムラグに起因する誤誘導を防ぐことができる。

【0020】

また、前記携帯端末は、自端末の状態に関する情報を参照した結果、誘導中にサービスの継続が不可能となることが見込まれる場合に、位置情報、画像、音声の少なくともいずれかの送信を一時的に停止させ、あるいは、画像または音声のデータレートを低下させる負荷調整手段をさらに有することを特徴としてもよい。

【0021】

本体温度の上昇やバッテリ残量の低下によって、携帯端末の動作が停止してしまう場合がある。そこで、誘導中においてサービスの継続が不可能となることが見込まれる場合に、いずれかのチャネルの送信を停止、あるいは、データレートを低下させることで負荷を調整するようにしてもよい。例えば、携帯端末からの音声の送信を停止し、サーバ装置側からの単方向通話としてもよいし、位置情報の送信を停止してもよい。また、画像のデータレートないしフレームレートを低下させてもよし、画像の自動送信を停止してもよい。このように、サービスの質を若干低下させることで、サービス全体が中断されてしまうことを防ぐようにしてもよい。

【0022】

また、前記負荷調整手段は、電池残量または自端末の温度に基づいて、サービスの継続が不可能となるか否かを判定することを特徴としてもよい。

【0023】

サービスの継続ができるか否かは、電池残量や端末本体の温度に基づいて判断することができる。例えば、目的地に到着する前に電池残量が無くなることを予測してもよいし、本体温度が閾値を超えた場合に、まもなくサービスの継続ができなくなると判定してもよい。

【0024】

また、前記画像送信手段は、画像の撮像と送信を周期的に行う第一のモードと、画像の撮像と送信を手動で行う第二のモードとを選択可能であることを特徴としてもよい。

【0025】

このように、第二のモードを選択可能とすることで、必要な状況でのみ画像を送信することができるようになり、携帯端末の処理量および通信量を抑えることができる。また、プライバシー等にも配慮できるようになる。

【0026】

前記携帯端末は、識別情報を発信するビーコンから、近距離無線通信によって前記識別情報を受信する近距離通信手段と、受信した前記識別情報に基づいて、音声案内を出力する音声案内手段と、をさらに有することを特徴としてもよい。

【0027】

このように、携帯端末が、ビーコンから発信された識別情報に基づいて、自律的に音声案内を行うようにしてもよい。ビーコンを、被誘導者が歩行する経路の近傍に設置することで、オペレータの負荷を軽減し、また、安全性を向上させることができる。

【0028】

なお、本発明は、上記手段の少なくとも一部を含む誘導システムとして特定することができる。また、本発明は、上記誘導システムに含まれる携帯端末や、携帯端末を動作させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【発明の効果】

【0029】

本発明によれば、低コストで被誘導者を誘導できる誘導システムを提供することができる。

【図面の簡単な説明】

【0030】

【図1】第一の実施形態に係る誘導システムの概要図である。

【図2】第一の実施形態に係る誘導システムのシステム構成図である。

【図3】第一の実施形態に係る誘導システムにおける、発信処理のフロー図である。

【図4】コンピュータ４００に表示される画面の例である。

【図5】第一の実施形態に係る誘導システムにおける、終話処理のフロー図である。

【図6】第二の実施形態に係る誘導システムのシステム構成図である。

【図7】第二の実施形態においてコンピュータ４００に表示される画面の例である。

【図8】第五の実施形態に係る誘導システムのシステム構成図である。

【発明を実施するための形態】

【0031】

（第一の実施形態）
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
第一の実施形態に係る誘導システム１０は、視覚障害のあるユーザ（以下、被誘導者）を、遠隔地にいるサポーター（以下、誘導者）が音声によって誘導するためのシステムである。具体的には、被誘導者が所持する端末である携帯端末１００と、サービスを提供するためのＷｅｂサーバ２００および音声サーバ３００、誘導者が操作するコンピュータ４００からなる。

【0032】

図１を参照しながら、本実施形態に係る誘導システム１０の概要について説明する。
携帯端末１００とＷｅｂサーバ２００および音声サーバ３００は、ネットワーク経由で
接続されている。また、誘導者は、コンピュータ４００上で動作するブラウザを用いて、Ｗｅｂサーバ２００に接続した状態で待機している。ここで、携帯端末１００（またはコンピュータ４００）が、音声サーバ３００を介して、Ｗｅｂサーバ２００に対して誘導開始の要求を送信すると、Ｗｅｂサーバ２００は、コンピュータ４００のブラウザ画面（または携帯端末１００）を通して相手を呼び出す。そして、相手が応答すると、携帯端末１００は、Ｗｅｂサーバ２００に対して画像と位置情報の周期的な送信を開始する。
また、Ｗｅｂサーバ２００は、コンピュータ４００に提供するユーザインタフェース画面を生成し、携帯端末１００から画像と位置情報を取得するごとに更新する。これにより、誘導者は、携帯端末１００が撮像した画像と、位置情報を逐一確認することができる。

【0033】

また、音声サーバ３００が、携帯端末１００とＷｅｂサーバ２００との間でＶｏＩＰ（Voice Over IP）サービスを提供する。これにより、携帯端末１００と、コンピュータ４
００のブラウザ上で動作するＷｅｂアプリケーションとの間での音声通話が可能となる。
かかる構成によると、携帯端末１００から送信された画像および位置情報を誘導者が画面上で確認しながら、被誘導者と音声による通話を行い、誘導を行うことができる。

【0034】

<システム構成>
次に、第一の実施形態に係る誘導システム１０の具体的なシステム構成図である図２を参照しながら、携帯端末１００の具体的な構成について説明する。

【0035】

携帯端末１００は、プロセッサとメモリを内蔵し、単体でデータ処理が可能な、眼鏡型のウェアラブルコンピュータ（いわゆるスマートグラス）である。本実施形態に係る携帯端末１００は、ユーザの視線方向に向けてカメラが内蔵されており、グラスを着用したユーザの視界に対応する画像を撮像することができる。
なお、本実施形態では、携帯端末１００はスマートグラスであるが、被誘導者が向いている方向に向けてカメラを設置することができれば、どのようなデバイスであってもよい。例えば、スマートフォンや携帯電話等であってもよい。
携帯端末１００は、画像取得部１０１、位置情報取得部１０２、音声入出力部１０３、制御部１０４、通信部１０５から構成される。

【0036】

画像取得部１０１は、内蔵されたカメラを介して画像を撮像する手段である。画像取得部１０１が撮像した画像は、前述したように、グラスを着用しているユーザ（すなわち被誘導者）の視界に対応する画像である。取得された画像は、後述する制御部１０４および通信部１０５を介して、Ｗｅｂサーバ２００に送信される。
以降、画像取得部１０１が取得した画像をカメラ画像と称する。

【0037】

位置情報取得部１０２は、端末に備えられた不図示のＧＰＳ装置を用いて、自端末の位置情報（緯度および経度）を取得する手段である。また、端末に備えられた不図示のコンパスを用いて、カメラが向いている方位角（磁北または真北を基準とする０°〜３５９°の範囲）を取得する手段でもある。なお、以降の説明において、位置情報という語は、端末の緯度および経度と、カメラが向いている方位角の双方を表す語として用いる。
取得された位置情報は、後述する制御部１０４および通信部１０５を介して、Ｗｅｂサーバ２００に送信される。

【0038】

音声入出力部１０３は、被誘導者に対して音声を提供し、また、被誘導者からの音声入力を取得する手段である。具体的には、不図示のヘッドホンを用いて、音声サーバ３００から送信された音声を被誘導者に提供する。また、被誘導者が行った発話は、不図示のマイク、および、後述する制御部１０４および通信部１０５を介して、音声サーバ３００に送信される。

【0039】

制御部１０４は、携帯端末１００を構成する各手段の制御を司る手段である。具体的には、携帯端末１００とＷｅｂサーバ２００（音声サーバ３００）とのネゴシエーションや、情報の送受信などを管理する。具体的な処理内容については後述する。

【0040】

通信部１０５は、携帯端末１００を、ネットワーク（例えばインターネットやＶＰＮ）経由でＷｅｂサーバ２００および音声サーバ３００に接続するための通信手段である。通信部１０５は、有線ネットワークインタフェースであってもよいし、無線ネットワークインタフェースであってもよい。また、携帯電話網や公衆無線ネットワークにアクセスする手段であってもよい。

【0041】

次に、Ｗｅｂサーバ２００、音声サーバ３００、コンピュータ４００について説明する。
Ｗｅｂサーバ２００は、プロセッサとメモリを有し、Ｗｅｂサービスを提供するコンピュータである。Ｗｅｂサーバ２００が提供するＷｅｂサービスによって、携帯端末１００とコンピュータ４００が接続される。

【0042】

Ｗｅｂサーバ２００は、以下に挙げる機能をＷｅｂサービスによって提供する。
第一の機能は、携帯端末１００から送信されたカメラ画像および位置情報を用いて、画面（ブラウザに表示される画面）を生成し、コンピュータ４００に提供する機能である。
また、第二の機能は、音声サーバ３００から送信された音声をコンピュータ４００に転送し、また、コンピュータ４００から送信された音声を音声サーバ３００に転送する機能である。音声サーバ３００を介して携帯端末１００とコンピュータ４００を接続することで、被誘導者と誘導者の音声通話が可能となる。

【0043】

音声サーバ３００は、プロセッサとメモリを有し、ＶｏＩＰサービスを提供するサーバである。具体的には、携帯端末１００から送信された音声データを、ＲＴＰといった、リアルタイム性を保証するプロトコルを用いて処理し、Ｗｅｂサーバ２００に送信する。また、同様に、Ｗｅｂサーバ２００から送信された音声データを処理し、携帯端末１００に送信する。

【0044】

コンピュータ４００は、誘導者が使用するコンピュータであって、携帯端末１００から送信された情報を表示し、また、被誘導者を誘導するための指示を入力するためのコンピュータである。コンピュータ４００は、Ｗｅｂアプリケーションが動作するブラウザと、音声入出力機能を有しているものであれば、どのようなものであってもよい。例えば、デスクトップコンピュータであってもよいし、ノートブック型コンピュータであってもよい。また、タブレット型コンピュータや、モバイルコンピュータ等であってもよい。

【0045】

以上に説明した各装置ないし各手段の制御は、制御プログラムをＣＰＵなどの処理装置が実行することによって実現される。また、当該制御は、ＦＰＧＡ（Field-Programmable
Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。また、専用のハードウェアによって実現されてもよい。

【0046】

<処理フロー>
次に、誘導システム１０を構成する各装置が行う具体的な処理の内容を、処理フロー図を参照しながら説明する。図３は、被誘導者が携帯端末１００から発信操作を行った場合における、接続フロー図である。

【0047】

まず、誘導者が、ブラウザを介してＷｅｂサーバ２００にログインする（ステップＳ１０１）。これにより、Ｗｅｂサーバ２００は、誘導者が待機中である旨の情報を有した状
態となる。本ステップの処理が完了すると、コンピュータ４００のブラウザには、待ち画面が表示された状態となる。

【0048】

次に、携帯端末１００が、誘導者を呼び出す信号（発信通知）を音声サーバ３００に送信する（ステップＳ１０２）。発信通知には、発信元（被誘導者）を識別するＩＤと、発信先（誘導者）を識別するＩＤが含まれる。発信操作は、例えば、携帯端末１００上にて、予め設定されたショートカットを呼び出す操作を行うことでなされてもよいし、特定のジェスチャ入力を行うことでなされてもよい。なお、被誘導者が視覚障害者である場合、発信操作は音声コマンドなどによって行われることが好ましい。

【0049】

発信通知を受信した音声サーバ３００は、Ｗｅｂサーバ２００に発信通知を転送したうえで、呼び出しを行う。ここで、該当する誘導者がＷｅｂサーバ２００に接続している場合、コンピュータ４００のブラウザ画面に、発信者名と、呼び出しがあった旨を表示させ、誘導者に、呼び出しを受諾するか否かを選択させる。
誘導者が呼び出しを受諾した場合、ネゴシエーションを実行する。これにより、Ｗｅｂサーバ２００と音声サーバ３００の双方が、接続が成立したことを認識した状態となる。
なお、誘導者が呼び出しを受諾しなかった場合（誘導者が接続していないために通知が行えない場合を含む）は、音声サーバ３００は、携帯端末１００にその旨を通知し、処理を終了させる。

【0050】

ネゴシエーションが完了すると、音声通話が開始される（ステップＳ１０３）。以降、携帯端末１００とコンピュータ４００のどちらかが接続を切断するまで、音声は、音声サーバ３００およびＷｅｂサーバ２００を経由し、Ｗｅｂアプリケーションを介して誘導者に提供される。前述したように、音声通話は、ＶｏＩＰを用いて行われるため、音声についてはリアルタイム性が保証される。
また、この際、Ｗｅｂサーバ２００は、通話を開始した時刻（以下、通話開始時刻）を取得し、被誘導者のＩＤと紐付けて一時的に記憶する。

【0051】

また、音声通話の開始と同時に、携帯端末１００が、Ｗｅｂサーバ２００に対する、カメラ画像および位置情報の周期的な送信を開始する（ステップＳ１０４）。なお、本実施形態では、携帯端末１００は、位置情報およびカメラ画像を、ＷｅｂＳｏｃｋｅｔを利用してＷｅｂサーバ２００に送信する。すなわち、位置情報およびカメラ画像は、音声チャネルが利用するＲＴＰではなく、ＴＣＰ上のソケット通信によって送信される。なお、位置情報およびカメラ画像の送信間隔は、予め定められた間隔とするが、例えば、カメラ画像を送信するのにかかる時間が、当該間隔を上回るような場合、当該間隔以上であってもよい。

【0052】

Ｗｅｂサーバ２００は、カメラ画像および位置情報を取得すると、当該カメラ画像および位置情報を用いて、誘導者に提供する画面を生成する。
具体的には、図４に示したような、フレームで分割された画面を生成し、上側の領域（領域３０１）に、取得したカメラ画像を出力する。また、右下側の領域（領域３０２）には、位置情報に対応する地図を出力したうえで、携帯端末１００の位置を表す記号を合成する。なお、位置情報に対応する地図は、予め記憶されているものを用いてもよいし、ネットワークを介して他のサーバから取得してもよい。また、携帯端末１００の位置を表す記号は、図示したような矢印状の形状をしており、当該端末のカメラが向いている方位を表している。また、Ｗｅｂサーバ２００は、携帯端末１００からカメラ画像および位置情報を取得するごとに、表示内容（カメラ画像、位置、方位）を更新する。

【0053】

なお、Ｗｅｂサーバ２００は、経路探索機能や、経路を作成する機能を有していてもよい。例えば、目的地を画面上で入力することで、最適な移動経路を検索し、当該経路を地
図上にオーバーレイ表示するようにしてもよい。このようにすることで、誘導者が被誘導者を誘導しやすくなる。また、経路を手動で指定できるようにしてもよい。

【0054】

ところで、Ｗｅｂサーバ２００は、複数の携帯端末１００と通信可能であるため、携帯端末１００から送信された、「カメラ画像」「音声」「位置情報」の３つのチャネルそれぞれを、同一の通信に紐付くものであることを識別しなければならない。そこで、本実施形態では、ステップＳ１１で取得した、被誘導者を識別するＩＤを用いて、３つのチャネルの紐付けを行う。

【0055】

図５は、被誘導者が携帯端末１００から終話操作を行った場合における、切断フロー図である。誘導を終了する際は、携帯端末１００またはコンピュータ４００の画面上から、通話を切断する操作を行う。当該操作は、Ｗｅｂサーバ２００および音声サーバ３００に伝送され、全てのチャネルが切断される。

【0056】

以上説明したように、第一の実施形態に係る誘導システムによると、誘導者が、被誘導者の現在位置（および方向）と、視界に対応する画像を画面上で確認しながら、音声によって誘導を行うことができる。また、第一の実施形態に係る誘導システムでは、音声を、リアルタイム伝送を行うプロトコル（本発明における第一のプロトコル）によって送受信し、カメラ画像を、リアルタイム伝送を行わないプロトコル（第二のプロトコル）によって送受信する。第二のプロトコルを用いることで、第一のプロトコルを用いた場合と比較して、処理に必要な演算量が少なくなる。すなわち、従来技術を用いた場合と比べて、より長時間の動作が可能となる。

【0057】

なお、図３および図５の説明では、携帯端末１００側から発信および切断を行ったが、コンピュータ４００側から発信および切断を行うようにしてもよい。

【0058】

（第二の実施形態）
第一の実施形態では、被誘導者と誘導者との間で音声通話を行い、会話による誘導を行った。これに対し、第二の実施形態は、誘導者がコンピュータに対して指示を入力し、当該指示に応じて、携帯端末１００側で音声を合成して再生する機能を追加した実施形態である。

【0059】

図６は、第二の実施形態に係る誘導システムのシステム構成図である。第二の実施形態に係る誘導システムは、携帯端末１００が、音声を合成して出力する手段である音声合成部１０６を有しているという点において、第一の実施形態と相違する。
また、第二の実施形態では、Ｗｅｂサーバ２００が、誘導者の操作に基づいて、被誘導者を誘導するための文章（以下、誘導文章）を生成し、当該誘導文章を受信した携帯端末１００が、音声合成部１０６を介して音声を生成するという点において、第一の実施形態と相違する。

【0060】

第二の実施形態では、ステップＳ１０４でＷｅｂサーバ２００が画面を生成する際に、図４に示した画面に加え、図７に示したような、指示入力用の画面を同時に生成する。
指示入力用の画面では、誘導者が、「方向」「距離」「対象物」「行動」のそれぞれを選択したうえで、送信ボタンを押下する。これにより、選択に応じた誘導文章が生成される。例えば、図７に示した通りの内容を入力した場合、「１１時の方向、１０ｍに、駐車車両です。注意して進行してください」といった内容の誘導文章が生成され、携帯端末１００に送信される。
また、携帯端末１００は、誘導文章を受信すると、音声合成部１０６によって当該文章を読み上げ、音声入出力部１０３を通して出力する。

【0061】

第二の実施形態では、このように、誘導者の入力に基づいて音声を生成するため、誘導者と被誘導者が常に通話状態である必要がなくなる。なお、「音声通話開始」を押下することで、通常の通話状態に遷移するようにしてもよい。

【0062】

（第二の実施形態の変形例）
なお、図７に示した例では、誘導者が、「方向」「距離」といったように、誘導に必要な要素を選択することで文章を生成したが、被誘導者を誘導すべき方向を伝達することができれば、他の方法を採用してもよい。

【0063】

例えば、例示したような多肢選択式ではなく、携帯端末１００から送信された画像に基づいて、誘導者が誘導先を指定するようにしてもよい。例えば、被誘導者を誘導したい地点を画像上で指定（タップやクリック等）し、当該指定に基づいて、誘導すべき方向や距離を生成するようにしてもよい。第一の実施形態では、携帯端末１００が有するカメラの方位角を位置情報と同時に送信したが、チルト角およびロール角をさらに取得して送信することで、このような演算が可能になる。

【0064】

また、被誘導者に提供する音声を、Ｗｅｂサーバ２００が生成するようにしてもよい。この場合、通常の通話と同じく、音声サーバ３００を介して音声が送受信される。
また、被誘導者に提供する音声は、音声合成以外によって生成してもよい。例えば、予め記憶された音声ファイルを連結することで生成してもよい。

【0065】

この他にも、音声合成ではなく、振動によって被誘導者に方向を指示するようにしてもよい。例えば、被誘導者が身に着けるベルトや杖に複数の振動子を配置し、進むべき方角に対応する振動子を振動させることで、方向を指示するようにしてもよい。また、振動のパターンや強さによって、方向以外の情報を伝達するようにしてもよい。

【0066】

（第三の実施形態）
第三の実施形態は、第二の実施形態に、カメラ画像の伝送遅れによる指示の遅れを補正する機能を追加した実施形態である。
本発明に係る誘導システムは、画像をリアルタイムで伝送することができないため、時間的なずれが生じてしまう場合がある。例えば、伝送されたカメラ画像を確認して誘導者が指示を入力したが、実際は、画像が遅延しており、被誘導者が異なる方角を向いてしまっているというケースが生じうる。

【0067】

そこで、第三の実施形態では、誘導者に提供したカメラ画像を撮像したタイミングと、誘導用の音声を再生するタイミングとのずれを検出し、当該ずれに起因する方角のずれを検出したうえで、音声を再生する際に、当該ずれを補正する。
具体的には、携帯端末１００からカメラ画像を送信する際に、当該画像が撮像された時刻（以下、撮像時刻）についての情報を同時に送信し、Ｗｅｂサーバ２００が、誘導文章と同時に、現在画面に表示されている最新のカメラ画像に対応する撮像時刻を送信する。

【0068】

そして、音声合成部１０６が、現在時刻と、撮像時刻との差を取得し、方位にずれが生じている場合に、当該ずれを補正して音声を生成する。例えば、撮像時刻において、カメラが北を向いており、現在時刻において、カメラ（被誘導者）が北西を向いている場合、方角を時計回りに４５度補正したうえで音声を生成する。
このようにすることで、カメラ画像の伝送遅延に起因する誘導精度の低下を防ぐことができる。

【0069】

（第四の実施形態）
第一ないし第三の実施形態では、誘導中において、携帯端末１００が、所定の周期で常
にカメラ画像をＷｅｂサーバ２００に送信し続けた。しかし、画像を連続して撮像し、送信し続けると、バッテリや通信帯域といったリソースを大量に消費し、サービスの継続が不可能になってしまう場合がある。
第四の実施形態は、これに対応するため、誘導中にサービスの継続が不可能となることが見込まれる場合に、音声、カメラ画像、位置情報の少なくともいずれかの送信を一時的に停止させるか、データレートを低下させることで負荷を軽減する実施形態である。

【0070】

第四の実施形態に係る携帯端末１００は、制御部１０４が、端末本体の温度と、バッテリ残量を検出する手段を有しているという点において、第一ないし第三の実施形態と相違する。また、第四の実施形態では、制御部１０４が、検出した温度およびバッテリ残量に基づいて、情報の送信量を制御する機能を有する。

【0071】

具体的に説明する。一般的に、スマートフォンをはじめとする携帯端末は、長時間にわたって負荷がかかることで、端末本体の温度が上昇する。また、多くの端末では、温度が閾値を超えると、安全のために動作を停止する機能を有している。また、バッテリ残量が閾値を下回ると、過放電防止のために強制的にシャットダウンを行う機能を有している。
一方、誘導中においてこのような機能が作動した場合、以降の誘導が行えなくなるため、視覚障害者にとって大きな不利益となる。そこで、第四の実施形態では、端末本体の温度変化、または、バッテリ残量の変化が、誘導中に閾値を超える（下回る）と判定される場合に、カメラ画像、音声、位置情報のうちのいずれかの送信を停止、または、データ量を削減することで負荷を軽減する。

【0072】

具体的には、所定の時間内に、本体温度が閾値を超える、または、バッテリ残量が閾値を下回ることが予想される場合に、制御部１０４が、以下に示すいずれかの処理を自動で行う。
（１）カメラ画像の送信間隔を長くする
（２）カメラ画像の解像度を低くする
（３）カメラ画像のデータレートを低くする
（４）カメラ画像の自動送信を停止し、被誘導者の指示があった場合にのみ撮像および送信を行うようにする
（５）携帯端末１００からの音声の送信を停止する
（６）位置情報の送信を停止する

【0073】

このような処理は、選択的に実行してもよいし、閾値との関係に応じて順次実行してもよい。また、複数の処理を組み合わせてもよい。
なお、所定の時間内とは、固定の時間であってもよいし、誘導が終了するまでの時間が予測できる場合（例えば、目的地までの経路が設定されている場合など）、当該時間を用いてもよい。

【0074】

このように、第四の実施形態では、誘導の途中でサービスの提供が不可能になることを予測し、負荷を軽減させる処理を行う。これにより、サービスの中断による被誘導者の孤立を防ぐことができる。

【0075】

なお、携帯端末１００の負荷を軽減することができれば、例示した６種類以外の処理を行うようにしてもよい。また、負荷軽減処理は、制御部１０４が自動で行うようにしてもよいが、被誘導者に予告を行ったのちに実行するようにしてもよい。例えば、事前に音声案内を行うようにしてもよい。この他にも、Ｗｅｂサーバ２００を通してコンピュータ４００の画面に通知を行い、誘導者が肉声で案内するようにしてもよい。また、どのような負荷軽減処理を行うかを、被誘導者または誘導者に選択させてもよい。例えば、被誘導者と誘導者が事前に会話をしたうえで、どのような処理を実行するか選択するようにしても
よい。

【0076】

（第五の実施形態）
第五の実施形態は、携帯端末１００が、被誘導者の歩行路沿いに予め設置されている電波ビーコンを検知し、音声案内を提供することで、誘導を補助する実施形態である。
図８は、第五の実施形態に係る誘導システムのシステム構成図である。第五の実施形態に係る誘導システムは、携帯端末１００が、近距離通信部１０７を有しているという点において、第二の実施形態と相違する。

【0077】

近距離通信部１０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ規格（以下、ＢＬＥ）によるデータ通信を行う手段である。ＢＬＥとは、Ｂｌｕｅｔｏｏｔｈによる低電力通信規格であり、機器同士のペアリングを必要とせず、相手を検知することですぐに通信を開始できるという特徴を有する。第五の実施形態では、近距離通信部１０７が、ＢＬＥを用いて識別子を送信する電波ビーコン（ビーコン５００）が端末の近傍にあることを検知し、その識別子を制御部１０４に送信する。

【0078】

また、制御部１０４が、ビーコンの識別子に対応した情報を有しており、音声合成部１０６を介して、検知したビーコンに応じた音声案内を再生する。例えば、「段差」に関連付いたビーコンの存在を検知した場合、「付近に段差があります」といった音声を生成し、再生する。
ビーコンは、例えば、段差や階段の始点など、特に歩行に注意が必要な場所や、誘導を行う上で重要な箇所に設置される。なお、このようなビーコンとして、例えばｉＢｅａｃｏｎ（登録商標）があるが、固有の識別子を発信することができれば、他のビーコンを用いてもよい。

【0079】

このように、第五の実施形態では、近距離無線通信によって、携帯端末１００の近傍に特定の対象物が存在することを検知し、被誘導者に直接音声にて案内を行う。これにより、安全性を向上させることができる。

【0080】

なお、本実施形態では、ビーコンを検知した場合に、携帯端末１００が音声を生成したが、Ｗｅｂサーバ２００が音声を生成するようにしてもよい。この場合、検知したビーコンの識別子をＷｅｂサーバ２００に送信し、Ｗｅｂサーバ２００が音声を生成したうえで、当該音声を、音声サーバ３００を経由して携帯端末１００に送信するようにすればよい。
また、近距離通信部１０７が取得した電波の強さに応じて、ビーコンまでの距離を推定し、推定した距離に応じて、音声の内容を変更してもよい。

【0081】

（他の変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、例示した実施形態をそれぞれ組み合わせて実施してもよい。

【0082】

また、実施形態の説明では、コンピュータ４００上で動作するブラウザを用いて誘導を行う例を挙げたが、Ｗｅｂサーバ２００と通信をすることができれば、ブラウザ以外を用いてもよい。例えば、モバイルコンピュータや携帯電話上で動作するネイティブアプリケーションを利用してもよい。また、実施形態の説明では、予め誘導者がＷｅｂサーバ２００にログインしたうえで呼び出しを待つ例を挙げたが、誘導者を呼び出すことができれば、ログインは必須ではない。例えば、Ｗｅｂサーバ２００から、誘導者が使用するコンピュータに対してプッシュ通知を行い、呼び出すようにしてもよい。また、同一の誘導者に紐付けられた複数のコンピュータに対してプッシュ通知を行い、最初に応答したコンピュ
ータに対してネゴシエーションを行うようにしてもよい。

【0083】

また、実施形態の説明では、所定の間隔でカメラ画像を自動的に撮像して送信したが、これを任意のタイミングで行うようにしてもよい。例えば、案内が必要な場所でのみ手動で撮像を行い、送信するようにしてもよい。このようにすることで、端末の負荷を減らすことができ、また、周囲のプライバシーに配慮することができる。

【0084】

また、実施形態の説明では、携帯端末１００が有するカメラの方位角を位置情報と同時に送信したが、携帯端末１００の姿勢に関する、他の情報（例えば、仰角や俯角など）を送信するようにしてもよい。また、このような情報を含んだ画面を生成し、誘導者に提供するようにしてもよい。

【0085】

また、実施形態の説明では、携帯端末１００から送信された位置情報と方位を、矢印状の記号を用いて表したが、他の方法を用いて表してもよい。例えば、被誘導者の位置をピン状の記号によって表し、方位を矢印によってそれぞれ表すようにしてもよい。

【0086】

また、誘導者に提供した情報をログとして保存するようにしてもよい。例えば、Ｗｅｂサーバ２００が、画像と、当該画像と同時に送信された位置情報を時刻ごとに記録し、参照できるようにしてもよい。また、取得した画像を時系列で表示し、選択に応じて、対応する画像や位置情報などを表示するようにしてもよい。このようにすることで、過去にさかのぼって、携帯端末から送信された情報を参照できるようになる。
また、通話の開始から終了までに取得した情報をひとつのグループとして扱い、通話ごとに参照できるようにしてもよい。例えば、通話開始時刻をリストによって表示し、いずれかの通話を選択することで、対応する情報を表示するようにしてもよい。

【符号の説明】

【0087】

１０ 誘導システム
１００ 携帯端末
１０１ 画像取得部
１０２ 位置情報取得部
１０３ 音声入出力部
１０４ 制御部
１０５ 通信部
１０６ 音声合成部
１０７ 近距離通信部
２００ Ｗｅｂサーバ
３００ 音声サーバ
４００ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】