特許 7562297 通信システム、通信方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】通信システム、通信方法およびプログラム

(51)【国際特許分類】

   H04M 1/00 20060101AFI20240930BHJP

   H04M 3/42 20060101ALI20240930BHJP

【ＦＩ】

H04M1/00 R

H04M3/42 Z

【請求項の数】 8

(21)【出願番号】P 2020097288

(22)【出願日】2020-06-03

(65)【公開番号】P2020202562

(43)【公開日】2020-12-17

【審査請求日】2023-04-21

(31)【優先権主張番号】P 2019106696

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(72)【発明者】

【氏名】桃崎 浩平

【審査官】永井 啓司

(56)【参考文献】

【文献】特開２００４－２７４６５３（ＪＰ，Ａ）

【文献】特許第７１６３０２０（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｍ１／００

１／２４－３／００

３／１６－３／２０

３／３８－３／５８

７／００－７／１６

１１／００－１１／１０

９９／００

(57)【特許請求の範囲】

【請求項1】

ネットワークにより接続される第一の端末装置および第二の端末装置を含む通信システムであって、
前記第一の端末装置は、
第一の端末装置が向いている方向情報を取得する方向取得部と、
取得した前記第一の端末装置が向いている方向情報を送信する第一の通信部と、を備え、
前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第二の端末装置は、
前記第一の端末装置より前記第一の端末装置が向いている方向情報を受信する第二の通信部と、
第二の端末装置が向いている方向情報を取得する方向取得部と、
受信した前記第一の端末装置が向いている方向情報と取得した第二の端末装置が向いている方向情報から、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出部と、
算出した前記第一の端末装置の方向を提示する方向提示部と、を備え、
前記各方向情報は、基準方向を表す基準情報をさらに含む、通信システム。

【請求項2】

ネットワークにより接続される第一の端末装置および第二の端末装置を含む通信システムであって、
前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第一の端末装置は、
第一の端末装置が向いている方向情報を取得する方向取得部と、
前記第二の端末装置が向いている方向情報の受信および方向算出部が算出した前記第一の端末装置の方向情報を送信する第一の通信部と、
前記第一の端末装置が向いている方向情報と受信した前記第二の端末装置が向いている方向情報から、前記第二の端末装置から見た前記第一の端末装置の方向情報を算出する方向算出部と、を備え、
前記第二の端末装置は、
第二の端末装置が向いている方向情報を取得する方向取得部と、
取得した前記第二の端末装置が向いている方向情報の送信および前記第一の端末装置の方向算出部で算出した前記第一の端末装置の方向情報を受信する第二の通信部と、
前記第二の通信部で受信した前記第一の端末装置の方向情報を提示する方向提示部と、を備え、
前記各方向情報は、基準方向を表す基準情報をさらに含む通信システム。

【請求項3】

ネットワークにより接続される第一の端末装置および第二の端末装置を含む通信システムであって、
前記第一の端末装置は、
第一の端末装置が向いている方向情報を取得する方向取得部と、
前記第二の端末装置より発信された識別情報を受信する識別情報受信部と、
前記受信した識別情報に基づいて、前記識別情報受信部が第一の端末装置が向いている方向情報に指向性をもつ場合に、前記第一の端末装置が向いている方向情報に前記第二の端末装置が存在していることを示す識別条件によって前記第二の端末装置を識別する識別情報判定部と、
前記識別された前記第二の端末装置に向けて、前記取得した前記第一の端末装置が向いている方向情報を送信する第一の通信部と、を備え、
前記第二の端末装置は、
端末またはユーザに関する前記識別情報を発信する識別情報発信部と、
前記第一の端末装置より前記第一の端末装置が向いている方向情報を受信する第二の通信部と、
第二の端末装置が向いている方向情報を取得する方向取得部と、
受信した前記第一の端末装置が向いている方向情報と取得した第二の端末装置が向いている方向情報から、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出部と、
算出した前記第一の端末装置の方向を提示する方向提示部と、を備え、
前記各方向情報は、基準方向を表す基準情報をさらに含む、通信システム。

【請求項4】

ネットワークにより接続される第一の端末装置および第二の端末装置を含む通信システムであって、
前記第一の端末装置は、
第一の端末装置が向いている方向情報を取得する方向取得部と、
前記第二の端末装置より発信された識別情報を受信する識別情報受信部と、
前記受信した識別情報に基づいて、前記識別情報受信部が距離による特性を持つ場合に、前記第一の端末装置に近接して前記第二の端末装置が存在していることを示す識別条件によって前記第二の端末装置を識別する識別情報判定部と、
前記識別された前記第二の端末装置に向けて、前記取得した前記第一の端末装置が向いている方向情報を送信する第一の通信部と、を備え、
前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第二の端末装置は、
端末またはユーザに関する前記識別情報を発信する識別情報発信部と、
前記第一の端末装置より前記第一の端末装置が向いている方向情報を受信する第二の通信部と、
第二の端末装置が向いている方向情報を取得する方向取得部と、
受信した前記第一の端末装置が向いている方向情報と取得した第二の端末装置が向いている方向情報から、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出部と、
算出した前記第一の端末装置の方向を提示する方向提示部と、を備え、
前記各方向情報は、基準方向を表す基準情報をさらに含む、通信システム。

【請求項5】

前記第二の端末装置における方向提示部は、
前記算出または受信した前記第一の端末装置の方向を表示する表示部、
前記算出または受信した前記第一の端末装置の方向を音で提示する音声出力部、
前記算出または受信した前記第一の端末装置の方向を触覚またはおよび振動で提示する触覚振動出力部、
の少なくともいずれか１を備える、請求項１ないし請求項３又は４のいずれかに記載の通信システム。

【請求項6】

前記第一の端末装置は、メッセージを取得する入力部を備え、
前記第一の通信部は、取得した前記メッセージを送信し、
前記第二の通信部は、第一の通信部より前記メッセージを受信し、
前記表示部またはおよび音声出力部またはおよび触覚振動出力部は、受信した前記メッセージを提示する、請求項５に記載の通信システム。

【請求項7】

前記メッセージは、音声メッセージであり、
前記音声出力部は、前記音声メッセージを音像制御し再生することで前記第一の端末装置の方向情報を提示する請求項６に記載の通信システム。

【請求項8】

前記入力部は、送信先に関する情報を取得し、
前記第一の端末装置は、取得した前記送信先に関する情報から送信先を特定する制御部を備え、
前記第一の通信部は、前記制御部が特定した送信先に向けてデータを送信する、請求項６に記載の通信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、通信システム、通信方法およびプログラムに関する。

【背景技術】

【0002】

従来より、携帯電話やスマートフォン、無線インカム等ネットワークに接続される端末装置を用いることにより、端末装置のユーザ同士がメッセージのやりとり可能となるコミュニケーションシステムが知られている。一般的なコミュニケーションシステムにおいては、たとえ互いに目視可能な距離にいたとしても、音声メッセージは相手方の位置によらずに単に伝達され、テキストメッセージの情報は特に方向を示すことなく送信元ユーザの名前や時刻等の情報を伴って表示される。

【0003】

実世界では通常、送信元ユーザと送信先ユーザの距離が直接声の届くほど近ければ、どちらから声を掛けられたかわかり、お互いに向き合うことで体を使ったジェスチャや顔表情を併用したコミュニケーションが可能になったり、お互いに歩み寄ることができる。これに対して従来のコミュニケーションシステムでは方向の情報が失われる。このため、例えば混み合った駅前での待ち合わせで、自身が待ち合わせの相手方を見つけたとき、自身がいる方向を送信先ユーザに示すことができないために、直接声が届く程度まで接近するまで気付いてもらえないようなことが発生する。また、防護服やヘルメットを着用した作業者や騒音下の作業者においては、直接の声が届かないために相手の方向を知ることが困難で、ジェスチャなどを使ったコミュニケーションやお互いの歩み寄りによって共同作業を円滑に行うことができないという問題があった。さらに、耳の不自由な人においては、対向での手話等による会話を開始する場合に、声で呼びかけて振り向かせることができず、会話の開始に制約があった。また、耳の遠い人においても、呼ばれても自分が呼ばれたと認識できない場合がある。

【0004】

これに対し、送信元の方向を送信先に提示する装置がある。例えば、取得したカメラ画像により送信元から見た送信先の顔の向きを検出し、互いの位置関係を求めることにより、送信先から見た送信元の方向を端末に表示するシステムや、ＧＰＳを使用して自身（送信元）の位置と送信先の位置、自身の移動している方位とを取得することで、送信元の方位と送信元からの距離を算出し、送信先に方向を矢印表示するシステム等が知られている。

【0005】

ところが従来技術では、ユーザの向きを撮像するカメラ画像の処理が必要であったため、カメラを装着しない場合や、画像処理の負荷がかけられない場合に適用できないという問題があった。また、送信先の向きによっては安定して方向を求めることが難しいという問題や、各々異なる方位を向いている複数の送信先へ一括送信の対応ができないという問題もあった。さらに、端末装置同士の距離が十分でない場合や、屋内・ビル影等で測位条件がよくない場合には、ＧＰＳの精度の影響により安定して方向を求めることが難しいために、送信先が目視可能な距離にいるような条件で適用できないという問題があった。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第３９５２８７０号公報

【文献】特許第３８８６９２３号公報

【文献】国際公開第０７／１０５４３６号

【文献】特開２０１２－６０２８５公報

【文献】特許第４３２７８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、一般的に端末装置に内蔵されているような方位センサ等を使用した方位や方向の情報を組み合わせることにより、互いに目視可能な距離において、メッセージ（通信）の送信元・送信先の方向関係を掲示可能なコミュニケーションシステムを提供することである。互いの方向を掲示することにより、防護服やヘルメットを着用した作業者や騒音下の作業者相互のコミュニケーションにおいて、単に無線ネットワークを介して送信元の声が聞こえるだけでなく、送信元の方向を認識することでお互いに向き合ったりすることもでき、体を使ったジェスチャや顔表情を併用したコミュニケーションが可能となる。また、耳の不自由な人のコミュニケーションにおいても、送信元の方向を認識することでお互いに向き合い、手話を併用したコミュニケーションの開始が可能となる。

【課題を解決するための手段】

【0008】

上記課題を達成するために、実施形態のコミュニケーションシステムは、第一の端末装置が向いている方向情報を取得する方向取得部と、取得した前記第一の端末装置が向いている方向情報を送信する第一の通信部と、を備える第一の端末装置と、第二の端末装置とを備える。前記第一の端末装置が前記第二の端末装置を向いている場合に、第二の端末装置は、前記第一の端末装置より前記第一の端末装置が向いている方向情報を受信する第二の通信部と、第二の端末装置が向いている方向情報を取得する方向取得部と、受信した前記第一の端末装置が向いている方向情報と取得した第二の端末装置が向いている方向情報から、前記第二の端末装置から見た前記第一の端末装置の方向情報を算出する方向算出部と、算出した前記第一の端末装置の方向情報を提示する方向提示部と、を備える。そして、前記各方向情報は、基準方向を表す基準情報をさらに含む。

【図面の簡単な説明】

【0009】

【図1】第一の実施形態に係るコミュニケーションシステムの構成を表すブロック図。

【図2】第一の実施形態に係る（ａ）第一端末装置１１０（ｂ）第一端末装置１２０の構成を示すブロック図。

【図3】第一の実施形態に係るウェアラブル端末１１０ａおよび端末本体１１０ｂの構成を示すブロック図。

【図4】（ａ）ウェアラブル端末１１０ａの装着イメージ図。（ｂ）ウェアラブル端末１１０ａの一例を示す図。

【図5】第一の実施形態に係るサーバ２００の構成を示すブロック図。

【図6】第一の実施形態に係る第一端末装置１１０の処理フローを示す図。

【図7】第一の実施形態に係るサーバ２００の処理フローを示す図。

【図8】第一の実施形態に係るユーザマスタ２３１の一例を示す図。

【図9】第一の実施形態に係るビーコンマスタ２３２の一例を示す図。

【図10】第一の実施形態に係る場所連動型テーブル２３３の一例を示す図。

【図11】第一の実施形態に係る呼び名辞書２３４の一例を示す図。

【図12】第一の実施形態に係るコミュニケーションシステムの各装置間の通信処理手順の一例を表すシーケンス図。

【図13】第一の実施形態に係るコミュニケーションシステムの各装置間の通信処理手順の一例を表すシーケンス図。

【図14】第一の実施形態に係るコミュニケーションシステムの各装置間の通信処理手順の一例を表すシーケンス図。

【図15】端末装置Ａ（送信元）が端末装置Ｂ（送信先＝鈴木さん）に向かって呼びかけを行う場合の送信元方向算出方法の一例を示す図。

【図16】端末装置Ｄ（送信元）がビーコンのある柱番号８番付近に向かって呼びかけを行う場合の送信元方向算出方法の一例を示す図。

【図17】端末装置Ｈ（送信元）がカメラ画像中で識別された２５番のユーザの端末装置Ｊ（送信先）に向かって呼びかけを行う場合の送信元方向算出方法の一例を示す図。

【図18】本実施形態に係るスマートフォン型の端末装置の画面表示の一例を示す図。

【図19】佐藤さんの呼びかけに応じる形で左斜め方向を向いたときのスマートフォン型の端末装置の画面表示の一例を示す図。

【図20】本実施形態に係るタブレット型の端末装置の画面表示の一例を示す図。

【図21】佐藤さんの呼びかけに応じる形で左斜め方向を向いたときのタブレット型の端末装置の画面表示の一例を示す図。

【図22】第二の実施形態に係るコミュニケーションシステムの構成を表すブロック図。

【図23】第二の実施形態に係るコミュニケーションシステムの処理フローを示す図。

【図24】第三の実施形態に係るコミュニケーションシステムの構成を表すブロック図。

【図25】第三の実施形態に係るコミュニケーションシステムの処理フローを示す図。

【図26】第四の実施形態に係るコミュニケーションシステムの構成を表すブロック図。

【図27】第四の実施形態に係るコミュニケーションシステムの処理フローを示す図。

【図28】第五の実施形態に係る（ａ）第一端末装置１１０（ｂ）第一端末装置１２０の構成を示すブロック図。

【図29】第五の実施形態に係るスマートフォン型の端末装置の画面表示の一例を示す図。

【図30】第五の実施形態に係る第一端末装置１１０の処理フローを示す図。

【図31】第五の実施形態に係るウェアラブル端末１１０ａおよび端末本体１１０ｂの構成を示すブロック図。

【図32】第五の実施形態に係る遠隔端末１６０ａおよび代理端末１６０ｂの構成を示すブロック図。

【図33】本実施形態に係る遠隔端末の画面表示の一例を示す図。

【図34】高橋さんの呼びかけに応じる形で代理端末の方向を変えたときの遠隔端末の画面表示の一例を示す図。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について説明する。

【0011】

（第一の実施形態）
図１は第一の実施形態に係るコミュニケーションシステムの構成を表すブロック図である。本実施形態のコミュニケーションシステムは、１台以上の端末装置を含む端末装置群１００とサーバ２００がネットワークを介して接続されて構成される。ここで、ネットワークとは、４Ｇ、ＬＴＥ、３Ｇ等の携帯電話用無線や無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を含む。

【0012】

＜端末装置の構成＞
本実施形態に係る端末装置のブロック図を図２に示す。本実施形態では、メッセージ等の送信元ユーザが持つ端末装置を第一端末装置１１０、送信先に指定されたユーザが持つ端末装置を第二端末装置１２０としている。ただし、端末装置群１００内の端末装置が持つ構成は同様であり、いずれも送信元・送信先の端末装置となりうるため、第一端末装置１１０の構成のみ説明し、他の端末装置に関する詳細は省略する。

【0013】

図２（ａ）に送信元の端末装置である第一端末装置１１０を示す。第一端末装置１１０は、例えば専用の機器やスマートフォン、タブレット、ＰＣ等であり、ネットワークインタフェース１１１、方位情報取得部１１２、位置情報取得部１１３、表示部１１４、制御部１１５、入力部１１６、音声取得部１１７、音声出力部１１８を備える。

【0014】

ネットワークインタフェース１１１は、自端末以外の端末装置あるいはサーバ２００とデータの送受信を行う。方位情報取得部１１２は、第一端末装置１１０のユーザに関する方位情報を取得する。位置情報取得部１１３は、第一端末装置１１０の位置情報を取得する。

【0015】

方位情報取得部１１２は、例えば地磁気センサ、ジャイロセンサ、ＧＰＳ、加速度センサ等やそれらを組み合わせたものを用いるが、適切な精度で二次元または三次元での方位が検出できれば、いずれの方式でもよい。また、第一端末装置１１０本体に内蔵される方位センサで取得してもよい。さらに、第一端末装置１１０がユーザの向きとは異なる方位になってしまっている際等に、第一端末装置１１０にて取得される方位に対して、加速度センサやジャイロセンサ等による端末装置の上下、ＧＰＳ等によるユーザの進行方向の情報に基づいて、ユーザが向く方位を補正してもよい。また、端末装置の上下方向の角度（仰角）を方位情報に含めても良い。

【0016】

位置情報取得部１１３は、例えばＧＰＳにより緯度経度等を含む位置情報を取得する。表示部１１４は、他の端末装置やサーバ２００から受信したデータを表示する。制御部１１５は、第一端末装置１１０内の各構成や取得・受信したデータのやりとりを制御する。入力部１１６は、後述するモードの選択やボタン、テキスト等、ユーザからの入力信号を取得する。音声取得部１１７は、第一端末装置１１０のユーザが発した音声を取得する。音声出力部１１８は、自端末以外の端末装置やサーバ２００から受信した音声データを再生する。ここで、表示部１１４はタッチ入力可能なディスプレイ、つまり入力部１１６を兼ねていてもよい。

【0017】

図２（ｂ）に送信先の端末装置である第二端末装置１２０を示す。構成は第一端末装置１１０と同様で、ネットワークインタフェース１２１、方位情報取得部１２２、位置情報取得部１２３、表示部１２４、制御部１２５、入力部１２６、音声取得部１２７、音声出力部１２８を備え、いずれも第一端末装置と同様であるので、詳細は省略する。

【0018】

本実施形態に係る端末装置は、図３に示すようにウェアラブル端末１１０ａを用いて構成を分けても良い。ウェアラブル端末１１０ａは、例えばメガネのような形状の装着可能なデバイスで、マイク型の音声取得部１１７、両耳イヤホン型の音声出力部１１８、装着しているユーザの向いている方位を取得する方位情報取得部１１２、ボタンスイッチ型の入力部１１６を備え、ネットワークインタフェース１１１、位置情報取得部１１３、表示部１１４、制御部１１５は端末本体１１０ｂが備える。装着イメージは図４（ａ）に示す。端末本体１１０ｂの表示部１１４は、ヘッドマウントディスプレイとしてウェアラブル端末１１０ａ側の構成に入れても良い。また、ウェアラブル端末１１０ａは図４（ｂ）に示すようなヘッドフォン型の形状のデバイスでも良い。さらに、方位情報取得部１１２を端末本体１１０ｂ側の構成としても良い。加えて、ウェアラブル端末１１０ａにカメラ等の画像取得部を構成として設けても良い。本実施形態に係るコミュニケーションシステムの端末装置群１００内の送信元端末装置、送信先端末装置全てあるいは一部がウェアラブル端末１００ａを用いたものであっても良いし、ウェアラブル端末１００ａを用いなくても良い。

【0019】

＜サーバ２００の構成＞
次に、本実施形態に係るサーバ２００の構成を図５に示す。サーバ２００は、例えばオンプレミスサーバやクラウド型のサービス等を提供するサーバであり、ネットワークインタフェース２１０、処理部２２０、記憶部２３０、を備える。ネットワークインタフェース２１０は、端末装置群１００内の端末装置とデータの送受信を行う。処理部２２０は、音声認識処理をしたりサーバ２００内の各構成や受信したデータのやりとりを制御する。記憶部２３０は、必要なデータテーブルを記憶する。

【0020】

≪コミュニケーションシステムの第一端末装置１１０の処理フロー≫
本実施形態に係るコミュニケーションシステムでは、「呼びかけモード」と「つぶやきモード」の二種類のモードが用意されている。「呼びかけモード」は、送信先が目視可能な場合等にその方向を向いてメッセージ入力（呼びかけ）を行うことで、送信先ユーザまたはグループのメンバーが持つ第一端末装置１１０から、送信元の方向を伴ってメッセージが出力されるモードである。「つぶやきモード」は、送信元の方向を伴わず、通常のメッセージ出力がなされるモードである。

【0021】

図６は、本実施形態に係る第一端末装置１１０の処理フローである。最初にユーザが専用のアプリを起動またはホームページにアクセスする等して、ユーザがシステム起動の要求を行うと、第一端末装置１１０の制御部１１５が制御し、表示部１１４は、システムの初期画面を表示する（Ｓ６０１）。このとき、例えばユーザがログインＩＤとパスワードを入力することにより、本システムへログインしてもよい。また、システム起動の要求を第一端末装置１１０の識別情報（以下、端末装置識別ＩＤとする）と共にサーバ２００へ送信し、記憶部２３０のユーザテーブル内でフラグ管理等することで、各ユーザがシステムを起動しているか否か、つまりオンラインかオフラインか確認できるようにしても良い。

【0022】

次に、ユーザはメッセージの送信を行う相手先のユーザまたはグループを選択し、入力部１１６よりユーザ氏名やグループ名の入力を行うことで、第一端末装置の制御部１１５は、選択された送信の相手先を取得する。なお、受信したメッセージにおいても、ここで選択したユーザまたはグループからのメッセージあるいはグループ宛に送信されたメッセージのみが表示されるようにしてもよい。続いて、メッセージを送信したいユーザが「呼びかけモード」と「つぶやきモード」のどちらでシステムを利用するか選択し、入力部１１６より信号の入力を行うことで、まず、第一端末装置１１０の制御部１１５は、入力部１１６が取得した信号が「呼びかけモード」か否か判定する（Ｓ６０２）。

【0023】

＜第一端末装置１１０における「呼びかけモード」の処理フロー＞
送信元ユーザが送信先であるユーザやグループを目視可能な場合等、送信先から見た自身の方位を伝えたい場合に、送信元ユーザが「呼びかけモード」を選択することで、第一端末装置１１０の入力部１１６は、「呼びかけモード」の信号を取得する（Ｓ６０２のＹＥＳ）。ユーザは、例えば表示部１１４に表示される「呼びかけモード」ボタンをタップしたり（この場合、表示部１１４は入力部１１６を兼ねる）、「呼びかけモード」と音声で入力したり（この場合、音声取得部１１７は入力部１１６を兼ね、音声認識処理を実行する）することで、「呼びかけモード」を選択する。入力部１１６がボタンスイッチの場合には、例えば連続して２回押した場合を呼びかけモードの入力開始ボタンとしてもよい。あるいは、入力部１１６（音声取得部１１７）に送信先の名前を（例えば「○○さん」）と呼びかけたり、呼びかけに対応させて予め設定された特定のキーワードを含む発声（例えば「こっち見て！」）をしたりすると、音声認識処理を実行してキーワードを検出し、呼びかけモード動作となるようにしても良い。この音声認識処理は、第一端末装置１１０内の入力部１１６（音声取得部１１７）で行ってもよいが、取得した音声をサーバ２００に送信することでサーバ２００の処理部２２０で行っても良い。

【0024】

次に、方位情報取得部１１２は、第一端末装置１１０あるいはヘッドセット１１０ａ等が向いている方位を取得する（Ｓ６０３）。このとき、第一端末装置１１０のユーザ（送信元ユーザ）は第一端末装置１１０あるいはヘッドセット１１０ａ等をつけた顔を送信先の第二端末装置１２０（送信先ユーザ）に向けている状態である。ここで、第一端末装置１１０の位置情報取得部１１３は、第一端末装置１１０の位置情報、例えば緯度・経度も取得すると良い。

【0025】

なお、第一端末装置１１０あるいはヘッドセット１１０ａに、第一端末装置１１０あるいはヘッドセット１１０ａが向いている方位と同じ方位を撮影するカメラ等図２，３に図示しない画像取得部を設け、取得した画像に対して公知の画像認識処理を行うことで、送信元ユーザの向いている先に存在する送信先の情報（送信先ユーザ、グループまたは端末装置）を特定したり、送信先ユーザの向いている方位を判定したりしても良い。ここで、カメラに代えて指向性のある赤外線センサ等の光学的入力装置を用いて検出するようにしてもよい。この画像認識処理は第一端末装置１１０側で行っても良いが、取得した画像をサーバ２００に送信することでサーバ２００の処理部２２０で行っても良い。

【0026】

なお、端末装置によるカメラ画像の識別は、送信先ユーザが身に付けているもの、または送信先ユーザが持つ第二端末装置１２０の発する可視光や赤外線による識別符号の検出等により行う。また、方位情報取得部１１２で取得した結果と合わせることで、より精度良くユーザが向いている方位や送信先を導出しても良い。

【0027】

また、端末装置群１００が存在する領域を囲む壁等がある場合、例えば南西側の壁に「ＳＷ」「２２５」のような文字や二次元コード、赤外線等による識別符号などの情報を配置し、取得した画像中の文字「ＳＷ」「２２５」等の情報から画像取得部（送信元ユーザ）が向いている方位が南西（北を０度として右回りに２２５度）であること等を判定するようにし、方位情報取得部１１２に代えても良い。

【0028】

続いて、送信元ユーザは音声取得部１１７より、送信先に送信する音声メッセージを入力、あるいは入力部１１６（タップ入力の場合、表示部１１４）よりテキストメッセージを入力する（Ｓ６０４）。このとき、送信先ユーザを特定するような情報を入力しても良い。例えば入力部１１６（タップ入力の場合、表示部１１４）から送信先ユーザやグループを選択したり、氏名やグループ名を入力しても良いし、音声メッセージに送信先を特定できるような情報（氏名、グループ名等）を加えても良い。

【0029】

次に、制御部１１５は、入力されたメッセージ、メッセージの入力時刻、方位情報、第一端末装置１１０の識別ＩＤ等取得した情報をネットワークインタフェース１１１を介してサーバ２００へ送信する（Ｓ６０５）。ここで、送信先が特定できていれば、送信先情報（送信先ユーザ、グループまたは端末装置）も送信する。方位情報とは、Ｓ６０２にて取得した、送信元ユーザが向いている方位であっても良いし、取得した方位の１８０度反対とすることで、第二端末装置１２０から見た第一端末装置１１０の方位に変換してから送信しても良い。また、テキストや音声メッセージの入力を行わず、単に方位情報のみを送信するようにしてもよい。さらに位置情報取得部１１３が第一端末装置１１０の位置情報を取得して送信してもよい。方位情報や位置情報は計測精度の情報を伴ってもよい。

【0030】

続いて、制御部１１５は、入力部１１６が取得する信号がシステム終了要求であるか否か判定する（Ｓ６０６）。ユーザがシステムを終了したい場合には、第一端末装置１１０の表示部１１４に表示される「システム終了」ボタンをタップ、あるいはシステムからログアウトする等して、システム終了要求を入力する。システム終了要求がない場合（Ｓ６０６のＮＯ）、Ｓ６０４へ戻る。このとき、例えば「システムを終了しますか？」という表示に対し「はい」を選ぶ等、システムを終了しない旨の入力があっても良い。終了要求がある場合（Ｓ６０６のＹＥＳ）、システムを終了し、本実施形態に係る第一端末装置１１０の処理は終了する。ここで、一定時間以上、ユーザによる入力処理や操作がない場合に、システムを終了しても良い。また、各ユーザのオンライン・オフライン管理をしている場合、システム終了要求を第一端末装置１１０の識別ＩＤと共にサーバ２００へ送信する。

【0031】

なお、本実施形態では、送信元ユーザのメッセージ入力前に方位情報を取得する形としているが、他のタイミングで取得・送信してもよい。また、送信元ユーザがメッセージ入力中に複数回、方位情報を取得して逐次送信してもよい。また、取得した方位情報を送信先と対応付けて制御部１１５内に保持しておき、繰り返し取得することなく同一の送信先に対して継続的に情報を送信するようにしても良い。

【0032】

＜第一端末装置１１０における「つぶやきモード」の処理フロー＞
送信元ユーザがいる方位を送信先に伝えなくても良い場合、本実施形態では、送信元ユーザが「呼びかけモード」を選択せず（Ｓ６０２のＮＯ）「つぶやきモード」を選択することで、第一端末装置１１０の入力部１１６は、「つぶやきモード」の信号を取得する（Ｓ６０７のＹＥＳ）。ここで、送信元ユーザは、例えば表示部１１４に表示される「つぶやきモード」ボタンをタップしたり（この場合、表示部１１４は入力部１１６を兼ねる）、「つぶやきモード」と音声で入力したり（この場合、音声取得部１１７は入力部１１６を兼ねる）することで、「つぶやきモード」を選択する。入力部１１６がボタンスイッチの場合には、例えば１回押した場合をつぶやきモードの入力開始ボタンとしてもよい。また、「呼びかけモード」「つぶやきモード」のどちらかを選択する形にしても良いし、送信元の方位情報や送信先を指定する情報を取得できなかった場合には自動的に「つぶやきモード」としてもよい。

【0033】

続いて、Ｓ６０４へ進む。「つぶやきモード」では、Ｓ６０５にて方位情報を送信しないが、方位情報を送信しない点以外は「呼びかけモード」と同様であるので、その後の処理についての詳細は省略する。

【0034】

「つぶやきモード」を入力しなかった場合（Ｓ６０７のＮＯ）、Ｓ６０６へ進むが、その後の処理は「呼びかけモード」と同様であるので省略する。

【0035】

なお、第一端末装置１１０は、無線ネットワークを経由して、例えばＲＥＳＴ ＡＰＩによってサーバ２００に接続し、送信を行う。音声メッセージ送信開始時には、音声送信セッション開始要求（PUT voice/start_time）を行い、セッションを識別する情報（セッションキー）がサーバ２００から返される。音声メッセージは、逐次送信（POST voice）される。最後に、音声送信セッション終了の送信（PUT voice/end_time）を行う。また、テキストメッセージ送信時には、テキスト情報の送信（POST speech）を行う。音声メッセージの場合は、音声送信セッション開始要求やテキスト情報送信におけるパラメータとして、送信元の方位情報、位置情報などを送信する。

【0036】

≪コミュニケーションシステムのサーバ２００の処理フロー≫
続いて、本実施形態に係るコミュニケーションシステムにおけるサーバ２００の処理フローを図７に示す。まず、第一端末装置１１０から送信されたメッセージ等をサーバ２００のネットワークインタフェース２１０が受信する（Ｓ７０１）。「呼びかけモード」においては、Ｓ７０１にて、入力されたメッセージ、メッセージの入力時刻、方位情報、第一端末装置１１０の識別ＩＤ等を受信する。「つぶやきモード」においては、方位情報は含んでいない。

【0037】

続いて、処理部２２０は、第一端末装置１１０の識別ＩＤから、ユーザマスタ２３１を参照し、第一端末装置１１０のユーザ氏名を特定する（Ｓ７０２）。ユーザマスタ２３１は、少なくとも端末装置識別ＩＤと当該端末装置を使用するユーザ氏名とを関連付けて保存しており、記憶部２３０に記憶されている。

【0038】

本実施形態に係るユーザマスタ２３１の一例を図８に示す。本実施形態のユーザマスタ２３１は、「端末装置識別ＩＤ」、当該端末装置を使用する「ユーザ氏名」、当該ユーザが所属する「グループ名」欄を備える。例えば、受信した第一端末装置１１０の端末装置識別ＩＤが「ａｂ０１」である場合、第一端末装置１１０のユーザは「佐藤 太郎」さんであることが読み取れる。

【0039】

なお、ユーザマスタの構成としては、
（１）ユーザを内部的に区別する際にシステムが使用する「ユーザＩＤ」と、ユーザがシステムにログインする際に指定する「ログインＩＤ」と、「ユーザ氏名」と、当該ユーザが所属する「グループＩＤ」と、からなるログインＩＤマスタ、
（２）グループを内部的に区別する際にシステムが使用する「グループＩＤ」と「グループ名」とからなるグループＩＤマスタ、
（３）「端末装置識別ＩＤ」と当該端末装置を使用している「ユーザＩＤ」とからなる端末ＩＤマスタ、
のように複数のテーブルであってもよい。

【0040】

次に、処理部２２０は、受信したメッセージの送信先である第二端末装置１２０を特定する（Ｓ７０３）。第一端末装置１１０から送信先情報（送信先ユーザ、グループまたは端末装置）を受信していれば、記憶部２３０を参照し、送信先である第二端末装置識別ＩＤを特定する。例えば、受信した送信先情報が「高橋 次郎」であった場合、処理部２２０は記憶部２３０内のユーザマスタ２３１を参照し、対応する端末装置識別ＩＤ「ｃｄ０２」を特定する。受信した送信先情報が「営業」であった場合、処理部２２０は記憶部２３０内のユーザマスタ２３１の「グループ名」欄を参照し、対応する端末装置識別ＩＤ「ａｂ０１」「ｃｄ０２」を特定する。あるいは、営業グループに所属するユーザの端末装置識別ＩＤを予めまとめて登録しておいても良い。

【0041】

また、例えば受信した送信先情報「ユーザＩＤ」が「ｘｙ０７」であった場合、端末ＩＤマスタを参照し、対応する端末装置識別ＩＤを特定する。送信先情報「ユーザ氏名」が「高橋 次郎」であった場合、ログインＩＤマスタを参照し、対応するユーザＩＤ「ｘｙ０７」を特定したのち、同様に端末装置識別ＩＤを特定する。受信した送信先情報「グループＩＤ」が「ｇｈ１３」であった場合、ログインＩＤマスタを参照し、対応するユーザＩＤ「ｘｘ０６」「ｘｙ０７」を特定したのち、端末ＩＤマスタを参照し、対応する端末装置識別ＩＤを特定する。送信先情報「グループ名」が「営業」であった場合、グループＩＤマスタを参照し、対応するグループＩＤ「ｇｈ１３」を特定したのち、同様に端末装置識別ＩＤを特定する。

【0042】

場所に連動したグループ（以下、場所グループ）を使用する場合は、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（登録商標）等の無線や赤外線を用いたビーコン等を場所に対応して設置し、あらかじめビーコンの識別ＩＤと場所の名称を関連付けて、ビーコンマスタ２３２として保存する。ビーコンとひも付く端末装置は、ビーコンから所定の距離圏内、例えば、半径５ｍ以内に存在するとする。本実施形態に係るビーコンマスタ２３２の一例は図９に示す。この例では、工事現場あるいは製造現場等で、番号が付与された柱毎にビーコンが設置されているような場合であり、本実施形態のビーコンマスタ２３２は、「ビーコン識別ＩＤ」と場所の名称である「柱番号」を格納する欄を備える。

【0043】

各ユーザが使用する端末装置がビーコンからの電波を受信することにより、各端末装置の制御部が当該ビーコンの５ｍ以内にいると判定し、受信したビーコンの識別ＩＤと自身の端末装置識別ＩＤとをサーバ２００に送信する。サーバ２００の処理部２２０は、受信したビーコンの識別ＩＤに基づいてビーコンマスタ２３２を参照し、場所の名称を特定し、場所連動型テーブル２３３に端末装置識別ＩＤと関連付けて保存する。あるいは、場所グループとして各ビーコンの近くに存在する端末装置識別ＩＤをまとめて登録する。また、処理部２２０は、端末装置の位置情報取得部で取得した位置情報を用いて、ビーコンからの距離を算出し保存しても良い。また、サーバ２００で場所グループを管理するのではなく、個々の端末装置（送信先となる第二端末装置１２０）がビーコンの検出状況に応じて、送信先の場所グループに属するか否かを判定するようにしても良い。

【0044】

本実施形態に係る場所連動型テーブル２３３の一例を図１０に示す。本実施形態の場所連動型テーブルは、「端末装置識別ＩＤ」、場所の名称である「柱番号」、各ビーコンからの距離を示す「柱からの距離」を格納する欄を備える。例えば、端末装置識別ＩＤが「ｅｆ３０」のユーザは、「柱２５」の近くにおり、柱２５からは「０．５ｍ」離れていることが読み取れる。

【0045】

さらに、メッセージ等に含まれるユーザの呼び名よって送信先を特定する場合（詳しくは後述する）は、あらかじめ呼び名辞書２３４を用意する。本実施形態に係る呼び名辞書の一例を図１１に示す。本実施形態の呼び名辞書２３４は、端末装置識別ＩＤに対して、当該端末装置のユーザを示す呼び名が複数個関連付けて保存されている。例えば、メッセージ等に「太郎さん」が含まれていた場合、呼び名辞書２３４を参照し、端末装置識別ＩＤＩＤ「ａｂ０１」のユーザだと推定できる。ここで、端末装置識別ＩＤではなくユーザＩＤ等に対応付けたのち、ユーザマスタにて端末装置識別ＩＤに対応付けても良い。

【0046】

このように、ユーザ等の呼び名（「○○さん」等）やユーザが所属するグループ名（営業グループ等）、場所に連動したグループ等、対応関係を記憶部２３０にデータテーブルとして保持することで、様々な送信先を設定、特定することが可能である。なお、サーバ２００の記憶部２３０のデータテーブルの全てまたは一部を送信元端末上あるいは送信先端末上に持たせてもよい。

【0047】

続いて、処理部２２０は、受信したメッセージの認識処理を行う（Ｓ７０４）。音声メッセージの場合、公知の音声認識処理を行うことで音声メッセージをテキスト化する。ここで、Ｓ７０３にて送信先が特定できていない場合には、テキスト化されたメッセージまたは、受信したテキストメッセージの解析を行い、含まれていれば、ユーザの氏名や呼び名、グループ名、場所の名称等を抽出する。

【0048】

テキストメッセージを解析した結果、ユーザの氏名や呼び名、グループ名、場所の名称を抽出した場合、処理部２２０は記憶部２３０内のデータテーブルを参照し、送信先を特定する。例えば、「鈴木さん」という呼び名を抽出した場合、呼び名辞書２３４を参照し、端末装置識別ＩＤ「ｅｆ３０」を特定できる。

【0049】

なお、送信先を特定あるいは推定できなかった場合は、第一端末装置１１０を除く全ての端末装置を配信先として設定する等してもよいし、第一端末装置１１０に「送信先は誰にしますか？」と音声あるいはテキストメッセージを送信するようにしても良い。ここで、配信は、送信先端末装置と他の端末装置が区別できなかった場合や、送信先端末装置装ではない他の端末装置に対しても、送信先端末と同じ内容のメッセージを送る場合等、他の端末装置を含む端末装置をメッセージの送り先に設定する場合を指す。また、送信先である第二端末装置１２０においてメッセージのテキスト表示を行わない場合等は、音声メッセージをテキスト化せず音声データのまま第二端末装置１２０に送信しても良い。さらに「呼びかけモード」の場合、メッセージがなくても（送信元ユーザの方向に関する情報だけでも）良い。加えて、送信元端末上で音声認識やテキスト解析をしたり、サーバ２００での音声認識結果やテキストメッセージ解析結果を第一端末装置１１０に一旦送るなどして、第一端末装置１１０において送信先を選択してもよい。

【0050】

第一端末装置１１０に画像取得部が存在し、画像データを受信している場合には、画像認識を行い、送信先ユーザの顔の特徴量を算出したり、服やヘルメット等、ユーザが身に付けているものに記載されている番号等を認識、データベース等と照合することで送信先を求めても良い。

【0051】

続いて、処理部２２０は、第一端末装置１１０から受信した情報に方位情報が含まれるか否か判定する（Ｓ７０５）。方位情報が含まれる場合（Ｓ７０５のＹＥＳ）、受信したモードが「呼びかけモード」であるので、Ｓ７０６に進む。方位情報が含まれない場合（Ｓ７０５のＮＯ）、「つぶやきモード」であるので、Ｓ７０７に進む。

【0052】

Ｓ７０６において、処理部２２０は、第二端末装置１２０の方位情報を取得し、送信先である第二端末装置１２０における第一端末装置１１０の方向の算出を行う。処理部２２０は、受信した方位情報に基づき、第一端末装置１１０が向いている方位の１８０度反対の方位と、第二端末装置１２０の向いている方位との差を算出する。ここで、第一端末装置１１０より受信した方位情報が、第一端末装置１１０の向いている方位そのままの場合は、１８０度反対の方位を用いて算出する。第一端末装置１１０より受信した方位情報が、第一端末装置１１０の向いている方位の１８０度反対の方位に変換されている場合は、そのままの方位を用いて算出する。ここで、第二端末装置の向いている方位を１８０度反対にすることで算出しても良い。なお、第一端末装置１１０の方向の算出は、第二端末装置１２０の制御部１２５で行っても良い。その場合、第一端末装置１１０から直接、あるいはサーバ２００から少なくとも第一端末装置の方位情報を受信し、方位情報取得部１２２より取得した第二端末装置１２０の方位情報を使用して算出する。この場合、サーバ２００では第一端末装置の方位情報をそのまま、または１８０度反対の方位に変換するのみで、第二端末装置に送信する。

【0053】

≪コミュニケーションシステムの通信処理シーケンス≫
図１２のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置１１０、サーバ２００、第二端末装置１２０、および他の端末装置の各装置間の通信処理手順の一例を示している。

【0054】

まず、第一端末装置１１０のユーザ（送信元ユーザ）がテキストメッセージを入力することで、第一端末装置１１０はメッセージのテキスト内容を取得する（Ｓ１２０１）、次に、送信元ユーザがボタンを押す等することで、第一端末装置１１０は「呼びかけモード」の信号を受信する（Ｓ１２０２）。続いて、第一端末装置１１０は、方位情報取得部１１２より方位情報を取得し、メッセージのテキスト内容と第一端末装置１１０の方位情報をサーバに送信する（Ｓ１２０３）。

【0055】

サーバ２００は送信先である第二端末装置１２０へ、第一端末装置１１０から受信したメッセージのテキスト内容と方位情報を送信する（Ｓ１２０４）。第二端末装置１２０は、方位情報取得部１２２より方位情報を取得して第一端末装置１１０の方向を算出し、受信したメッセージのテキスト内容と算出した方向を表示する（Ｓ１２０５）。

【0056】

また、サーバ２００は送信先以外の端末装置へ、第一端末装置１１０から受信したメッセージのテキスト内容を配信する（Ｓ１２０６）。他の端末装置は、受信したメッセージのテキスト内容を表示する（Ｓ１２０７）。ここで、サーバ２００はテキスト内容に加えて、方位情報と送信先情報を配信してもよく、他の端末装置は受信した送信先情報によって自端末が送信先でないことを判定し、単に受信したテキスト内容を表示するようにしてもよい。さらに、第一端末装置１１０は、サーバにセッション開始要求を送信し（Ｓ１２０８）、サーバからセッションＩＤを受信する。

【0057】

次に、送信元ユーザは、第一端末装置１１０に向かって、発話１及び発話２の音声入力を行うことで、第一端末装置１１０は音声データを取得する（Ｓ１２０９、Ｓ１２１０）。第一端末装置１１０は、サーバ２００へ取得した音声データを送信する（１２１１、Ｓ１２１２）。送信元ユーザが、発話終了後に「送信」ボタンを押す等することで、第一端末装置１１０は、発話終了の信号を取得する（Ｓ１２１３）。続いて、第一端末装置１１０はサーバ２００に音声データ終端を通知し（Ｓ１２１４）、取得した方位情報をセッション終了要求に付与してサーバ２００に送信する（Ｓ１２１５）。ここで、方位情報は、Ｓ１２０３にて取得した方位情報であっても良いし、再度取得し直した方位情報を使用しても良い。

【0058】

サーバ２００では送信先である第二端末装置１２０へ、送信元である第一端末１１０の方位情報付きでセッションＩＤに対応するデータ送信通知を送る（Ｓ１２１６）。通知を受け取った第二端末装置１２０では、方位情報を取得して第一端末装置１１０の方向を算出し、方向を表示する（Ｓ１２１７）。ここで、方位情報は、Ｓ１２０５にて取得した方位情報であっても良いし、再度取得し直した方位情報を使用しても良い。また、サーバ２００から当該セッションＩＤの音声データを取得する（Ｓ１２１８）。ここで、音像の方向を指定して要求することで、サーバ２００にて音像制御した音声データを取得してもよい。そして、取得した音声データを再生する（Ｓ１２１９）。

【0059】

また、サーバ２００は送信先以外の端末装置（他のユーザ）へも、セッションＩＤに対応するデータ配信通知を送る（Ｓ１２２０）。通知を受け取った他の端末装置では、配信があることを表示する（Ｓ１２２１）とともに、サーバから当該セッションＩＤの音声データを取得し（Ｓ１２２２）、再生する（Ｓ１２２３）。このように、受信した第一端末装置１１０の方位情報等を使用して、第二端末装置１２０が方向を算出してもよい。

【0060】

図１３のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置１１０、サーバ２００、第二端末装置１２０、および他の端末装置の各装置間の通信処理手順の異なる一例を示している。

【0061】

Ｓ１２０１からＳ１２０３は図１２と同様であるので、詳細は省略する。続いて、サーバ２００は送信先である第二端末装置１２０へ、方位情報要求を送信する（Ｓ１３０１）。第二端末装置１２０は、方位情報取得部１２２より方位情報を取得して、サーバ２００へ返す。

【0062】

サーバ２００では、受信した第一端末装置１１０および第二端末装置１２０の方位情報により、第二端末装置１２０から見た第一端末装置１１０の方向を算出し、算出した方向情報とテキスト内容とを第二端末装置に送信する（Ｓ１３０２）。Ｓ１２０５からＳ１２０７は、図１２と同様であるため、詳細は省略する。

【0063】

Ｓ１２０８からＳ１２１４においても、図１２と同様であるため詳細は省略する。Ｓ１３０３では、方位情報なしでセッション終了要求をサーバ２００に送信する。サーバ２００では、第二端末装置１２０から見た第一端末装置１１０の方向を表す算出済みの方向情報付きでセッションＩＤに対応するデータ送信通知を第二端末装置に送信する（Ｓ１３０４）。通知を受け取った第二端末装置１２０では、第一端末装置１１０の方向を表示する（Ｓ１３０５）。その後のＳ１２１８からＳ１２２３は図１２と同様であるため詳細は省略する。

【0064】

なお、第二端末装置１２０は、Ｓ１３０１およびＳ１３０２において、サーバ２００からの方向情報要求に応答して第二端末装置１２０の方位情報を返し、その後にサーバ２００から方向情報とテキスト情報を受け取っているが、サーバ２００からのテキスト情報通知を受け取った後、サーバ２００に第二端末装置１２０の方位情報を指定して要求し、方向情報とテキスト情報を受け取ってもよい。また、第二端末装置１２０は、Ｓ１２１８において、サーバ２００に音像の方向を指定して要求することもできるとしているが、方位情報を指定して要求し、サーバ２００において方向を算出した上で音像制御した音声データを送出するようにしてもよい。

【0065】

このように、サーバ２００が第一端末装置１１０および第二端末装置１２０より方位情報を取得することで、方向を算出してもよい。また、所定の方向、例えば、ある端末装置から見て送信元端末装置が所定の角度内（例えばプラスマイナス１５度以内）に存在する場合に送信先端末装置として指定されてもよい。さらに、送信先の端末装置および他の端末装置は、取得した方位情報から算出された方向に基づいて送信元端末装置の方向を表示、あるいは音像制御して再生する。

【0066】

図１４のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置１１０と第二端末装置１２０の装置間の通信処理手順の一例を示している。

【0067】

まず、第一端末装置のユーザ（送信元ユーザ）がテキストメッセージを入力することで、第一端末装置１１０はメッセージのテキスト内容を取得する（Ｓ１４０１）、次に、送信元ユーザがボタンを押す等することで、第一端末装置１１０は「呼びかけモード」の信号を受信する（Ｓ１４０２）。次に、第一端末装置１１０は、方位情報取得部１１２より方位情報を取得するとともに、方位情報要求を第二端末装置１２０に送信する（Ｓ１４０３）。第二端末装置１２０は、方位情報取得部１２２より方位情報を取得して、第一端末装置１１０へ返す。

【0068】

続いて、第一端末装置１１０は、第一端末装置１１０および第二端末装置１２０の方位情報により、第二端末装置１２０から見た第一端末装置１１０の方向を算出し、入力されたテキスト内容と算出した方向情報を第二端末装置１２０へ送信する（Ｓ１４０４）。第二端末装置１２０は、受信したテキスト内容と方向を表示する（Ｓ１４０５）とともに、受信したテキスト内容と方向を表す文言とを音声合成して読み上げ出力する（Ｓ１４０６）。

【0069】

次に、第一端末装置１１０のユーザ（送信元ユーザ）は第一端末装置１１０に向かって、発話１の音声入力を行うことで、第一端末装置１１０は音声データ１を取得する（Ｓ１４０７）。第一端末装置１１０は、第二端末装置１２０へ取得した音声データ１を送信する（Ｓ１４０８）。第二端末装置１２０は、第一端末装置の方向に従った音像制御を行って受信した音声データ１を再生する（Ｓ１４０９）。発話２についても同様（Ｓ１４１０、Ｓ１４１１、Ｓ１４１２）。送信元ユーザは発話終了後に「終話」ボタン等を押すことで、第一端末装置１１０は、発話終了の信号を取得する（Ｓ１４１３）。続いて、第一端末装置１１０は第二端末装置１２０に音声データ終端を通知する（Ｓ１４１４）。

【0070】

次に、送信元ユーザが第一端末装置１１０にテキストメッセージを入力することで、第一端末装置１１０はメッセージのテキスト内容を取得する（Ｓ１４１５）。次に、送信元ユーザがボタンを押す等することで、第一端末装置１１０は「つぶやきモード」の信号を受信する（Ｓ１４１６）。すると、第一端末装置１１０は入力されたテキスト内容を第二端末装置１２０へ送信する（Ｓ１４１７）。第二端末装置１２０は、受信したテキスト内容を表示する（Ｓ１４１８）とともに、受信したテキスト内容を音声合成して読み上げ出力する（Ｓ１４１９）。

【0071】

また、送信元ユーザは第一端末装置１１０に向かって発話３の音声入力を行うことで、第一端末装置１１０は音声データ３を取得する（Ｓ１４２０）。第一端末装置１１０は取得した音声データ３を、第二端末装置１２０へ送信する（Ｓ１４２１）。第二端末装置１２０は受信した音声データ３を（音像制御等せず）通常再生する（Ｓ１４２２）。送信者は発話終了後に「終話」ボタン等を押すことで、第一端末装置１１０は、発話終了の信号を取得する（Ｓ１４２３）。次に、第一端末装置１１０は第二端末装置１２０に音声データ終端を通知する（Ｓ１４２４）。

【0072】

このように、サーバ２００を経由せず、第一端末装置１１０と第二端末装置１２０とが通信し、方向の算出は第一端末装置あるいは第二端末装置において行っても良い。

【0073】

次に、端末装置Ａ（送信元であり第一端末装置１１０にあたる）が端末装置Ｂ（送信先＝鈴木さんであり第二端末装置１２０にあたる）に向かって呼びかけを行う場合の方向算出方法の一例を図１５に示す。この例では、北方向を０度とし、右回りの角度を正の向きとして計算している。

【0074】

端末装置Ａ（つまり、送信元ユーザ）の向きである３０５度（またはその１８０度反対の１２５度）が送信元の方位情報として送信され、端末装置Ｂのユーザ（つまり送信先ユーザ）の向きが９０度のとき、１２５－９０＝３５より送信先ユーザの正面が基準で右３５度が送信元ユーザの方向となる。なお、他の端末装置Ｃは無関係であり、送信元ユーザの方向は提示されない。

【0075】

また、例えば、端末装置Ｄ（送信元）がビーコンのある柱番号８番付近に向かって呼びかけを行う場合を図１６に示す。送信元ユーザの向きである３００度（またはその１８０度反対の１２０度）が方位情報として送信され、柱番号８番のビーコンの近傍の場所グループである端末装置Ｅと端末装置Ｆが送信先となる。端末装置Ｅのユーザの向きが９０度のとき、１２０－９０＝３０より送信先ユーザの正面が基準で右３０度が送信元ユーザの方向となる。端末装置Ｆの向きが１８０度のとき、１２０－１８０＝－３０より送信先ユーザ正面の基準で左３０度が送信元ユーザの方向となる。このように、グループに対して送信する場合は、送信先の端末装置毎に送信元ユーザの方向を算出する。なお、ビーコンの近傍でない端末装置Ｇはこれらと無関係であり、送信元ユーザの方向は提示されない。

【0076】

送信元の端末装置に画像取得部が存在し、画像データを受信している場合の方向算出方法の一例を図１７に示す。送信先である端末装置Ｊのユーザは、服に「２５」と記載されたゼッケンをつけているものとする。端末装置Ｈ（送信元）がカメラ画像中で識別された「２５」番のユーザに向かって呼びかけを行う場合、送信元ユーザの向きとして３１５度（またはその１８０度反対の１３５度）が方位情報として送出され、端末装置Ｊのユーザの向きが９０度のとき、１３５－９０＝４５より送信先ユーザの正面が基準で右４５度が送信元ユーザの方向となる。また、カメラ画像中の送信先ユーザの位置により送信元ユーザ正面基準で左１０度の場合、送信元ユーザの向き３０５度（またはその１８０度反対の１２５度）が方位情報として送出され、端末装置Ｊのユーザの向きが９０度のとき、１２５－９０＝３５より送信先ユーザの正面を基準として右３５度が送信元ユーザの方向となる。なお、端末装置Ｋはこれらと無関係であり、送信元ユーザの方向は提示されない。カメラ画像が存在する場合は、画像中で識別された送信先の位置により、カメラ（送信元）の向いている方向に対して送信先の方向の補正を行うようにしても良い。

【0077】

なお、本実施形態では、方位情報（heading）は、0～359.99の数値（北を0として時計回りに360度、例えば”270”で西向き）を表す文字列である。位置情報は、緯度（location_latitude）と経度（location_longtitude）で、度単位の小数（南緯と西経を負の数、北緯と東経を正の数とし、例えば”35.690300,139.691700”で東京新宿付近、”-22.903400,-43.339300”でリオデジャネイロ付近）を表す文字列である。緯度経度は60進数の分単位の小数等の表現であってもよい。また、付帯情報としてこれらの計測精度（heading_accuracy、location_accuracy）を伴ってもよい。また、サーバ２００においては、送信元および送信先の組と対応付けて、方位情報を記憶部２３０に保持し、同一の組に対して継続的に方位情報を付与するようにしてもよい。

【0078】

また、第一端末装置１１０の位置情報取得部で取得した位置情報と、第二端末装置１２０より取得した位置情報とから距離を算出し、所定の距離より遠い場合（目視確認により正しい方向が与えられていない可能性が高いと判断）や、送信元ユーザとの距離が近く、場所グループ（対応するビーコン）の中心からの距離が遠い場合（送信元が意図する場所グループに合致しないと判断）には、方位情報を使用せず、「つぶやきモード」により出力をするようにしてもよい。また、算出した距離が所定の距離より遠い場合には、位置情報に基づいて算出される方向の精度が確保できるため、方位情報に基づいて算出される方向に代えて使うようにしてもよい。本実施形態では位置情報等の処理をサーバ２００で行っているが、第一端末装置１１０または第二端末装置１２０側にて方向の算出を行う場合も同様である。

【0079】

なお、位置情報を用いて２つの緯度経度の間の距離や方向を算出する場合、地球楕円体に基づいて高精度に計算することも可能だが、一般的には球体近似計算で求めてもよい。本実施形態では、距離・方位ともに高い精度は必要とされず、比較的近い距離で使用することが想定されるため、２つの点が平面上にあるとして近似計算しても問題にならない。

【0080】

さらに、受信したメッセージの時刻情報と現在の時刻との時間差が大きい場合（送信から時間が経過して正しい方向でない可能性が高いと判断）にも、方位情報を使わず、「つぶやきモード」により出力をするようにしてもよい。また「呼びかけモード」において送信先ユーザ以外にもメッセージを配信する場合、送信先情報が自端末に合致しないときは、「つぶやきモード」に切り替え、方位情報を使わず出力をする。例えば、「営業」全員でメッセージを共有して「つぶやきモード」で使用している中で、「高橋さん」に宛てた「呼びかけ」が配信された場合、メッセージは「営業」全員が受信するが、「高橋さん」以外の端末では「つぶやきモード」として出力し、「高橋さん」の端末では「呼びかけモード」として出力する。

【0081】

続いて、処理部２２０は、ネットワークインタフェース２１０を介して、メッセージ、メッセージの入力時刻、送信元ユーザの氏名等、「呼びかけモードの場合」は送信元ユーザの方向を送信先とし、特定した第二端末装置１２０に送信する（Ｓ７０７）。「呼びかけモード」では、送信先のみに音声やテキストを送信する場合は、送信先の端末装置識別ＩＤを指定するのみでもよいが、他の端末装置にもメッセージを配信する場合には、配信先の指定とは別に、送信先を表す端末装置識別ＩＤ（heading_target）も指定する。これにて、サーバ２００における「呼びかけモード」の処理は終了する。

【0082】

≪コミュニケーションシステムの第二端末装置１２０の動作≫
「呼びかけモード」において、第二端末装置１２０では、メッセージ、メッセージの入力時刻、送信元ユーザの氏名、送信元ユーザの方向等をサーバ２００より受信する。その後、受信したテキストメッセージをはじめ、送信元ユーザ氏名、算出した方向、メッセージの入力時刻等を表示部１２４に表示、あるいは、音声出力部１２８がステレオ再生可能なスピーカーや両耳イヤホンの場合には、音声メッセージ（または、テキストメッセージの音声合成音）を音像制御して音声出力部１２８より再生する。ここで。テキスト表示・音声再生の両方を行っても良い。また、メッセージがない場合は、方向を表示部１２４に表示したり、合図となる音を音像制御して再生するだけでもよい。片耳イヤホンの場合など音像制御ができない場合は、方向を表す言葉を伴って、例えば「○○さんが右斜め後ろから呼んでいます。」「呼びかけです。左側１０時方向。」「右６０度の方向の○○さんより。」などの文言を音声合成し、受信した音声メッセージの前または後に追加して再生することによって方向を提示してもよい。また、方向を振動や触覚で示してもよい。例えば、触覚振動出力部を備え、あらかじめ決められた振動パターンによって相手方向を表すようにしてもよい。触感デバイスにより方向を表してもよい。また、複数の振動体を利用者の体に装着して相手方向の振動体によって知らせてもよい。また、あらかじめ決められた振動パターンによりメッセージに代えて合図を送ったり、メッセージを振動パターンによる合図に変換して提示するようにしてもよい。このように、送信元の方向を提示する方向提示部として、表示部、音声出力部、触覚振動出力部を備えることができる。

【0083】

「つぶやきモード」では、送信元の方向に関する情報を伴わず、単に表示部１２４にテキストメッセージが表示されたり、音声出力部１２８から音声メッセージが再生される。

【0084】

送信先端末においては、無線ネットワークを経由して、例えばＷｅｂＳｏｃｋｅｔＡＰＩによってサーバ２００に接続し、音声メッセージやテキストメッセージが送信されてきたときには通知を受ける。「つぶやきモード」の音声メッセージやテキストメッセージの場合は、セッションを識別する情報（セッションキー）やメッセージの入力時刻、第一端末装置識別ＩＤ（または第一端末装置のユーザＩＤ）、第二端末装置識別ＩＤ（または第二端末装置のユーザＩＤやグループＩＤ）等を伴ってメッセージが取得され、「呼びかけモード」の音声メッセージやテキストメッセージの場合は、送信元の方位情報あるいは方向も取得される。音声メッセージがある場合は、さらにセッションキーに対応する音声データを取得（GET voice）することができる。なお、「呼びかけモード」では、送信元の方位情報あるいは方向さえ取得し、表示または音声によって伝達することができれば、算出された方向から、誰かが呼んでいることを認識することができる。

【0085】

続いて、スマートフォン型の端末装置の画面表示の一例を図１８に示す。この例では、現在メッセージのやりとりがなされている「営業グループ」が画面最上段に表示されている。画面中ほどには、送受信しているテキストや音声の履歴が表示されており、左からの吹き出しは受信、右からの吹き出しは自端末から送信したメッセージで、画面下方が最新となっている。また、吹き出しに合わせて「佐藤＞鈴木１３：２５」のような表示と左斜め方向の矢印があり、１３：２５に佐藤さんから鈴木さん（自端末）に向けて、左斜め方向から「鈴木さーん」という呼びかけがあったことを表している。

【0086】

図１９の画面表示例は、当該端末装置のユーザが佐藤さんの呼びかけに応じる形で左斜め方向を向いたときの画面表示であり、佐藤さんのところの矢印が画面上方向となり、画面最上段の送信先も「佐藤さん」に変わっている。そして、「よびかけ」ボタンを押して「はい、そっちに行きますね」と応答したことが表示されている。

【0087】

次に、タブレット型の端末装置の画面表示の一例を図２０に示す。左斜め方向からの佐藤さんの呼びかけが表示され、それ以前の佐藤さんのつぶやきなども左斜め上方向に向かって順次流れていく表示になっている。一方、正面方向からの高橋さんの呼びかけなどの以前のものは上方向に向かって順次流れていっている。そして、高橋さんからの呼びかけに応答した「ちょっと待ってください。」が画面下方に表示されている。

【0088】

図２１の画面表示例は、佐藤さんの呼びかけに応じる形で左斜め方向を向いたときの画面表示を示しており、画面が回転して、佐藤さんの発言が画面上方向に、高橋さんの発言が画面右斜め上方向に移っている。そして、「よびかけ」ボタンを押して「はい、そっちに行きますね」と応答したことが表示されている。自端末の発言は画面下方に流れていく。

【0089】

このような表示や音像制御により、送信先に指定された各端末装置のユーザは、呼びかけの送信元の方向を知ることができ、送信元を目視確認できれば身振りなどによる意思疎通が可能になる。また、位置情報やカメラ画像を取得しなくとも、方位情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を提示可能である。

【0090】

なお、本実施形態においては、第一端末装置１１０及び第二端末装置１２０はサーバ２００と通信を行い、ユーザマスタや呼び名のデータテーブルの処理、モードの判定、方位情報の処理などを主にサーバ２００の処理部２２０において行うものとして説明したが、これらの処理は端末装置側で実施することが可能であり、サーバ２００が介在する構成に限らない。例えば、ネットワークを介して第一端末装置１１０と第二端末装置１２０の間で通信を行い、モードの判定や方位情報の処理を第二端末装置１２０の制御部１２５で行う構成としてもよい。

【0091】

また、本実施形態においては、「つぶやきモード」では方位情報を送受信しないものとして説明したが、「呼びかけモード」と「つぶやきモード」の識別はこれに限らない。方位情報をともに含み、別途モードをあらわす情報を追加してもよい。また、送信先を表す情報の有無によりモードを識別してもよい。

【0092】

（第二の実施形態）
図２２は第二の実施形態に係るコミュニケーションシステムの構成を表すブロック図である。本実施形態のコミュニケーションシステムは、１台以上の画像装置１３０を含む端末装置群１００とサーバ２００がネットワークを介して接続されて構成される。ただし、端末装置群１００内の端末装置の構成は、第一の実施形態で説明した第一端末装置１１０または画像装置１３０または後述する可動装置１４０、移動体１５０と同様であり、いずれの端末装置も送信元・送信先の端末装置となりうるため、画像装置１３０の構成のみ説明し、他の端末装置に関する詳細は省略する。また、サーバ２００の構成も第一の実施形態と同様であるので、詳細は省略する。

【0093】

画像装置１３０は、ネットワークインタフェース１３１、方位情報取得部１３２、画像取得部１３３、表示部１３４、制御部１３５、入力部１３６を備える。ネットワークインタフェース１３１、方位情報取得部１３２、表示部１３４、制御部１３５、入力部１３６は第一の実施形態と同様であるので、詳細は省略する。画像取得部１３３は、カメラや赤外線センサ等、光学的入力装置であり、画像装置１３０周辺の画像を取得する。

【0094】

次に図２３を用いて、第二の実施形態に係るコミュニケーションシステムの処理フローを説明する。ただし、サーバ２００や端末装置内における送信先端末装置の特定、方向算出の方法等は第一の実施形態と同様であるので、詳細は省略する。

【0095】

まず、送信元端末装置である第一端末装置１１０の入力部１１６より「こっちを映して」ボタンがタップされる等して（この場合は表示部１１４が入力部１１６を兼ねる）、第一端末装置１１０を映して欲しい旨の信号を取得する（Ｓ２００１）。ここで、第一端末装置１１０のユーザ（送信元ユーザ）は、第一端末装置１１０あるいはヘッドセット１１０ａ等をつけた顔を送信先の画像装置１３０に向けている状態である。なお、入力信号はボタンによるものに限らず、テキスト入力や音声によるもの等、合図を送ることができれば、どんなものでも良い。続いて、第一端末装置１１０の方位情報取得部１１２は第一の端末装置１１０が向いている方位を取得し、ネットワークインタフェース１１１を介して、取得した第一端末装置１１０の方位、第一端末装置１１０の端末装置識別ＩＤ等を送信する（Ｓ２００２）。

【0096】

次に、サーバ装置２００あるいは送信先端末装置である画像装置１３０は、端末装置１１０からの信号等を受信し、サーバ２００の処理部２２０あるいは、送信先端末装置である画像装置１３０の制御部１３５は、受信した端末装置識別ＩＤから送信元端末装置である第一端末装置を１１０特定する（Ｓ２００３）。次に、画像装置１３０内の方位情報取得部１３２は、画像装置１３０の向いている方位を取得する（Ｓ２００４）。続いて、サーバ２００の処理部２２０あるいは、画像装置１３０の制御部１３５は、取得した方位に基づいて画像装置１３０から見た第一端末装置１１０の方向を算出する（Ｓ２００５）。

【0097】

最後に、画像装置１３０の制御部１３５は、算出した方向に基づき、表示部１３４に映す画像を変化させる（Ｓ２００６）。例えば、画像装置１３０から見た第一端末装置１１０の方向を中心として画像を拡大（デジタルズーム）する。または、図１９に図示しない可動部を設け、画像取得部１３３が第一端末装置１１０の方向へ向くよう機械的に回転し、レンズの焦点距離を変化させて画像をズーム（光学ズーム）する。さらに、画像装置１３０の制御部１３５は、第一端末装置１１０の方向を映した画像情報を、第一端末装置１１０の方向に向いた状態で方位情報取得部１３２において取得された画像装置１３０の可動部の方位情報等と合わせて、ネットワークインタフェース１３１を介して送信する。すると、第一端末装置１１０では受信した画像情報が画像装置１３０の方向からのものとして出力される。なお、可動部を設けない場合などは、受信した第一端末装置１１０の方位の１８０度反対の方位を、画像装置１３０の方位情報として送信してもよい。

【0098】

あるいは、表示部１３４に複数の表示面を設けており、複数の画像取得部１３３から取得した画像をそれぞれ表示している場合に、第一端末装置１１０の方向の画像取得部または第一端末装置１１０の方向の表示部のみの画像表示に切り替える。これにより、第二の実施形態に係るコミュニケーションシステムの処理は終了する。

【0099】

このような仕組みにより、送信先に指定された画像装置は、信号の送信元である端末装置の方向を知ることができ、複数の端末装置のユーザが協力した画像の表示等、効果的な演出が可能である。このとき、位置情報を取得しなくとも、方位情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を知ることができる。

【0100】

（第三の実施形態）
図２４は第三の実施形態に係るコミュニケーションシステムの構成を表すブロック図である。本実施形態のコミュニケーションシステムは、１台以上の可動装置１４０を含む端末装置群１００とサーバ２００がネットワークを介して接続されて構成される。ただし、端末装置群１００内の端末装置の構成は、第一の実施形態で説明した第一端末装置１１０または画像装置１３０または可動装置１４０または後述する移動体１５０と同様であり、いずれの端末装置も送信元・送信先の端末装置となりうるため、可動装置１４０の構成のみ説明し、他の端末装置に関する詳細は省略する。また、サーバ２００の構成も第一の実施形態と同様であるので、詳細は省略する。

【0101】

可動装置１４０は、例えば、顔や身体の向きを変えることが可能なロボットや、照らす向きを変えることが可能なライト、ノズルの方向を変えることが可能な水鉄砲、ある場所に向かって手を伸ばすことが可能なロボットアーム等、作用させる向きを変更可能な装置であり、ネットワークインタフェース１４１、方位情報取得部１４２、可動部１４３、制御部１４４を備える。ネットワークインタフェース１４１、方位情報取得部１４２、制御部１４４は第一の実施形態と同様であるので、詳細は省略する。可動部１４３は、送信元端末装置の方向に対して、機械的な動作を行う。

【0102】

次に図２５を用いて、第三の実施形態に係るコミュニケーションシステムの処理フローを説明する。ただし、サーバ２００や端末装置内における送信先端末装置の特定、方向算出の方法等は第一の実施形態と同様であるので、詳細は省略する。

【0103】

まず、送信元端末装置である第一端末装置１１０の入力部１１６より、「こっちを向いて」ボタンがタップされる等して（この場合は表示部１１４が入力部１１６を兼ねる）、第一端末装置１１０の方向を向いて欲しい旨の信号を取得する（Ｓ２２０１）。ここで、第一端末装置１１０のユーザ（送信元ユーザ）は第一端末装置１１０あるいはヘッドセット１１０ａ等をつけた顔を送信先の可動装置１４０に向けている状態である。なお、入力信号はボタンによるものに限らず、テキスト入力や音声によるもの等、合図を送ることができれば、どんなものでも良い。続いて、第一端末装置１１０の方位情報取得部１１２は第一の端末装置１１０が向いている方位を取得し、ネットワークインタフェース１１１を介して、取得した第一端末装置１１０の方位、第一端末装置１１０の端末装置識別ＩＤ等を送信する（Ｓ２２０２）。

【0104】

次に、サーバ装置２００あるいは送信先端末装置である可動装置１４０は、端末装置１１０からの信号等を受信し、サーバ２００の処理部２２０あるいは、送信先端末装置である可動装置１４０の制御部１４４は、受信した端末装置識別ＩＤから送信元端末装置である第一端末装置１１０を特定する（Ｓ２２０３）。次に、可動装置１４０内の方位情報取得部１４２は、可動装置１４０の向いている方位を取得する（Ｓ２２０４）。続いて、サーバ２００の処理部２２０あるいは、可動装置１４０の制御部１４４は、取得した方位に基づいて可動装置１４０から見た第一端末装置１１０の方向を算出する（Ｓ２２０５）。

【0105】

最後に、可動装置１４０の制御部１４４は、算出した方向に基づき、可動部１４３を動作させる（Ｓ２２０６）。例えば、可動装置１４０から見た第一端末装置１１０の方向に、ロボットの顔や体が向いたり、ライトが回転して照らしたり、水鉄砲のノズルが回転して水をかけたり、ロボットアームが伸びたりする。さらに、可動装置１４０の制御部１４４は、第一端末装置１１０に対する応答として、例えば「○○さん、見つけた！」等のテキスト情報や音声情報を生成し、方位情報取得部１４２において取得された可動装置１４０の方位情報等と共にネットワークインタフェース１４１を介して送信する。その後、第一端末装置１１０は、受信した応答のテキスト情報や音声情報を可動装置１４０の方向を提示しながら出力する。また、第一端末装置１１０の入力部１１６より、「あっちを向いて」ボタンがタップされる等して、第一端末装置１１０の方向以外を向いて欲しい旨の信号を取得した場合には、第一の端末装置１１０とは異なる方向を選択して動作する（第一の端末装置１１０の方向を避ける）ようにしても良い。これにより、第三の実施形態に係るコミュニケーションシステムの処理は終了する。

【0106】

このような仕組みにより、送信先に指定された可動装置は、送信元の方向に基づいた動作が可能になる。また、位置情報やカメラ画像を取得しなくとも、方位情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を知ることができる。

【0107】

（第四の実施形態）
図２６は第四の実施形態に係るコミュニケーションシステムの構成を表すブロック図である。本実施形態のコミュニケーションシステムは、１台以上の移動体１５０を含む端末装置群１００とサーバ２００がネットワークを介して接続されて構成される。ただし、端末装置群１００内の端末装置の構成は、第一の実施形態で説明した第一端末装置１１０または画像装置１３０または可動装置１４０または移動体１５０と同様であり、いずれの端末装置も送信元・送信先の端末装置となりうるため、移動体１５０の構成のみ説明し、他の端末装置に関する詳細は省略する。また、サーバ２００の構成も第一の実施形態と同様であるので、詳細は省略する。

【0108】

移動体１５０は、例えば車輪等が設置されている移動可能な装置であり、ネットワークインタフェース１５１、方位取得部１５２、移動部１５３、制御部１５４を備える。ネットワークインタフェース１５１、方位取得部１５２、制御部１５４は第一の実施形態と同様であるので、詳細は省略する。移動部１５３は、送信元端末装置の方向に対して、移動体１５０を移動させる。

【0109】

次に図２７を用いて、第四の実施形態に係るコミュニケーションシステムの処理フローを説明する。ただし、サーバ２００や端末装置内における送信先端末装置の特定、方向算出の方法等は第一の実施形態と同様であるので、詳細は省略する。

【0110】

まず、送信元端末装置である第一端末装置１１０の入力部１１６より「こっちに来て」ボタンがタップされる等して（この場合は表示部１１４が入力部１１６を兼ねる）、第一端末装置１１０の方向に来て欲しい旨の信号を取得する（Ｓ２４０１）。ここで、第一端末装置１１０のユーザ（送信元ユーザ）は、第一端末装置１１０あるいはヘッドセット１１０ａ等をつけた顔を送信先の移動体１５０に向けている状態である。なお、入力信号はボタンによるものに限らず、テキスト入力や音声によるもの等、合図を送ることができれば、どんなものでも良い。続いて、第一端末装置１１０の方位情報取得部１１２は第一の端末装置１１０が向いている方位を取得し、ネットワークインタフェース１１１を介して、取得した第一端末装置１１０の方位、第一端末装置１１０の端末装置識別ＩＤ等を送信する（Ｓ２４０２）。

【0111】

次に、サーバ装置２００あるいは送信先端末装置である移動体１５０は、端末装置１１０からの信号等を受信し、サーバ２００の処理部あるいは、送信先端末装置である移動体１５０の制御部１５４は、受信した端末装置識別ＩＤから送信元端末装置である第一端末装置１１０を特定する（Ｓ２４０３）。次に、移動体１５０内の方位取得部１５２は、移動体１５０の向いている方位を取得する（Ｓ２４０４）。続いて、サーバ２００の処理部２２０あるいは、移動体１５０の制御部１５４は、取得した方位に基づいて移動体１５０から見た第一端末装置１１０の方向を算出する（Ｓ２４０５）。

【0112】

次に、移動体１５０の制御部１５４は、算出した方向に基づき、移動部１５３を移動させる（Ｓ２４０６）。最後に、第一端末装置１１０の入力部１１６より「止まれ」ボタンがタップされる等して、止まって欲しい旨の信号を取得し（Ｓ２４０７）、ネットワークを介して信号を受信した移動体１５０の制御部１５４は、移動部１５３を停止させる。（Ｓ２４０８）。ここで、例えば、移動体１５０が乗り物であって、移動の方向と乗り口の向きが異なる場合には、Ｓ２４０１にて取得した第一端末装置１１０の方位あるいは、Ｓ２４０８にて再度取得した第一端末装置１１０の方位に基づいて、乗り口の向きを調節する。また、移動体がロボットである場合には、第一の端末装置１１０の向きに顔を向けたり、耳を向けたりしても良い。また、第一端末装置１１０の入力部１１６より、「道を空けて」「左へ避けて」ボタンがタップされる等して、第一端末装置１１０の方向以外へ移動して欲しい旨の信号を取得した場合には、第一の端末装置１１０とは異なる方向を選択して動作する（例えば第一の端末装置１１０の方向に対し±９０度方向に移動する）ようにしても良い。なお、第一端末装置１１０や移動体１５０に、例えばＧＰＳ等の位置情報取得部や、カメラや赤外線センサ等の画像取得部を設け、取得あるいは解析した第一端末装置１１０の位置に基づいて「止まれ」信号がなくとも移動体１５０が止まるように制御可能にしても良いし、より精度良く移動体１５０を移動させても良い。また画像より検出した相手移動体１５０に対して（ボタン等をタップすることなく）直ちに「左へ避けて」（または画像中で右側で検出された場合には「右へ避けて」）信号を送出して退避させるようにしても良い。これにより、第四の実施形態に係るコミュニケーションシステムの処理は終了する。

【0113】

このような仕組みにより、送信先に指定された移動体は、呼びかけの送信元の方向を知ることができ、送信元の方向に基づいて移動することができる。また、移動体が乗り物である場合は、送信元のユーザが乗りやすいように移動体の向きを調整して止まることができる。さらに、位置情報やカメラ画像を取得しなくとも、方位情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を知ることができる。
（第五の実施形態）

【0114】

＜端末装置の構成＞
図２８は本実施形態に係る端末装置のブロック図である。第一の実施形態における端末装置が持つ構成と同一の構成については同一符号を付している。本実施形態では、メッセージ等の送信元ユーザが持つ端末装置を第一端末装置１１０、送信先に指定されたユーザが持つ端末装置を第二端末装置１２０としている。ただし、端末装置群１００内の端末装置が持つ構成は同様であり、いずれも送信元・送信先の端末装置となりうるため、第一端末装置１１０の構成のみ説明し、他の端末装置に関する詳細は省略する。また、本実施形態に係るコミュニケーションシステムの構成は、第一の実施形態と同一構成のため、説明を省略する。その他、第一の実施形態と同一の構成、動作となる説明においては第一の実施形態で説明した図面を参照して説明する。

【0115】

図２８（ａ）に送信元の端末装置である第一端末装置１１０を示す。第一端末装置１１０は、例えば専用の機器やスマートフォン、タブレット、ＰＣ等であり、ネットワークインタフェース１１１、方位情報取得部１１２、方向情報取得部１１２ａ、位置情報取得部１１３、表示部１１４、制御部１１５、入力部１１６、音声取得部１１７、音声出力部１１８、識別情報発信部１１９ａ、識別情報受信部１１９ｂ、識別情報判定部１１９ｃを備える。尚、第一端末１１０は、上記の専用の機器やスマートフォン等以外でも良く、例えば、耳の不自由な人や耳の遠い人が装着する補聴器等でも良い。

【0116】

ネットワークインタフェース１１１は、自端末以外の端末装置あるいはサーバ２００とデータの送受信を行う。方位情報取得部１１２は、第一端末装置１１０のユーザに関する方位情報を取得する。方向情報取得部１１２ａは、第一端末装置１１０のユーザに関する方向情報を取得する。位置情報取得部１１３は、第一端末装置１１０の位置情報を取得する。

【0117】

方位情報取得部１１２は、例えば地磁気センサ、ジャイロセンサ、ＧＰＳ、加速度センサ等やそれらを組み合わせたものを用いるが、適切な精度で二次元または三次元での方位が検出できれば、いずれの方式でもよい。また、第一端末装置１１０本体に内蔵される方位センサで取得してもよい。さらに、第一端末装置１１０がユーザの向きとは異なる方位になってしまっている際等に、第一端末装置１１０にて取得される方位に対して、加速度センサやジャイロセンサ等による端末装置の上下、ＧＰＳ等によるユーザの進行方向の情報に基づいて、ユーザが向く方位を補正してもよい。

【0118】

方向情報取得部１１２ａは、例えば地磁気センサ、ジャイロセンサ、ＧＰＳ、加速度センサ等やそれらを組み合わせたものを用いるが、適切な精度で二次元または三次元での方向情報が取得できれば、いずれの方式でもよい。ここで、方向情報とは、基準方向との角度等の関係を表すものであって、基準方向は水平面においては南北等の子午線方向や東西等の他の方向、垂直面においては水平方向や鉛直方向、とすることが多いが、西北西等の区分された方向でもよく、それ以外の何らかの手段、例えば広い講演会場の前方等の特定方向から到来する電波、光、音響等で与えられる任意の方向であってもよい。基準方向は各端末間で暗黙に共通であるか、そうでない場合は区別可能な表現とし、必要に応じて相互変換できるように扱われる。例えば、北を０度として右まわりの角度で表したものを暗黙に共通で使用するとして「２４７．５」、西を０度とした「Ｓ：－２２．５」、１６区分の西南西「ＷＳＷ」、西南西方向から到来する電波「Ｂ１１」を基準とした「Ｂ１１：０」等。同様に、水平方向を０度として上方向（仰角）を正、下方向（俯角）を負の角度で表したものを共通で使用したり、上空から見下ろした場合に鉛直方向からの角度とする等、他の基準方向を使用してもよい。また、第一端末装置１１０本体に内蔵される方位センサ等で取得してもよい。

【0119】

位置情報取得部１１３は、例えばＧＰＳにより緯度経度等を含む位置情報を取得する。表示部１１４は、他の端末装置やサーバ２００から受信したデータを表示する。制御部１１５は、第一端末装置１１０内の各構成や取得・受信したデータのやりとりを制御する。入力部１１６は、後述するモードの選択やボタン、テキスト等、ユーザからの入力信号を取得する。音声取得部１１７は、第一端末装置１１０のユーザが発した音声を取得する。音声出力部１１８は、自端末以外の端末装置やサーバ２００から受信した音声データを再生する。ここで、表示部１１４はタッチ入力可能なディスプレイ、つまり入力部１１６を兼ねていてもよい。

【0120】

識別情報発信部１１９ａは、自端末を識別することの可能な情報を電波等で、近接する多数の相手方に向けて発信する。例えば、ＩＤ（ＳＳＩＤ、デバイスＩＤ、ビーコンＩＤ等）を含んだＷｉＦｉやＢｌｕｅＴｏｏｔｈ（登録商標）の電波（ビーコン）であり、以下発信識別ＩＤと呼ぶ。識別情報受信部１１９ｂは、他の端末から送信された発信識別ＩＤを受信する。受信指向性がないかまたは弱い場合には、距離による減衰の結果、受信可能な所定強度以上の発信識別ＩＤが受信される。これにより、識別情報判定部１１９ｃにおいて近接する端末を識別することができる（近接条件）。一方、受信指向性が強い場合には、距離による条件に加えて、受信側の指向性に沿った方向の端末から送信された発信識別ＩＤが受信される。これにより、識別情報判定部１１９ｃにおいて受信側端末の向いている方向にあって近接する端末を識別することができる（捕捉条件）。また、ネットワークインタフェース１１１がＷｉＦｉやＢｌｕｅＴｏｏｔｈ（登録商標）を使用する場合には、識別情報発信部１１９ａおよび識別情報受信部１１９ｂはネットワークインタフェース１１１の中に含まれる。

【0121】

図２８（ｂ）に送信先の端末装置である第二端末装置１２０を示す。構成は第一端末装置１１０と同様で、ネットワークインタフェース１２１、方位情報取得部１２２、方向情報取得部１２２ａ、位置情報取得部１２３、表示部１２４、制御部１２５、入力部１２６、音声取得部１２７、音声出力部１２８、識別情報発信部１２９ａ、識別情報受信部１２９ｂ、識別情報判定部１２９ｃを備え、いずれも第一端末装置と同様であるので、詳細は省略する。

【0122】

本実施形態に係る端末装置は、図３１に示すようにウェアラブル端末１１０ａを用いて構成を分けても良い。ウェアラブル端末１１０ａは、例えばメガネのような形状の装着可能なデバイスで、マイク型の音声取得部１１７、両耳イヤホン型の音声出力部１１８、装着しているユーザの向いている方位を取得する方位情報取得部１１２、装着しているユーザの向いている方向を取得する方向情報取得部１１２ａ、ボタンスイッチ型の入力部１１６を備え、ネットワークインタフェース１１１、位置情報取得部１１３、表示部１１４、制御部１１５、識別情報発信部１１９ａ、識別情報受信部１１９ｂ、識別情報判定部１１９ｃは端末本体１１０ｂが備える。装着イメージは図４（ａ）に示す。端末本体１１０ｂの表示部１１４は、ヘッドマウントディスプレイとしてウェアラブル端末１１０ａ側の構成に入れても良い。また、ウェアラブル端末１１０ａは図４（ｂ）に示すようなヘッドフォン型の形状のデバイスでも良い。さらに、方位情報取得部１１２および方向情報取得部１１２ａを端末本体１１０ｂ側の構成としても良い。加えて、ウェアラブル端末１１０ａにカメラ等の画像取得部を構成として設けても良い。また、識別情報発信部１１９ａとして赤外線等の光学的な方法により発信識別ＩＤを発信するものをウェアラブル端末１１０ａ側に備えてもよく、カメラ等の画像取得部において取得された画像を用いて画像処理により識別情報を取得するように識別情報受信部１１９ｂを構成してもよい。光学的な方法による発信識別ＩＤを使用する場合には、受信側の向いている方向にあって近接している端末として識別（捕捉条件）することができる。本実施形態に係るコミュニケーションシステムの端末装置群１００内の送信元端末装置、送信先端末装置全てあるいは一部がウェアラブル端末１００ａを用いたものであっても良いし、ウェアラブル端末１００ａを用いなくても良い。
本実施形態に係る端末装置は、図３２に示すように遠隔端末１６０ａと代理端末１６０ｂを用いて構成を分けても良い。遠隔端末１６０ａは、ユーザが遠隔地で使用する端末で、ネットワークインタフェース６１１ａ、表示部６１４、制御部６１５ａ、入力部１１６、音声取得部１１７、音声出力部１１８を備える。また、代理端末１６０ｂは、遠隔地のユーザによって制御される端末で、ネットワークインタフェース６１１ｂ、方位情報取得部６１２、方向情報取得部６１２ａ、位置情報取得部６１３、制御部６１５ｂ、識別情報発信部１１９ａ、識別情報受信部１１９ｂ、識別情報判定部１１９ｃ、代理端末の向いている方向を撮影するカメラ等の画像取得部６３３、可動部６４３、移動部６５３を備える。ネットワークインタフェース６１１ａおよび６１１ｂは、ネットワークインタフェース１１１と同様に自端末以外の端末あるいはサーバ２００とのデータの送受信を行うのに加えて、遠隔端末と代理端末間のデータの送受信も行う。表示部６１４は、他の端末装置やサーバ２００から受信したデータおよび代理端末の画像取得部で取得された画像を表示する。入力部１１６は、後述するモードの選択やボタン、テキスト等に加えて、可動部６４３や移動部６５３の制御情報について、ユーザからの入力信号を取得する。遠隔端末を使用するユーザは表示部６１４などの方向情報提示部に提示される方向を参照して、例えば代理端末が送信元端末の方向を向いたり送信元端末へ近づいたりするように制御情報を入力することができる。ここで、表示部６１４はタッチ入力可能なディスプレイ、つまり入力部１１６を兼ねていてもよい。方位情報取得部６１２、方向情報取得部６１２ａ、位置情報取得部６１３は、それぞれ方向情報取得部１１２、方向情報取得部１１２ａ、位置情報取得部１１３と同様に、代理端末に関する方位情報、方向情報および位置情報を取得する。画像情報取得部６３３は、第二の実施形態における画像取得部１３３と同様に、代理端末１６０ｂの周辺の画像を取得し、送信元端末装置の方向を中心として画像をズームしたりする。可動部６４３は、第三の実施形態における可動部１４３と同様に、送信元端末装置の方向に対して機械的な動作を行い、画像情報取得部６３３の撮影する方向を変えたり、代理端末１６０ｂ全体の方向を変えたりする。遠隔端末側において入力され代理端末側で受信された制御情報に基づいて動作を行うこともできる。移動部６５３は、第四の実施形態における移動部１５３と同様に、送信元端末装置の方向に対して移動させる。遠隔端末側において入力され代理端末側で受信された制御情報に基づいて移動を行うこともできる。また、識別情報発信部１１９ａとして赤外線等の光学的な方法により識別情報を発信するものを代理端末１６０ｂ側に備えてもよく、代理端末１６０ｂ側の画像取得部において取得された画像を用いて画像処理により識別情報を取得するように識別情報受信部１１９ｂを遠隔端末１６０ａ側または代理端末１６０ｂ側のいずれかに構成してもよい。光学的な方法による識別情報を使用する場合には、受信側の端末またはユーザあるいは代理端末の向いている方向にあって近接している端末またはユーザあるいは代理端末として識別情報判定部１１９ｃにおいて識別（捕捉条件）することができる。本実施形態に係るコミュニケーションシステムの端末装置群１００内の送信元端末装置、送信先端末装置全てあるいは一部が遠隔端末１６０ａを用いたものであっても良いし、遠隔端末１６０ａを用いなくても良い。

【0123】

＜サーバ２００の構成＞
次に、本実施形態に係るサーバ２００の構成について図５を参照して説明する。サーバ２００は、例えばオンプレミスサーバやクラウド型のサービス等を提供するサーバであり、ネットワークインタフェース２１０、処理部２２０、記憶部２３０、を備える。ネットワークインタフェース２１０は、端末装置群１００内の端末装置とデータの送受信を行う。処理部２２０は、音声認識処理をしたりサーバ２００内の各構成や受信したデータのやりとりを制御する。記憶部２３０は、必要なデータテーブルを記憶する。

【0124】

≪コミュニケーションシステムの第一端末装置１１０の処理フロー≫
本実施形態に係るコミュニケーションシステムでは、「呼びかけモード」と「つぶやきモード」の二種類のモードが用意されている。「呼びかけモード」は、送信先が目視可能な場合等にその方向を向いてメッセージ入力（呼びかけ）を行うことで、送信先ユーザまたはグループのメンバーが持つ第一端末装置１１０から、送信元の方向を伴ってメッセージが出力されるモードである。「つぶやきモード」は、送信元の方向を伴わず、通常のメッセージ出力がなされるモードである。

【0125】

続いて、図３０を参照して本実施形態に係る第一端末装置１１０の処理フローを説明する。最初にユーザが専用のアプリを起動またはホームページにアクセスする等して、ユーザがシステム起動の要求を行うと、第一端末装置１１０の制御部１１５が制御し、表示部１１４は、システムの初期画面を表示する（Ｓ３００１）。このとき、例えばユーザがログインＩＤとパスワードを入力することにより、本システムへログインしてもよい。また、システム起動の要求を第一端末装置１１０の識別情報（以下、発信識別ＩＤとする）と共にサーバ２００へ送信し、記憶部２３０のユーザテーブル内でフラグ管理等することで、各ユーザがシステムを起動しているか否か、つまりオンラインかオフラインか確認できるようにしても良い。
具体的には、オンライン状態のときに、識別情報発信部１１９ａが第一端末装置からの発信であることを示す発信識別ＩＤを発信する。発信された発信識別ＩＤはサーバ２００の記憶部２３０のユーザテーブル内で管理され、相手方となる各ユーザとの関係を示す近接条件または捕捉条件を判定するための情報として利用する。尚、相手方となる各ユーザと発信識別ＩＤの対応付けを行うユーザテーブルを各端末装置内で保持してもよく、その場合、記憶部２３０のユーザテーブル内で管理されている発信識別ＩＤを各端末装置に適時送信し、端末装置内のユーザテーブルを更新するようにしてもよい。

【0126】

次に、第一端末装置の制御部１１５は、入力部１１６よりユーザがメッセージ送信先を選択するための選択画面を表示部１１４に表示する。具体的には図２９（ａ）に示すように、選択肢となり得る相手先のユーザが表示される（Ｓ３００２）。尚、グループも表示するようにしても良い。この場合、グループを選択するとグループに属するユーザを表示するようにすると良い。ここで、選択肢となり得るユーザの端末装置の状態（オンラインまたはオフライン）をあわせて表示する。さらに、記憶部２３０で管理されている発信識別ＩＤに基づく、各ユーザ（各端末装置）との関係を示す情報から、近接しているか（近接条件）、受信側端末の向いている方向にいるか（捕捉条件）を識別し表示する（Ｓ３００３）。

【0127】

次に、表示部１１４に表示された選択画面からメッセージを送信したいユーザを選択すると、制御部１１５は、選択されたユーザの状態に基づいて「呼びかけモード」または「つぶやきモード」の選択を支援するためのメッセージを表示する。（Ｓ３００４のＹＥＳ）。具体的には、図２９（ｂ）に示すように、例えば、メッセージ送信先として選択したユーザの状態がオンラインで、捕捉条件に合致するユーザに対しては「呼びかけモード」または「つぶやきモード」の何れかを選択するためのメッセージを表示する。一方、ユーザの状態がオンラインであるが近接条件や捕捉条件に合致しないユーザに対しては「つぶやきモード」を促すメッセージを表示する。

【0128】

図２９（ａ）に示す選択画面では、山田さん、鈴木さん、高橋さんの３名がオンライン状態で、山田さんと高橋さんの２名が近接条件に合致し、ユーザの近くにいることを示している。更に、高橋さんは捕捉条件に合致し、ユーザの端末装置の方向に向いていることを示している。図２９（ｂ）のモード選択画面では、ユーザから山田さんが見えている場合は「はい」ボタン（不図示）の操作で「呼びかけモード」選択となり、山田さんが見えていない場合は「いいえ」ボタン（不図示）の操作で「つぶやきモード」選択となる。

【0129】

尚、状態に基づくモード選択条件は、上記に限らず条件設定により自由に変更可能である。また、上記では端末装置の状態に基づき利用できるモードを提示するようにしているが、状態に基づき使用するモードを自動的に設定するようにしても良い。

【0130】

＜第一端末装置１１０における「呼びかけモード」の処理フロー＞
端末装置の制御部１１５が、端末装置の状態に応じて提示したメッセージに従って、ユーザが「呼びかけモード」を選択すると、第一端末装置１１０の入力部１１６は、「呼びかけモード」の信号を取得する（Ｓ３００５のＹＥＳ）。ユーザは、例えば表示部１１４に表示される「呼びかけモード」ボタンまたは、「呼びかけモード」の選択を指示する「はい」ボタンをタップしたり（この場合、表示部１１４は入力部１１６を兼ねる）、「呼びかけモード」または「はい」と音声で入力したり（この場合、音声取得部１１７は入力部１１６を兼ね、音声認識処理を実行する）することで、「呼びかけモード」を選択する。モードの選択方法は上記に限らず、入力部１１６がボタンスイッチの場合には、例えば連続して２回押した場合を呼びかけモードの入力開始ボタンとしてもよい。あるいは、入力部１１６（音声取得部１１７）に送信先の名前を（例えば「○○さん」）と呼びかけたり、呼びかけに対応させて予め設定された特定のキーワードを含む発声（例えば「こっち見て！」）をしたりすると、音声認識処理を実行してキーワードを検出し、呼びかけモード動作となるようにしても良い。この音声認識処理は、第一端末装置１１０内の入力部１１６（音声取得部１１７）で行ってもよいが、取得した音声をサーバ２００に送信することでサーバ２００の処理部２２０で行っても良い。

【0131】

次に、方位情報取得部１１２は、第一端末装置１１０あるいはヘッドセット１１０ａ等が向いている方位情報を取得する。また、方向情報取得部１１２ａは、第一端末装置１１０あるいはヘッドセット１１０ａ等が向いている方向情報を取得する。（Ｓ３００６）。このとき、第一端末装置１１０のユーザ（送信元ユーザ）は第一端末装置１１０あるいはヘッドセット１１０ａ等をつけた顔を送信先の第二端末装置１２０（送信先ユーザ）に向けている状態である。ここで、第一端末装置１１０の位置情報取得部１１３は、第一端末装置１１０の位置情報、例えば緯度・経度も取得すると良い。尚、方位情報、方向情報の取得はどちらか一方が取得できれば良い。

【0132】

なお、第一端末装置１１０あるいはヘッドセット１１０ａに、第一端末装置１１０あるいはヘッドセット１１０ａが向いている方位、方向と同じ方位、方向を撮影するカメラ等図２，３に図示しない画像取得部を設け、取得した画像に対して公知の画像認識処理を行うことで、送信元ユーザの向いている先に存在する送信先の情報（送信先ユーザ、グループまたは端末装置）を特定したり、送信先ユーザの向いている方位、方向を判定したりしても良い。ここで、カメラに代えて指向性のある赤外線センサ等の光学的入力装置を用いて検出するようにしてもよい。この画像認識処理は第一端末装置１１０側で行っても良いが、取得した画像をサーバ２００に送信することでサーバ２００の処理部２２０で行っても良い。

【0133】

なお、端末装置によるカメラ画像の識別は、送信先ユーザが身に付けているもの、または送信先ユーザが持つ第二端末装置１２０の発する可視光や赤外線による識別符号の検出等により行う。また、方位情報取得部１１２または方向情報取得部１１２ａで取得した結果と合わせることで、より精度良くユーザが向いている方位や方向や送信先を導出しても良い。

【0134】

また、端末装置群１００が存在する領域を囲む壁等がある場合、例えば南西側の壁に「ＳＷ」「２２５」のような文字や二次元コード、赤外線等による識別符号などの情報を配置し、取得した画像中の文字「ＳＷ」「２２５」等の情報から画像取得部（送信元ユーザ）が向いている方位が南西（北を０度として右回りに２２５度）であること等を判定するようにし、方位情報取得部１１２に代えても良い。

【0135】

続いて、送信元ユーザは音声取得部１１７より、送信先に送信する音声メッセージを入力、あるいは入力部１１６（タップ入力の場合、表示部１１４）よりテキストメッセージを入力する（Ｓ３００７）。このとき、送信先ユーザを特定するような情報を入力しても良い。例えば入力部１１６（タップ入力の場合、表示部１１４）から送信先ユーザやグループを選択したり、氏名やグループ名を入力しても良いし、音声メッセージに送信先を特定できるような情報（氏名、グループ名等）を加えても良い。

【0136】

次に、制御部１１５は、入力されたメッセージ、メッセージの入力時刻、方位情報、方向情報、第一端末装置１１０の識別ＩＤ等取得した情報をネットワークインタフェース１１１を介してサーバ２００へ送信する（Ｓ３００８）。ここで、送信先が特定できていれば、送信先情報（送信先ユーザ、グループまたは端末装置）も送信する。方位情報とは、Ｓ３００６にて取得した、送信元ユーザが向いている方位であっても良いし、取得した方位の１８０度反対とすることで、第二端末装置１２０から見た第一端末装置１１０の方位に変換してから送信しても良い。また、テキストや音声メッセージの入力を行わず、単に方位情報のみを送信するようにしてもよい。さらに位置情報取得部１１３が第一端末装置１１０の位置情報を取得して送信してもよい。方位情報や位置情報は計測精度の情報を伴ってもよい。方向情報とは、Ｓ３００６にて取得した、送信元ユーザが向いている方向を示す情報であっても良い。

【0137】

続いて、制御部１１５は、入力部１１６が取得する信号がシステム終了要求であるか否か判定する（Ｓ３００９）。ユーザがシステムを終了したい場合には、第一端末装置１１０の表示部１１４に表示される「システム終了」ボタンをタップ、あるいはシステムからログアウトする等して、システム終了要求を入力する。システム終了要求がない場合（Ｓ３００９のＮＯ）、Ｓ３００２へ戻る。このとき、例えば「システムを終了しますか？」という表示に対し「いいえ」を選ぶ等、システムを終了しない旨の入力があっても良い。終了要求がある場合（Ｓ３００９のＹＥＳ）、システムを終了し、本実施形態に係る第一端末装置１１０の処理は終了する。ここで、一定時間以上、ユーザによる入力処理や操作がない場合に、システムを終了しても良い。また、記憶部２３０のユーザテーブルで各ユーザのオンライン・オフライン情報を更新するため、システム終了要求を第一端末装置１１０の識別ＩＤと共にサーバ２００へ送信する。

【0138】

なお、本実施形態では、送信元ユーザのメッセージ入力前に方位情報または方向情報を取得する形としているが、他のタイミングで取得・送信してもよい。また、送信元ユーザがメッセージ入力中に複数回、方位情報や方向情報を取得して逐次送信してもよい。また、取得した方位情報や方向情報を送信先と対応付けて制御部１１５内に保持しておき、繰り返し取得することなく同一の送信先に対して継続的に情報を送信するようにしても良い。近接条件や捕捉条件を満たしたと識別されたときに方位情報や方向情報を取得し、送信先と対応付けて保持するようにし、近接条件や捕捉条件を満たさないときには取得・更新しないようにしてもよい。最終更新時刻を合わせて管理し、「呼びかけモード」で送信する際に、最終更新時刻や最終更新からの経過時間の情報を合わせて送信するようにしてもよい。加速度センサやジャイロセンサ、ＧＰＳ等によって検出されるユーザの移動を勘案して、方位情報や方向情報の最終更新からの信頼度低下を判定し、信頼度を表す情報を合わせて送信したり、「つぶやきモード」に切り替えたりするようにしてもよい。

【0139】

＜第一端末装置１１０における「つぶやきモード」の処理フロー＞
Ｓ３００３の端末の状態判定の結果、ユーザの状態がオンラインであるが近接条件や捕捉条件に合致しない場合（Ｓ３００４のＮＯ）、または、端末装置の制御部１１５が、端末装置の状態に応じて提示したメッセージに従って、ユーザが「呼びかけモード」を選択せず（Ｓ３００５のＮＯ）「つぶやきモード」を選択すると、第一端末装置１１０の入力部１１６は、「つぶやきモード」の信号を取得する（Ｓ３０１０のＹＥＳ）。ここで、送信元ユーザは、例えば表示部１１４に表示される「つぶやきモード」ボタン、または端末の状態に応じて提示されたメッセージに従って「いいえ」（不図示）をタップしたり（この場合、表示部１１４は入力部１１６を兼ねる）、「つぶやきモード」または「いいえ」と音声で入力したり（この場合、音声取得部１１７は入力部１１６を兼ねる）することで、「つぶやきモード」を選択する。入力部１１６がボタンスイッチの場合には、例えば１回押した場合をつぶやきモードの入力開始ボタンとしてもよい。また、「呼びかけモード」「つぶやきモード」のどちらかを選択する形にしても良いし、送信元の方位情報や方向情報や送信先を指定する情報を取得できなかった場合には自動的に「つぶやきモード」としてもよい。

【0140】

続いて、Ｓ３００７へ進む。「つぶやきモード」では、Ｓ３００８にて方位情報や方向情報を送信しないが、方位情報、方向情報を送信しない点以外は「呼びかけモード」と同様であるので、その後の処理についての詳細は省略する。

【0141】

「つぶやきモード」を入力しなかった場合（Ｓ３０１０のＮＯ）、Ｓ３００９へ進むが、その後の処理は「呼びかけモード」と同様であるので省略する。

【0142】

なお、第一端末装置１１０は、無線ネットワークを経由して、例えばＲＥＳＴ ＡＰＩによってサーバ２００に接続し、送信を行う。音声メッセージ送信開始時には、音声送信セッション開始要求（PUT voice/start_time）を行い、セッションを識別する情報（セッションキー）がサーバ２００から返される。音声メッセージは、逐次送信（POST voice）される。最後に、音声送信セッション終了の送信（PUT voice/end_time）を行う。また、テキストメッセージ送信時には、テキスト情報の送信（POST speech）を行う。音声メッセージの場合は、音声送信セッション開始要求やテキスト情報送信におけるパラメータとして、送信元の位置情報、方位情報または方向情報、などを送信する。

【0143】

≪コミュニケーションシステムのサーバ２００の処理フロー≫
続いて、本実施形態に係るコミュニケーションシステムにおけるサーバ２００の処理フローを図７に示す。まず、第一端末装置１１０から送信されたメッセージ等をサーバ２００のネットワークインタフェース２１０が受信する（Ｓ７０１）。「呼びかけモード」においては、Ｓ７０１にて、入力されたメッセージ、メッセージの入力時刻、方位情報、方向情報、第一端末装置１１０の識別ＩＤ等を受信する。「つぶやきモード」においては、方位情報、方向情報は含んでいない。

【0144】

続いて、処理部２２０は、第一端末装置１１０の識別ＩＤから、ユーザマスタ２３１を参照し、第一端末装置１１０のユーザ氏名を特定する（Ｓ７０２）。ユーザマスタ２３１は、少なくとも端末装置識別ＩＤと当該端末装置を使用するユーザ氏名とを関連付けて保存しており、記憶部２３０に記憶されている。

【0145】

本実施形態に係るユーザマスタ２３１の一例を図８に示す。本実施形態のユーザマスタ２３１は、「端末装置識別ＩＤ」、当該端末装置を使用する「ユーザ氏名」、当該ユーザが所属する「グループ名」欄を備える。例えば、受信した第一端末装置１１０の端末装置識別ＩＤが「ａｂ０１」である場合、第一端末装置１１０のユーザは「佐藤 太郎」さんであることが読み取れる。

【0146】

なお、ユーザマスタの構成としては、
（１）ユーザを内部的に区別する際にシステムが使用する「ユーザＩＤ」と、ユーザがシステムにログインする際に指定する「ログインＩＤ」と、「ユーザ氏名」と、当該ユーザが所属する「グループＩＤ」と、からなるログインＩＤマスタ、
（２）グループを内部的に区別する際にシステムが使用する「グループＩＤ」と「グループ名」とからなるグループＩＤマスタ、
（３）「端末装置識別ＩＤ」と当該端末装置を使用している「ユーザＩＤ」とからなる端末ＩＤマスタ、
のように複数のテーブルであってもよい。

【0147】

次に、処理部２２０は、受信したメッセージの送信先である第二端末装置１２０を特定する（Ｓ７０３）。第一端末装置１１０から送信先情報（送信先ユーザ、グループまたは端末装置）を受信していれば、記憶部２３０を参照し、送信先である第二端末装置識別ＩＤを特定する。例えば、受信した送信先情報が「高橋 次郎」であった場合、処理部２２０は記憶部２３０内のユーザマスタ２３１を参照し、対応する端末装置識別ＩＤ「ｃｄ０２」を特定する。受信した送信先情報が「営業」であった場合、処理部２２０は記憶部２３０内のユーザマスタ２３１の「グループ名」欄を参照し、対応する端末装置識別ＩＤ「ａｂ０１」「ｃｄ０２」を特定する。あるいは、営業グループに所属するユーザの端末装置識別ＩＤを予めまとめて登録しておいても良い。

【0148】

また、例えば受信した送信先情報「ユーザＩＤ」が「ｘｙ０７」であった場合、端末ＩＤマスタを参照し、対応する端末装置識別ＩＤを特定する。送信先情報「ユーザ氏名」が「高橋 次郎」であった場合、ログインＩＤマスタを参照し、対応するユーザＩＤ「ｘｙ０７」を特定したのち、同様に端末装置識別ＩＤを特定する。受信した送信先情報「グループＩＤ」が「ｇｈ１３」であった場合、ログインＩＤマスタを参照し、対応するユーザＩＤ「ｘｘ０６」「ｘｙ０７」を特定したのち、端末ＩＤマスタを参照し、対応する端末装置識別ＩＤを特定する。送信先情報「グループ名」が「営業」であった場合、グループＩＤマスタを参照し、対応するグループＩＤ「ｇｈ１３」を特定したのち、同様に端末装置識別ＩＤを特定する。

【0149】

場所に連動したグループ（以下、場所グループ）を使用する場合は、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（登録商標）等の無線や赤外線を用いたビーコン等を場所に対応して設置し、あらかじめビーコンの識別ＩＤと場所の名称を関連付けて、ビーコンマスタ２３２として保存する。ビーコンとひも付く端末装置は、ビーコンから所定の距離圏内、例えば、半径５ｍ以内に存在するとする。本実施形態に係るビーコンマスタ２３２の一例は図９に示す。この例では、工事現場あるいは製造現場等で、番号が付与された柱毎にビーコンが設置されているような場合であり、本実施形態のビーコンマスタ２３２は、「ビーコン識別ＩＤ」と場所の名称である「柱番号」を格納する欄を備える。

【0150】

各ユーザが使用する端末装置がビーコンからの電波を受信することにより、各端末装置の制御部が当該ビーコンの５ｍ以内にいると判定し、受信したビーコンの識別ＩＤと自身の端末装置識別ＩＤとをサーバ２００に送信する。サーバ２００の処理部２２０は、受信したビーコンの識別ＩＤに基づいてビーコンマスタ２３２を参照し、場所の名称を特定し、場所連動型テーブル２３３に端末装置識別ＩＤと関連付けて保存する。あるいは、場所グループとして各ビーコンの近くに存在する端末装置識別ＩＤをまとめて登録する。また、処理部２２０は、端末装置の位置情報取得部で取得した位置情報を用いて、ビーコンからの距離を算出し保存しても良い。また、サーバ２００で場所グループを管理するのではなく、個々の端末装置（送信先となる第二端末装置１２０）がビーコンの検出状況に応じて、送信先の場所グループに属するか否かを判定するようにしても良い。

【0151】

本実施形態に係る場所連動型テーブル２３３の一例を図１０に示す。本実施形態の場所連動型テーブルは、「端末装置識別ＩＤ」、場所の名称である「柱番号」、各ビーコンからの距離を示す「柱からの距離」を格納する欄を備える。例えば、端末装置識別ＩＤが「ｅｆ３０」のユーザは、「柱２５」の近くにおり、柱２５からは「０．５ｍ」離れていることが読み取れる。

【0152】

さらに、メッセージ等に含まれるユーザの呼び名よって送信先を特定する場合（詳しくは後述する）は、あらかじめ呼び名辞書２３４を用意する。本実施形態に係る呼び名辞書の一例を図１１に示す。本実施形態の呼び名辞書２３４は、端末装置識別ＩＤに対して、当該端末装置のユーザを示す呼び名が複数個関連付けて保存されている。例えば、メッセージ等に「太郎さん」が含まれていた場合、呼び名辞書２３４を参照し、端末装置識別ＩＤ「ａｂ０１」のユーザだと推定できる。ここで、端末装置識別ＩＤではなくユーザＩＤ等に対応付けたのち、ユーザマスタにて端末装置識別ＩＤに対応付けても良い。

【0153】

このように、ユーザ等の呼び名（「○○さん」等）やユーザが所属するグループ名（営業グループ等）、場所に連動したグループ等、対応関係を記憶部２３０にデータテーブルとして保持することで、様々な送信先を設定、特定することが可能である。なお、サーバ２００の記憶部２３０のデータテーブルの全てまたは一部を送信元端末上あるいは送信先端末上に持たせてもよい。

【0154】

続いて、処理部２２０は、受信したメッセージの認識処理を行う（Ｓ７０４）。音声メッセージの場合、公知の音声認識処理を行うことで音声メッセージをテキスト化する。ここで、Ｓ７０３にて送信先が特定できていない場合には、テキスト化されたメッセージまたは、受信したテキストメッセージの解析を行い、含まれていれば、ユーザの氏名や呼び名、グループ名、場所の名称等を抽出する。

【0155】

テキストメッセージを解析した結果、ユーザの氏名や呼び名、グループ名、場所の名称を抽出した場合、処理部２２０は記憶部２３０内のデータテーブルを参照し、送信先を特定する。例えば、「鈴木さん」という呼び名を抽出した場合、呼び名辞書２３４を参照し、端末装置識別ＩＤ「ｅｆ３０」を特定できる。

【0156】

なお、送信先を特定あるいは推定できなかった場合は、第一端末装置１１０を除く全ての端末装置を配信先として設定する等してもよいし、第一端末装置１１０に「送信先は誰にしますか？」と音声あるいはテキストメッセージを送信するようにしても良い。ここで、配信は、送信先端末装置と他の端末装置が区別できなかった場合や、送信先端末装置装ではない他の端末装置に対しても、送信先端末と同じ内容のメッセージを送る場合等、他の端末装置を含む端末装置をメッセージの送り先に設定する場合を指す。また、送信先である第二端末装置１２０においてメッセージのテキスト表示を行わない場合等は、音声メッセージをテキスト化せず音声データのまま第二端末装置１２０に送信しても良い。さらに「呼びかけモード」の場合、メッセージがなくても（送信元ユーザの方向に関する情報だけでも）良い。加えて、送信元端末上で音声認識やテキスト解析をしたり、サーバ２００での音声認識結果やテキストメッセージ解析結果を第一端末装置１１０に一旦送るなどして、第一端末装置１１０において送信先を選択してもよい。

【0157】

第一端末装置１１０に画像取得部が存在し、画像データを受信している場合には、画像認識を行い、送信先ユーザの顔の特徴量を算出したり、服やヘルメット等、ユーザが身に付けているものに記載されている番号等を認識、データベース等と照合することで送信先を求めても良い。

【0158】

続いて、処理部２２０は、第一端末装置１１０から受信した情報に方位情報又は方向情報が含まれるか否か判定する（Ｓ７０５）。方位情報又は方向情報が含まれる場合（Ｓ７０５のＹＥＳ）、受信したモードが「呼びかけモード」であるので、Ｓ７０６に進む。方位情報又は方向情報が含まれない場合（Ｓ７０５のＮＯ）、「つぶやきモード」であるので、Ｓ７０７に進む。

【0159】

Ｓ７０６において、処理部２２０は、第二端末装置１２０の方位情報又は方向情報を取得し、送信先である第二端末装置１２０における第一端末装置１１０の方向の算出を行う。処理部２２０は、受信した方位情報又は方向情報に基づき、第一端末装置１１０が向いている方位又は方向の１８０度反対の方位又は方向と、第二端末装置１２０の向いている方位又は方向との差を算出する。ここで、第一端末装置１１０より受信した方位情報又は方向情報が、第一端末装置１１０の向いている方位又は方向そのままの場合は、１８０度反対の方位又は方向を用いて算出する。第一端末装置１１０より受信した方位情報又は方向情報が、第一端末装置１１０の向いている方位又は方向の１８０度反対の方位又は方向に変換されている場合は、そのままの方位又は方向を用いて算出する。ここで、第二端末装置の向いている方位又は方向を１８０度反対にすることで算出しても良い。なお、第一端末装置１１０の方向の算出は、第二端末装置１２０の制御部１２５で行っても良い。その場合、第一端末装置１１０から直接、あるいはサーバ２００から少なくとも第一端末装置の方位情報又は方向情報を受信し、方位情報取得部１２２又は方向情報取得部１２２ａより取得した第二端末装置１２０の方位情報又は方向情報を使用して算出する。この場合、サーバ２００では第一端末装置の方位情報又は方向情報をそのまま、または１８０度反対の方位又は方向に変換するのみで、第二端末装置に送信する。

【0160】

≪コミュニケーションシステムの通信処理シーケンス≫
図１２のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置１１０、サーバ２００、第二端末装置１２０、および他の端末装置の各装置間の通信処理手順の一例を示している。

【0161】

まず、第一端末装置１１０のユーザ（送信元ユーザ）がテキストメッセージを入力することで、第一端末装置１１０はメッセージのテキスト内容を取得する（Ｓ１２０１）、次に、送信元ユーザが「呼びかけモード」を選択するためボタンを押す等することで、第一端末装置１１０は「呼びかけモード」の信号を受信する（Ｓ１２０２）。続いて、第一端末装置１１０は、方位情報取得部１１２より方位情報を、又は方向情報取得部１１２ａより方向情報を取得し、メッセージのテキスト内容と第一端末装置１１０の方位情報又は方向情報をサーバに送信する（Ｓ１２０３）。

【0162】

サーバ２００は送信先である第二端末装置１２０へ、第一端末装置１１０から受信したメッセージのテキスト内容と方位情報又は方向情報を送信する（Ｓ１２０４）。第二端末装置１２０は、方位情報を受信した場合は方位情報取得部１２２より方位情報を取得して、方向情報を受信した場合は方向情報取得部１２２ａより方向情報を取得して第一端末装置１１０の方向を算出し、受信したメッセージのテキスト内容と算出した方向を表示する（Ｓ１２０５）。

【0163】

また、サーバ２００は送信先以外の端末装置へ、第一端末装置１１０から受信したメッセージのテキスト内容を配信する（Ｓ１２０６）。他の端末装置は、受信したメッセージのテキスト内容を表示する（Ｓ１２０７）。ここで、サーバ２００はテキスト内容に加えて、方位情報又は方向情報と送信先情報を配信してもよく、他の端末装置は受信した送信先情報によって自端末が送信先でないことを判定し、単に受信したテキスト内容を表示するようにしてもよい。さらに、第一端末装置１１０は、サーバにセッション開始要求を送信し（Ｓ１２０８）、サーバからセッションＩＤを受信する。

【0164】

次に、送信元ユーザは、第一端末装置１１０に向かって、発話１及び発話２の音声入力を行うことで、第一端末装置１１０は音声データを取得する（Ｓ１２０９、Ｓ１２１０）。第一端末装置１１０は、サーバ２００へ取得した音声データを送信する（１２１１、Ｓ１２１２）。送信元ユーザが、発話終了後に「送信」ボタンを押す等することで、第一端末装置１１０は、発話終了の信号を取得する（Ｓ１２１３）。続いて、第一端末装置１１０はサーバ２００に音声データ終端を通知し（Ｓ１２１４）、取得した方位情報又は方向情報をセッション終了要求に付与してサーバ２００に送信する（Ｓ１２１５）。ここで、方位情報又は方向情報は、Ｓ１２０３にて取得した方位情報又は方向情報であっても良いし、再度取得し直した方位情報又は方向情報を使用しても良い。

【0165】

サーバ２００では送信先である第二端末装置１２０へ、送信元である第一端末１１０の方位情報又は方向情報付きでセッションＩＤに対応するデータ送信通知を送る（Ｓ１２１６）。通知を受け取った第二端末装置１２０では、方位情報を受信した場合は方位情報を取得して、方向情報を受信した場合は方向情報を取得して第一端末装置１１０の方向を算出し、方向を表示する（Ｓ１２１７）。ここで、方位情報又は方向情報は、Ｓ１２０５にて取得した方位情報又は方向情報であっても良いし、再度取得し直した方位情報又は方向情報を使用しても良い。また、サーバ２００から当該セッションＩＤの音声データを取得する（Ｓ１２１８）。ここで、音像の方向を指定して要求することで、サーバ２００にて音像制御した音声データを取得してもよい。そして、取得した音声データを再生する（Ｓ１２１９）。

【0166】

また、サーバ２００は送信先以外の端末装置（他のユーザ）へも、セッションＩＤに対応するデータ配信通知を送る（Ｓ１２２０）。通知を受け取った他の端末装置では、配信があることを表示する（Ｓ１２２１）とともに、サーバから当該セッションＩＤの音声データを取得し（Ｓ１２２２）、再生する（Ｓ１２２３）。このように、受信した第一端末装置１１０の方位情報等を使用して、第二端末装置１２０が方向を算出してもよい。

【0167】

図１３のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置１１０、サーバ２００、第二端末装置１２０、および他の端末装置の各装置間の通信処理手順の異なる一例を示している。

【0168】

Ｓ１２０１からＳ１２０３は図１２と同様であるので、詳細は省略する。続いて、サーバ２００は送信先である第二端末装置１２０へ、方位情報又は方向情報要求を送信する（Ｓ１３０１）。第二端末装置１２０は、方位情報取得部１２２より方位情報を、又は方向情報取得部１２２ａより方向情報を取得して、サーバ２００へ返す。

【0169】

サーバ２００では、受信した第一端末装置１１０および第二端末装置１２０の方位情報又は方向情報により、第二端末装置１２０から見た第一端末装置１１０の方向を算出し、算出した方向情報とテキスト内容とを第二端末装置に送信する（Ｓ１３０２）。Ｓ１２０５からＳ１２０７は、図１２と同様であるため、詳細は省略する。

【0170】

Ｓ１２０８からＳ１２１４においても、図１２と同様であるため詳細は省略する。Ｓ１３０３では、方位情報、方向情報なしでセッション終了要求をサーバ２００に送信する。サーバ２００では、第二端末装置１２０から見た第一端末装置１１０の方向を表す算出済みの方向情報付きでセッションＩＤに対応するデータ送信通知を第二端末装置に送信する（Ｓ１３０４）。通知を受け取った第二端末装置１２０では、第一端末装置１１０の方向を表示する（Ｓ１３０５）。その後のＳ１２１８からＳ１２２３は図１２と同様であるため詳細は省略する。

【0171】

なお、第二端末装置１２０は、Ｓ１３０１およびＳ１３０２において、サーバ２００からの方向情報要求に応答して第二端末装置１２０の方位情報又は方向情報を返し、その後にサーバ２００から算出した方向情報とテキスト情報を受け取っているが、サーバ２００からのテキスト情報通知を受け取った後、サーバ２００に第二端末装置１２０の方位情報又は方向情報を指定して要求し、算出した方向情報とテキスト情報を受け取ってもよい。また、第二端末装置１２０は、Ｓ１２１８において、サーバ２００に音像の方向を指定して要求することもできるとしているが、方位情報又は方向情報を指定して要求し、サーバ２００において方向を算出した上で音像制御した音声データを送出するようにしてもよい。

【0172】

このように、サーバ２００が第一端末装置１１０および第二端末装置１２０より方位情報又は方向情報を取得することで、方向を算出してもよい。また、所定の方向、例えば、ある端末装置から見て送信元端末装置が所定の角度内（例えばプラスマイナス１５度以内）に存在する場合に送信先端末装置として指定されてもよい。さらに、送信先の端末装置および他の端末装置は、取得した方位情報又は方向情報から算出された方向に基づいて送信元端末装置の方向を表示、あるいは音像制御して再生する。

【0173】

図１４のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置１１０と第二端末装置１２０の装置間の通信処理手順の一例を示している。

【0174】

まず、第一端末装置のユーザ（送信元ユーザ）がテキストメッセージを入力することで、第一端末装置１１０はメッセージのテキスト内容を取得する（Ｓ１４０１）。次に、送信元ユーザが「呼びかけモード」を選択するためボタンを押す等することで、第一端末装置１１０は「呼びかけモード」の信号を受信する（Ｓ１４０２）。次に、第一端末装置１１０は、方位情報取得部１１２より方位情報を、又は方向情報取得部１１２ａより方向情報を取得するとともに、方位情報又は方向情報要求を第二端末装置１２０に送信する（Ｓ１４０３）。第二端末装置１２０は、方位情報取得部１２２より方位情報を、又は方向情報取得部１２２ａより方向情報を取得して、第一端末装置１１０へ返す。

【0175】

続いて、第一端末装置１１０は、第一端末装置１１０および第二端末装置１２０の方位情報又は方向情報により、第二端末装置１２０から見た第一端末装置１１０の方向を算出し、入力されたテキスト内容と算出した方向情報を第二端末装置１２０へ送信する（Ｓ１４０４）。第二端末装置１２０は、受信したテキスト内容と方向を表示する（Ｓ１４０５）とともに、受信したテキスト内容と方向を表す文言とを音声合成して読み上げ出力する（Ｓ１４０６）。

【0176】

次に、第一端末装置１１０のユーザ（送信元ユーザ）は第一端末装置１１０に向かって、発話１の音声入力を行うことで、第一端末装置１１０は音声データ１を取得する（Ｓ１４０７）。第一端末装置１１０は、第二端末装置１２０へ取得した音声データ１を送信する（Ｓ１４０８）。第二端末装置１２０は、第一端末装置の方向に従った音像制御を行って受信した音声データ１を再生する（Ｓ１４０９）。発話２についても同様（Ｓ１４１０、Ｓ１４１１、Ｓ１４１２）。送信元ユーザは発話終了後に「終話」ボタン等を押すことで、第一端末装置１１０は、発話終了の信号を取得する（Ｓ１４１３）。続いて、第一端末装置１１０は第二端末装置１２０に音声データ終端を通知する（Ｓ１４１４）。

【0177】

次に、送信元ユーザが第一端末装置１１０にテキストメッセージを入力することで、第一端末装置１１０はメッセージのテキスト内容を取得する（Ｓ１４１５）。次に、送信元ユーザが「つぶやきモード」を選択するためボタンを押す等することで、第一端末装置１１０は「つぶやきモード」の信号を受信する（Ｓ１４１６）。すると、第一端末装置１１０は入力されたテキスト内容を第二端末装置１２０へ送信する（Ｓ１４１７）。第二端末装置１２０は、受信したテキスト内容を表示する（Ｓ１４１８）とともに、受信したテキスト内容を音声合成して読み上げ出力する（Ｓ１４１９）。

【0178】

また、送信元ユーザは第一端末装置１１０に向かって発話３の音声入力を行うことで、第一端末装置１１０は音声データ３を取得する（Ｓ１４２０）。第一端末装置１１０は取得した音声データ３を、第二端末装置１２０へ送信する（Ｓ１４２１）。第二端末装置１２０は受信した音声データ３を（音像制御等せず）通常再生する（Ｓ１４２２）。送信者は発話終了後に「終話」ボタン等を押すことで、第一端末装置１１０は、発話終了の信号を取得する（Ｓ１４２３）。次に、第一端末装置１１０は第二端末装置１２０に音声データ終端を通知する（Ｓ１４２４）。

【0179】

このように、サーバ２００を経由せず、第一端末装置１１０と第二端末装置１２０とが通信し、方向の算出は第一端末装置あるいは第二端末装置において行っても良い。

【0180】

次に、端末装置Ａ（送信元であり第一端末装置１１０にあたる）が端末装置Ｂ（送信先＝鈴木さんであり第二端末装置１２０にあたる）に向かって呼びかけを行う場合の方向算出方法の一例を図１５に示す。この例では、北方向を０度とし、右回りの角度を正の向きとして計算している。

【0181】

端末装置Ａ（つまり、送信元ユーザ）の向きである３０５度（またはその１８０度反対の１２５度）が送信元の方位情報として送信され、端末装置Ｂのユーザ（つまり送信先ユーザ）の向きが９０度のとき、１２５－９０＝３５より送信先ユーザの正面が基準で右３５度が送信元ユーザの方向となる。なお、他の端末装置Ｃは無関係であり、送信元ユーザの方向は提示されない。

【0182】

また、例えば、端末装置Ｄ（送信元）がビーコンのある柱番号８番付近に向かって呼びかけを行う場合を図１６に示す。送信元ユーザの向きである３００度（またはその１８０度反対の１２０度）が方位情報として送信され、柱番号８番のビーコンの近傍の場所グループである端末装置Ｅと端末装置Ｆが送信先となる。端末装置Ｅのユーザの向きが９０度のとき、１２０－９０＝３０より送信先ユーザの正面が基準で右３０度が送信元ユーザの方向となる。端末装置Ｆの向きが１８０度のとき、１２０－１８０＝－３０より送信先ユーザ正面の基準で左３０度が送信元ユーザの方向となる。このように、グループに対して送信する場合は、送信先の端末装置毎に送信元ユーザの方向を算出する。なお、ビーコンの近傍でない端末装置Ｇはこれらと無関係であり、送信元ユーザの方向は提示されない。

【0183】

送信元の端末装置に画像取得部が存在し、画像データを受信している場合の方向算出方法の一例を図１７に示す。送信先である端末装置Ｊのユーザは、服に「２５」と記載されたゼッケンをつけているものとする。端末装置Ｈ（送信元）がカメラ画像中で識別された「２５」番のユーザに向かって呼びかけを行う場合、送信元ユーザの向きとして３１５度（またはその１８０度反対の１３５度）が方位情報として送出され、端末装置Ｊのユーザの向きが９０度のとき、１３５－９０＝４５より送信先ユーザの正面が基準で右４５度が送信元ユーザの方向となる。また、カメラ画像中の送信先ユーザの位置により送信元ユーザ正面基準で左１０度の場合、送信元ユーザの向き３０５度（またはその１８０度反対の１２５度）が方位情報として送出され、端末装置Ｊのユーザの向きが９０度のとき、１２５－９０＝３５より送信先ユーザの正面を基準として右３５度が送信元ユーザの方向となる。なお、端末装置Ｋはこれらと無関係であり、送信元ユーザの方向は提示されない。カメラ画像が存在する場合は、画像中で識別された送信先の位置により、カメラ（送信元）の向いている方向に対して送信先の方向の補正を行うようにしても良い。
この場合、端末装置Ｊに含まれない送信先ユーザの着用しているゼッケンが識別情報発信部１１９ａ、１２９ａの機能を担い、送信元端末装置Ｈのカメラ画像によりゼッケンの番号を識別することが識別情報受信部１１９ｂ、１２９ｂの機能を担っている。

【0184】

なお、本実施形態では、方位情報（heading）は、0～359.99の数値（北を0として時計回りに360度、例えば”270”で西向き）を表す文字列である。位置情報は、緯度（location_latitude）と経度（location_longtitude）で、度単位の小数（南緯と西経を負の数、北緯と東経を正の数とし、例えば”35.690300,139.691700”で東京新宿付近、”-22.903400,-43.339300”でリオデジャネイロ付近）を表す文字列である。緯度経度は60進数の分単位の小数等の表現であってもよい。また、付帯情報としてこれらの計測精度（heading_accuracy、location_accuracy）を伴ってもよい。また、サーバ２００においては、送信元および送信先の組と対応付けて、方位情報を記憶部２３０に保持し、同一の組に対して継続的に方位情報を付与するようにしてもよい。

【0185】

また、第一端末装置１１０の位置情報取得部で取得した位置情報と、第二端末装置１２０より取得した位置情報とから距離を算出し、所定の距離より遠い場合（目視確認により正しい方向が与えられていない可能性が高いと判断）や、送信元ユーザとの距離が近く、場所グループ（対応するビーコン）の中心からの距離が遠い場合（送信元が意図する場所グループに合致しないと判断）には、方位情報を使用せず、「つぶやきモード」により出力をするようにしてもよい。また、算出した距離が所定の距離より遠い場合には、位置情報に基づいて算出される方向の精度が確保できるため、方位情報に基づいて算出される方向に代えて使うようにしてもよい。本実施形態では位置情報等の処理をサーバ２００で行っているが、第一端末装置１１０または第二端末装置１２０側にて方向の算出を行う場合も同様である。

【0186】

なお、位置情報を用いて２つの緯度経度の間の距離や方向を算出する場合、地球楕円体に基づいて高精度に計算することも可能だが、一般的には球体近似計算で求めてもよい。本実施形態では、距離・方位ともに高い精度は必要とされず、比較的近い距離で使用することが想定されるため、２つの点が平面上にあるとして近似計算しても問題にならない。

【0187】

さらに、受信したメッセージの時刻情報と現在の時刻との時間差が大きい場合（送信から時間が経過して正しい方向でない可能性が高いと判断）にも、方位情報を使わず、「つぶやきモード」により出力をするようにしてもよい。また「呼びかけモード」において送信先ユーザ以外にもメッセージを配信する場合、送信先情報が自端末に合致しないときは、「つぶやきモード」に切り替え、方位情報を使わず出力をする。例えば、「営業」全員でメッセージを共有して「つぶやきモード」で使用している中で、「高橋さん」に宛てた「呼びかけ」が配信された場合、メッセージは「営業」全員が受信するが、「高橋さん」以外の端末では「つぶやきモード」として出力し、「高橋さん」の端末では「呼びかけモード」として出力する。

【0188】

続いて、処理部２２０は、ネットワークインタフェース２１０を介して、メッセージ、メッセージの入力時刻、送信元ユーザの氏名等、「呼びかけモードの場合」は送信元ユーザの方向を送信先とし、特定した第二端末装置１２０に送信する（Ｓ７０７）。「呼びかけモード」では、送信先のみに音声やテキストを送信する場合は、送信先の端末装置識別ＩＤを指定するのみでもよいが、他の端末装置にもメッセージを配信する場合には、配信先の指定とは別に、送信先を表す端末装置識別ＩＤ（heading_target）も指定する。これにて、サーバ２００における「呼びかけモード」の処理は終了する。

【0189】

≪コミュニケーションシステムの第二端末装置１２０の動作≫
「呼びかけモード」において、第二端末装置１２０では、メッセージ、メッセージの入力時刻、送信元ユーザの氏名、送信元ユーザの方向等をサーバ２００より受信する。その後、受信したテキストメッセージをはじめ、送信元ユーザ氏名、算出した方向、メッセージの入力時刻等を表示部１２４に表示、あるいは、音声出力部１２８がステレオ再生可能なスピーカーや両耳イヤホンの場合には、音声メッセージ（または、テキストメッセージの音声合成音）を音像制御して音声出力部１２８より再生する。ここで。テキスト表示・音声再生の両方を行っても良い。また、メッセージがない場合は、方向を表示部１２４に表示したり、合図となる音を音像制御して再生するだけでもよい。片耳イヤホンの場合など音像制御ができない場合は、方向を表す言葉を伴って、例えば「○○さんが右斜め後ろから呼んでいます。」「呼びかけです。左側１０時方向。」「右６０度の方向の○○さんより。」などの文言を音声合成し、受信した音声メッセージの前または後に追加して再生することによって方向を提示してもよい。また、方向を振動や触覚で示してもよい。
例えば、触覚振動出力部を備え、あらかじめ決められた振動パターンによって相手方向を表すようにしても良い。触感デバイスにより方向を表しても良い。また、複数の振動体を利用者の体に装着して相手方向の振動体によって知らせても良い。また、あらかじめ決められた振動パターンによりメッセージに代えて合図を送ったり、メッセージを振動パターンによる合図に変換して提示するようにしてもよい。このように、送信元の方向を提示する方向提示部として、表示部、音声出力部、触覚振動出力部を備えることができる。

【0190】

「つぶやきモード」では、送信元の方向に関する情報を伴わず、単に表示部１２４にテキストメッセージが表示されたり、音声出力部１２８から音声メッセージが再生される。

【0191】

送信先端末においては、無線ネットワークを経由して、例えばＷｅｂＳｏｃｋｅｔＡＰＩによってサーバ２００に接続し、音声メッセージやテキストメッセージが送信されてきたときには通知を受ける。「つぶやきモード」の音声メッセージやテキストメッセージの場合は、セッションを識別する情報（セッションキー）やメッセージの入力時刻、第一端末装置識別ＩＤ（または第一端末装置のユーザＩＤ）、第二端末装置識別ＩＤ（または第二端末装置のユーザＩＤやグループＩＤ）等を伴ってメッセージが取得され、「呼びかけモード」の音声メッセージやテキストメッセージの場合は、送信元の方位情報あるいは方向も取得される。音声メッセージがある場合は、さらにセッションキーに対応する音声データを取得（GET voice）することができる。なお、「呼びかけモード」では、送信元の方位情報あるいは方向さえ取得し、表示または音声によって伝達することができれば、算出された方向から、誰かが呼んでいることを認識することができる。

【0192】

続いて、スマートフォン型の端末装置の画面表示の一例を図１８に示す。この例では、現在メッセージのやりとりがなされている「営業グループ」が画面最上段に表示されている。画面中ほどには、送受信しているテキストや音声の履歴が表示されており、左からの吹き出しは受信、右からの吹き出しは自端末から送信したメッセージで、画面下方が最新となっている。また、吹き出しに合わせて「佐藤＞鈴木１３：２５」のような表示と左斜め方向の矢印があり、１３：２５に佐藤さんから鈴木さん（自端末）に向けて、左斜め方向から「鈴木さーん」という呼びかけがあったことを表している。

【0193】

図１９の画面表示例は、当該端末装置のユーザが佐藤さんの呼びかけに応じる形で左斜め方向を向いたときの画面表示であり、佐藤さんのところの矢印が画面上方向となり、画面最上段の送信先も「佐藤さん」に変わっている。そして、「よびかけ」ボタンを押して「はい、そっちに行きますね」と応答したことが表示されている。

【0194】

次に、タブレット型の端末装置の画面表示の一例を図２０に示す。左斜め方向からの佐藤さんの呼びかけが表示され、それ以前の佐藤さんのつぶやきなども左斜め上方向に向かって順次流れていく表示になっている。一方、正面方向からの高橋さんの呼びかけなどの以前のものは上方向に向かって順次流れていっている。そして、高橋さんからの呼びかけに応答した「ちょっと待ってください。」が画面下方に表示されている。

【0195】

図２１の画面表示例は、佐藤さんの呼びかけに応じる形で左斜め方向を向いたときの画面表示を示しており、画面が回転して、佐藤さんの発言が画面上方向に、高橋さんの発言が画面右斜め上方向に移っている。そして、「よびかけ」ボタンを押して「はい、そっちに行きますね」と応答したことが表示されている。自端末の発言は画面下方に流れていく。
続いて、遠隔端末の画面表示の一例を図３３に示す。この例では、現在メッセージのやりとりがなされている「ミーティング」が画面最上段７１０に表示されている。画面左側の領域７２０には、送受信しているテキストや音声の履歴が表示されていて、高橋さんから鈴木さん（自端末）に向けて、右斜め方向から「鈴木さん、これ見てください」という呼びかけがあったことを表している。画面右側の領域７３０には、代理端末の前方の会議テーブル付近を撮影した画像が表示されているが、右の方にいる高橋さんの姿を見ることはできない。また、領域７３０には、代理端末の撮影する向きを変える操作を行うボタン７３１～７３４と代理端末を前後に移動させる操作を行うボタン７３５および７３６が表示されている。ボタン７３２を押すことにより、代理端末の撮影する向きを高橋さんのいる右方向へ向けることができるが、ここでは右斜め方向からの呼びかけに対応してボタン７３２が自動的に押された状態になり、代理端末の向きが右へ変わり始めている。
図３４の画面表示例は、高橋さんの呼びかけに応じる形で代理端末の向きを右へ変えたときの遠隔端末における画面表示であり、画面右側の領域７３０に表示されている画像で、会議テーブルの向かい側にいる高橋さんの姿７３８やテーブル上の名札７３９を見ることができる。画面左側の領域７２０の高橋さんのところの矢印は画面上方向となり、画面最上段７１０の送信先も「ミーティング － 高橋（呼びかけ）」に変わって、テキストや音声により「見えました」などの応答メッセージを入力したときに送信先が高橋さんで「呼びかけ」動作することを表している。

【0196】

このような表示や音像制御により、送信先に指定された各端末装置のユーザは、呼びかけの送信元の方向を知ることができ、送信元を目視確認できれば身振りなどによる意思疎通が可能になる。また、位置情報やカメラ画像を取得しなくとも、方位情報又は方向情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を提示可能である。

【0197】

なお、本実施形態においては、第一端末装置１１０及び第二端末装置１２０はサーバ２００と通信を行い、ユーザマスタや呼び名のデータテーブルの処理、モードの判定、方位情報の処理などを主にサーバ２００の処理部２２０において行うものとして説明したが、これらの処理は端末装置側で実施することが可能であり、サーバ２００が介在する構成に限らない。例えば、ネットワークを介して第一端末装置１１０と第二端末装置１２０の間で通信を行い、モードの判定や方位情報の処理を第二端末装置１２０の制御部１２５で行う構成としてもよい。

【0198】

また、本実施形態においては、「つぶやきモード」では方位情報、方向情報を送受信しないものとして説明したが、「呼びかけモード」と「つぶやきモード」の識別はこれに限らない。方位情報又は方向情報をともに含み、別途モードをあらわす情報を追加してもよい。また、送信先を表す情報の有無によりモードを識別してもよい。

【0199】

また、本実施形態においては、「呼びかけモード」による第一端末装置から第二端末装置への呼びかけに対して許可等の意思表示する仕組みは存在しないが、「呼びかけ」されることの「拒否」「許可」「希望」を表す情報（許可情報）を第二端末装置にて設定し、第二端末装置から発信識別ＩＤをサーバに送信する際に許可情報を含めるようにしても良い。許可情報は、相手方のユーザ名やグループ名と対応付けて限定的に設定できるようにしてもよい。特定の場所で共同作業するグループでは、予め場所を設定しておき、その場所に到着したユーザの許可情報を「許可」または「希望」に設定させるようにしてもよい。また、共同作業開始時にグループのメンバーの許可情報を「許可」から「希望」に一斉変更するようにしてもよい。尚、許可情報は、サーバから各端末へ定期的に配信しても良いが、第一端末装置で送信先を選択または一覧表示する際にサーバから最新情報を取得し、この最新情報を使用して条件等と合わせて近接判定等を行なうようにしても良い。第一端末装置では、メッセージ送信先を選択するための選択画面で許可情報も表示するようにするとよい。送信先の許可情報が「拒否」の場合は「呼びかけモード」ボタンを選択したり表示したりしないようにして常に「つぶやきモード」となるようにするとよい。「許可」の場合は、「呼びかけモード」ボタンを表示して選択可能となるようにするとよく、近接条件や捕捉条件に合致した場合のみ「呼びかけモード」ボタンを表示して選択可能となるようにしたり、モード選択を促すメッセージを表示するようにしたりしてもよい。「希望」の場合は、「呼びかけモード」ボタンを最初から選択状態にするなど容易に選択できるようにしたり、「呼びかけモード」を促すメッセージを表示したりするとよく、「つぶやきモード」ボタンを選択したり表示したりしないようにして近接条件や捕捉条件に合致した場合に常に「呼びかけモード」となるようにしてもよい。

【0200】

また、近接判定のために取得する発信識別ＩＤは、サーバを介さず、第一端末装置から第二端末装置を含む他の端末全体に向けて発信（ブロードキャスト）し、受信した各端末で管理するようにしても良い。尚、第一端末装置で送信先を選択または一覧表示する際に各端末で管理している発信識別ＩＤを利用して近接判定するようにしても良い。

【0201】

また、ユーザ名に対して識別情報を取得してもよいが、(電波等で近接条件下で)直接検出した識別情報に対するユーザ名を検索するようにしてもよい。また、(電波等で近接条件下で)直接検出した識別情報を使って直接通信が可能な場合、ユーザ名等の通信システム上の相手方を指定する情報が別途必要であれば相手方から取得する。「呼びかけ」されることの「拒否」「許可」「希望」を区別する情報を取得してもよい。

【0202】

なお、上記の実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ，ＤＶＤ等）、光磁気ディスク（ＭＯ）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

【0203】

ここで、記憶媒体としては、プログラムを記憶でき、且つコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。

【0204】

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行しても良い。

【0205】

さらに、本実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

【0206】

また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本実施形態における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

【0207】

なお、本実施形態におけるコンピュータとは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

【0208】

また、本実施形態の各記憶装置は１つの記憶装置で実現しても良いし、複数の記憶装置で実現しても良い。

【0209】

そして、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態の機能を実現することが可能な機器、装置を総称している。

【0210】

以上、いくつかの発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、説明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0211】

１００…端末装置群
１１０…第一端末装置
１１０ａ…端末本体
１１０ｂ…ウェアラブル端末
１２０…第二端末装置
１１１、１２１…ネットワークインタフェース
１１２、１２２…方位情報取得部
１１２ａ、１２２ａ…方向情報取得部
１１３、１２３…位置情報取得部
１１４、１２４…表示部
１１５、１２５…制御部
１１６、１２６…入力部
１１７、１２７…音声取得部
１１８、１２８…音声出力部
１１９ａ、１２９ａ…識別情報発信部
１１９ｂ、１２９ｂ…識別情報受信部
１１９ｃ、１２９ｃ…識別情報判定部
１３０…画像装置
１３１…ネットワークインタフェース
１３２…方位情報取得部
１３３…画像取得部
１３４…表示部
１３５…制御部
１３６…入力部
１４０…可動装置
１４１…ネットワークインタフェース
１４２…方位情報取得部
１４３…可動部
１４４…制御部
１５０…移動体
１５１…ネットワークインタフェース
１５２…方位情報取得部
１５３…移動部
１５４…制御部
１６０ａ…遠隔端末
１６０ｂ…代理端末
２００…サーバ
２１０…ネットワークインタフェース
２２０…処理部
２３０…記憶部
２３１…ユーザマスタ
２３２…ビーコンマスタ
２３３…場所連動型テーブル
２３４…呼び名辞書
６１１ａ、６１１ｂ…ネットワークインタフェース
６１２…方位情報取得部
６１２ａ…方向情報取得部
６１３…位置情報取得部
６１４…表示部
６１５ａ、６１５ｂ…制御部
６３３…画像取得部
６４３…可動部
６５３…移動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】