知財求人 - 知財ポータルサイト「IP Force」
特許7480627コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-30
(45)【発行日】2024-05-10
(54)【発明の名称】コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240501BHJP
G06F 3/16 20060101ALI20240501BHJP
【ＦＩ】
G06F3/01 510
G06F3/01 560
G06F3/16 660
【請求項の数】
15
(21)【出願番号】P 2020131398
(22)【出願日】2020-08-03
(65)【公開番号】P2022028170
(43)【公開日】2022-02-16
【審査請求日】2023-06-07
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(74)【代理人】
【識別番号】100189555
【弁理士】
【氏名又は名称】徳山 英浩
(74)【代理人】
【識別番号】100091524
【弁理士】
【氏名又は名称】和田 充夫
(72)【発明者】
【氏名】ラマ・エンドリ
(72)【発明者】
【氏名】山本 和夫
(72)【発明者】
【氏名】籔内 智浩
(72)【発明者】
【氏名】岩本 直人
【審査官】田中 洋行
(56)【参考文献】
【文献】特開２０１９－１５２９５３（ＪＰ，Ａ）
【文献】特開２０１３－０３７３９０（ＪＰ，Ａ）
【文献】特開２０１７－１２７４９１（ＪＰ，Ａ）
【文献】特開２０２０－０２１４５３（ＪＰ，Ａ）
【文献】特開２０１３－２１４３４０（ＪＰ，Ａ）
【文献】特開２０２０－０８０１１８（ＪＰ，Ａ）
【文献】特開２０１１－１０７８７９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１２４４２０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８－３／０４８９５
Ｇ０６Ｆ ３／１６
(57)【特許請求の範囲】
【請求項1】
ユーザの周囲環境を撮像して撮像画像を取得する撮像部と、前記撮像画像内で予め定められた複数の対象者を検出する対象者検出部と、
予め定められた前記ユーザと前記複数の対象者との関係に基づいて、前記複数の対象者のそれぞれに対して優先度を設定する優先度設定部と、
前記優先度に基づいて、前記複数の対象者の優先順位を決定する優先順位決定部と、
前記優先順位に基づいて、前記複数の対象者に関する情報を選択して前記ユーザに対して報知する報知部と、
前記撮像画像に基づいて、前記複数の対象者のそれぞれと前記撮像部との距離を測定する距離測定部と、
前記撮像画像に基づいて、前記複数の対象者のそれぞれの表情を特定する表情特定部と、
前記撮像画像に基づいて、前記複数の対象者のそれぞれの動作を特定する動作特定部と、を備え、
前記報知部は、
前記距離測定部によって測定された、前記優先順位が１番である最優先対象者と前記撮像部との第１距離が、第１閾値以下の交流距離である場合、前記最優先対象者を識別するための識別情報を、音声により前記ユーザに報知し、
前記第１距離が前記第１閾値より大きい場合、前記表情特定部によって特定された表情に関する表情情報及び前記動作特定部によって特定された動作に関する動作情報のうちの少なくとも１つと、前記識別情報とを、音声により前記ユーザに報知する、
コミュニケーション支援装置。
【請求項2】
前記優先度設定部は、予め登録された前記ユーザのスケジュールを参照し、前記スケジュールに関係がある対象者に対して、他の対象者より高い優先度を設定する、請求項１に記載のコミュニケーション支援装置。
【請求項3】
前記撮像画像に基づいて、前記撮像部に対する前記複数の対象者のそれぞれの位置を検出する位置検出部を更に備え、前記報知部は、前記優先順位に基づいて、前記位置検出部によって検出された前記複数の対象者のうちの少なくとも１人の位置を前記ユーザに対して更に報知する、請求項１又は２に記載のコミュニケーション支援装置。
【請求項4】
前記撮像画像に基づいて、前記複数の対象者のそれぞれと前記撮像部との距離を測定する距離測定部を更に備え、前記優先順位決定部は、前記距離測定部によって測定された前記距離に更に基づいて前記優先順位を決定する、請求項１～３のいずれか１項に記載のコミュニケーション支援装置。
【請求項5】
前記優先順位決定部によって決定された前記複数の対象者の優先順位間に差がない場合、前記複数の対象者のそれぞれに対して予め付与された識別子に基づいて、前記複数の対象者の優先順位を決定する、請求項１～４のいずれか１項に記載のコミュニケーション支援装置。
【請求項6】
前記報知部は、前記優先順位がＮ（ここで、Ｎは、正の整数である。）番以下の対象者について、前記対象者を識別するための識別情報と、前記識別情報と異なる前記対象者に関する情報とを前記ユーザに対して報知し、前記優先順位がＮ＋１番以降の対象者に関する情報を報知しない、請求項１～５のいずれか１項に記載のコミュニケーション支援装置。
【請求項7】
前記報知部は、前記優先順位が１番である最優先対象者について、前記最優先対象者を識別するための識別情報と、前記識別情報と異なる前記最優先対象者に関する情報とを前記ユーザに対して報知するとともに、前記優先順位がＭ（ここで、Ｍは、２以上の整数である。）番以上である前記最優先対象者以外の対象者について、前記対象者を識別するための識別情報を前記ユーザに対して報知する、請求項１～５のいずれか１項に記載のコミュニケーション支援装置。
【請求項8】
前記報知部は、前記距離測定部によって測定された前記第１距離が、前記第１閾値より大きくかつ第２閾値以下である知覚距離である場合、前記表情情報及び前記動作情報のうちの１つと、前記識別情報とを前記ユーザに報知し、
前記距離測定部によって測定された前記第１距離が、前記第２閾値より大きい観察距離である場合、前記表情情報と、前記動作情報と、前記識別情報とを前記ユーザに報知する、請求項１～７のいずれかに記載のコミュニケーション支援装置。
【請求項9】
前記報知部は、前記対象者検出部によって検出された時点における、前記距離測定部によって測定された前記第１距離が前記知覚距離であった場合、前記識別情報を音声により前記ユーザに報知した後に、前記表情情報及び前記動作情報のうちの一方を音声により前記ユーザに報知し、
その後に前記距離測定部によって測定された前記第１距離が前記知覚距離であるときは、前記表情情報及び前記動作情報のうちの他方を音声により前記ユーザに報知する、請求項８に記載のコミュニケーション支援装置。
【請求項10】
前記報知部は、前記距離測定部による検出結果を振動により前記ユーザに報知する振動部を更に備え、前記振動部は、前記距離測定部によって検出された前記対象者と前記撮像部との距離に応じて、振動のパターン及び大きさのうちの少なくとも一方を変更する、請求項１～９のいずれか１項に記載のコミュニケーション支援装置。
【請求項11】
前記撮像部は、前記ユーザの周囲環境を時系列で撮像して複数の撮像画像を取得し、前記コミュニケーション支援装置は、前記対象者検出部によって検出された前記複数の対象者のそれぞれを前記複数の撮像画像において追跡する対象者追跡部を更に備え、
前記振動部は、振動可能な２つ以上の振動要素を備え、
前記振動部は、
前記対象者追跡部が前記複数の対象者を追跡している場合において、前記距離測定部によって検出された前記最優先対象者と前記撮像部との距離が予め定められたフィードバック距離であるときは、予め定められた順序で各振動要素を順次振動させることを複数回実行し、
前記対象者追跡部が、追跡していた前記複数の対象者を追跡できなくなった場合、前記予め定められた順序と異なる順序で各振動要素を順次振動させる、請求項１０に記載のコミュニケーション支援装置。
【請求項12】
前記振動要素は、規則的に配列された３つ以上の振動要素であり、前記振動部は、
前記対象者追跡部が前記複数の対象者を追跡している場合において、前記距離測定部によって検出された前記最優先対象者と前記撮像部との距離が前記フィードバック距離であるときは、配列順に各振動要素を順次振動させることを複数回実行し、
前記対象者追跡部が、追跡していた前記複数の対象者を追跡できなくなった場合、前記配列順と逆順に各振動要素を順次振動させる、請求項１１に記載のコミュニケーション支援装置。
【請求項13】
前記撮像画像に基づいて、前記撮像部に対する前記複数の対象者のそれぞれの位置を検出する位置検出部を更に備え、前記振動要素は、右振動要素と、左振動要素とを含み、
前記振動部は、前記位置検出部によって検出された前記撮像部に対する前記最優先対象者の位置が、前記撮像部の光軸より右方にある場合、前記右振動要素を振動させ、前記撮像部の光軸より左方にある場合、前記左振動要素を振動させる、請求項１１又は請求項１２に記載のコミュニケーション支援装置。
【請求項14】
撮像部が、ユーザの周囲環境を撮像して撮像画像を取得するステップと、対象者検出部が、前記撮像画像内で予め定められた複数の対象者を検出するステップと、
優先度設定部が、予め定められた前記ユーザと前記複数の対象者との関係に基づいて、前記複数の対象者のそれぞれに対して優先度を設定するステップと、
優先順位決定部が、前記優先度に基づいて、前記複数の対象者の優先順位を決定するステップと、
距離測定部が、前記撮像画像に基づいて、前記複数の対象者のそれぞれと前記撮像部との距離を測定するステップと、
表情特定部が、前記撮像画像に基づいて、前記複数の対象者のそれぞれの表情を特定するステップと、
動作特定部が、前記撮像画像に基づいて、前記複数の対象者のそれぞれの動作を特定するステップと、を含むコミュニケーション支援方法であって、
前記コミュニケーション支援方法は、
前記距離測定部によって測定された、前記優先順位が１番である最優先対象者と前記撮像部との第１距離が、第１閾値以下の交流距離である場合、報知部が、前記最優先対象者を識別するための識別情報を、音声により前記ユーザに報知するステップを含み、
前記第１距離が前記第１閾値より大きい場合、前記報知部が、前記表情特定部によって特定された表情に関する表情情報及び前記動作特定部によって特定された動作に関する動作情報のうちの少なくとも１つと、前記識別情報とを、音声により前記ユーザに報知するステップを含む、
コミュニケーション支援方法。
【請求項15】
請求項１４に記載のコミュニケーション支援方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１は、視覚障がい者の移動を補助する装置及び方法を開示する。この装置は、障害物検知モジュールの視覚センサによって画像を取得し、画像解析により画像内の人物、障害物等を検出し、音声によるフィードバックを行う。
【先行技術文献】
【特許文献】
【0003】
【文献】中国特許出願公開第１０８８３６７６９号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザの周辺に複数の知人等の対象者がいる場合、すべての対象者についての情報をユーザに伝えていたのでは、時間を要し又はユーザに混乱をもたらし、円滑なコミュニケーションは期待できない。
【0005】
本開示の目的は、複数の対象者が周辺にいる場合に、ユーザが複数の対象者のうちの少なくとも１人と円滑にコミュニケーションを取ることを支援するコミュニケーション支援装置を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一態様に係るコミュニケーション支援装置は、
ユーザの周囲環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像内で予め定められた複数の対象者を検出する対象者検出部と、
予め定められた前記ユーザと前記複数の対象者との関係に基づいて、前記複数の対象者のそれぞれに対して優先度を設定する優先度設定部と、
前記優先度に基づいて、前記複数の対象者の優先順位を決定する優先順位決定部と、
前記優先順位に基づいて、前記複数の対象者に関する情報を選択して前記ユーザに対して報知する報知部と、を備える。
ユーザの周囲環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像内で予め定められた複数の対象者を検出する対象者検出部と、
予め定められた前記ユーザと前記複数の対象者との関係に基づいて、前記複数の対象者のそれぞれに対して優先度を設定する優先度設定部と、
前記優先度に基づいて、前記複数の対象者の優先順位を決定する優先順位決定部と、
前記優先順位に基づいて、前記複数の対象者に関する情報を選択して前記ユーザに対して報知する報知部と、を備える。
【発明の効果】
【0007】
本開示に係るコミュニケーション支援装置は、複数の対象者が周辺にいる場合であっても、ユーザが複数の対象者のうちの少なくとも１人と円滑にコミュニケーションを取ることを可能にする。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係るコミュニケーション支援装置の適用例を示す模式図である。
【図2】本実施形態に係るコミュニケーション支援装置の構成例を示すブロック図である。
【図4】本実施形態に係るコミュニケーション支援装置の動作例を示すフローチャートである。
【図6】空間距離の一例を説明するための模式図である。
【図11】本実施形態に係るコミュニケーション支援装置の遠距離フローを含む動作の一例を示す模式図である。
【図13】本実施形態に係るコミュニケーション支援装置の中距離フローを含む動作の一例を示す模式図である。
【図15】本実施形態に係るコミュニケーション支援装置の近距離フローを含む動作の一例を示す模式図である。
【図22】本実施形態に係るコミュニケーション支援装置の複数用処理ステップを含む動作の一例を示す模式図である。
【図23】振動部の構成例を示す図である。
【図24】本実施形態に係るコミュニケーション支援装置の出力態様の変形例を示す模式図である。
【発明を実施するための形態】
【0009】
以下、添付の図面を参照して本開示に係るコミュニケーション支援装置の実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
【0010】
１．適用例
図１は、本実施形態に係るコミュニケーション支援装置１００の適用例を示す模式図である。コミュニケーション支援装置１００は、例えば視覚障がい者であるユーザ９０に対してコミュニケーション支援を行う。視覚障がい者は、知人等の対象者８０ａ，８０ｂが接近しても、視覚によりその姿、顔等を知覚することが困難である。したがって、対象者８０ａ，８０ｂの氏名、表情、及び動作等を認識することが困難である。そのため、ユーザ９０は、対象者８０ａ，８０ｂが接近しても、対象者８０ａ，８０ｂに対して挨拶をする等の動作をすることができないことがある。
図１は、本実施形態に係るコミュニケーション支援装置１００の適用例を示す模式図である。コミュニケーション支援装置１００は、例えば視覚障がい者であるユーザ９０に対してコミュニケーション支援を行う。視覚障がい者は、知人等の対象者８０ａ，８０ｂが接近しても、視覚によりその姿、顔等を知覚することが困難である。したがって、対象者８０ａ，８０ｂの氏名、表情、及び動作等を認識することが困難である。そのため、ユーザ９０は、対象者８０ａ，８０ｂが接近しても、対象者８０ａ，８０ｂに対して挨拶をする等の動作をすることができないことがある。
【0011】
そこで、コミュニケーション支援装置１００は、例えば、カメラ３により周囲を撮像し、撮像画像を解析して対象者８０ａ，８０ｂを検出し、対象者８０ａ，８０ｂの氏名等の識別情報、位置、距離、表情、及び動作等の情報を出力してユーザ９０に報知する。コミュニケーション支援装置１００は、ユーザ９０が動作を行っている間（例えば歩行中）及び／又は停止中（動作を行っていない間）に個人認識を実行することができる。
【0012】
コミュニケーション支援装置１００は、例えば、ユーザ９０のリュックサック７０等の荷物に搭載される。あるいは、コミュニケーション支援装置１００自体がウェアラブルなものであってもよい。対象者８０ａ，８０ｂの位置、及び対象者８０ａ，８０ｂとユーザ９０との距離についての情報は、振動部２を用いてユーザ９０に振動により報知することが可能である。一方、対象者８０ａ，８０ｂの氏名等の識別情報、表情、及び動作については、例えば、スピーカ等の音声出力部１を用いてユーザ９０に音声により報知する。
【0013】
音声による情報の報知は、情報を読み上げるものであり、ユーザ９０への伝達にある程度の時間を要する。したがって、ユーザ９０と対象者８０ａ，８０ｂとの距離が近い場合、コミュニケーション支援装置１００が検出した情報をすべて読み上げていたのでは、読み上げている間にユーザ９０が対象者８０ａ，８０ｂとすれ違ってしまう可能性がある。また、図１に示した例にようにユーザ９０の周囲に複数の対象者がいる場合、上記と同様に読み上げている間にユーザ９０が対象者８０ａ，８０ｂとすれ違ってしまう可能性があることに加えて、報知される情報が多くユーザ９０が混乱する可能性がある。これでは、ユーザ９０は、対象者８０ａ，８０ｂと円滑なコミュニケーションを行うことができない。
【0014】
そこで、コミュニケーション支援装置１００は、例えば、ユーザ９０と対象者８０ａ，８０ｂとの関係に基づいて、対象者８０ａ，８０ｂのそれぞれに対して優先度を設定する。コミュニケーション支援装置１００は、当該優先度に基づいて対象者８０ａ，８０ｂの優先順位を決定し、当該優先順位に基づいて情報を選択してユーザ９０に対して報知を行う。コミュニケーション支援装置１００は、このように優先順位に基づいて情報を報知することにより、ユーザ９０に対して、適切な情報を、適切な順序で提供することができる。これにより、ユーザ９０は、知人等の対象者８０ａ，８０ｂについて適切な情報をタイムリーに受け取ることができ、対象者と自然なコミュニケーションを行うことができる。
【0015】
コミュニケーション支援装置１００は、目的地までユーザ９０を誘導する等の動作を行ってユーザ９０の移動を支援するナビゲーションロボットに搭載されてもよい。このようなナビゲーションロボットは、ユーザ９０の移動支援に加えて、ユーザ９０による円滑なコミュニケーションを支援することができる。このようなナビゲーションロボットは、例えばユーザ９０が行きたい場所まで自走して先導することにより、ユーザ９０の移動を支援する自走式のロボットであってもよい。あるいは、コミュニケーション支援装置１００は、ユーザ９０が他者又は他のロボットとコミュニケーションを取り得るロボットである場合に適用されてもよい。
【0016】
２．構成例
図２は、本実施形態に係るコミュニケーション支援装置１００の構成例を示すブロック図である。コミュニケーション支援装置１００は、カメラ３と、制御部４と、記憶部５と、通信インタフェース（Ｉ／Ｆ）６と、報知部１０とを備える。
図２は、本実施形態に係るコミュニケーション支援装置１００の構成例を示すブロック図である。コミュニケーション支援装置１００は、カメラ３と、制御部４と、記憶部５と、通信インタフェース（Ｉ／Ｆ）６と、報知部１０とを備える。
【0017】
カメラ３は、ユーザ９０の周囲の環境を撮像して撮像画像を形成する撮像装置である。カメラ３は、例えば所定のフレームレートでユーザ９０の周辺を撮影し、逐次、画像データを生成する。カメラ３は、例えば、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子によって撮像画像を形成する。カメラ３は、例えば、ユーザ９０が装着できるウェアラブルカメラである。例えば、カメラ３は、眼鏡に搭載された眼鏡型カメラであり、ユーザ９０の目線の方向を撮像する。カメラ３は、リュックサック、スーツケース等のユーザ９０の荷物に搭載されてもよい。
【0018】
制御部４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じてコミュニケーション支援装置１００の各構成要素の制御を行う情報処理装置である。制御部４は、構成要素として、例えば、優先度設定部４０と、画像取得部４１と、対象者検出部４２と、対象者追跡部４３と、位置検出部４４と、距離測定部４５と、表情特定部４６と、動作特定部４７と、優先順位決定部４８とを含む。制御部４の各構成要素は、制御部４が必要なプログラムを実行することによって、それぞれが担当する処理を実行してもよい。このようなプログラムは、記憶部５に記憶されていてもよい。制御部４が必要なプログラムを実行する際は、記憶部５に記憶された対象となるプログラムをＲＡＭに展開する。制御部４は、ＲＡＭに展開された当該プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。各構成要素の動作例については後述する。
【0019】
通信インタフェース６は、コミュニケーション支援装置１００と外部機器との通信接続を可能とするためのインタフェース回路を含む。通信インタフェース６は、例えば、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１又はＷｉ－Ｆｉ（登録商標）、ＬＴＥ、３Ｇ、４Ｇ、５Ｇ等の規格に従って通信を行う。通信インタフェース６は、ＵＳＢ(Universal Serial Bus)、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に従って通信を行うインタフェース回路であってもよい。
【0020】
報知部１０は、情報をユーザ９０に伝達するための出力装置である。報知部１０は、例えば、音声出力部１と振動部２とを含む。音声出力部１は、例えば制御部４による制御に従って音声を出力する出力装置である。音声出力部１は、例えば、スピーカ、イヤホン、及びヘッドホン等のオーディオ機器を含む。振動部２は、例えば制御部４による制御に従って振動を発生させるバイブレータである。
【0021】
本実施形態では、制御部４の各機能がＣＰＵによって実現される例について説明する。しかしながら、以上の機能の一部又は全部は、１又は複数の専用のプロセッサにより実現されてもよい。また、制御部４の構成要素に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。制御部４は、ＣＰＵ、ＭＰＵ、ＧＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
【0022】
記憶部５は、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶部５は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部５は、例えば、対象者データベース５１、表情データベース５２、動作データベース５３、スケジュール５４及び制御部４が実行するプログラム等を記憶する。記憶部５は、ＲＡＭ等の主記憶装置を含んでもよい。これらのデータが記憶部５に格納されることは一例に過ぎず、これらのデータは、例えば、コミュニケーション支援装置１００が通信インタフェース６を介して通信可能な外部のサーバ装置に格納されてもよい。
【0023】
図３は、図２に示した記憶部５に格納される対象者データベース５１の一例を示す模式図である。対象者データベース５１には、対象者の識別番号（ＩＤ）、顔を含む画像、関係係数（relationship coefficient）、優先度、住所、電話番号、メールアドレス、生年月日等の対象者に関する情報が格納される。対象者は、ユーザ９０がコミュニケーションを取りたいと望む者又は取り得る者であり、例えばユーザ９０の知人、著名人等を含む。対象者として、人だけではなく、ロボット等のコミュニケーションの対象となり得る物が登録されてもよい。
【0024】
ここで、関係係数は、例えば、ユーザ９０と対象者との関係の密接さを示す指標である。関係係数は、例えば、ユーザ９０自身によって予め入力される。関係係数は、ユーザ９０と対象者との面会回数、親等などの血縁関係等に基づいて決定されてもよい。関係係数は、例えば、ユーザ９０と対象者との関係が密接であるほど高い値を有する。関係係数は、例えば０～１の数値で表される。
【0025】
また、優先度は、ユーザ９０によるコミュニケーションの対象として優先される度合いを表す指標である。優先度は、例えば、関係係数とスケジュール５４に格納された情報とに基づいて、優先度設定部４０によって決定される。例えば、ユーザ９０と所定の期間内に面会をする予定がある対象者の優先度は、関係係数とイベント係数（例えば１）との和となるように設定され、その他の対象者の優先度は、関係係数に等しくなるように設定されてもよい。イベント係数は、ユーザ９０の予定の重要度に応じて、０～１の数値で表されてもよい。この場合、関係係数が０～１の数値で表されるときは、優先度は、０～２の数値で表される。優先度は、０～１の数値で表されるように規格化されてもよい。
【0026】
３．動作例
３－１．全体フロー
本実施形態に係るコミュニケーション支援装置１００は、知人等の対象者の氏名、位置、及び距離等をユーザ９０に報知することにより、ユーザ９０が当該対象者と円滑なコミュニケーションを取ることを支援する。例えば、コミュニケーション支援装置１００は、視覚障がい者であるユーザ９０が知人等の対象者と円滑なコミュニケーションを取ることを支援する。以下、コミュニケーション支援装置１００の動作例について、図４を参照して説明する。
３－１．全体フロー
本実施形態に係るコミュニケーション支援装置１００は、知人等の対象者の氏名、位置、及び距離等をユーザ９０に報知することにより、ユーザ９０が当該対象者と円滑なコミュニケーションを取ることを支援する。例えば、コミュニケーション支援装置１００は、視覚障がい者であるユーザ９０が知人等の対象者と円滑なコミュニケーションを取ることを支援する。以下、コミュニケーション支援装置１００の動作例について、図４を参照して説明する。
【0027】
【0028】
（ステップＳ１０１）
まず、優先度設定部４０は、スケジュール５４にアクセスし、例えば対象者データベース５１に登録された対象者等の他人と会う予定があるか否かを確認する。
まず、優先度設定部４０は、スケジュール５４にアクセスし、例えば対象者データベース５１に登録された対象者等の他人と会う予定があるか否かを確認する。
【0029】
（ステップＳ１０２）
次に、優先度設定部４０は、対象者データベース５１に格納された対象者の関係係数とスケジュール５４の内容とに基づいて、対象者データベース５１内の当該対象者の優先度を更新する。例えば、優先度設定部４０は、近い将来（例えば、現在時刻から１０分以内）に会う予定がある対象者について、優先度を高く設定する。例えば、優先度設定部４０は、近い将来に会う予定がある対象者の優先度を、関係係数とイベント係数（例えば１）との和となるように設定し、その他の対象者の優先度は、関係係数に等しくなるように設定する。
次に、優先度設定部４０は、対象者データベース５１に格納された対象者の関係係数とスケジュール５４の内容とに基づいて、対象者データベース５１内の当該対象者の優先度を更新する。例えば、優先度設定部４０は、近い将来（例えば、現在時刻から１０分以内）に会う予定がある対象者について、優先度を高く設定する。例えば、優先度設定部４０は、近い将来に会う予定がある対象者の優先度を、関係係数とイベント係数（例えば１）との和となるように設定し、その他の対象者の優先度は、関係係数に等しくなるように設定する。
【0030】
優先度設定部４０は、例えば、対象者データベース５１内の優先度を、定期的に（例えば毎分）更新する。あるいは、優先度設定部４０は、スケジュール５４が更新された直後に、優先度を更に更新してもよい。
【0031】
（ステップＳ１０３）
次に、画像取得部４１は、カメラ３によって撮像された撮像画像を取得する（Ｓ１０３）。例えば、カメラ３は、ユーザ９０の周囲環境を時系列で撮像して複数の撮像画像データを生成する。このように、カメラ３は、一定のフレームレートで撮像を行ってもよい。カメラ３は、動画を撮影するものであってもよい。ステップＳ１０３においては、画像取得部４１は、複数の撮像画像を取得してもよい。画像取得部４１は、複数フレームで構成される動画を取得してもよいし、複数枚の静止画像を取得してもよい。
次に、画像取得部４１は、カメラ３によって撮像された撮像画像を取得する（Ｓ１０３）。例えば、カメラ３は、ユーザ９０の周囲環境を時系列で撮像して複数の撮像画像データを生成する。このように、カメラ３は、一定のフレームレートで撮像を行ってもよい。カメラ３は、動画を撮影するものであってもよい。ステップＳ１０３においては、画像取得部４１は、複数の撮像画像を取得してもよい。画像取得部４１は、複数フレームで構成される動画を取得してもよいし、複数枚の静止画像を取得してもよい。
【0032】
（ステップＳ１０４）
次に、対象者検出部４２は、画像取得部４１によって取得された撮像画像を解析し、人を検出する（Ｓ１０４）。ここで、人を検出するとは、撮像画像内において人が写っていると推定される領域を検出することを含む。ステップＳ１０４において人を検出しなかった場合（ステップＳ１０４でＮｏの場合）、制御部４は、図４に示したフローを終了する。
次に、対象者検出部４２は、画像取得部４１によって取得された撮像画像を解析し、人を検出する（Ｓ１０４）。ここで、人を検出するとは、撮像画像内において人が写っていると推定される領域を検出することを含む。ステップＳ１０４において人を検出しなかった場合（ステップＳ１０４でＮｏの場合）、制御部４は、図４に示したフローを終了する。
【0033】
（ステップＳ１０５）
ステップＳ１０４において人を検出した場合（ステップＳ１０４でＹｅｓの場合）、対象者検出部４２は、対象者の顔に関する情報が格納された対象者データベース５１に基づいて、ステップＳ１０４において検出された人が知人等の対象者であるか否かを検出する（Ｓ１０５）。ステップＳ１０５で実行されるのは、ステップＳ１０４で検出された人の顔が対象者の顔に一致又は類似するか否かの同一性識別処理である。対象者検出部４２が参照する顔に関する情報は、記憶部５に記憶された対象者データベース５１に限定されない。例えば、対象者検出部４２は、通信インタフェース６を介して、ネットワークに接続された外部サーバに格納された顔のデータベースを参照してもよい。検出された人が対象者であると識別した場合（ステップＳ１０５でＹｅｓの場合）、ステップＳ１０６に進み、それ以外の場合（ステップＳ１０５でＮｏの場合）、制御部４は、図４に示したフローを終了する。
ステップＳ１０４において人を検出した場合（ステップＳ１０４でＹｅｓの場合）、対象者検出部４２は、対象者の顔に関する情報が格納された対象者データベース５１に基づいて、ステップＳ１０４において検出された人が知人等の対象者であるか否かを検出する（Ｓ１０５）。ステップＳ１０５で実行されるのは、ステップＳ１０４で検出された人の顔が対象者の顔に一致又は類似するか否かの同一性識別処理である。対象者検出部４２が参照する顔に関する情報は、記憶部５に記憶された対象者データベース５１に限定されない。例えば、対象者検出部４２は、通信インタフェース６を介して、ネットワークに接続された外部サーバに格納された顔のデータベースを参照してもよい。検出された人が対象者であると識別した場合（ステップＳ１０５でＹｅｓの場合）、ステップＳ１０６に進み、それ以外の場合（ステップＳ１０５でＮｏの場合）、制御部４は、図４に示したフローを終了する。
【0034】
（ステップＳ１０６）
ステップＳ１０５において対象者を検出した場合（ステップＳ１０５でＹｅｓの場合）、対象者検出部４２は、検出された対象者の数が複数であるか否かを検出する（Ｓ１０６）。検出された対象者の数が複数でない場合、すなわち単数（１人）である場合（ステップＳ１０６でＮｏの場合）、ステップＳ１０７の単数用処理に進む。検出された対象者の数が複数である場合（ステップＳ１０６でＹｅｓの場合）、ステップＳ１０８の複数用処理に進む。ステップＳ１０７，Ｓ１０８の詳細については後述する。
ステップＳ１０５において対象者を検出した場合（ステップＳ１０５でＹｅｓの場合）、対象者検出部４２は、検出された対象者の数が複数であるか否かを検出する（Ｓ１０６）。検出された対象者の数が複数でない場合、すなわち単数（１人）である場合（ステップＳ１０６でＮｏの場合）、ステップＳ１０７の単数用処理に進む。検出された対象者の数が複数である場合（ステップＳ１０６でＹｅｓの場合）、ステップＳ１０８の複数用処理に進む。ステップＳ１０７，Ｓ１０８の詳細については後述する。
【0035】
【0036】
（ステップＳ４）
まず、振動部２は、対象者を検出したことをユーザ９０に振動により報知する（Ｓ４）。具体的には、振動部２は、第１振動パターンで振動することにより、対象者を検出したことをユーザ９０に報知する。このようにして、振動部２は、ユーザ９０への注意喚起のために、対象者を検出したことをユーザ９０にフィードバックする。振動パターンの詳細については後述する。
まず、振動部２は、対象者を検出したことをユーザ９０に振動により報知する（Ｓ４）。具体的には、振動部２は、第１振動パターンで振動することにより、対象者を検出したことをユーザ９０に報知する。このようにして、振動部２は、ユーザ９０への注意喚起のために、対象者を検出したことをユーザ９０にフィードバックする。振動パターンの詳細については後述する。
【0037】
図５のステップＳ４では、図４のステップＳ１０５で検出された対象者が、後述の観察距離、知覚距離、又は交流距離に進入した際に、第１振動パターンで振動することにより、フィードバックを行ってもよい。この意味で、観察距離、知覚距離、及び交流距離等の予め定められた距離を、フィードバックを行うためのフィードバック距離と呼ぶ。すなわち、振動部２は、対象者追跡部４３が対象者を追跡している場合において、距離測定部４５によって検出された対象者とカメラ３との距離が観察距離、知覚距離、又は交流距離であるときに、第１振動パターンで振動してもよい。
【0038】
（ステップＳ５）
次に、距離測定部４５は、例えば図４のステップＳ１０４で検出された情報に基づいて、カメラ３と対象者との空間距離を検出する（Ｓ５）。空間距離（spatial distance）は、本開示の「距離」の一例である。カメラ３は、ユーザ９０が装着するウェアラブルカメラ、ユーザ９０の荷物に搭載されるカメラ等のカメラであるため、カメラ３と対象者との空間距離は、ユーザ９０と対象者との空間距離と同程度のものといえる。
次に、距離測定部４５は、例えば図４のステップＳ１０４で検出された情報に基づいて、カメラ３と対象者との空間距離を検出する（Ｓ５）。空間距離（spatial distance）は、本開示の「距離」の一例である。カメラ３は、ユーザ９０が装着するウェアラブルカメラ、ユーザ９０の荷物に搭載されるカメラ等のカメラであるため、カメラ３と対象者との空間距離は、ユーザ９０と対象者との空間距離と同程度のものといえる。
【0039】
空間距離は、一般的に、２つの点の間の距離を意味し、これらの点間の経路によって異なり得る。ユーザ９０と対象者との空間距離は、例えば、観察距離、知覚距離、交流距離という３つのカテゴリに大別できる。これらの空間距離に対応して、ユーザ９０の周囲の空間は、観察スペース（Observation space）、知覚スペース（Perceptual space）、及び交流スペース（Interaction space）に大別できる。図６は、空間距離の一例を説明するための模式図である。
【0040】
観察距離は、例えば、情報を取得するために、人が対象物又は対象者を注意深く観察する距離である。例えば、ユーザ９０は、他人が観察距離にいる場合、その他人を観察し、その他人が知り合いであるか否か、及び、その知り合いが誰であるかを識別することができる。観察距離は、例えば、予め定められた第２閾値より大きい距離を表す。観察距離は、個人間の空間距離が例えば３．６ｍより大きい場合に相当する。
【0041】
知覚距離は、例えば、感覚（例えば五感、特に視覚及び聴覚）を通して、他人の動作及び／又は感情を解釈したり、意識したりする距離である。例えばユーザ９０は、他人が知覚距離にいる場合、その他人の表情、動作等を観察し、喜び、怒り、及び悲しみ等の感情を認識することができる。また、例えばユーザ９０は、他人が知覚距離にいる場合、その他人がユーザ９０の方を見ているか否か、電話、タブレット操作等の作業をしているか、及びユーザ９０に向かって手を振っているか否か等の動作を認識することができる。知覚距離は、例えば、予め定められた第１閾値より大きくかつ第２閾値以下である距離を表す。知覚距離は、個人間の空間距離が例えば１．２ｍより大きく３．６ｍ以下である場合に相当する。
【0042】
交流距離は、例えば、通常、会話等の他人との相互作用が行われる距離である。交流距離は、例えば、第１閾値以下の距離を表す。交流距離は、個人間の空間距離が例えば１．２ｍ以下である場合に相当する。
【0043】
ここでは、観察距離、知覚距離、交流距離という３つのカテゴリに区別可能な空間距離について例示した。しかしながら、空間距離の概念はこれらに限定されない。例えば、空間距離は、プロクセミス（Proxemics、Hall, E. T., The hidden dimension, New York: Doubleday, 1966）に基づいて、例えば公共スペース、社会スペース、パーソナルスペース等に大別されてもよい。また、空間距離は、人物間の親密度、人物が属する文化、人物の性別等によって異なり得る。
【0044】
（ステップＳ６～Ｓ１１）
図５に戻り、制御部４は、ステップＳ５の測定の結果、カメラ３と対象者との空間距離が観察距離である場合（ステップＳ６でＹｅｓの場合）、ステップＳ７に進んで遠距離フローを実行する。知覚スペースである場合（ステップＳ８でＹｅｓの場合）、ステップＳ９に進んで中距離フローを実行する。交流スペースである場合（ステップＳ１０でＹｅｓの場合）、ステップＳ１１に進んで近距離フローを実行する。このように、コミュニケーション支援装置１００は、図４のステップＳ１０５で対象者を発見した時点におけるカメラ３と対象者との空間距離に応じて、異なる処理を実行する。
図５に戻り、制御部４は、ステップＳ５の測定の結果、カメラ３と対象者との空間距離が観察距離である場合（ステップＳ６でＹｅｓの場合）、ステップＳ７に進んで遠距離フローを実行する。知覚スペースである場合（ステップＳ８でＹｅｓの場合）、ステップＳ９に進んで中距離フローを実行する。交流スペースである場合（ステップＳ１０でＹｅｓの場合）、ステップＳ１１に進んで近距離フローを実行する。このように、コミュニケーション支援装置１００は、図４のステップＳ１０５で対象者を発見した時点におけるカメラ３と対象者との空間距離に応じて、異なる処理を実行する。
【0045】
３－２－２．遠距離フロー
３－２－２－１．全体の流れ
図７Ａ及び図７Ｂは、図５に示した遠距離フローＳ７の詳細な流れを例示するフローチャートである。図７Ａ及び図７Ｂは、結合子Ａ及び結合子Ｂによって結合されている。図７Ａ及び図７Ｂに示したフローは、リアルタイムに、すなわち画像取得部４１が画像を取得する度に実行されてもよい。あるいは、図７Ａ及び図７Ｂに示したフローは、画像取得部４１によって数秒間～数十秒間に取得された複数フレームの撮像画像に対して実行されてもよい。
３－２－２－１．全体の流れ
図７Ａ及び図７Ｂは、図５に示した遠距離フローＳ７の詳細な流れを例示するフローチャートである。図７Ａ及び図７Ｂは、結合子Ａ及び結合子Ｂによって結合されている。図７Ａ及び図７Ｂに示したフローは、リアルタイムに、すなわち画像取得部４１が画像を取得する度に実行されてもよい。あるいは、図７Ａ及び図７Ｂに示したフローは、画像取得部４１によって数秒間～数十秒間に取得された複数フレームの撮像画像に対して実行されてもよい。
【0046】
（ステップＳ７０１）
まず、音声出力部１は、ステップＳ１０５で検出された対象者の氏名を音声によりユーザ９０に報知する（Ｓ７０１）。これにより、ユーザ９０は、自分の近くにいる対象者の氏名を知ることができ、誰が自分の近くにいるかを識別することができる。対象者の氏名は、本開示における、対象者を識別するための識別情報の一例である。
まず、音声出力部１は、ステップＳ１０５で検出された対象者の氏名を音声によりユーザ９０に報知する（Ｓ７０１）。これにより、ユーザ９０は、自分の近くにいる対象者の氏名を知ることができ、誰が自分の近くにいるかを識別することができる。対象者の氏名は、本開示における、対象者を識別するための識別情報の一例である。
【0047】
（ステップＳ７０２）
次に、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７０２）。具体的には、振動部２は、第２振動パターンで振動することにより、対象者が観察距離にいることと、対象者の位置とを、ユーザ９０に報知する。振動パターンの詳細については後述する。空間距離は、図５のステップＳ５において距離測定部４５によって測定されたものである。対象者の位置は、例えば位置検出部４４によって検出される。対象者の位置は、例えばカメラ３の光軸を基準として、対象者が右方、正面方向、左方のいずれの方向にいるかによって特定される。さらに、対象者の位置は、例えばカメラ３の光軸を基準として、対象者が上方、下方のいずれの方向にいるかによって特定されてもよい。言い換えれば、対象者の位置は、ユーザ９０から見て対象者が上下左右及び正面のどの方向にいるかを特定する指標を表してもよい。
次に、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７０２）。具体的には、振動部２は、第２振動パターンで振動することにより、対象者が観察距離にいることと、対象者の位置とを、ユーザ９０に報知する。振動パターンの詳細については後述する。空間距離は、図５のステップＳ５において距離測定部４５によって測定されたものである。対象者の位置は、例えば位置検出部４４によって検出される。対象者の位置は、例えばカメラ３の光軸を基準として、対象者が右方、正面方向、左方のいずれの方向にいるかによって特定される。さらに、対象者の位置は、例えばカメラ３の光軸を基準として、対象者が上方、下方のいずれの方向にいるかによって特定されてもよい。言い換えれば、対象者の位置は、ユーザ９０から見て対象者が上下左右及び正面のどの方向にいるかを特定する指標を表してもよい。
【0048】
（ステップＳ７０３）
次に、対象者追跡部４３は、図４のステップＳ１０５で検出された対象者を追跡する（Ｓ７０３）。具体的には、対象者追跡部４３は、参照フレームにおいて検出又は追跡された対象者の画像内の位置に基づいて、参照フレームより後に撮像された現フレームにおいて対象者を追跡する。対象者の追跡は、例えば、参照フレーム内の対象者をテンプレートとして記憶部５に保存し、当該テンプレートを用いて、例えば公知のテンプレートマッチングなどの手法を適用し、現フレームの中を探索することで実現することができる。
次に、対象者追跡部４３は、図４のステップＳ１０５で検出された対象者を追跡する（Ｓ７０３）。具体的には、対象者追跡部４３は、参照フレームにおいて検出又は追跡された対象者の画像内の位置に基づいて、参照フレームより後に撮像された現フレームにおいて対象者を追跡する。対象者の追跡は、例えば、参照フレーム内の対象者をテンプレートとして記憶部５に保存し、当該テンプレートを用いて、例えば公知のテンプレートマッチングなどの手法を適用し、現フレームの中を探索することで実現することができる。
【0049】
例えば、対象者追跡部４３は、参照フレームにおいて検出又は追跡された対象者と、現フレームにおいて追跡された対象者と、が同一の対象者であることの確からしさを示すマッチングスコアを算出する。マッチングスコアは、例えば０～１の範囲内の値であり、値が大きいほど参照フレームにおいて検出された対象者と、現フレームにおいて検出された対象者と、が同一の対象者である可能性が高いことを意味する。対象者追跡部４３は、マッチングスコアが所定の閾値以上である場合、参照フレームにおいて検出された対象者と、現フレームにおいて検出された対象者と、が同一の対象者であると決定し、当該対象者の追跡が成功したものとする。
【0050】
（ステップＳ７０４）
対象者追跡部４３は、追跡過程において、検出又は追跡されていた対象者が撮像画像内に映っているか否かを判断する（Ｓ７０４）。例えば、対象者追跡部４３は、対象者が現フレームに映っているか否かを判断する。対象者が撮像画像内に映っていると判断した場合（ステップＳ７０４でＹｅｓの場合）、ステップＳ７０５に進み、映っていないと判断した場合（ステップＳ７０４でＮｏの場合）、ステップＳ７２０に進む。
対象者追跡部４３は、追跡過程において、検出又は追跡されていた対象者が撮像画像内に映っているか否かを判断する（Ｓ７０４）。例えば、対象者追跡部４３は、対象者が現フレームに映っているか否かを判断する。対象者が撮像画像内に映っていると判断した場合（ステップＳ７０４でＹｅｓの場合）、ステップＳ７０５に進み、映っていないと判断した場合（ステップＳ７０４でＮｏの場合）、ステップＳ７２０に進む。
【0051】
（ステップＳ７０５）
距離測定部４５は、対象者が知覚距離まで近付いたか否かを判断する（Ｓ７０５）。具体的には、距離測定部４５は、図５のステップＳ５で用いたフレームでは観察距離にいた対象者が、後の時刻に撮像されたフレームにおいて知覚距離にいるか否かを判断する。例えば、距離測定部４５は、カメラ３と対象者との距離が３．６ｍとなった場合、対象者が知覚距離まで近付いたと判断する。対象者が知覚距離まで近付いた場合（ステップＳ７０５でＹｅｓの場合）、図７ＢのステップＳ７０６に進み、対象者が知覚距離まで近付いていない場合（ステップＳ７０５でＮｏの場合）、ステップＳ７０３に戻る。対象者が知覚距離まで近付いていない場合、制御部４は、図７Ａ及び図５の処理を終了してもよい。
距離測定部４５は、対象者が知覚距離まで近付いたか否かを判断する（Ｓ７０５）。具体的には、距離測定部４５は、図５のステップＳ５で用いたフレームでは観察距離にいた対象者が、後の時刻に撮像されたフレームにおいて知覚距離にいるか否かを判断する。例えば、距離測定部４５は、カメラ３と対象者との距離が３．６ｍとなった場合、対象者が知覚距離まで近付いたと判断する。対象者が知覚距離まで近付いた場合（ステップＳ７０５でＹｅｓの場合）、図７ＢのステップＳ７０６に進み、対象者が知覚距離まで近付いていない場合（ステップＳ７０５でＮｏの場合）、ステップＳ７０３に戻る。対象者が知覚距離まで近付いていない場合、制御部４は、図７Ａ及び図５の処理を終了してもよい。
【0052】
（ステップＳ７０６）
図７Ｂに示したステップＳ７０６では、表情特定部４６は、撮像画像に基づいて、対象者の表情を特定する（Ｓ７０６）。表情特定処理ステップＳ７０６の詳細については後述する。
図７Ｂに示したステップＳ７０６では、表情特定部４６は、撮像画像に基づいて、対象者の表情を特定する（Ｓ７０６）。表情特定処理ステップＳ７０６の詳細については後述する。
【0053】
（ステップＳ７０７）
次に、音声出力部１は、ステップＳ７０６で表情特定部４６によって特定された表情に関する表情情報を、音声によりユーザ９０に報知する（Ｓ７０７）。ここで、表情情報は、人の表情そのものを表す情報だけでなく、人が顔にマスク、眼帯、眼鏡、及びサングラス等の装着物又は遮蔽物を装着しているか否かを表す情報をも含んでもよい。例えば、音声出力部１は、「笑顔である」、「怒っている」、「無表情（中性表情）である」、「表情が不明である」、「マスクを装着している」等の表情情報をユーザ９０に報知する。これにより、ユーザ９０は、自分の近くにいる対象者の表情を知ることができ、表情に応じた円滑なコミュニケーションを図ることができる。
次に、音声出力部１は、ステップＳ７０６で表情特定部４６によって特定された表情に関する表情情報を、音声によりユーザ９０に報知する（Ｓ７０７）。ここで、表情情報は、人の表情そのものを表す情報だけでなく、人が顔にマスク、眼帯、眼鏡、及びサングラス等の装着物又は遮蔽物を装着しているか否かを表す情報をも含んでもよい。例えば、音声出力部１は、「笑顔である」、「怒っている」、「無表情（中性表情）である」、「表情が不明である」、「マスクを装着している」等の表情情報をユーザ９０に報知する。これにより、ユーザ９０は、自分の近くにいる対象者の表情を知ることができ、表情に応じた円滑なコミュニケーションを図ることができる。
【0054】
（ステップＳ７０８）
次に、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７０８）。具体的には、振動部２は、第３振動パターンで振動することにより、対象者が知覚距離にいることと、対象者の位置とを、ユーザ９０に報知する。振動パターンの詳細については後述する。
次に、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７０８）。具体的には、振動部２は、第３振動パターンで振動することにより、対象者が知覚距離にいることと、対象者の位置とを、ユーザ９０に報知する。振動パターンの詳細については後述する。
【0055】
（ステップＳ７０９）
次に、動作特定部４７は、撮像画像に基づいて、対象者の動作を特定する（Ｓ７０９）。動作特定処理ステップＳ７０９の詳細については後述する。
次に、動作特定部４７は、撮像画像に基づいて、対象者の動作を特定する（Ｓ７０９）。動作特定処理ステップＳ７０９の詳細については後述する。
【0056】
（ステップＳ７１０）
次に、音声出力部１は、ステップＳ７０９で動作特定部４７によって特定された動作に関する動作情報を、音声によりユーザ９０に報知する（Ｓ７１０）。例えば、音声出力部１は、「対象者がこちらを見ている」、「対象者が手を振っている」、「対象者が電話をしている」、「対象者が咳をしている」、「対象者の動作が不明である」等の動作情報をユーザ９０に報知する。これにより、ユーザ９０は、対象者の動作を知ることができ、動作に応じた円滑なコミュニケーションを図ることができる。
次に、音声出力部１は、ステップＳ７０９で動作特定部４７によって特定された動作に関する動作情報を、音声によりユーザ９０に報知する（Ｓ７１０）。例えば、音声出力部１は、「対象者がこちらを見ている」、「対象者が手を振っている」、「対象者が電話をしている」、「対象者が咳をしている」、「対象者の動作が不明である」等の動作情報をユーザ９０に報知する。これにより、ユーザ９０は、対象者の動作を知ることができ、動作に応じた円滑なコミュニケーションを図ることができる。
【0057】
（ステップＳ７１１）
次に、距離測定部４５は、対象者が交流距離まで近付いたか否かを判断する（Ｓ７１１）。具体的には、距離測定部４５は、図７ＡのステップＳ７０５で用いたフレームでは知覚距離にいた対象者が、後の時刻に撮像されたフレームにおいて交流距離にいるか否かを判断する。例えば、距離測定部４５は、カメラ３と対象者との距離が１．２ｍとなった場合、対象者が交流距離まで近付いたと判断する。対象者が交流距離まで近付いた場合（ステップＳ７１１でＹｅｓの場合）、ステップＳ７１２に進み、対象者が交流距離まで近付いていない場合（ステップＳ７１１でＮｏの場合）、ステップＳ７０９に戻る。長時間経過しても対象者が交流距離まで近付かない場合、制御部４は、図７Ｂ及び図５の処理を終了してもよい。
次に、距離測定部４５は、対象者が交流距離まで近付いたか否かを判断する（Ｓ７１１）。具体的には、距離測定部４５は、図７ＡのステップＳ７０５で用いたフレームでは知覚距離にいた対象者が、後の時刻に撮像されたフレームにおいて交流距離にいるか否かを判断する。例えば、距離測定部４５は、カメラ３と対象者との距離が１．２ｍとなった場合、対象者が交流距離まで近付いたと判断する。対象者が交流距離まで近付いた場合（ステップＳ７１１でＹｅｓの場合）、ステップＳ７１２に進み、対象者が交流距離まで近付いていない場合（ステップＳ７１１でＮｏの場合）、ステップＳ７０９に戻る。長時間経過しても対象者が交流距離まで近付かない場合、制御部４は、図７Ｂ及び図５の処理を終了してもよい。
【0058】
（ステップＳ７１２）
次に、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７１２）。具体的には、振動部２は、第４振動パターンで振動することにより、対象者が交流距離にいることと、対象者の位置とを、ユーザ９０に報知する。振動パターンの詳細については後述する。これにより、ユーザ９０は、対象者が交流距離にいることを知ることができ、対象者とコミュニケーションを開始することができる。
次に、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７１２）。具体的には、振動部２は、第４振動パターンで振動することにより、対象者が交流距離にいることと、対象者の位置とを、ユーザ９０に報知する。振動パターンの詳細については後述する。これにより、ユーザ９０は、対象者が交流距離にいることを知ることができ、対象者とコミュニケーションを開始することができる。
【0059】
（ステップＳ７１３）
ステップＳ７１２の次に、例えばユーザ９０が対象者とのコミュニケーションを終えた後に、制御部４は、交流後処理を実行する（Ｓ７１３）。例えば、制御部４は、振動部２を制御して、対象者がユーザ９０から離れたことを振動により報知する。これにより、ユーザ９０は、対象者が去ったことを知ることができ、対象者とのコミュニケーションの前に行っていた、目的地への移動等の行動を再開することができる。交流後処理ステップＳ７１３の詳細については後述する。
ステップＳ７１２の次に、例えばユーザ９０が対象者とのコミュニケーションを終えた後に、制御部４は、交流後処理を実行する（Ｓ７１３）。例えば、制御部４は、振動部２を制御して、対象者がユーザ９０から離れたことを振動により報知する。これにより、ユーザ９０は、対象者が去ったことを知ることができ、対象者とのコミュニケーションの前に行っていた、目的地への移動等の行動を再開することができる。交流後処理ステップＳ７１３の詳細については後述する。
【0060】
（ステップＳ７２０）
図７Ａに戻り、ステップＳ７０４において対象者が撮像画像内に映っていないと判断した場合、制御部４は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する（Ｓ７２０）。予め定められた期間は、例えば１秒～数分、例えば４秒である。期間の代わりに、フレーム数が予め定められてもよい。例えば、制御部４は、対象者が、連続した予め定められた数のフレーム画像内に映っているか否かを判断してもよい。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７２０でＹｅｓの場合）、ステップＳ７２１に進み、予め定められた期間以下である場合（ステップＳ７２０でＮｏの場合）、ステップＳ７０３に戻る。
図７Ａに戻り、ステップＳ７０４において対象者が撮像画像内に映っていないと判断した場合、制御部４は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する（Ｓ７２０）。予め定められた期間は、例えば１秒～数分、例えば４秒である。期間の代わりに、フレーム数が予め定められてもよい。例えば、制御部４は、対象者が、連続した予め定められた数のフレーム画像内に映っているか否かを判断してもよい。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７２０でＹｅｓの場合）、ステップＳ７２１に進み、予め定められた期間以下である場合（ステップＳ７２０でＮｏの場合）、ステップＳ７０３に戻る。
【0061】
（ステップＳ７２１）
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７２０でＹｅｓの場合）、振動部２は、対象者を追跡できなくなった旨を、ユーザ９０に振動により報知する（Ｓ７２１）。具体的には、振動部２は、第５振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ９０に報知する。振動パターンの詳細については後述する。これにより、ユーザ９０は、対象者を追跡できなくなった旨、又は対象者がユーザ９０の周辺から去ったことを知ることができる。ステップＳ７２１の後には、制御部４、報知部１０等の構成要素は、ユーザ９０に対し、対象者の検出前に行っていた通常動作である目的地へのナビゲーション動作等を再開してもよい。
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７２０でＹｅｓの場合）、振動部２は、対象者を追跡できなくなった旨を、ユーザ９０に振動により報知する（Ｓ７２１）。具体的には、振動部２は、第５振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ９０に報知する。振動パターンの詳細については後述する。これにより、ユーザ９０は、対象者を追跡できなくなった旨、又は対象者がユーザ９０の周辺から去ったことを知ることができる。ステップＳ７２１の後には、制御部４、報知部１０等の構成要素は、ユーザ９０に対し、対象者の検出前に行っていた通常動作である目的地へのナビゲーション動作等を再開してもよい。
【0062】
【0063】
（ステップＳ７０６１）
まず、表情特定部４６は、撮像画像を解析し、対象者の顔を検出する（Ｓ７０６１）。ここで、顔を検出するとは、撮像画像内において人の顔が写っていると推定される領域を検出することを含む。
まず、表情特定部４６は、撮像画像を解析し、対象者の顔を検出する（Ｓ７０６１）。ここで、顔を検出するとは、撮像画像内において人の顔が写っていると推定される領域を検出することを含む。
【0064】
（ステップＳ７０６２）
対象者の顔を検出した場合（ステップＳ７０６２でＹｅｓの場合）、ステップＳ７０６３に進む。対象者の顔を検出しなかった場合（ステップＳ７０６２でＮｏの場合）、ステップＳ７０６７に進む。
対象者の顔を検出した場合（ステップＳ７０６２でＹｅｓの場合）、ステップＳ７０６３に進む。対象者の顔を検出しなかった場合（ステップＳ７０６２でＮｏの場合）、ステップＳ７０６７に進む。
【0065】
（ステップＳ７０６３）
対象者の顔を検出した場合（ステップＳ７０６２でＹｅｓの場合）、表情特定部４６は、対象者がマスク、眼帯、眼鏡、サングラス等の遮蔽物を装着しているか否かを検出する（Ｓ７０６３）。対象者が遮蔽物を装着しているために顔を検出できなかった場合があるため、本実施形態では遮蔽物検出処理が採用される。対象者が遮蔽物を装着しているか否かを検出する手法には、例えば、特開２０１８－１５１９１９号公報に開示されている技術が適用される。
対象者の顔を検出した場合（ステップＳ７０６２でＹｅｓの場合）、表情特定部４６は、対象者がマスク、眼帯、眼鏡、サングラス等の遮蔽物を装着しているか否かを検出する（Ｓ７０６３）。対象者が遮蔽物を装着しているために顔を検出できなかった場合があるため、本実施形態では遮蔽物検出処理が採用される。対象者が遮蔽物を装着しているか否かを検出する手法には、例えば、特開２０１８－１５１９１９号公報に開示されている技術が適用される。
【0066】
ステップＳ７０６３において対象者が遮蔽物を装着していることを検出した場合（ステップＳ７０６４でＹｅｓの場合）、表情特定部４６は、対象者の表情に関する表情情報につき、遮蔽物を装着した顔であると特定する（Ｓ７０６８）。表情特定部４６は、遮蔽物が何であるかを特定してもよい。例えば、ステップＳ７０６８において、表情特定部４６は、対象者の表情に関する表情情報につき、マスクを装着した顔であると特定してもよい。
【0067】
ステップＳ７０６３において対象者が遮蔽物を装着していることを検出しなかった場合（ステップＳ７０６４でＮｏの場合）、表情特定部４６は、対象者の顔の表情を識別する（Ｓ７０６５）。例えば、表情特定部４６は、人の表情に関する情報が格納された表情データベース５２と、撮像画像内の対象者の顔とを比較し、対象者の表情を識別する。
【0068】
表情の識別には、公知の手法が用いられてもよい。例えば、表情特定部４６は、対象者の顔の中で、顔の器官（以下、「顔器官」という。）を検出する。顔器官は、組織の集まりであって、特定の機能を有するものを含む。例えば、顔器官は、目、鼻、口、及び耳を含む。顔器官は、皮膚を含んでもよい。顔全体が顔器官に含まれてもよい。表情特定部４６は、検出された顔器官の情報に基づいて、表情を識別する。例えば、表情特定部４６は、顔器官の情報から、眼、眉、口等の顔の特徴点間の距離、または顔表面のエッジを、表情を表す情報として検出する。
【0069】
例えば、表情特定部４６は、顔器官の位置情報に基づき顔器官の相対位置や形状に関わる特徴量を抽出する。特徴量は、例えば、Ｈａａｒ－ｌｉｋｅ特徴量、特徴点間距離、フーリエ記述子を含む。次に、抽出された特徴量が、表情を判別する表情判別器に入力され、表情のスコア（表情成分値）が出力されてもよい。表情のスコアは、例えば、笑顔の度合いを示す笑度、幸福の度合いを示す幸福度等を含む。表情判別器は、例えば、ニューラルネットワーク、自己組織化マップ等の機械学習により多数の顔のサンプル画像を学習して構築される。
【0070】
表情の識別とは、顔表情の種類を判別すること、すなわち認識の対象である顔の表情の種類を感情を示す語によって識別することを含む。ここで、顔表情の識別は、単一の感情を示す語による識別でもよいし、感情を示す語の組み合わせによる識別でもよい。感情を示す語を組み合わせる場合、各感情を示す語が重み付けされていてもよい。例えば、表情は、ポール・エックマン（Paul Ekman）の表情分析をもとに、顔表情を「真顔」、「喜び」、「怒り」、「嫌悪」、「驚き」、「怖れ」、及び「悲しみ」の７種類に分類される。表情の識別結果としては、７種類の表情それぞれの度合い（表情らしさ、表情度とも呼ぶ）を合計が１となるように数値化されたスコアが出力される。各表情のスコアは表情成分値とも呼ばれる。
【0071】
上記の表情判別器は、１つでなくてもよく、上記の７種類の表情をそれぞれ担当する７つの判別器で構成されてもよい。
【0072】
表情を推定する手法には、特開２０１９－１１１０９２号公報、特開２０１６－１４９０６３号公報、特開２０１４－２０６９０３号公報等に例示されている技術が適用されてもよい。
【0073】
（ステップＳ７０６６）
表情特定部４６は、対象者の表情を、ステップＳ７０６５で識別したものに特定する（Ｓ７０６６）。例えば、表情特定部４６は、対象者の表情を、「喜び」の表情であると特定する。
表情特定部４６は、対象者の表情を、ステップＳ７０６５で識別したものに特定する（Ｓ７０６６）。例えば、表情特定部４６は、対象者の表情を、「喜び」の表情であると特定する。
【0074】
（ステップＳ７０６７）
ステップＳ７０６１において対象者の顔を検出しなかった場合（ステップＳ７０６２でＮｏの場合）、表情特定部４６は、対象者の表情が「不明である」と特定する（Ｓ７０６７）。表情特定部４６は、対象者の表情が、「顔を検出しなかったため不明である」と特定してもよい。ここで、「対象者の顔を検出しなかった場合」とは、１フレームの撮像画像において対象者の顔を検出しなかった場合を含む。また、「対象者の顔を検出しなかった場合」とは、複数フレームの撮像画像に対して顔検出処理を試みたものの、いずれのフレームにおいても対象者の顔を検出しなかった場合を含んでもよい。
ステップＳ７０６１において対象者の顔を検出しなかった場合（ステップＳ７０６２でＮｏの場合）、表情特定部４６は、対象者の表情が「不明である」と特定する（Ｓ７０６７）。表情特定部４６は、対象者の表情が、「顔を検出しなかったため不明である」と特定してもよい。ここで、「対象者の顔を検出しなかった場合」とは、１フレームの撮像画像において対象者の顔を検出しなかった場合を含む。また、「対象者の顔を検出しなかった場合」とは、複数フレームの撮像画像に対して顔検出処理を試みたものの、いずれのフレームにおいても対象者の顔を検出しなかった場合を含んでもよい。
【0075】
図８の表情特定処理ステップＳ７０６で特定された表情情報は、前述のように、図７Ｂに示したステップＳ７０７においてユーザ９０に報知される。例えば、音声出力部１は、「笑顔である」、「怒っている」、「無表情（中性表情）である」、「表情が不明である」、「マスクを装着している」等の表情情報をユーザ９０に報知する。これにより、ユーザ９０は、自分の近くにいる対象者の表情を知ることができ、表情に応じた円滑なコミュニケーションを図ることができる。例えば、ユーザ９０は、対象者が怒っている旨の表情情報を報知された場合、対象者に話しかけないという選択をすることができる。
【0076】
また、例えば、ユーザ９０は、感染症が流行している状況において、対象者がマスクを装着している旨の表情情報を報知されたときには、対象者から離れる等の動作を行い、対象者との社会距離を確保する動作を行うこと（ソーシャルディスタンシング、social distancing）を選択できる。あるいは、ユーザ９０は、例えば、対象者がマスクを装着している旨の表情情報を報知された場合、対象者に対して、体調について尋ねることができる。対象者が病気である場合、及び体調が優れない場合等には、ユーザ９０は、対象者との社会距離を確保する動作を行うことを選択することができる。このようにして、例えば感染症が流行している状況において、ユーザ９０は、コミュニケーション支援装置１００から報知された情報に基づいて、対象者等の他人からの感染のリスクを低減することができる。このように、状況に応じて他人との距離を調整しつつ他人とコミュニケーションを取ることも、円滑なコミュニケーションに含まれる。
【0077】
【0078】
（ステップＳ７０９１）
まず、動作特定部４７は、対象者がユーザ９０を見ているか否かを検出する（Ｓ７０９１）。例えば、動作特定部４７は、対象者の顔がカメラ３の方を向いているか否かを検出する。カメラ３は、ユーザ９０が装着するウェアラブルカメラ、ユーザ９０の荷物に搭載されるカメラ等のカメラであるため、対象者の顔がカメラ３の方を向いている場合、対象者がユーザ９０を見ているものと同視できる。あるいは、動作特定部４７は、対象者の虹彩又は瞳孔を検出し、検出された虹彩又は瞳孔の位置に基づいて、対象者の視線を検出してもよい。対象者の視線の方向とカメラ３の光軸方向との差が小さい場合、対象者がユーザ９０を見ているものと同視できる。対象者がユーザ９０を見ていることを検出した場合（Ｓ７０９１でＹｅｓの場合）、ステップＳ７０９４に進む。
まず、動作特定部４７は、対象者がユーザ９０を見ているか否かを検出する（Ｓ７０９１）。例えば、動作特定部４７は、対象者の顔がカメラ３の方を向いているか否かを検出する。カメラ３は、ユーザ９０が装着するウェアラブルカメラ、ユーザ９０の荷物に搭載されるカメラ等のカメラであるため、対象者の顔がカメラ３の方を向いている場合、対象者がユーザ９０を見ているものと同視できる。あるいは、動作特定部４７は、対象者の虹彩又は瞳孔を検出し、検出された虹彩又は瞳孔の位置に基づいて、対象者の視線を検出してもよい。対象者の視線の方向とカメラ３の光軸方向との差が小さい場合、対象者がユーザ９０を見ているものと同視できる。対象者がユーザ９０を見ていることを検出した場合（Ｓ７０９１でＹｅｓの場合）、ステップＳ７０９４に進む。
【0079】
（ステップＳ７０９２，Ｓ７０９３）
対象者がユーザ９０を見ていることを検出しなかった場合（Ｓ７０９１でＮｏの場合）、動作特定部４７は、対象者の動作を識別する（Ｓ７０９２）。例えば、動作特定部４７は、人の動作に関する情報が格納された動作データベース５３と、撮像画像内の対象者の姿勢等の動作に関する情報とを比較し、対象者の動作を識別する。対象者の動作は、例えば、対象者が電話中であること、本を読んでいること、手を振っていること、走っていること、歩いていること、咳をしていること等の動作を含む。上記の例では、ステップＳ７０９１において対象者がユーザ９０を見ているか否かを判断したが、本実施形態はこれに限定されない。例えば、対象者がユーザ９０を見ているか否かの判断は、ステップＳ７０９２における動作識別に含まれてもよい。対象者の動作を識別した場合（ステップＳ７０９３でＹｅｓの場合）、ステップＳ７０９４に進み、対象者の動作を識別しなかった場合（ステップＳ７０９３でＮｏの場合）、ステップＳ７０９５に進む。
対象者がユーザ９０を見ていることを検出しなかった場合（Ｓ７０９１でＮｏの場合）、動作特定部４７は、対象者の動作を識別する（Ｓ７０９２）。例えば、動作特定部４７は、人の動作に関する情報が格納された動作データベース５３と、撮像画像内の対象者の姿勢等の動作に関する情報とを比較し、対象者の動作を識別する。対象者の動作は、例えば、対象者が電話中であること、本を読んでいること、手を振っていること、走っていること、歩いていること、咳をしていること等の動作を含む。上記の例では、ステップＳ７０９１において対象者がユーザ９０を見ているか否かを判断したが、本実施形態はこれに限定されない。例えば、対象者がユーザ９０を見ているか否かの判断は、ステップＳ７０９２における動作識別に含まれてもよい。対象者の動作を識別した場合（ステップＳ７０９３でＹｅｓの場合）、ステップＳ７０９４に進み、対象者の動作を識別しなかった場合（ステップＳ７０９３でＮｏの場合）、ステップＳ７０９５に進む。
【0080】
（ステップＳ７０９４）
対象者の動作を識別した場合（ステップＳ７０９３でＹｅｓの場合）、動作特定部４７は、対象者の動作を、ステップＳ７０９２において識別したものに特定する（ステップＳ７０９４）。また、ステップＳ７０９１において対象者がユーザ９０を見ていることを検出した場合（Ｓ７０９１でＹｅｓの場合）、ステップＳ７０９４では、対象者の動作につき、ユーザ９０を見ていると特定する。特定された動作は、前述のように、図７ＢのステップＳ７１０においてユーザ９０に報知される。
対象者の動作を識別した場合（ステップＳ７０９３でＹｅｓの場合）、動作特定部４７は、対象者の動作を、ステップＳ７０９２において識別したものに特定する（ステップＳ７０９４）。また、ステップＳ７０９１において対象者がユーザ９０を見ていることを検出した場合（Ｓ７０９１でＹｅｓの場合）、ステップＳ７０９４では、対象者の動作につき、ユーザ９０を見ていると特定する。特定された動作は、前述のように、図７ＢのステップＳ７１０においてユーザ９０に報知される。
【0081】
（ステップＳ７０９５）
ステップＳ７０９３で対象者の動作を識別しなかった場合、動作特定部４７は、ステップＳ７０９２で用いたフレーム画像が撮像された時刻より後の時刻に撮像された他のフレーム画像において、動作識別を試みるか否かを判断する（Ｓ７０９５）。どの期間に撮像されたフレーム画像に対して動作識別を試みるかについての情報、又は、何枚のフレーム画像に対して動作識別を試みるかについての情報は、予め定められていてもよい。
ステップＳ７０９３で対象者の動作を識別しなかった場合、動作特定部４７は、ステップＳ７０９２で用いたフレーム画像が撮像された時刻より後の時刻に撮像された他のフレーム画像において、動作識別を試みるか否かを判断する（Ｓ７０９５）。どの期間に撮像されたフレーム画像に対して動作識別を試みるかについての情報、又は、何枚のフレーム画像に対して動作識別を試みるかについての情報は、予め定められていてもよい。
【0082】
（ステップＳ７０９６）
ステップＳ７０９５において、更なる動作識別を試みないと判断した場合（ステップＳ７０９５でＮｏの場合）、動作特定部４７は、対象者の動作が「不明である」と特定する（Ｓ７０９６）。特定された動作は、前述のように、図７ＢのステップＳ７１０においてユーザ９０に報知される。
ステップＳ７０９５において、更なる動作識別を試みないと判断した場合（ステップＳ７０９５でＮｏの場合）、動作特定部４７は、対象者の動作が「不明である」と特定する（Ｓ７０９６）。特定された動作は、前述のように、図７ＢのステップＳ７１０においてユーザ９０に報知される。
【0083】
（ステップＳ７０９７）
動作特定部４７は、ステップＳ７０９２で用いたフレーム画像が撮像された時刻より後の時刻に撮像された他のフレーム画像を取得する（Ｓ７０９７）。
動作特定部４７は、ステップＳ７０９２で用いたフレーム画像が撮像された時刻より後の時刻に撮像された他のフレーム画像を取得する（Ｓ７０９７）。
【0084】
（ステップＳ７０９８）
ステップＳ７０９８～Ｓ７１００は、図７ＡのステップＳ７０４，Ｓ７２０，Ｓ７２１とそれぞれ同様のステップである。ステップＳ７０９８では、動作特定部４７は、ステップＳ７０９７で取得されたフレーム画像内に、対象者が映っているか否かを判断する（Ｓ７０９８）。対象者がフレーム画像内に映っていると判断した場合（ステップＳ７０９８でＹｅｓの場合）、ステップＳ７０９１に戻り、映っていないと判断した場合（ステップＳ７０９８でＮｏの場合）、ステップＳ７０９９に進む。
ステップＳ７０９８～Ｓ７１００は、図７ＡのステップＳ７０４，Ｓ７２０，Ｓ７２１とそれぞれ同様のステップである。ステップＳ７０９８では、動作特定部４７は、ステップＳ７０９７で取得されたフレーム画像内に、対象者が映っているか否かを判断する（Ｓ７０９８）。対象者がフレーム画像内に映っていると判断した場合（ステップＳ７０９８でＹｅｓの場合）、ステップＳ７０９１に戻り、映っていないと判断した場合（ステップＳ７０９８でＮｏの場合）、ステップＳ７０９９に進む。
【0085】
（ステップＳ７０９９）
制御部４は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する（Ｓ７０９９）。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７０９９でＹｅｓの場合）、ステップＳ７１００に進み、予め定められた期間以下である場合（ステップＳ７０９９でＮｏの場合）、ステップＳ７０９１に戻る。
制御部４は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する（Ｓ７０９９）。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７０９９でＹｅｓの場合）、ステップＳ７１００に進み、予め定められた期間以下である場合（ステップＳ７０９９でＮｏの場合）、ステップＳ７０９１に戻る。
【0086】
（ステップＳ７１００）
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７０９９でＹｅｓの場合）、振動部２は、対象者を追跡できなくなった旨を、ユーザ９０に振動により報知する（Ｓ７１００）。具体的には、振動部２は、第５振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ９０に報知する。これにより、ユーザ９０は、対象者を追跡できなくなった旨、又は対象者がユーザ９０の周辺から去ったことを知ることができる。ステップＳ７１００の報知の後、制御部４は、図５に示した一連の処理を終了する。図５のフローは、繰り返し開始されてもよい。図５のフローは、例えば、予め定められた周期ごとに開始される。
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７０９９でＹｅｓの場合）、振動部２は、対象者を追跡できなくなった旨を、ユーザ９０に振動により報知する（Ｓ７１００）。具体的には、振動部２は、第５振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ９０に報知する。これにより、ユーザ９０は、対象者を追跡できなくなった旨、又は対象者がユーザ９０の周辺から去ったことを知ることができる。ステップＳ７１００の報知の後、制御部４は、図５に示した一連の処理を終了する。図５のフローは、繰り返し開始されてもよい。図５のフローは、例えば、予め定められた周期ごとに開始される。
【0087】
【0088】
（ステップＳ７１３１）
まず、対象者追跡部４３は、対象者を追跡する（Ｓ７１３１）。追跡ステップＳ７１３１では、図７Ａに示した追跡ステップＳ７０３と同様の処理が実行されてもよい。
まず、対象者追跡部４３は、対象者を追跡する（Ｓ７１３１）。追跡ステップＳ７１３１では、図７Ａに示した追跡ステップＳ７０３と同様の処理が実行されてもよい。
【0089】
（ステップＳ７１３２）
次に、対象者追跡部４３は、追跡過程において、検出又は追跡されていた対象者が撮像画像内に映っているか否かを判断する（Ｓ７１３２）。例えば、対象者追跡部４３は、対象者が現フレームに映っているか否かを判断する。対象者が撮像画像内に映っていると判断した場合（ステップＳ７１３２でＮｏの場合）、ステップＳ７１３３に進み、映っていないと判断した場合（ステップＳ７１３２でＹｅｓの場合）、ステップＳ７１３５に進む。
次に、対象者追跡部４３は、追跡過程において、検出又は追跡されていた対象者が撮像画像内に映っているか否かを判断する（Ｓ７１３２）。例えば、対象者追跡部４３は、対象者が現フレームに映っているか否かを判断する。対象者が撮像画像内に映っていると判断した場合（ステップＳ７１３２でＮｏの場合）、ステップＳ７１３３に進み、映っていないと判断した場合（ステップＳ７１３２でＹｅｓの場合）、ステップＳ７１３５に進む。
【0090】
（ステップＳ７１３３）
制御部４は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する（Ｓ７１３３）。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７１３３でＹｅｓの場合）、ステップＳ７１３４に進み、予め定められた期間以下である場合（ステップＳ７１３３でＮｏの場合）、ステップＳ７１３１に戻る。
制御部４は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する（Ｓ７１３３）。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７１３３でＹｅｓの場合）、ステップＳ７１３４に進み、予め定められた期間以下である場合（ステップＳ７１３３でＮｏの場合）、ステップＳ７１３１に戻る。
【0091】
（ステップＳ７１３４）
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７１３３でＹｅｓの場合）、振動部２は、対象者を追跡できなくなった旨を、ユーザ９０に振動により報知する（Ｓ７１３４）。具体的には、振動部２は、第５振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ９０に報知する。これにより、ユーザ９０は、対象者を追跡できなくなった旨、又は対象者がユーザ９０の周辺から去ったことを知ることができる。これにより、ユーザ９０は、目的地への移動等の動作に集中できる。ユーザ９０が自己の動作に集中できるため、ユーザ９０の安全も担保される。ステップＳ７１３４は、図７Ａに示したステップＳ７２１と同様のステップであってもよい。
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７１３３でＹｅｓの場合）、振動部２は、対象者を追跡できなくなった旨を、ユーザ９０に振動により報知する（Ｓ７１３４）。具体的には、振動部２は、第５振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ９０に報知する。これにより、ユーザ９０は、対象者を追跡できなくなった旨、又は対象者がユーザ９０の周辺から去ったことを知ることができる。これにより、ユーザ９０は、目的地への移動等の動作に集中できる。ユーザ９０が自己の動作に集中できるため、ユーザ９０の安全も担保される。ステップＳ７１３４は、図７Ａに示したステップＳ７２１と同様のステップであってもよい。
【0092】
（ステップＳ７１３５）
ステップＳ７１３２において、対象者が撮像画像内に映っていると判断した場合（ステップＳ７１３２でＹｅｓの場合）、距離測定部４５は、対象者が近付いて来ているか否かを検出する（Ｓ７１３５）。具体的には、距離測定部４５は、異なる時刻に撮像された２つのフレーム画像におけるカメラ３と対象者との距離を比較し、対象者が近付いて来ているか否かを検出する。
ステップＳ７１３２において、対象者が撮像画像内に映っていると判断した場合（ステップＳ７１３２でＹｅｓの場合）、距離測定部４５は、対象者が近付いて来ているか否かを検出する（Ｓ７１３５）。具体的には、距離測定部４５は、異なる時刻に撮像された２つのフレーム画像におけるカメラ３と対象者との距離を比較し、対象者が近付いて来ているか否かを検出する。
【0093】
対象者が近付いて来ていることを検出した場合（ステップＳ７１３５でＹｅｓの場合）、ユーザ９０が対象者と再びコミュニケーションを取る可能性がある。そこで、制御部４は、図５に示した一連の処理を一旦終了し、再び図５の処理を開始してもよい。図５のフローは、例えば、予め定められた周期ごとに開始される。対象者が近付いて来ていることを検出しなかった場合（ステップＳ７１３５でＮｏの場合）、制御部４は、ステップＳ７１３１に戻り、追跡を続ける。
【0094】
３－２－２－５．遠距離フローの例
図１１は、検出された対象者８０との空間距離が観察距離である場合（図５のステップＳ６でＹｅｓの場合）におけるコミュニケーション支援装置１００の動作の一例を示す模式図である。コミュニケーション支援装置１００は、観察スペースにいる対象者８０を検出した場合、ユーザ９０に対する注意喚起のために、振動部２を第１パターンで振動させる（Ｓ４）。次に、音声出力部１は、対象者８０の氏名を音声によりユーザ９０に報知し（Ｓ７０１）、振動部２は、対象者８０との空間距離及び対象者８０の位置を、第２振動パターンで振動することにより報知する（Ｓ７０２）。
図１１は、検出された対象者８０との空間距離が観察距離である場合（図５のステップＳ６でＹｅｓの場合）におけるコミュニケーション支援装置１００の動作の一例を示す模式図である。コミュニケーション支援装置１００は、観察スペースにいる対象者８０を検出した場合、ユーザ９０に対する注意喚起のために、振動部２を第１パターンで振動させる（Ｓ４）。次に、音声出力部１は、対象者８０の氏名を音声によりユーザ９０に報知し（Ｓ７０１）、振動部２は、対象者８０との空間距離及び対象者８０の位置を、第２振動パターンで振動することにより報知する（Ｓ７０２）。
【0095】
その後、対象者８０が知覚スペースに進入した場合、音声出力部１は、対象者８０の表情情報を、音声によりユーザ９０に報知し（Ｓ７０７）、振動部２は、対象者との空間距離及び対象者の位置を、第３振動パターンで振動することにより報知する（Ｓ７０８）。さらに、音声出力部１は、対象者８０の動作情報を、音声によりユーザ９０に報知する（Ｓ７１０）。
【0096】
その後、対象者８０が交流スペースに進入した場合、振動部２は、対象者との空間距離及び対象者の位置を、第４振動パターンで振動することにより報知する（Ｓ７１２）。これにより、ユーザ９０は、対象者が交流距離にいることを知ることができ、対象者とコミュニケーションを開始することができる。ユーザ９０が対象者とのコミュニケーションを終えた後、例えば、振動部２は、対象者がユーザ９０から離れたことを第５振動パターンで振動することにより報知する（Ｓ７１３４）。その後、制御部４、報知部１０等の構成要素は、ユーザ９０に対し、対象者の検出前に行っていた通常動作である目的地へのナビゲーション動作等を再開してもよい。
【0097】
３－２－３．中距離フロー
図１２は、図５に示した中距離フローＳ９の詳細な流れを例示するフローチャートである。中距離フローＳ９においては、前述の遠距離フローＳ７において説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、中距離フローＳ９は、ステップＳ７０１，Ｓ７０６～Ｓ７１０，Ｓ７１２，Ｓ７１３を含む。このようなステップについては、重複説明を省略する場合がある。
図１２は、図５に示した中距離フローＳ９の詳細な流れを例示するフローチャートである。中距離フローＳ９においては、前述の遠距離フローＳ７において説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、中距離フローＳ９は、ステップＳ７０１，Ｓ７０６～Ｓ７１０，Ｓ７１２，Ｓ７１３を含む。このようなステップについては、重複説明を省略する場合がある。
【0098】
中距離フローＳ９では、まず、音声出力部１は、ステップＳ１０５で検出された対象者の氏名を音声によりユーザ９０に報知する（Ｓ７０１）。次に、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７０８）。具体的には、振動部２は、第３振動パターンで振動することにより、対象者が知覚距離にいることと、対象者の位置とを、ユーザ９０に報知する。
【0099】
次に、表情特定部４６は、撮像画像に基づいて、対象者の表情を特定する（Ｓ７０６）。次に、音声出力部１は、ステップＳ７０６で表情特定部４６によって特定された表情に関する表情情報を、音声によりユーザ９０に報知する（Ｓ７０７）。表情特定処理ステップＳ７０６は、対象者の氏名を報知するステップＳ７０１の前に実行されてもよい。
【0100】
次に、距離測定部４５は、対象者が交流距離まで近付いたか否かを判断する（Ｓ９４）。ステップＳ９４は、図７Ｂに示した前述のステップＳ７１１と同様のステップであってもよい。対象者が交流距離まで近付いたと判断した場合（ステップＳ９４でＹｅｓの場合）、ステップＳ７１２に進み、対象者が交流距離まで近付いていないと判断した場合（ステップＳ９４でＮｏの場合）、ステップＳ７０９に進む。
【0101】
対象者が交流距離まで近付いたと判断した場合（ステップＳ９４でＹｅｓの場合）、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７１２）。具体的には、振動部２は、第４振動パターンで振動することにより、対象者が交流距離にいることと、対象者の位置とを、ユーザ９０に報知する。
【0102】
次に、例えばユーザ９０が対象者とのコミュニケーションを終えた後に、制御部４は、交流後処理を実行する（Ｓ７１３）。
【0103】
ステップＳ９４において対象者が交流距離まで近付いていないと判断した場合（ステップＳ９４でＮｏの場合）、動作特定部４７は、撮像画像に基づいて、対象者の動作を特定する（Ｓ７０９）。次に、音声出力部１は、ステップＳ７０９で動作特定部４７によって特定された動作に関する動作情報を、音声によりユーザ９０に報知する（Ｓ７１０）。
【0104】
図１３は、検出された対象者８０との空間距離が知覚距離である場合（図５のステップＳ８でＹｅｓの場合）におけるコミュニケーション支援装置１００の動作の一例を示す模式図である。図１１に示した観察距離の場合の模式図と比較すると、図１３では、特に、対象者の動作を音声により報知するステップＳ７１０が省略されている。対象者が交流距離まで近付いた場合、対象者の動作を音声により報知するステップＳ７１０を実行していたのでは、例えば報知の間に相手とすれ違ってしまうことがあり、円滑なコミュニケーションを行うことができないことがある。したがって、中距離フローＳ９では、対象者との距離に応じて、ステップＳ７１０を省略する。ただし、上記のように、中距離フローＳ９では、制御部４は、例えば対象者が交流距離まで近付かずに知覚距離に留まっている場合に、追加的に動作特定処理ステップＳ７０９を実行する。これにより、コミュニケーション支援装置１００は、知覚距離で初めて対象者が検出された場合であっても、状況に応じて、動作情報をもユーザ９０に提供する。状況に応じて十分な情報を受け取ることにより、ユーザ９０は、対象者と円滑なコミュニケーションを取ることができる。
【0105】
３－２－４．近距離フロー
図１４は、図５に示した近距離フローＳ１１の詳細な流れを例示するフローチャートである。近距離フローＳ１１においては、前述の遠距離フローＳ７において説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、近距離フローＳ１１は、ステップＳ７０１，Ｓ７１２，Ｓ７１３を含む。このようなステップについては、重複説明を省略する場合がある。
図１４は、図５に示した近距離フローＳ１１の詳細な流れを例示するフローチャートである。近距離フローＳ１１においては、前述の遠距離フローＳ７において説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、近距離フローＳ１１は、ステップＳ７０１，Ｓ７１２，Ｓ７１３を含む。このようなステップについては、重複説明を省略する場合がある。
【0106】
近距離フローＳ１１では、まず、音声出力部１は、ステップＳ１０５で検出された対象者の氏名を音声によりユーザ９０に報知する（Ｓ７０１）。次に、振動部２は、対象者との空間距離及び対象者の位置を、ユーザ９０に振動により報知する（Ｓ７１２）。具体的には、振動部２は、第４振動パターンで振動することにより、対象者が交流距離にいることと、対象者の位置とを、ユーザ９０に報知する。次に、例えばユーザ９０が対象者とのコミュニケーションを終えた後に、制御部４は、交流後処理を実行する（Ｓ７１３）。
【0107】
図１５は、検出された対象者８０との空間距離が交流距離である場合（図５のステップＳ１０でＹｅｓの場合）におけるコミュニケーション支援装置１００の動作の一例を示す模式図である。図１３に示した知覚距離の場合の模式図と比較すると、図１５では、特に、対象者の表情を音声により報知するステップＳ７０７が更に省略されている。交流距離のような近距離で対象者を発見した場合、ユーザ９０は、即時に対象者とコミュニケーションを開始できる。このような場合に、音声又は振動により対象者の表情及び動作等の多くの情報をユーザ９０に報知する時間はなく、これらの情報をユーザ９０に報知していたのでは、円滑なコミュニケーションを行うことができないことが通常である。したがって、近距離フローＳ１１では、コミュニケーション支援装置１００は、対象者の氏名、距離、及び位置という最小限の情報のみをユーザ９０に報知することにより、ユーザ９０と対象者との円滑なコミュニケーションを図る。
【0108】
【0109】
（ステップＳ１０９）
制御部４、例えば対象者検出部４２は、対象者データベース５１から、図４のステップＳ１０６で検出された各対象者の優先度を取得する（Ｓ１０９）。
制御部４、例えば対象者検出部４２は、対象者データベース５１から、図４のステップＳ１０６で検出された各対象者の優先度を取得する（Ｓ１０９）。
【0110】
（ステップＳ５）
次に、距離測定部４５は、図５に示したステップＳ５と同様に、例えば図４のステップＳ１０４で検出された情報に基づいて、カメラ３と各対象者との空間距離を検出する。なお、図１６では、ステップＳ５は、ステップＳ１０９の後に実行されているが、本実施形態はこれに限定されず、ステップＳ５は、ステップＳ１０９の前に実行されてもよい。
次に、距離測定部４５は、図５に示したステップＳ５と同様に、例えば図４のステップＳ１０４で検出された情報に基づいて、カメラ３と各対象者との空間距離を検出する。なお、図１６では、ステップＳ５は、ステップＳ１０９の後に実行されているが、本実施形態はこれに限定されず、ステップＳ５は、ステップＳ１０９の前に実行されてもよい。
【0111】
（ステップＳ１１０）
次に、優先順位決定部４８は、ステップＳ１０９で取得された各対象者の優先度の差が小さいか否かを判断する（Ｓ１１０）。例えば、優先順位決定部４８は、各対象者の優先度が所定の範囲内にある場合、複数の対象者の優先度の最大値と最小値との差が所定の閾値未満である場合等に、優先度の差が小さいと判断する。
次に、優先順位決定部４８は、ステップＳ１０９で取得された各対象者の優先度の差が小さいか否かを判断する（Ｓ１１０）。例えば、優先順位決定部４８は、各対象者の優先度が所定の範囲内にある場合、複数の対象者の優先度の最大値と最小値との差が所定の閾値未満である場合等に、優先度の差が小さいと判断する。
【0112】
（ステップＳ１１１）
ステップＳ１１０において各対象者の優先度の差が小さいと判断した場合（ステップＳ１１０でＹｅｓの場合）、優先順位決定部４８は、カメラ３と各対象者との空間距離が同様であるか否かを判断する（Ｓ１１１）。例えば、優先順位決定部４８は、ステップＳ５で測定されたカメラ３と複数の対象者との空間距離が同一のカテゴリである場合（例えば、複数の対象者がすべて観察スペース、知覚スペース、又は交流スペースのいずれかの中にいる場合）、カメラ３と各対象者との空間距離が同様であると判断する。あるいは、優先順位決定部４８は、各対象者が所定の範囲内にいる場合、カメラ３と各対象者との距離の最大値と最小値との差が所定の閾値未満である場合等に、カメラ３と各対象者との空間距離が同様であると判断してもよい。
ステップＳ１１０において各対象者の優先度の差が小さいと判断した場合（ステップＳ１１０でＹｅｓの場合）、優先順位決定部４８は、カメラ３と各対象者との空間距離が同様であるか否かを判断する（Ｓ１１１）。例えば、優先順位決定部４８は、ステップＳ５で測定されたカメラ３と複数の対象者との空間距離が同一のカテゴリである場合（例えば、複数の対象者がすべて観察スペース、知覚スペース、又は交流スペースのいずれかの中にいる場合）、カメラ３と各対象者との空間距離が同様であると判断する。あるいは、優先順位決定部４８は、各対象者が所定の範囲内にいる場合、カメラ３と各対象者との距離の最大値と最小値との差が所定の閾値未満である場合等に、カメラ３と各対象者との空間距離が同様であると判断してもよい。
【0113】
（ステップＳ１１２）
ステップＳ１１０において各対象者の優先度の差が小さいと判断しなかった場合（ステップＳ１１０でＮｏの場合）、優先順位決定部４８は、カメラ３と各対象者との空間距離が同様であるか否かを判断する（Ｓ１１２）。ステップＳ１１２の判断処理は、ステップＳ１１１と同様の処理であってもよい。
ステップＳ１１０において各対象者の優先度の差が小さいと判断しなかった場合（ステップＳ１１０でＮｏの場合）、優先順位決定部４８は、カメラ３と各対象者との空間距離が同様であるか否かを判断する（Ｓ１１２）。ステップＳ１１２の判断処理は、ステップＳ１１１と同様の処理であってもよい。
【0114】
（ステップＳ１１３）
各対象者の優先度の差が小さく、かつカメラ３と各対象者との空間距離が同様であると判断した場合（ステップＳ１１１でＹｅｓの場合）、優先順位決定部４８は、複数の対象者のそれぞれに対して予め付与された識別子に基づいて、複数の対象者の優先順位を決定する（Ｓ１１３）。
各対象者の優先度の差が小さく、かつカメラ３と各対象者との空間距離が同様であると判断した場合（ステップＳ１１１でＹｅｓの場合）、優先順位決定部４８は、複数の対象者のそれぞれに対して予め付与された識別子に基づいて、複数の対象者の優先順位を決定する（Ｓ１１３）。
【0115】
ここで、「識別子」とは、特定の対象物又は対象概念を他のものから特定又は識別することを可能にする符号を表す。ステップＳ１１３では、優先順位決定部４８は、例えばこの識別子の順番に従って、複数の対象者の優先順位を決定する。識別子の順番は、例えば、複数の対象者の氏についてアルファベット順、五十音順等の規則により決定された順序である。あるいは、識別子の順番は、例えば、各対象者に付与された識別番号（ＩＤ）により決定された順序である。このようなＩＤは、例えば対象者データベース５１の中に、氏名等の各対象者に関する情報と紐づけられて格納されている（図３参照）。各対象者の情報についての識別子は、制御部４の識別子付与部（図示せず）によって付与されてもよい。
【0116】
（ステップＳ１１４）
各対象者の優先度の差が小さく、かつカメラ３と各対象者との空間距離が同様でないと判断した場合（ステップＳ１１１でＮｏの場合）、優先順位決定部４８は、カメラ３と各対象者との空間距離に基づいて、複数の対象者の優先順位を決定する（Ｓ１１４）。例えば、優先順位決定部４８は、カメラ３に近い対象者ほど優先順位を高くする。あるいは、優先順位決定部４８は、カメラ３の位置を基準として、交流スペース内にいる対象者に高い優先順位を付与し、知覚スペース内にいる対象者に中程度の優先順位を付与し、観察スペース内にいる対象者に低い優先順位を付与してもよい。
各対象者の優先度の差が小さく、かつカメラ３と各対象者との空間距離が同様でないと判断した場合（ステップＳ１１１でＮｏの場合）、優先順位決定部４８は、カメラ３と各対象者との空間距離に基づいて、複数の対象者の優先順位を決定する（Ｓ１１４）。例えば、優先順位決定部４８は、カメラ３に近い対象者ほど優先順位を高くする。あるいは、優先順位決定部４８は、カメラ３の位置を基準として、交流スペース内にいる対象者に高い優先順位を付与し、知覚スペース内にいる対象者に中程度の優先順位を付与し、観察スペース内にいる対象者に低い優先順位を付与してもよい。
【0117】
（ステップＳ１１５）
各対象者の優先度の差が小さくなく、かつカメラ３と各対象者との空間距離が同様であると判断した場合（ステップＳ１１２でＹｅｓの場合）、優先順位決定部４８は、各対象者の優先度に基づいて、複数の対象者の優先順位を決定する（Ｓ１１５）。例えば、優先順位決定部４８は、対象者に対して、優先度が大きいほど高い優先順位を付与する。
各対象者の優先度の差が小さくなく、かつカメラ３と各対象者との空間距離が同様であると判断した場合（ステップＳ１１２でＹｅｓの場合）、優先順位決定部４８は、各対象者の優先度に基づいて、複数の対象者の優先順位を決定する（Ｓ１１５）。例えば、優先順位決定部４８は、対象者に対して、優先度が大きいほど高い優先順位を付与する。
【0118】
（ステップＳ１１６）
ステップＳ１１３，Ｓ１１４，又はＳ１１５の次に、制御部４は、優先順位に基づく第１処理ステップＳ１１６を実行する。ステップＳ１１６の詳細については後述する。
ステップＳ１１３，Ｓ１１４，又はＳ１１５の次に、制御部４は、優先順位に基づく第１処理ステップＳ１１６を実行する。ステップＳ１１６の詳細については後述する。
【0119】
（ステップＳ１１７，Ｓ１１８）
各対象者の優先度の差が小さくなく、かつカメラ３と各対象者との空間距離が同様でないと判断した場合（ステップＳ１１２でＮｏの場合）にも、優先順位決定部４８は、各対象者の優先度に基づいて、複数の対象者の優先順位を決定する（Ｓ１１７）。ステップＳ１１５及びステップＳ１１７は、ステップＳ１１２の前に実行されてもよい。制御部４は、ステップＳ１１７の次に、第２処理ステップＳ１１８を実行する。ステップＳ１１８の詳細については後述する。
各対象者の優先度の差が小さくなく、かつカメラ３と各対象者との空間距離が同様でないと判断した場合（ステップＳ１１２でＮｏの場合）にも、優先順位決定部４８は、各対象者の優先度に基づいて、複数の対象者の優先順位を決定する（Ｓ１１７）。ステップＳ１１５及びステップＳ１１７は、ステップＳ１１２の前に実行されてもよい。制御部４は、ステップＳ１１７の次に、第２処理ステップＳ１１８を実行する。ステップＳ１１８の詳細については後述する。
【0120】
上記のステップＳ１１０～Ｓ１１２は、図１６の順番通りに実行される必要はなく、対象者間の優先度の差と、空間距離が同様か否かの結果との組合せが得られるように実行されればよい。例えば、優先順位決定部４８は、距離測定部４５によって測定された距離に基づいて優先順位を決定してもよい。例えば、優先順位決定部４８は、このように優先順位決定部４８によって決定された複数の対象者の優先順位間に差がない場合、複数の対象者のそれぞれに対して予め付与された識別子に基づいて、複数の対象者の優先順位を決定してもよい。
【0121】
【0122】
（ステップＳ２０４）
まず、振動部２は、複数の対象者を検出したことをユーザ９０に振動により報知する（Ｓ２０４）。具体的には、振動部２は、第１振動パターンによる振動を複数回繰り返すことにより、複数の対象者を検出したことをユーザ９０に報知する。ステップＳ２０４において第１振動パターンが実行される回数は、例えば、２回である。すなわち、振動部２は、１人の対象者のみを検出した場合には、図５に示したステップＳ４のように第１振動パターンによる振動を１回実行するのに対して、複数の対象者を検出した場合には、第１振動パターンによる振動を２回実行してもよい。これにより、ユーザ９０は、自分の近くに複数の対象者がいることを認識することができる。
まず、振動部２は、複数の対象者を検出したことをユーザ９０に振動により報知する（Ｓ２０４）。具体的には、振動部２は、第１振動パターンによる振動を複数回繰り返すことにより、複数の対象者を検出したことをユーザ９０に報知する。ステップＳ２０４において第１振動パターンが実行される回数は、例えば、２回である。すなわち、振動部２は、１人の対象者のみを検出した場合には、図５に示したステップＳ４のように第１振動パターンによる振動を１回実行するのに対して、複数の対象者を検出した場合には、第１振動パターンによる振動を２回実行してもよい。これにより、ユーザ９０は、自分の近くに複数の対象者がいることを認識することができる。
【0123】
あるいは、振動部２は、ｎ人の対象者を検出した場合には、第１振動パターンによる振動をｎ回実行してもよい。ここで、ｎは、２以上の整数である。これにより、ユーザ９０は、自分の周囲に複数の対象者がいることに加えて、その人数をも認識することができる。ｎが大きすぎる場合（例えば、ｎ＞１０である場合等）、振動により情報を伝えきれない場合がある。このような場合、振動部２は、第１振動パターンによる振動を予め定められた上限値であるｍ回だけ実行してもよい。ここで、ｍは、２以上ｎ未満の整数である。
【0124】
（ステップＳ２０６～Ｓ２１１）
制御部４は、例えば図１６のステップＳ５の測定の結果、カメラ３と対象者との空間距離が観察距離であると判断した場合（ステップＳ２０６でＹｅｓの場合）、ステップＳ２０７に進んで遠距離フローを実行する。知覚スペースである場合（ステップＳ２０８でＹｅｓの場合）、ステップＳ２０９に進んで中距離フローを実行する。交流スペースである場合（ステップＳ２１０でＹｅｓの場合）、ステップＳ２１１に進んで近距離フローを実行する。このように、コミュニケーション支援装置１００は、図４のステップＳ１０５で対象者を発見した時点におけるカメラ３と対象者との空間距離に応じて、異なる処理を実行する。
制御部４は、例えば図１６のステップＳ５の測定の結果、カメラ３と対象者との空間距離が観察距離であると判断した場合（ステップＳ２０６でＹｅｓの場合）、ステップＳ２０７に進んで遠距離フローを実行する。知覚スペースである場合（ステップＳ２０８でＹｅｓの場合）、ステップＳ２０９に進んで中距離フローを実行する。交流スペースである場合（ステップＳ２１０でＹｅｓの場合）、ステップＳ２１１に進んで近距離フローを実行する。このように、コミュニケーション支援装置１００は、図４のステップＳ１０５で対象者を発見した時点におけるカメラ３と対象者との空間距離に応じて、異なる処理を実行する。
【0125】
ステップＳ２０６～Ｓ２１０では、カメラ３と対象者との空間距離は、カメラ３と、複数の対象者のうち優先順位の最も高いものとの空間距離を表すものであってもよい。カメラ３と対象者との空間距離は、例えば、カメラ３と、複数の対象者のうち最もカメラ３に近いものとの空間距離、又は、カメラ３と、複数の対象者のうち最もカメラ３から遠いものとの空間距離を表すものであってもよい。あるいは、カメラ３と対象者との空間距離は、カメラ３と各対象者との距離の平均値に基づいて決定されてもよい。
【0126】
３－３－２－１．遠距離フロー
図１８Ａ及び図１８Ｂは、図１７に示した遠距離フローＳ２０７の詳細な流れを例示するフローチャートである。図１８Ａ及び図１８Ｂは、結合子Ｃ及び結合子Ｄによって結合されている。図１８Ａ及び図１８Ｂに示したフローは、リアルタイムに、すなわち画像取得部４１が画像を取得する度に実行されてもよい。あるいは、図１８Ａ及び図１８Ｂに示したフローは、画像取得部４１によって数秒間～数十秒間に取得された複数フレームの撮像画像に対して実行されてもよい。
図１８Ａ及び図１８Ｂは、図１７に示した遠距離フローＳ２０７の詳細な流れを例示するフローチャートである。図１８Ａ及び図１８Ｂは、結合子Ｃ及び結合子Ｄによって結合されている。図１８Ａ及び図１８Ｂに示したフローは、リアルタイムに、すなわち画像取得部４１が画像を取得する度に実行されてもよい。あるいは、図１８Ａ及び図１８Ｂに示したフローは、画像取得部４１によって数秒間～数十秒間に取得された複数フレームの撮像画像に対して実行されてもよい。
【0127】
（ステップＳ７３１）
まず、音声出力部１は、図４のステップＳ１０５で検出された複数の対象者の氏名を、図１６のステップＳ１１３，Ｓ１１４，又はＳ１１５において決定された優先順位の順に、音声によりユーザ９０に報知する（Ｓ７３１）。これにより、ユーザ９０は、自分の近くにいる複数の対象者の氏名を、重要なものから順に知ることができる。
まず、音声出力部１は、図４のステップＳ１０５で検出された複数の対象者の氏名を、図１６のステップＳ１１３，Ｓ１１４，又はＳ１１５において決定された優先順位の順に、音声によりユーザ９０に報知する（Ｓ７３１）。これにより、ユーザ９０は、自分の近くにいる複数の対象者の氏名を、重要なものから順に知ることができる。
【0128】
検出された対象者の数が多すぎる場合、例えば５人以上、１０人以上等である場合、すべての対象者の氏名を読み上げていたのでは、その間にユーザ９０が対象者とすれ違ってしまい、円滑なコミュニケーションを行うことができないおそれがある。そこで、報知の対象となる対象者の数の上限値が予めＮ人と定められていてもよい。ここで、Ｎは、例えば２，３，４等の正の整数である。例えば、ステップＳ７３１では、音声出力部１は、優先順位がＮ番以下の対象者について、その氏名を音声によりユーザ９０に報知する。これにより、報知に要する時間を削減する等して調節し、ユーザ９０と対象者との間の円滑なコミュニケーションを図ることができる。
【0129】
（ステップＳ７３２）
次に、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７３２）。具体的には、振動部２は、第２振動パターンで振動することにより、対象者が観察距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。対象者の平均位置は、例えば、各対象者の位置の平均位置又は中心位置である。空間距離は、図１６のステップＳ５において距離測定部４５によって測定されたものである。各対象者の位置は、図７Ａを参照してステップＳ７０２において説明したように、例えば位置検出部４４によって検出される。
次に、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７３２）。具体的には、振動部２は、第２振動パターンで振動することにより、対象者が観察距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。対象者の平均位置は、例えば、各対象者の位置の平均位置又は中心位置である。空間距離は、図１６のステップＳ５において距離測定部４５によって測定されたものである。各対象者の位置は、図７Ａを参照してステップＳ７０２において説明したように、例えば位置検出部４４によって検出される。
【0130】
【0131】
（ステップＳ７３４）
対象者追跡部４３は、追跡過程において、検出又は追跡されていた複数の対象者のうちの少なくとも１人が、撮像画像内に映っているか否かを判断する（Ｓ７３４）。例えば、対象者追跡部４３は、複数の対象者のうちの少なくとも１人が現フレームに映っているか否かを判断する。複数の対象者のうちの少なくとも１人が撮像画像内に映っていると判断した場合（ステップＳ７３４でＹｅｓの場合）、ステップＳ７３５に進み、映っていないと判断した場合（ステップＳ７３４でＮｏの場合）、ステップＳ７５０に進む。
対象者追跡部４３は、追跡過程において、検出又は追跡されていた複数の対象者のうちの少なくとも１人が、撮像画像内に映っているか否かを判断する（Ｓ７３４）。例えば、対象者追跡部４３は、複数の対象者のうちの少なくとも１人が現フレームに映っているか否かを判断する。複数の対象者のうちの少なくとも１人が撮像画像内に映っていると判断した場合（ステップＳ７３４でＹｅｓの場合）、ステップＳ７３５に進み、映っていないと判断した場合（ステップＳ７３４でＮｏの場合）、ステップＳ７５０に進む。
【0132】
（ステップＳ７３５）
距離測定部４５は、対象者が知覚距離まで近付いたか否かを判断する（Ｓ７３５）。具体的には、距離測定部４５は、図１６のステップＳ５で用いたフレームでは観察距離にいた対象者が、後の時刻に撮像されたフレームにおいて知覚距離にいるか否かを判断する。対象者が知覚距離まで近付いた場合（ステップＳ７３５でＹｅｓの場合）、図１８ＢのステップＳ７３６に進み、対象者が知覚距離まで近付いていない場合（ステップＳ７３５でＮｏの場合）、ステップＳ７３３に戻る。対象者が知覚距離まで近付いていない場合、制御部４は、図１８Ａ及び図１７の処理を終了してもよい。
距離測定部４５は、対象者が知覚距離まで近付いたか否かを判断する（Ｓ７３５）。具体的には、距離測定部４５は、図１６のステップＳ５で用いたフレームでは観察距離にいた対象者が、後の時刻に撮像されたフレームにおいて知覚距離にいるか否かを判断する。対象者が知覚距離まで近付いた場合（ステップＳ７３５でＹｅｓの場合）、図１８ＢのステップＳ７３６に進み、対象者が知覚距離まで近付いていない場合（ステップＳ７３５でＮｏの場合）、ステップＳ７３３に戻る。対象者が知覚距離まで近付いていない場合、制御部４は、図１８Ａ及び図１７の処理を終了してもよい。
【0133】
（ステップＳ７３６）
図１８Ｂに示したステップＳ７３６では、ステップＳ７０６と同様に、表情特定部４６は、撮像画像に基づいて、複数の対象者のそれぞれの表情を特定する（Ｓ７３６）。
図１８Ｂに示したステップＳ７３６では、ステップＳ７０６と同様に、表情特定部４６は、撮像画像に基づいて、複数の対象者のそれぞれの表情を特定する（Ｓ７３６）。
【0134】
（ステップＳ７３７）
次に、音声出力部１は、ステップＳ７３６で表情特定部４６によって特定された表情に関する表情情報を、音声によりユーザ９０に報知する（Ｓ７３７）。ここで報知される表情情報は、複数の対象者のそれぞれに関する表情情報を平均化したものであってもよい。例えば、表情特定部４６は、「笑顔である」、「怒っている」、「無表情（中性表情）である」、「表情が不明である」、「マスクを装着している」等の表情情報を数値で表し、又はベクトルで表す等して、複数の対象者に関する表情情報の平均を求める。表情特定部４６は、マスク等の遮蔽物を装着している対象者についての表情情報を省き、遮蔽物を装着していない対象者についての表情情報のみを平均化してもよい。
次に、音声出力部１は、ステップＳ７３６で表情特定部４６によって特定された表情に関する表情情報を、音声によりユーザ９０に報知する（Ｓ７３７）。ここで報知される表情情報は、複数の対象者のそれぞれに関する表情情報を平均化したものであってもよい。例えば、表情特定部４６は、「笑顔である」、「怒っている」、「無表情（中性表情）である」、「表情が不明である」、「マスクを装着している」等の表情情報を数値で表し、又はベクトルで表す等して、複数の対象者に関する表情情報の平均を求める。表情特定部４６は、マスク等の遮蔽物を装着している対象者についての表情情報を省き、遮蔽物を装着していない対象者についての表情情報のみを平均化してもよい。
【0135】
（ステップＳ７３８）
次に、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７３８）。具体的には、振動部２は、第３振動パターンで振動することにより、対象者が知覚距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。
次に、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７３８）。具体的には、振動部２は、第３振動パターンで振動することにより、対象者が知覚距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。
【0136】
（ステップＳ７３９）
次に、動作特定部４７は、撮像画像に基づいて、複数の対象者の動作を特定する（Ｓ７３９）。動作特定処理ステップＳ７３９では、動作特定処理ステップＳ７０９と同様の処理が実行されてもよい。あるいは、複数用処理ステップＳ１０８の内部処理であるステップＳ７３９では、動作特定部４７は、対象者のうちの少なくとも１人がユーザ９０を見ているか否かを検出し（図９のステップＳ７０９１参照）、対象者の動作につき、ユーザ９０を見ていると特定してもよい。
次に、動作特定部４７は、撮像画像に基づいて、複数の対象者の動作を特定する（Ｓ７３９）。動作特定処理ステップＳ７３９では、動作特定処理ステップＳ７０９と同様の処理が実行されてもよい。あるいは、複数用処理ステップＳ１０８の内部処理であるステップＳ７３９では、動作特定部４７は、対象者のうちの少なくとも１人がユーザ９０を見ているか否かを検出し（図９のステップＳ７０９１参照）、対象者の動作につき、ユーザ９０を見ていると特定してもよい。
【0137】
（ステップＳ７４０）
次に、音声出力部１は、ステップＳ７３９で動作特定部４７によって特定された動作に関する動作情報を、音声によりユーザ９０に報知する（Ｓ７４０）。例えば、音声出力部１は、「対象者がこちらを見ている」、「対象者がこちらを見ていない」等の動作情報をユーザ９０に報知する。これにより、ユーザ９０は、対象者がこちらを見ているか否かを知ることができ、対象者と円滑なコミュニケーションを取ることができる。
次に、音声出力部１は、ステップＳ７３９で動作特定部４７によって特定された動作に関する動作情報を、音声によりユーザ９０に報知する（Ｓ７４０）。例えば、音声出力部１は、「対象者がこちらを見ている」、「対象者がこちらを見ていない」等の動作情報をユーザ９０に報知する。これにより、ユーザ９０は、対象者がこちらを見ているか否かを知ることができ、対象者と円滑なコミュニケーションを取ることができる。
【0138】
（ステップＳ７４１）
次に、距離測定部４５は、対象者が交流距離まで近付いたか否かを判断する（Ｓ７４１）。具体的には、距離測定部４５は、図１８ＡのステップＳ７３５で用いたフレームでは知覚距離にいた対象者が、後の時刻に撮像されたフレームにおいて交流距離にいるか否かを判断する。対象者が交流距離まで近付いた場合（ステップＳ７４１でＹｅｓの場合）、図１８ＢのステップＳ７４２に進み、対象者が交流距離まで近付いていない場合（ステップＳ７４１でＮｏの場合）、ステップＳ７３９に戻る。対象者が交流距離まで近付いていない場合、制御部４は、図１８Ｂ及び図１７の処理を終了してもよい。
次に、距離測定部４５は、対象者が交流距離まで近付いたか否かを判断する（Ｓ７４１）。具体的には、距離測定部４５は、図１８ＡのステップＳ７３５で用いたフレームでは知覚距離にいた対象者が、後の時刻に撮像されたフレームにおいて交流距離にいるか否かを判断する。対象者が交流距離まで近付いた場合（ステップＳ７４１でＹｅｓの場合）、図１８ＢのステップＳ７４２に進み、対象者が交流距離まで近付いていない場合（ステップＳ７４１でＮｏの場合）、ステップＳ７３９に戻る。対象者が交流距離まで近付いていない場合、制御部４は、図１８Ｂ及び図１７の処理を終了してもよい。
【0139】
（ステップＳ７４２）
次に、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７４２）。具体的には、振動部２は、第４振動パターンで振動することにより、対象者が交流距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。これにより、ユーザ９０は、対象者が交流距離にいることを知ることができ、対象者とコミュニケーションを開始することができる。
次に、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７４２）。具体的には、振動部２は、第４振動パターンで振動することにより、対象者が交流距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。これにより、ユーザ９０は、対象者が交流距離にいることを知ることができ、対象者とコミュニケーションを開始することができる。
【0140】
（ステップＳ７４３）
ステップＳ７４２の次に、例えばユーザ９０が対象者とのコミュニケーションを終えた後に、制御部４は、交流後処理を実行する（Ｓ７４３）。例えば、制御部４は、振動部２を制御して、すべての対象者がユーザ９０から離れたことを振動により報知する。これにより、ユーザ９０は、対象者が去ったことを知ることができ、対象者とのコミュニケーションの前に行っていた、目的地への移動等の行動を再開することができる。
ステップＳ７４２の次に、例えばユーザ９０が対象者とのコミュニケーションを終えた後に、制御部４は、交流後処理を実行する（Ｓ７４３）。例えば、制御部４は、振動部２を制御して、すべての対象者がユーザ９０から離れたことを振動により報知する。これにより、ユーザ９０は、対象者が去ったことを知ることができ、対象者とのコミュニケーションの前に行っていた、目的地への移動等の行動を再開することができる。
【0141】
交流後処理ステップＳ７４３は、図１０に示した交流後処理ステップＳ７１３と同様の処理であってもよい。ただし、複数用処理ステップＳ１０８内の交流後処理ステップＳ７４３では、単数用処理ステップＳ１０７内の交流後処理ステップＳ７１３と異なり、複数の対象者を追跡する。
【0142】
（ステップＳ７５０）
図１８Ａに戻り、ステップＳ７３４において少なくとも１人の対象者が撮像画像内に映っていないと判断した場合、制御部４は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する（Ｓ７５０）。ステップＳ７５０では、図７Ａに示したステップＳ７２０と同様の処理が実行されてもよい。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７５０でＹｅｓの場合）、ステップＳ７５１に進み、予め定められた期間以下である場合（ステップＳ７５０でＮｏの場合）、ステップＳ７３３に戻る。
図１８Ａに戻り、ステップＳ７３４において少なくとも１人の対象者が撮像画像内に映っていないと判断した場合、制御部４は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する（Ｓ７５０）。ステップＳ７５０では、図７Ａに示したステップＳ７２０と同様の処理が実行されてもよい。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７５０でＹｅｓの場合）、ステップＳ７５１に進み、予め定められた期間以下である場合（ステップＳ７５０でＮｏの場合）、ステップＳ７３３に戻る。
【0143】
（ステップＳ７５１）
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７５０でＹｅｓの場合）、振動部２は、すべての対象者を追跡できなくなった旨を、ユーザ９０に振動により報知する（Ｓ７５１）。具体的には、振動部２は、第５振動パターンで振動することにより、すべての対象者を追跡できなくなった旨をユーザ９０に報知する。これにより、ユーザ９０は、すべての対象者を追跡できなくなった旨、又はすべての対象者がユーザ９０の周辺から去ったことを知ることができる。ステップＳ７５１の後には、制御部４、報知部１０等の構成要素は、ユーザ９０に対し、対象者の検出前に行っていた通常動作である目的地へのナビゲーション動作等を再開してもよい。
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合（ステップＳ７５０でＹｅｓの場合）、振動部２は、すべての対象者を追跡できなくなった旨を、ユーザ９０に振動により報知する（Ｓ７５１）。具体的には、振動部２は、第５振動パターンで振動することにより、すべての対象者を追跡できなくなった旨をユーザ９０に報知する。これにより、ユーザ９０は、すべての対象者を追跡できなくなった旨、又はすべての対象者がユーザ９０の周辺から去ったことを知ることができる。ステップＳ７５１の後には、制御部４、報知部１０等の構成要素は、ユーザ９０に対し、対象者の検出前に行っていた通常動作である目的地へのナビゲーション動作等を再開してもよい。
【0144】
３－３－２－２．中距離フロー
図１９は、図１７に示した中距離フローＳ２０９の詳細な流れを例示するフローチャートである。中距離フローＳ２０９においては、前述の遠距離フローＳ２０７において説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、中距離フローＳ２０９は、ステップＳ７３１，Ｓ７３６～Ｓ７４０，Ｓ７４２，Ｓ７４３を含む。このようなステップについては、重複説明を省略する場合がある。図１９に示した中距離フローＳ２０９は、図１２に示した中距離フローＳ９と同様の処理であってもよい。ただし、複数用処理ステップＳ１０８内の中距離フローＳ２０９では、単数用処理ステップＳ１０７内の中距離フローＳ９と異なり、複数の対象者を処理対象とする。
図１９は、図１７に示した中距離フローＳ２０９の詳細な流れを例示するフローチャートである。中距離フローＳ２０９においては、前述の遠距離フローＳ２０７において説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、中距離フローＳ２０９は、ステップＳ７３１，Ｓ７３６～Ｓ７４０，Ｓ７４２，Ｓ７４３を含む。このようなステップについては、重複説明を省略する場合がある。図１９に示した中距離フローＳ２０９は、図１２に示した中距離フローＳ９と同様の処理であってもよい。ただし、複数用処理ステップＳ１０８内の中距離フローＳ２０９では、単数用処理ステップＳ１０７内の中距離フローＳ９と異なり、複数の対象者を処理対象とする。
【0145】
中距離フローＳ２０９では、まず、音声出力部１は、図４のステップＳ１０５で検出された複数の対象者の氏名を、図１６のステップＳ１１３，Ｓ１１４，又はＳ１１５において決定された優先順位の順に、音声によりユーザ９０に報知する（Ｓ７３１）。次に、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７３８）。具体的には、振動部２は、第３振動パターンで振動することにより、対象者が知覚距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。
【0146】
次に、表情特定部４６は、撮像画像に基づいて、複数の対象者のそれぞれの表情を特定する（Ｓ７３６）。次に、音声出力部１は、ステップＳ７３６で表情特定部４６によって特定された表情に関する表情情報を、音声によりユーザ９０に報知する（Ｓ７３７）。表情特定処理ステップＳ７３６は、対象者の氏名を報知するステップＳ７３１の前に実行されてもよい。
【0147】
次に、距離測定部４５は、対象者が交流距離まで近付いたか否かを判断する（Ｓ２９４）。ステップＳ２９４は、図７Ｂに示した前述のステップＳ７４１と同様のステップであってもよい。対象者が交流距離まで近付いたと判断した場合（ステップＳ２９４でＹｅｓの場合）、ステップＳ７４２に進み、対象者が交流距離まで近付いていないと判断した場合（ステップＳ２９４でＮｏの場合）、ステップＳ７３９に進む。
【0148】
対象者が交流距離まで近付いたと判断した場合（ステップＳ２９４でＹｅｓの場合）、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７４２）。具体的には、振動部２は、第４振動パターンで振動することにより、対象者が交流距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。
【0149】
次に、例えばユーザ９０が対象者とのコミュニケーションを終えた後に、制御部４は、交流後処理を実行する（Ｓ７４３）。
【0150】
ステップＳ２９４において対象者が交流距離まで近付いていないと判断した場合（ステップＳ２９４でＮｏの場合）、動作特定部４７は、撮像画像に基づいて、複数の対象者の動作を特定する（Ｓ７３９）。次に、音声出力部１は、ステップＳ７０９で動作特定部４７によって特定された動作に関する動作情報を、音声によりユーザ９０に報知する（Ｓ７４０）。
【0151】
３－３－２－３．近距離フロー
図２０は、図１７に示した近距離フローＳ２１１の詳細な流れを例示するフローチャートである。近距離フローＳ２１１においては、前述の遠距離フローＳ２０７において説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、近距離フローＳ２１１は、ステップＳ７３１，Ｓ７４２，Ｓ７４３を含む。このようなステップについては、重複説明を省略する場合がある。図２０に示した近距離フローＳ２１１は、図１４に示した近距離フローＳ１１と同様の処理であってもよい。ただし、複数用処理ステップＳ１０８内の近距離フローＳ２１１では、単数用処理ステップＳ１０７内の近距離フローＳ１１と異なり、複数の対象者を処理対象とする。
図２０は、図１７に示した近距離フローＳ２１１の詳細な流れを例示するフローチャートである。近距離フローＳ２１１においては、前述の遠距離フローＳ２０７において説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、近距離フローＳ２１１は、ステップＳ７３１，Ｓ７４２，Ｓ７４３を含む。このようなステップについては、重複説明を省略する場合がある。図２０に示した近距離フローＳ２１１は、図１４に示した近距離フローＳ１１と同様の処理であってもよい。ただし、複数用処理ステップＳ１０８内の近距離フローＳ２１１では、単数用処理ステップＳ１０７内の近距離フローＳ１１と異なり、複数の対象者を処理対象とする。
【0152】
近距離フローＳ２１１では、まず、音声出力部１は、図４のステップＳ１０５で検出された複数の対象者の氏名を、図１６のステップＳ１１３，Ｓ１１４，又はＳ１１５において決定された優先順位の順に、音声によりユーザ９０に報知する（Ｓ７３１）。次に、振動部２は、対象者との空間距離及び対象者の平均位置を、ユーザ９０に振動により報知する（Ｓ７４２）。具体的には、振動部２は、第４振動パターンで振動することにより、対象者が交流距離にいることと、対象者の平均位置とを、ユーザ９０に報知する。次に、例えばユーザ９０が対象者とのコミュニケーションを終えた後に、制御部４は、交流後処理を実行する（Ｓ７４３）。
【0153】
【0154】
まず、振動部２は、対象者を検出したことをユーザ９０に振動により報知する（Ｓ４）。具体的には、振動部２は、第１振動パターンで振動することにより、対象者を検出したことをユーザ９０に報知する。図２１のステップＳ４では、図１７に示したステップＳ２０４と異なり、第１振動パターンによる振動を複数回繰り返さなくてもよい。
【0155】
次に、音声出力部１は、最優先対象者よりユーザ９０の近くにいる対象者の氏名を音声によりユーザ９０に報知する（Ｓ１１９）。ここで、「最優先対象者」は、優先順位が１番である対象者を表す。優先順位は、例えば図１６のステップＳ１１７において決定された優先順位である。音声出力部１は、ユーザ９０から見て最優先対象者と同距離にいる対象者の氏名も報知してよい。ステップＳ１１９では、最優先対象者よりユーザ９０の近くにいる対象者がいない場合、報知処理を実行しなくてもよい。
【0156】
最優先対象者よりユーザ９０の近くにいる対象者の数が多すぎる場合、例えば５人以上、１０人以上等である場合、すべての対象者の氏名を読み上げていたのでは、その間にユーザ９０が最優先対象者とすれ違ってしまい、最優先対象者と円滑なコミュニケーションを行うことができないおそれがある。そこで、報知の対象となる対象者の数の上限値が予め定められていてもよい。例えば、ステップＳ１１９では、音声出力部１は、最優先対象者よりユーザ９０の近くにいる複数の対象者のうち、優先順位がＭ番以上である最優先対象者以外の対象者について、その氏名をユーザ９０に対して報知してもよい。ここで、Ｍは、２以上の整数である。この場合、最優先対象者よりユーザ９０の近くにいる複数の対象者に対して、ユーザ９０から近い者ほど高い優先順位が改めて設定されてもよい。あるいは、最優先対象者よりユーザ９０の近くにいる複数の対象者に対して、識別子の順序に従った優先順位が改めて設定されてもよい。
【0157】
制御部４は、例えば図１６のステップＳ５の測定の結果、カメラ３と最優先対象者との空間距離が観察距離であると判断した場合（ステップＳ３０６でＹｅｓの場合）、最優先対象者について遠距離フローＳ７を実行する。知覚スペースである場合（ステップＳ３０８でＹｅｓの場合）、最優先対象者について中距離フローＳ９を実行する。交流スペースである場合（ステップＳ３１０でＹｅｓの場合）、最優先対象者について近距離フローＳ１１を実行する。
【0158】
このように、第２処理ステップＳ１１８では、制御部４は、最優先対象者について単数用処理ステップＳ１０７と同様の処理を実行する。最優先対象者以外の対象者については、制御部４は、最優先対象者よりユーザ９０の近くにいる場合には氏名の報知を行うが、それ以外の場合には報知を行わない。このように、コミュニケーション支援装置１００は、優先順位が低い対象者に関して報知する情報を省き、ユーザ９０が対象者と円滑なコミュニケーションを取ることを支援することができる。
【0159】
３－４．複数用処理の例
図２２は、具体的な状況における複数用処理ステップＳ１０８の一例を示す模式図である。図２２は、対象者８０ａの優先度と対象者８０ｂの優先度との差が小さいと判断された状況（図１６のステップＳ１１０でＹｅｓの場合）を示している。また、対象者８０ａ，８０ｂはどちらも観察スペースにいるため、図２２は、カメラ３と各対象者との空間距離が同様である状況（図１６のステップＳ１１１でＹｅｓの場合）を示している。したがって、優先順位決定部４８は、対象者８０ａ，８０ｂに対して予め付与された識別子に基づいて、複数の対象者の優先順位を決定する（Ｓ１１３）。この例では、対象者８０ａの優先順位の方が対象者８０ｂの優先順位より高いものとする。
図２２は、具体的な状況における複数用処理ステップＳ１０８の一例を示す模式図である。図２２は、対象者８０ａの優先度と対象者８０ｂの優先度との差が小さいと判断された状況（図１６のステップＳ１１０でＹｅｓの場合）を示している。また、対象者８０ａ，８０ｂはどちらも観察スペースにいるため、図２２は、カメラ３と各対象者との空間距離が同様である状況（図１６のステップＳ１１１でＹｅｓの場合）を示している。したがって、優先順位決定部４８は、対象者８０ａ，８０ｂに対して予め付与された識別子に基づいて、複数の対象者の優先順位を決定する（Ｓ１１３）。この例では、対象者８０ａの優先順位の方が対象者８０ｂの優先順位より高いものとする。
【0160】
このような状況では、まず、振動部２は、ユーザ９０に対する注意喚起のために、第１パターンによる振動を例えば２回繰り返す（Ｓ２０４）。次に、音声出力部１は、対象者８０ａ，８０ｂの氏名を、優先順位の順に、音声によりユーザ９０に報知する（Ｓ７３１）。これとともに、振動部２は、カメラ３と対象者８０ａ，８０ｂとの空間距離及び対象者８０ａ，８０ｂの平均位置を、第２振動パターンで振動することにより報知する（Ｓ７３２）。
【0161】
その後、対象者８０ａ，８０ｂが知覚スペースに進入した場合、音声出力部１は、対象者８０ａ，８０ｂの表情情報を、音声によりユーザ９０に報知する（Ｓ７３７）。ここで報知される表情情報は、例えば、対象者８０ａについての表情情報と対象者８０ｂについての表情情報とを平均化したものである。これとともに、振動部２は、カメラ３と対象者８０ａ，８０ｂとの空間距離及び対象者８０ａ，８０ｂの平均位置を、第３振動パターンで振動することにより報知する（Ｓ７３８）。さらに、音声出力部１は、対象者８０ａ，８０ｂのうちの少なくとも１人がユーザ９０の方を見ているか否かを、音声によりユーザ９０に報知する（Ｓ７４０）。
【0162】
その後、対象者８０ａ，８０ｂが交流スペースに進入した場合、振動部２は、カメラ３と対象者８０ａ，８０ｂとの空間距離及び対象者８０ａ，８０ｂの平均位置を、第４振動パターンで振動することにより報知する（Ｓ７４２）。これにより、ユーザ９０は、対象者８０ａ，８０ｂが交流距離にいることを知ることができ、対象者８０ａ，８０ｂとコミュニケーションを開始することができる。ユーザ９０が対象者８０ａ，８０ｂとのコミュニケーションを終えた後、例えば、振動部２は、対象者８０ａ，８０ｂの両方がユーザ９０から離れたことを、第５振動パターンで振動することにより報知する（Ｓ７４３）。その後、制御部４、報知部１０等の構成要素は、ユーザ９０に対し、対象者８０ａ，８０ｂの検出前に行っていた通常動作である目的地へのナビゲーション動作等を再開してもよい。
【0163】
４．振動パターン
４－１．振動部の構成
図２３を参照して、振動部２及び振動部２の振動パターンの一例について説明する。図２３は、振動部２の構成例を示す図である。振動部２は、例えば、リュックサック７０の肩ベルトに取り付けられる。振動部２は、それぞれが制御部４からの制御信号に従って振動する２つ以上の振動要素を含む。図２３の例では、振動部２は、規則的に配列された第１～第６の振動要素２１～２６を備える。第１～第３の振動要素２１～２３は左肩ベルト７１に、第４～第６の振動要素２４～２６は右肩ベルト７２に取り付けられている。第１～第３の振動要素２１～２３は、左肩ベルト７１が延びる方向に整列している。第４～第６の振動要素２４～２６は、右肩ベルト７２が延びる方向に整列している。第１～第３の振動要素２１～２３は、本開示の「左振動要素」の一例である。第４～第６の振動要素２４～２６は、右肩ベルト７２が延びる方向に整列している。第１～第３の振動要素２１～２３は、本開示の「右振動要素」の一例である。
４－１．振動部の構成
図２３を参照して、振動部２及び振動部２の振動パターンの一例について説明する。図２３は、振動部２の構成例を示す図である。振動部２は、例えば、リュックサック７０の肩ベルトに取り付けられる。振動部２は、それぞれが制御部４からの制御信号に従って振動する２つ以上の振動要素を含む。図２３の例では、振動部２は、規則的に配列された第１～第６の振動要素２１～２６を備える。第１～第３の振動要素２１～２３は左肩ベルト７１に、第４～第６の振動要素２４～２６は右肩ベルト７２に取り付けられている。第１～第３の振動要素２１～２３は、左肩ベルト７１が延びる方向に整列している。第４～第６の振動要素２４～２６は、右肩ベルト７２が延びる方向に整列している。第１～第３の振動要素２１～２３は、本開示の「左振動要素」の一例である。第４～第６の振動要素２４～２６は、右肩ベルト７２が延びる方向に整列している。第１～第３の振動要素２１～２３は、本開示の「右振動要素」の一例である。
【0164】
４－２．第１振動パターン
第１振動パターンは、前述の例では、図５のステップＳ４等で説明したように、対象者を検出したことをユーザ９０に報知するための振動パターンである。第１振動パターンは、ユーザ９０への注意喚起の機能を有する。
第１振動パターンは、前述の例では、図５のステップＳ４等で説明したように、対象者を検出したことをユーザ９０に報知するための振動パターンである。第１振動パターンは、ユーザ９０への注意喚起の機能を有する。
【0165】
第１振動パターンでは、制御部４は、振動部２の第１～第６の振動要素２１～２６を順次振動させる。すなわち、第１振動パターンでは、制御部４は、第１の振動要素２１、第２の振動要素２２、第３の振動要素２３、第４の振動要素２４、第５の振動要素２５、第６の振動要素２６の順に振動させるよう制御を行う。ユーザ９０に背負われた状態のリュックサック７０を上方から見ると、第１振動パターンでは、第１～第６の振動要素２１～２６は反時計回りに順番に振動する。ユーザ９０は、反時計回りの振動を感じることにより、対象者が近くにいることを知ることができる。この反時計回りの振動は、１回又は複数回実行されてもよい。
【0166】
４－３．第２振動パターン
第２振動パターンは、前述の例では、図７ＡのステップＳ７０２等で説明したように、対象者が観察距離にいることと、対象者の位置とを、ユーザ９０に報知するための振動パターンである。
第２振動パターンは、前述の例では、図７ＡのステップＳ７０２等で説明したように、対象者が観察距離にいることと、対象者の位置とを、ユーザ９０に報知するための振動パターンである。
【0167】
例えば、振動部２の各振動要素２１～２６は、弱、中、強の３段階の振動強度で振動可能である。第２振動パターンでは、振動部２の各振動要素２１～２６は、例えば弱振動により、対象者が観察距離にいることをユーザ９０に報知する。あるいは、制御部４は、各振動要素２１～２６による振動の周波数、波形等の振動要素を変更することによって、対象者の位置をユーザ９０に知らせてもよい。
【0168】
対象者の位置については、例えば、振動部２は、対象者が左方にいる場合は、左肩ベルト７１に取り付けられた第１～第３の振動要素２１～２３のみを振動させることにより、対象者が左方にいることをユーザ９０に報知する。また、例えば、振動部２は、対象者が右方にいる場合は、右肩ベルト７２に取り付けられた第４～第６の振動要素２４～２６のみを振動させることにより、対象者が右方にいることをユーザ９０に報知する。また、例えば、振動部２は、対象者が正面方向にいる場合は、第１～第６の振動要素２１～２６のすべてを振動させる。
【0169】
このようにして、振動部２は、振動の強度と振動の位置とを制御することにより、対象者との空間距離及び対象者の位置の両方をユーザ９０にほぼ同時に報知することができる。
【0170】
４－４．第３振動パターン
第３振動パターンは、前述の例では、図７ＢのステップＳ７０８等で説明したように、対象者が知覚距離にいることと、対象者の位置とを、ユーザ９０に報知するための振動パターンである。第３振動パターンでは、振動部２の各振動要素２１～２６は、例えば中程度の強度の振動により、対象者が知覚距離にいることをユーザ９０に報知する。第３振動パターンは、前述の第２振動パターンと振動の強度が異なる以外は同様であるため、重複説明を省略する。
第３振動パターンは、前述の例では、図７ＢのステップＳ７０８等で説明したように、対象者が知覚距離にいることと、対象者の位置とを、ユーザ９０に報知するための振動パターンである。第３振動パターンでは、振動部２の各振動要素２１～２６は、例えば中程度の強度の振動により、対象者が知覚距離にいることをユーザ９０に報知する。第３振動パターンは、前述の第２振動パターンと振動の強度が異なる以外は同様であるため、重複説明を省略する。
【0171】
４－５．第４振動パターン
第４振動パターンは、前述の例では、図５Ｂ及び図１０のステップＳ７１２で説明したように、対象者が交流距離にいることと、対象者の位置とを、ユーザ９０に報知するための振動パターンである。第４振動パターンでは、振動部２の各振動要素２１～２６は、例えば強い強度の振動により、対象者が交流距離にいることをユーザ９０に報知する。第４振動パターンは、前述の第２振動パターン及び第３振動パターンと振動の強度が異なる以外は同様であるため、重複説明を省略する。
第４振動パターンは、前述の例では、図５Ｂ及び図１０のステップＳ７１２で説明したように、対象者が交流距離にいることと、対象者の位置とを、ユーザ９０に報知するための振動パターンである。第４振動パターンでは、振動部２の各振動要素２１～２６は、例えば強い強度の振動により、対象者が交流距離にいることをユーザ９０に報知する。第４振動パターンは、前述の第２振動パターン及び第３振動パターンと振動の強度が異なる以外は同様であるため、重複説明を省略する。
【0172】
４－６．第５振動パターン
第５振動パターンは、前述の例では、図７ＡのステップＳ７２１等で説明したように、追跡していた対象者を追跡できなくなったことをユーザ９０に報知するための振動パターンである。第５振動パターンにより、ユーザ９０は、対象者を追跡できなくなったこと、又は対象者がユーザ９０の周辺から去ったことを知ることができる。
第５振動パターンは、前述の例では、図７ＡのステップＳ７２１等で説明したように、追跡していた対象者を追跡できなくなったことをユーザ９０に報知するための振動パターンである。第５振動パターンにより、ユーザ９０は、対象者を追跡できなくなったこと、又は対象者がユーザ９０の周辺から去ったことを知ることができる。
【0173】
第５振動パターンでは、制御部４は、振動部２の第１～第６の振動要素２１～２６を、第１振動パターンとは異なる順序で順次振動させる。例えば、第５振動パターンでは、制御部４は、第６の振動要素２６、第５の振動要素２５、第４の振動要素２４、第３の振動要素２３、第２の振動要素２２、第１の振動要素２１の順に振動させるよう制御を行う。ユーザ９０に背負われた状態のリュックサック７０を上方から見ると、第５振動パターンでは、第１～第６の振動要素２１～２６は時計回りに順番に振動する。ユーザ９０は、時計回りの振動を感じることにより、対象者を追跡できなくなったこと、又は対象者がユーザ９０の周辺から去ったことを知ることができる。この時計回りの振動は、１回又は複数回実行されてもよい。
【0174】
また、第１～第５の振動パターンは、上記のものに限定されず、ユーザ９０が第１～第５の振動パターンを互いに区別できるものであればよい。例えば、第１～第５の振動パターンは、互いに異なる振動周期で振動するパターンであってもよい。
【0175】
４－７．変形例
図２３の例では、振動部２の第１～第６の振動要素２１～２６がリュックサック７０の肩ベルト７１，７２に取り付けられた例について説明した。しかしながら、本開示はこれに限定されず、ユーザ９０が第１～第５の振動パターンを互いに区別できればよい。例えば、振動部２の第１～第６の振動要素２１～２６は、ユーザ９０のベルト、リストバンド、腕時計、帽子等に取り付けられてもよい。振動部２の第１～第６の振動要素２１～２６は、スマートウェアに組み込まれてもよい。ここで、スマートウェアは、例えば、センサ、出力デバイス等を衣類等のウェアラブル素材に備え付けたウェアラブルデバイスである。振動部２の第１～第６の振動要素２１～２６は、スマートウェアを構成するスマートテキスタイル及び材料等に組み込まれる。
図２３の例では、振動部２の第１～第６の振動要素２１～２６がリュックサック７０の肩ベルト７１，７２に取り付けられた例について説明した。しかしながら、本開示はこれに限定されず、ユーザ９０が第１～第５の振動パターンを互いに区別できればよい。例えば、振動部２の第１～第６の振動要素２１～２６は、ユーザ９０のベルト、リストバンド、腕時計、帽子等に取り付けられてもよい。振動部２の第１～第６の振動要素２１～２６は、スマートウェアに組み込まれてもよい。ここで、スマートウェアは、例えば、センサ、出力デバイス等を衣類等のウェアラブル素材に備え付けたウェアラブルデバイスである。振動部２の第１～第６の振動要素２１～２６は、スマートウェアを構成するスマートテキスタイル及び材料等に組み込まれる。
【0176】
５．作用・効果
以上のように、本実施形態に係るコミュニケーション支援装置１００は、カメラ３と、対象者検出部４２と、優先度設定部４０と、優先順位決定部４８と、報知部１０とを備える。カメラ３は、ユーザ９０の周囲環境を撮像して撮像画像を取得する。
対象者検出部４２は、撮像画像内で予め定められた複数の対象者を検出する。
優先度設定部４０は、予め定められたユーザ９０と複数の対象者との関係に基づいて、複数の対象者のそれぞれに対して優先度を設定する。優先順位決定部４８は、設定された優先度に基づいて、複数の対象者の優先順位を決定する。報知部１０は、決定された優先順位に基づいて、複数の対象者に関する情報を選択してユーザ９０に対して報知する。
以上のように、本実施形態に係るコミュニケーション支援装置１００は、カメラ３と、対象者検出部４２と、優先度設定部４０と、優先順位決定部４８と、報知部１０とを備える。カメラ３は、ユーザ９０の周囲環境を撮像して撮像画像を取得する。
対象者検出部４２は、撮像画像内で予め定められた複数の対象者を検出する。
優先度設定部４０は、予め定められたユーザ９０と複数の対象者との関係に基づいて、複数の対象者のそれぞれに対して優先度を設定する。優先順位決定部４８は、設定された優先度に基づいて、複数の対象者の優先順位を決定する。報知部１０は、決定された優先順位に基づいて、複数の対象者に関する情報を選択してユーザ９０に対して報知する。
【0177】
コミュニケーション支援装置１００は、複数の対象者を検出した場合に、優先順位に基づいて情報を報知することにより、ユーザ９０に対して、適切な情報を、適切な順序で提供することができる。これにより、ユーザ９０は、対象者について適切な情報をタイムリーに受け取ることができ、対象者と円滑にコミュニケーションを行うことができる。
【0178】
優先度設定部４０は、予め登録されたユーザ９０のスケジュール５４を参照し、スケジュール５４に関係がある対象者に対して、他の対象者より高い優先度を設定してもよい。
【0179】
この構成により、ユーザ９０は、スケジュール５４に関係がある面会予定者等の対象者について適切な情報をタイムリーに受け取ることができ、対象者と円滑なコミュニケーションを行うことができる。
【0180】
コミュニケーション支援装置１００は、撮像画像に基づいて、カメラ３に対する複数の対象者のそれぞれの位置を検出する位置検出部４４を更に備えてもよい。報知部１０は、優先順位に基づいて、位置検出部４４によって検出された複数の対象者のうちの少なくとも１人の位置をユーザ９０に対して更に報知してもよい。
【0181】
この構成により、対象者が複数いる場合、ユーザ９０は、各対象者の位置を把握することができ、各対象者の位置に応じた円滑なコミュニケーションを行うことができる。
【0182】
コミュニケーション支援装置１００は、撮像画像に基づいて、複数の対象者のそれぞれとカメラ３との距離を測定する距離測定部４５を更に備えてもよい。優先順位決定部４８は、距離測定部４５によって測定された距離に更に基づいて優先順位を決定してもよい。
【0183】
この構成により、コミュニケーション支援装置１００は、複数の対象者につき、カメラ３との距離に基づいて、例えば近い者ほど高い優先順を付与する。これにより、ユーザ９０は、各対象者との距離に応じて、各対象者と円滑にコミュニケーションを行うことができる。
【0184】
優先順位決定部４８によって決定された複数の対象者の優先順位間に差がない場合、複数の対象者のそれぞれに対して予め付与された識別子に基づいて、複数の対象者の優先順位を決定してもよい。
【0185】
複数の対象者の優先順位間に差がない場合、例えば、優先度も距離も同様である場合、コミュニケーション支援装置１００は、識別子に基づいて優先順位を決定することにより、ユーザ９０に対して、情報を整理して提供することができる。これにより、ユーザ９０は、対象者について適切な情報をタイムリーに受け取ることができ、対象者と円滑にコミュニケーションを行うことができる。
【0186】
報知部１０は、優先順位がＮ（ここで、Ｎは、正の整数である。）番以下の対象者について、対象者を識別するための識別情報と、識別情報と異なる対象者に関する情報とをユーザ９０に対して報知してもよい。この場合、報知部１０は、優先順位がＮ＋１番以降の対象者に関する情報を報知しなくてもよい。
【0187】
コミュニケーション支援装置１００が検出した情報をすべて読み上げていたのでは、読み上げている間にユーザ９０が対象者とすれ違ってしまう可能性がある。これでは、ユーザ９０は、対象者と円滑なコミュニケーションを行うことができない。そこで、コミュニケーション支援装置１００は、優先順位がＮ＋１番以降の対象者についての情報の報知を省くことにより、ユーザ９０が対象者と円滑なコミュニケーションを取ることを支援する。
【0188】
報知部１０は、優先順位が１番である最優先対象者について、最優先対象者を識別するための識別情報と、識別情報と異なる最優先対象者に関する情報とをユーザ９０に対して報知してもよい。この場合、報知部１０は、優先順位がＭ（ここで、Ｍは、２以上の整数である。）番以上である最優先対象者以外の対象者について、対象者を識別するための識別情報をユーザ９０に対して報知してもよい。
【0189】
この構成により、コミュニケーション支援装置１００は、最優先対象者については多くの情報を報知する一方で、優先順位が２番～Ｍ番である対象者については識別情報を報知するに止める。このように、コミュニケーション支援装置１００は、ユーザ９０が優先順位の高い対象者と円滑なコミュニケーションを取ることを支援する。
【0190】
コミュニケーション支援装置１００は、距離測定部４５と、表情特定部４６と、動作特定部４７とを更に備えてもよい。距離測定部４５は、撮像画像に基づいて、複数の対象者のそれぞれとカメラ３との距離を測定する。表情特定部４６は、撮像画像に基づいて、複数の対象者のそれぞれの表情を特定する。動作特定部４７は、撮像画像に基づいて、複数の対象者のそれぞれの動作を特定する。報知部１０は、距離測定部４５によって測定された、優先順位が１番である最優先対象者とカメラ３との第１距離が、第１閾値以下の交流距離である場合、最優先対象者を識別するための識別情報を、音声によりユーザ９０に報知してもよい。第１距離が第１閾値より大きい場合、報知部１０は、表情特定部４６によって特定された表情に関する表情情報及び動作特定部４７によって特定された動作に関する動作情報のうちの少なくとも１つと、識別情報とを、音声によりユーザ９０に報知してもよい。
【0191】
この構成により、コミュニケーション支援装置１００は、最優先対象者とカメラ３との第１距離が第１閾値より大きい場合には、識別情報に加えて表情情報及び動作情報のうちの少なくとも１つを報知し、できる限り多くの情報をユーザ９０に報知する。一方、第１距離が小さい場合には、コミュニケーション支援装置１００が検出した情報をすべて読み上げていたのでは、読み上げている間にユーザ９０が対象者とすれ違ってしまう可能性がある。これでは、ユーザ９０は、対象者と円滑なコミュニケーションを行うことができない。そこで、コミュニケーション支援装置１００は、最優先対象者とカメラ３との第１距離が第１閾値以下である場合には、識別情報のみをユーザ９０に報知する。このように、コミュニケーション支援装置１００は、距離が小さい場合には報知する情報を省き、ユーザ９０が対象者と円滑なコミュニケーションを取ることを支援する。
【0192】
報知部１０は、距離測定部４５によって測定された距離が、第１閾値より長くかつ第２閾値以下である知覚距離である場合、表情情報及び動作情報のうちの１つと、識別情報とをユーザ９０に報知してもよい。報知部１０は、距離測定部４５によって測定された距離が、第２閾値より大きい観察距離である場合、表情情報と、動作情報と、識別情報とをユーザ９０に報知してもよい。
【0193】
このように、対象者とカメラ３との距離が短くなるに連れて、ユーザ９０に報知する情報を漸次省くことにより、ユーザ９０は、対象者と円滑なコミュニケーションを取ることができる。
【0194】
報知部１０は、対象者検出部によって検出された時点における、距離測定部４５によって測定された第１距離が知覚距離であった場合、識別情報を音声によりユーザ９０に報知した後に、表情情報及び動作情報のうちの一方を音声によりユーザ９０に報知してもよい。その後に距離測定部４５によって測定された第１距離が知覚距離であるときは、報知部１０は、表情情報及び動作情報のうちの他方を音声によりユーザ９０に報知してもよい。
【0195】
この構成により、知覚距離で初めて対象者が検出された場合であっても、対象者が交流距離まで近付かずに知覚距離に留まっているときには、ユーザ９０は、表情情報及び動作情報の両方を知ることができる。このように、状況に応じて十分な情報を受け取ることにより、ユーザ９０は、対象者と円滑なコミュニケーションを取ることができる。
【0196】
報知部１０は、距離測定部４５による検出結果を振動によりユーザ９０に報知する振動部２を更に備えてもよい。振動部２は、距離測定部４５によって検出された対象者とカメラ３との距離に応じて、振動のパターン及び大きさのうちの少なくとも一方を変更してもよい。
【0197】
振動部２により、コミュニケーション支援装置１００は、検出結果の一部又は全部を音声報知に比べて短時間でユーザ９０に報知することができる。また、音声による報知と振動による報知とを組み合わせることにより、コミュニケーション支援装置１００は、音声による報知のみを用いる場合に比べて、多くの情報を短時間でユーザ９０に伝えることができる。
【0198】
カメラ３は、ユーザ９０の周囲環境を時系列で撮像して複数の撮像画像を取得してもよい。この場合、コミュニケーション支援装置１００は、対象者検出部４２によって検出された対象者を複数の撮像画像において追跡する対象者追跡部４３を更に備えてもよい。振動部２は、振動可能な２つ以上の振動要素を備えてもよい。この場合、振動部２は、対象者追跡部４３が対象者を追跡している場合において、距離測定部４５によって検出された対象者とカメラ３との距離が予め定められたフィードバック距離であるときは、予め定められた順序で各振動要素を順次振動させてもよい。振動部２は、対象者追跡部４３が、追跡していた対象者を追跡できなくなった場合、予め定められた順序と異なる順序で各振動要素を順次振動させてもよい。
【0199】
２つ以上の振動要素が異なる順序で振動する振動パターンを有することにより、コミュニケーション支援装置１００は、様々な情報をユーザ９０に振動により報知することができる。ユーザ９０は、振動パターンの違いにより、対象者との距離がフィードバック距離であり、コミュニケーションの可能性があることと、追跡していた対象者を追跡できなくなったことと、の違いを認識することができる。
【0200】
振動要素は、規則的に配列された３つ以上の振動要素であってもよい。振動部２は、対象者追跡部４３が対象者を追跡している場合において、距離測定部４５によって検出された対象者とカメラ３との距離がフィードバック距離であるときは、配列順に各振動要素を順次振動させてもよい。対象者追跡部４３が、追跡していた対象者を追跡できなくなった場合、配列順と逆順に各振動要素を順次振動させてもよい。
【0201】
３つ以上の振動要素が異なる順序で振動する振動パターンを有することにより、２つ以下の振動要素しかない場合に比べて、ユーザ９０は、振動により報知される情報の違いをより明瞭に区別して認識することができる。
【0202】
コミュニケーション支援装置１００は、撮像画像に基づいて、カメラ３に対する対象者の位置を検出する位置検出部４４を更に備えてもよい。振動要素は、右振動要素と、左振動要素とを含んでもよい。振動部２は、位置検出部４４によって検出されたカメラ３に対する対象者の位置が、カメラ３の光軸より右方にある場合、右振動要素を振動させ、カメラ３の光軸より左方にある場合、左振動要素を振動させてもよい。
【0203】
この構成により、コミュニケーション支援装置１００は、対象者の相対位置をより明瞭にユーザ９０に振動により報知することができる。
【0204】
６．変形例
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。
【0205】
図２４は、コミュニケーション支援装置１００の出力態様の変形例を示す模式図である。上記実施形態では、特に視覚障がい者であるユーザ９０に対してコミュニケーション支援を行うコミュニケーション支援装置１００の出力態様について説明した。このような出力態様として、特に、音声による報知を行う音声出力部１と、振動による報知を行う振動部２と、を含む報知部１０について説明した。本開示の出力態様はこれらに限定されず、ユーザ９０に情報を報知できるものであればよい。例えば、コミュニケーション支援装置１００は、ユーザ９０に対して視覚的に報知を行うためのディスプレイ７を備えてもよい。
【0206】
上記の実施形態において、図４のステップＳ１０５では、対象者検出部４２が、ステップＳ１０４において検出された人が知人等の対象者であるか否かを検出することについて説明した。しかしながら、本開示の実施形態はこれに限定されない。例えば、対象者検出部４２は、スケジュール５４を参照し、ユーザ９０が特定の対象者と会う予定を有している場合、会う予定がある対象者のみを検出してもよい。この場合、対象者検出部４２は、会う予定がない他の対象者については検出しなくてもよい。これにより、すべての対象者について検出するために制御部４に重い処理負荷が加わることを防ぐことができる。
【符号の説明】
【0207】
１ 音声出力部
２ 振動部
３ カメラ（撮像部）
４ 制御部
５ 記憶部
６ 通信インタフェース
７ ディスプレイ
１０ 報知部
２１ 第１の振動要素
２２ 第２の振動要素
２３ 第３の振動要素
２４ 第４の振動要素
２５ 第５の振動要素
２６ 第６の振動要素
４０ 優先度設定部
４１ 画像取得部
４２ 対象者検出部
４３ 対象者追跡部
４４ 位置検出部
４５ 距離測定部
４６ 表情特定部
４７ 動作特定部
４８ 優先順位決定部
５１ 対象者データベース
５２ 表情データベース
５３ 動作データベース
７０ リュックサック
７１ 左肩ベルト
７２ 右肩ベルト
８０，８０ａ，８０ｂ 対象者
９０ ユーザ
１００ コミュニケーション支援装置
２ 振動部
３ カメラ（撮像部）
４ 制御部
５ 記憶部
６ 通信インタフェース
７ ディスプレイ
１０ 報知部
２１ 第１の振動要素
２２ 第２の振動要素
２３ 第３の振動要素
２４ 第４の振動要素
２５ 第５の振動要素
２６ 第６の振動要素
４０ 優先度設定部
４１ 画像取得部
４２ 対象者検出部
４３ 対象者追跡部
４４ 位置検出部
４５ 距離測定部
４６ 表情特定部
４７ 動作特定部
４８ 優先順位決定部
５１ 対象者データベース
５２ 表情データベース
５３ 動作データベース
７０ リュックサック
７１ 左肩ベルト
７２ 右肩ベルト
８０，８０ａ，８０ｂ 対象者
９０ ユーザ
１００ コミュニケーション支援装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】