特許 7456211 移動支援装置、移動支援方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-18

(45)【発行日】2024-03-27

(54)【発明の名称】移動支援装置、移動支援方法、及びプログラム

(51)【国際特許分類】

   A61F 9/08 20060101AFI20240319BHJP

   G01C 21/26 20060101ALI20240319BHJP

   G08G 1/005 20060101ALI20240319BHJP

   G09B 21/00 20060101ALI20240319BHJP

【ＦＩ】

A61F9/08 305

G01C21/26 P

G08G1/005

G09B21/00 A

【請求項の数】 6

(21)【出願番号】P 2020043948

(22)【出願日】2020-03-13

(65)【公開番号】P2021142211

(43)【公開日】2021-09-24

【審査請求日】2023-01-11

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100101454

【弁理士】

【氏名又は名称】山田 卓二

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(74)【代理人】

【識別番号】100091524

【弁理士】

【氏名又は名称】和田 充夫

(74)【代理人】

【識別番号】100172236

【弁理士】

【氏名又は名称】岩木 宣憲

(72)【発明者】

【氏名】山本 和夫

(72)【発明者】

【氏名】籔内 智浩

(72)【発明者】

【氏名】岩本 直人

(72)【発明者】

【氏名】ラマ・エンドリ

(72)【発明者】

【氏名】吉川 典雄

(72)【発明者】

【氏名】新美 陽平

【審査官】岡▲さき▼ 潤

(56)【参考文献】

【文献】特開２０１１－１１５４６０（ＪＰ，Ａ）

【文献】特開２０１９－００５５９１（ＪＰ，Ａ）

【文献】特開２００４－０７８３２０（ＪＰ，Ａ）

【文献】特開２００７－１０２４８８（ＪＰ，Ａ）

【文献】特開平１１－２２１２５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｆ ９／０８

Ｇ０１Ｃ ２１／２６

Ｇ０８Ｇ １／００５

Ｇ０９Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

自走可能に駆動されるロボットに搭載され、ユーザの移動を支援する移動支援装置であって、
前記ユーザの周囲の環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像に基づいて、前記ユーザに関する安全性の程度を示す安全度を算出する制御部と、
前記ユーザが実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザが安全に行うために必要な安全性の程度を示す必要安全度と、を対応させて格納する必要安全度テーブルを記憶する記憶部と、
前記予め定められた行動候補の中から前記ユーザが所望するものを選択する、前記ユーザによる選択操作の入力を受け付ける入力部と、
出力部とを備え、
前記制御部は、
前記選択操作の入力があった場合は、前記必要安全度テーブルから、選択された行動候補に対応する必要安全度を取得し、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満である場合は、前記選択された行動候補を前記ユーザが実現することを支援せず、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上である場合は、前記選択された行動候補を前記ユーザが実現することを支援するように前記出力部を制御する、
移動支援装置。

【請求項2】

前記制御部は、前記ユーザの移動を支援するように前記出力部を制御する通常モードと、前記選択された行動候補を前記ユーザが実現することを支援するように前記出力部を制御する要求実行モードとを切替可能に動作し、
前記制御部は、前記通常モードで動作している場合において、算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満であるときは、前記要求実行モードに動作を切り替えない一方で、算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上であるときは、前記要求実行モードに動作を切り替え、
前記制御部は、前記要求実行モードで動作している場合において、算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満であるときは、前記通常モードに動作を切り替える、
請求項１に記載の移動支援装置。

【請求項3】

前記制御部は、前記ユーザの周囲の環境の天候、明るさ、前記ユーザの足元の状態、前記ユーザの周囲の環境における障害物の有無、前記障害物の性質、前記ユーザの周囲の環境における移動体の有無、及び前記移動体の性質のうちの少なくとも１つに基づいて、前記安全度を算出する、請求項１又は２に記載の移動支援装置。

【請求項4】

前記制御部は、予め定められた情報を前記撮像画像から検出した場合であって、算出された前記安全度が予め定められた閾値以上であるときに、前記ユーザに対して報知を行うように前記出力部を制御する、請求項１～３のいずれか１項に記載の移動支援装置。

【請求項5】

自走可能に駆動されるロボットに搭載された制御部によって実行され、ユーザの移動を支援する移動支援方法であって、
前記制御部が、前記ユーザの周囲の環境を撮像して得られた撮像画像を取得するステップと、
前記制御部が、前記撮像画像に基づいて、前記ユーザに関する安全性の程度を示す安全度を算出するステップと、
前記制御部が、前記予め定められた行動候補の中から前記ユーザが所望するものを選択する、前記ユーザによる選択操作の入力を受け付けるステップと、
前記制御部が、選択操作の入力があった場合に、前記ユーザが実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザが安全に行うために必要な安全性の程度を示す必要安全度と、を対応させて格納した必要安全度テーブルから、選択された行動候補に対応する必要安全度を取得するステップとを含み、
前記制御部は、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満である場合は、前記選択された行動候補を前記ユーザが実現することを支援せず、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上である場合は、前記選択された行動候補を前記ユーザが実現することを支援するように出力を行う、
移動支援方法。

【請求項6】

請求項５に記載の移動支援方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ユーザの移動を支援する移動支援装置に関する。

【背景技術】

【0002】

特許文献１は、視覚障がい者用歩行支援システムを開示する。このシステムは、ステレオ画像から障害物の存在やその位置に関する情報を抽出し、その情報を情報伝達装置が音声情報または触覚情報によって発する。これにより、ユーザである視覚障がい者等は、障害物の存在やその位置や距離など、ナビゲーションに関する情報を、より具体的に把握することが可能となる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－３１８５９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の発明は、ユーザが所望する行動の入力を受け付けず、ナビゲーションのみを行う。また、特許文献１に記載の発明は、画像に基づいてユーザに関する安全性の程度を示す安全度を算出しない。

【課題を解決するための手段】

【0005】

本開示の一態様に係る移動支援装置は、
ユーザの移動を支援する移動支援装置であって、
前記ユーザの周囲の環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像に基づいて、前記ユーザに関する安全性の程度を示す安全度を算出する制御部と、
前記ユーザが実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザが安全に行うために必要な安全性の程度を示す必要安全度と、を対応させて格納する必要安全度テーブルを記憶する記憶部と、
前記予め定められた行動候補の中から前記ユーザが所望するものを選択する、前記ユーザによる選択操作の入力を受け付ける入力部と、
出力部とを備え、
前記制御部は、
前記選択操作の入力があった場合は、前記必要安全度テーブルから、選択された行動候補に対応する必要安全度を取得し、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満である場合は、前記選択された行動候補を前記ユーザが実現することを支援せず、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上である場合は、前記選択された行動候補を前記ユーザが実現することを支援するように前記出力部を制御する。

【発明の効果】

【0006】

本開示の一態様に係る移動支援装置は、ユーザの安全を担保し、安全度に応じて、ユーザが所望する行動の実現を支援することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態に係る移動支援装置の適用例を示す模式図である。

【図2】本実施形態に係る移動支援装置の構成例を示すブロック図である。

【図3】通常モードにおける移動支援装置の動作例を示すフローチャートである。

【図4】必要安全度テーブルの一例を示す図である。

【図5】要求実行モードにおける移動支援装置の動作例を示すフローチャートである。

【図6】通常モードにおける移動支援装置の動作の変形例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、添付の図面を参照して本開示に係る移動支援装置の実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

【0009】

１．適用例
図１は、本実施形態に係る移動支援装置１００の適用例を示す模式図である。移動支援装置１００は、例えばユーザ９０が行きたい場所まで自走して先導することにより、ユーザ９０の移動を支援するナビゲーション動作を行う。ナビゲーションとは、ユーザ９０を目的地まで導くことのみならず、ユーザ９０を安全な場所まで導くことをも含む。

【0010】

移動支援装置１００は、例えば、ＣＰＵ等の制御部４と、ボタン等の入力部１と、カメラ２と、ヘッドホン等の音声出力部３２とを備える。カメラ２は、本開示の撮像部の一例である。制御部４は、例えば、自走可能に駆動されるロボット９１に搭載される。ロボット９１は、図示のようなスーツケース型の形状を有してもよい。入力部１、カメラ２、及び音声出力部３２は、制御部４に有線接続又は無線接続されている。

【0011】

ユーザ９０は、移動中に、目的地へ辿り着くことだけでなく、様々な行動要求を持ち得る。例えば、ユーザ９０は、知人と話をすること等のコミュニケーションを所望することがある。ロボット９１が目的地へ向かうことだけを常に実行すると、例えば道中で立ち止まって知人と話をするというユーザ９０の行動要求を実現することができない。このような行動要求を実現するためには、移動支援装置１００は、例えば、移動中に知人等に出会った場合に、自動で停止し又は当該知人の近くにユーザ９０を誘導することが求められる。他方で、ユーザ９０が横断歩道にいる場合等、危険な状況にあっても常にユーザ９０の行動要求を実現することを優先すると、ユーザ９０の身体の安全が担保されない。

【0012】

そこで、移動支援装置１００は、入力部１を介して、ユーザ９０の行動要求を受け付ける。ユーザ９０は、例えば入力部１を操作して、予め定められた行動候補の中から、「知人と話をする」旨の行動を選択する。あるいは、ユーザ９０が「知人と話をしたい」旨を入力部１を用いて入力した場合、制御部４が、記憶部に格納されたテーブルの中から入力された情報に応じた行動を選択してもよい。移動支援装置１００の制御部４は、カメラ２によって撮像された画像に基づいて、ユーザ９０に関する安全性の程度を示す安全度Ｓを算出する。制御部４は、算出された安全度Ｓが、ユーザ９０が「知人と話をすること」を安全に実現するために必要な安全性の程度を示す必要安全度Ｔ未満である場合には、「知人と話をすること」の実現を支援せず、例えばそのままナビゲーションを継続する。制御部４は、安全度Ｓが必要安全度Ｔ以上である場合には、自動で停止し又は当該知人の近くにユーザ９０を誘導して、「知人と話をすること」の実現を支援してもよい。このようにして、移動支援装置１００は、ユーザ９０の安全を担保しつつ、ユーザ９０の行動要求の実現を図る。

【0013】

本開示は、例えば視覚障がい者であるユーザ９０の移動を支援する移動支援装置１００に適用可能である。例えば、移動支援装置１００は、カメラ２の撮像画像に基づいて、予め登録された知人を発見し、音声出力部３２を介して知人の存在をユーザ９０に報知する。ユーザ９０は、当該知人と会話がしたい旨の行動要求情報を入力部１を操作して制御部４に入力する。制御部４は、安全度Ｓが、その場で知人と会話をするために必要な必要安全度Ｔ未満である場合には、行動要求の実現を支援しない。制御部４は、安全度Ｓが必要安全度Ｔ以上である場合には、「知人と話をすること」の実現を支援してもよい。このようにして、移動支援装置１００は、ユーザ９０の安全を担保しつつ、ユーザ９０のコミュニケーション等の社会活動の実現を図る。

【0014】

ユーザ９０は、自律移動可能なロボットであってもよい。この場合、カメラ２、制御部４、及び音声出力部３２等の移動支援装置１００の構成要素は、ロボットに組み込まれてもよい。この場合、ロボットは、原則として目的地まで自走するが、カメラ２の撮像画像及び安全度Ｓに応じて、予め定められた行動候補の中から実際に実行するものを選択してもよい。これにより社会で人間とロボットが共存する場合でも、ロボットの安全を担保しつつ、ロボットと人間が円滑にコミュニケーションを取ることができる。

【0015】

２．構成例
図２は、本実施形態に係る移動支援装置１００の構成例を示すブロック図である。移動支援装置１００は、入力部１と、カメラ２と、出力部３と、制御部４と、記憶部５と、通信インタフェース（Ｉ／Ｆ）６とを備える。

【0016】

入力部１は、例えば、キーボード、タッチパッド、タッチパネル、ボタン、スイッチ、音声入力装置等の入力装置である。例えば、ユーザ９０は、入力部１を操作して、後述の行動要求情報を入力することができる。

【0017】

カメラ２は、ユーザ９０の周囲の環境を撮像して撮像画像を形成する撮像装置である。カメラ２は、例えば、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子によって撮像画像を形成する。カメラ２は、例えば、ユーザ９０が装着できるウェアラブルカメラである。カメラ２は、ロボット９１及びリュックサック等のユーザ９０の荷物等に搭載されてもよい。

【0018】

出力部３は、制御部４による制御に従って出力を行う出力装置である。出力部３は、例えば、表示部３１、音声出力部３２、及び駆動部３３を含む。表示部３１は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、及びプロジェクタ等の表示装置である。音声出力部３２は、例えば、スピーカ、イヤホン、及びヘッドホン等のオーディオ機器を含む。駆動部３３は、例えば、移動支援装置１００を移動させるためのモータ、車輪、及びステアリング等の駆動装置を含む。

【0019】

制御部４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて移動支援装置１００の各構成要素の制御を行う情報処理装置である。制御部４は、例えば、画像取得部４１と、画像解析部４２と、安全度算出部４３と、必要安全度決定部４４と、判断部４５と、出力制御部４６とを備える。画像取得部４１、画像解析部４２、安全度算出部４３、必要安全度決定部４４、判断部４５、及び出力制御部４６は、制御部４が必要なプログラムを実行することによって、それぞれが担当する処理を実行してもよい。このようなプログラムは、記憶部５に記憶されていてもよい。制御部４が必要なプログラムを実行する際は、記憶部５に記憶された対象となるプログラムをＲＡＭに展開する。制御部４は、ＲＡＭに展開された当該プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。各構成要素の動作例については後述する。

【0020】

記憶部５は、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶部５は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部５は、例えば、必要安全度テーブル５１、判断結果情報５２、及び制御部４が実行するプログラム等を記憶する。記憶部５は、目的地までの移動支援のために用いる地図データを記憶していてもよい。記憶部５は、ＲＡＭ等の主記憶装置を含んでもよい。

【0021】

通信インタフェース６は、移動支援装置１００と外部機器との通信接続を可能とするためのインタフェース回路を含む。通信インタフェース６は、例えば、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１又はＷｉ－Ｆｉ（登録商標）、ＬＴＥ、３Ｇ、４Ｇ、５Ｇ等の規格に従って通信を行う。通信インタフェース６は、ＵＳＢ(Universal Serial Bus)、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に従って通信を行うインタフェース回路であってもよい。例えば、制御部４は、通信インタフェース６及びネットワークを介して、外部サーバから地図データを取得することができる。

【0022】

移動支援装置１００は、例えばスーツケース、自走式のロボット等に搭載される。移動支援装置１００は、背負うなどしてユーザ９０が身に着けるウェアラブルな装置であってもよい。移動支援装置１００は、リュックサック等のバッグに取り付けられてもよい。

【0023】

本実施形態では、制御部４の各機能がＣＰＵによって実現される例について説明する。しかしながら、以上の機能の一部又は全部は、１又は複数の専用のプロセッサにより実現されてもよい。また、制御部４の構成要素に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。制御部４は、ＣＰＵ、ＭＰＵ、ＧＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。

【0024】

３．動作例
移動支援装置１００は、原則として、道案内等を行うことによってユーザ９０の移動を支援する通常モードで動作する。通常モードは、「ナビゲーションモード」とも呼ばれ得る。移動支援装置１００は、安全度Ｓ及びユーザ９０からの行動要求情報の入力等に応じて、通常モードと要求実行モードとを切り替えて動作する。以下、各モードにおける動作及びモードの切替えについて、図３及び図４を用いて説明する。

【0025】

３－１．通常モード
図３は、通常モードにおける移動支援装置１００の動作例を示すフローチャートである。図３に示した各処理は、例えば制御部４によって実行される。

【0026】

（ＳＴ１１）
まず、画像取得部４１は、カメラ２によって撮像された画像を取得する（ＳＴ１１）。カメラ２は、例えば所定のフレームレートでユーザ９０の周辺を撮影し、逐次、画像データを生成する。例えば、制御部４は、フレーム毎に図３のフローチャートに示した処理を実行する。

【0027】

（ＳＴ１２）
次に、画像解析部４２は、ステップ（ＳＴ）１１で取得された画像を解析して、画像内の障害物、目標物、人等の物体を検出する（ＳＴ１２）。画像解析部４２は、検出された物体の位置及び状態等を分析してもよい。例えば、画像解析部４２は、自動車等の移動体の進行方向、及び人の目線の向き等を検出する。

【0028】

（ＳＴ１３）
次に、安全度算出部４３は、画像に基づいて、安全度Ｓを算出する（ＳＴ１３）。具体的には、安全度算出部４３は、ＳＴ１２の画像解析の結果に基づいて、安全度Ｓを算出する。例えば、安全度算出部４３は、第１～第５の指標Ｓ１～Ｓ５を総合的に勘案して安全度Ｓを算出する。ここで、第１～第５の指標Ｓ１～Ｓ５は、例えば０から１までの値を取り得るものであり、安全度算出部４３によって以下のようにして決定される。

【0029】

例えば、第１の指標Ｓ１は、ユーザ９０の周囲の環境の天候、明るさ等に基づいて決定される。例えば、安全度算出部４３は、天候が雪で周囲が暗い場合に第１の指標Ｓ１を０とし、天候が晴れで周囲が明るい場合には第１の指標Ｓ１を１とする。第１の指標Ｓ１は、周囲が明るければ明るい程高い値を取るものに限定されない。例えば、周囲の環境が明るすぎてユーザ９０が眩しいと感じると想定される場合、安全度算出部４３は、第１の指標Ｓ１を低レベル値、例えば０．１に設定してもよい。

【0030】

例えば、第２の指標Ｓ２は、ユーザ９０の足元の状態に基づいて算出される。例えば、安全度算出部４３は、ユーザ９０の足元が濡れている場合や階段である場合には第２の指標Ｓ２を小さい値に設定し、ユーザ９０の足元が乾いた平らな地面である場合には第２の指標Ｓ２を大きい値に設定する。

【0031】

例えば、第３の指標Ｓ３は、ユーザ９０の周囲の環境における障害物の有無及び障害物の性質に基づいて算出される。例えば、安全度算出部４３は、ユーザ９０の周囲の環境に障害物がない場合に第３の指標Ｓ３を１とする。これに対して、ユーザ９０の周囲の環境に重機等の危険な障害物がある場合には、安全度算出部４３は、第３の指標Ｓ３を小さい値に設定する。

【0032】

例えば、第４の指標Ｓ４は、ユーザ９０の周囲の環境における移動体の有無、性質、移動速度及び移動方向等に基づいて算出される。例えば、安全度算出部４３は、ユーザ９０の周囲の環境に移動体がない場合に第４の指標Ｓ４を１とする。これに対して、安全度算出部４３は、ユーザ９０の周囲の環境に移動する自動車等の移動体がある場合には、第４の指標Ｓ４を小さい値に設定し、このような移動体が高速でユーザ９０の方向に向かっている場合には、第４の指標Ｓ４を更に小さい値に設定する。

【0033】

例えば、第５の指標Ｓ５は、ユーザ９０の周囲の人々の有無、移動速度、移動方向に基づいて算出される。例えば、安全度算出部４３は、ユーザ９０が混雑する路上や交差点内にいる場合には第５の指標Ｓ５を小さい値に設定する。

【0034】

以上のような第１～第５の指標Ｓ１～Ｓ５に基づいて、安全度算出部４３は、安全度Ｓを算出する。例えば、安全度算出部４３は、第１～第５の指標Ｓ１～Ｓ５の総和を安全度Ｓとしてもよい。安全度Ｓは、０～１の値を取るように正規化されてもよい。例えば、安全度算出部４３は、第１～第５の指標Ｓ１～Ｓ５の総和に１／５を乗じて正規化した値を安全度Ｓとしてもよい。あるいは、安全度算出部４３は、第１～第５の指標Ｓ１～Ｓ５のそれぞれに異なる重み付けをし、重み付けされた後の指標の総和を安全度Ｓとしてもよい。なお、安全度算出部４３は、必ず第１～第５の指標Ｓ１～Ｓ５のすべてを用いて安全度Ｓを算出しなければならないわけではなく、これらの指標のうちの１つ以上を用いて安全度Ｓを算出するものであってもよい。また、安全度算出部４３は、５つを超える数の指標を用いて安全度Ｓを算出してもよい。

【0035】

（ＳＴ１４，ＳＴ１５）
ＳＴ１３の次に、必要安全度決定部４４は、行動要求情報の入力があった場合（ＳＴ１４でＹｅｓ）、必要安全度テーブル５１から、行動要求情報が示す行動要求を安全に実現するために必要な必要安全度Ｔを取得する（ＳＴ１５）。

【0036】

ここで、必要安全度Ｔは、行動要求情報が示す行動をユーザ９０が安全に行うために必要な安全性の程度を示す指標である。また、行動要求情報の入力があった場合（ＳＴ１４でＹｅｓの場合）とは、ユーザ９０が実行し得る行動として予め定められた行動候補の中から、ユーザ９０が所望するものを選択する、ユーザ９０による選択操作の入力があった場合を含む。ユーザ９０が自律移動可能なロボットである場合には、行動要求情報の入力があった場合（ＳＴ１４でＹｅｓの場合）とは、ユーザ９０が、実行し得る行動として予め定められた行動候補の中から、１つ又は複数のものを選択する処理を行った場合を含む。また、必要安全度テーブル５１から、行動要求情報が示す行動要求を安全に実現するために必要な必要安全度Ｔを取得すること（ＳＴ１５）は、必要安全度テーブル５１から、選択操作の入力によって選択された行動候補に対応する必要安全度Ｔを取得することを含む

【0037】

行動要求情報は、ユーザ９０によって、入力部１を介して制御部４に入力される。ユーザ９０は、例えばキーボード、タッチパッド、タッチパネル、ボタン、スイッチ、音声入力装置等の入力部１を操作して、所望の行動を示す行動要求情報を入力する。あるいは、ユーザ９０は、入力部１を操作して、ユーザ９０が実行し得る行動として予め定められた行動候補の中から、所望の行動に対応するものを選択する。例えば、行動要求情報又は予め定められた行動候補は、「立ち止まって知人と話をしたい」、「休憩したい」、「ベンチに座りたい」、「トイレに行きたい」、「現在地を確認したい」、「知人を探してほしい」、「バスに間に合いたい」等の情報を含む。

【0038】

図４は、必要安全度テーブル５１の一例を示す図である。必要安全度テーブル５１には、予め定められた行動候補と、予め定められた行動候補が示す行動をユーザ９０が安全に行うために必要な安全性の程度を示す必要安全度と、が対応付けられて格納されている。図４の例示した必要安全度テーブル５１には、「立ち止まって話をする」、「休憩をする」、「ベンチに座る」、「トイレに行く」、「現在地を確認する」、「知人を探す」、「希望時刻のバスに乗る」という予め定められた行動候補が格納されている。各行動候補には、必要安全度Ｔ１～Ｔ７がそれぞれ対応付けられている。

【0039】

必要安全度Ｔ１～Ｔ７は、例えば、対応する行動候補をユーザ９０が安全に実行することの困難の程度、及び／又は、ＳＴ１３において安全度Ｓを算出したのと同様の指標に基づいて予め定められる。例えば、現在地を確認することを実現するには、音声出力部３２を用いてユーザ９０に情報を提供するのみで足り、安全に実行することの困難の程度は小さいため、現在地を確認するために必要な必要安全度Ｔ５は、低レベルの値に設定される。また、例えば、発車間近の希望時刻のバスに乗ることを実現するには、ユーザ９０の高速移動が必要であり、安全に実行することの困難の程度が大きい。したがって、発車間近の希望時刻のバスに乗るために必要な必要安全度Ｔ７は、高レベルの値に設定される。また、例えば、立ち止まって話をすることは、周囲に自動車、自転車等の移動体がない限り安全に実行できると考えられる。したがって、立ち止まって話をするために必要な必要安全度Ｔ１は、前述のユーザ９０の周囲の環境における移動体の有無、性質、移動速度及び移動方向等に基づいて算出される第４の指標Ｓ４のみについての閾値として設定されてもよい。このように、行動候補の性質に応じて、必要安全度Ｔに含まれる前述のような５つの指標についての閾値がそれぞれ異なる態様で重み付けされてもよい。

【0040】

（ＳＴ１６～１８）
ＳＴ１５の次に、判断部４５は、ＳＴ１３において安全度算出部４３によって算出された安全度Ｓが、ＳＴ１５で取得された必要安全度Ｔ以上であるか否かを判断する（ＳＴ１６）。安全度Ｓが必要安全度Ｔ以上である場合（ＳＴ１６でＹｅｓ）、制御部４の動作モードは、現状の通常モードから、ＳＴ１４で選択された行動候補をユーザ９０が実現することを支援する要求実行モードへ移行する（ＳＴ１７）。要求実行モードは、ＳＴ１４で入力された行動要求情報に対応する行動をユーザ９０が実現することを支援する動作を行う。安全度Ｓが必要安全度Ｔ未満である場合（ＳＴ１６でＮｏ）、制御部４の動作モードは、現状の通常モードから変わらず、制御部４は、道案内等を行うことによってユーザ９０の移動を支援する通常動作を行う（ＳＴ１８）。

【0041】

通常動作は、例えば出力制御部４６によって制御される。例えば、出力制御部４６は、出力部３の表示部３１を制御して、ディスプレイ等の表示部３１に表示された地図の中に、目的地と目的地までの経路とを表示する。これにより、ユーザ９０は、目的地及び経路を確認することができる。出力制御部４６は、出力部３の音声出力部３２を制御して、音声により道案内を行ってもよい。出力制御部４６は、モータ、車輪、及びステアリング等の出力部３の駆動部３３を制御して、移動支援装置１００を目的地に向けて移動させてもよい。

【0042】

このように、安全度Ｓが必要安全度Ｔ未満である場合（ＳＴ１６でＮｏ）、制御部４は、ＳＴ１４で選択された行動候補をユーザ９０が実現することを支援しない。言い換えれば、安全度Ｓが必要安全度Ｔ未満である場合（ＳＴ１６でＮｏ）、移動支援装置１００は、ユーザ９０の要求に従った出力を実行しない。このような場合にユーザ９０の要求に従った出力を実行すると、ユーザ９０の安全が担保されないおそれがある。移動支援装置１００は、ユーザ９０の要求に従った出力を実行しないことにより、ユーザ９０の安全を担保することができる。

【0043】

制御部４は、ＳＴ１８を実行した後は、ＳＴ１１に戻り、図３に示したフローを繰り返す。すなわち、図３に示したフローは、ＳＴ１７に進んで要求実行モードに移行しない限り、一定の周期で繰り返される。このようにして、ＳＴ１１の画像取得ステップが所定のフレームレートで繰り返される。

【0044】

ＳＴ１４で判断される行動要求情報の入力は、移動支援装置１００によるナビゲーション中にユーザ９０の操作によって行われてもよいが、本開示はこれに限定されない。例えば、行動要求情報の入力は、ナビゲーション動作の前に行われてもよい。例えば、ユーザ９０は、自宅において、「友人にあった場合には通知してほしい」旨の行動要求情報を予め移動支援装置１００に入力しておいてもよい。入力された行動要求情報は、例えば記憶部５に記憶される。

【0045】

３－２．要求実行モード
図５は、要求実行モードにおける移動支援装置１００の動作例を示すフローチャートである。図５に示した各処理は、例えば制御部４によって実行される。

【0046】

図５のＳＴ２１～２３は、図４のＳＴ１１～１３と同様である。すなわち、画像取得部４１は、カメラ２によって撮像された画像を取得する（ＳＴ２１）。画像解析部４２は、ＳＴ２１で取得された画像を解析して、画像内の障害物、目標物、人等の物体を検出する（ＳＴ２２）。安全度算出部４３は、画像に基づいて、安全度Ｓを算出する（ＳＴ２３）。具体的には、安全度算出部４３は、ＳＴ１２の画像解析の結果に基づいて、安全度Ｓを算出する。

【0047】

次に、判断部４５は、ＳＴ２３において安全度算出部４３によって算出された安全度Ｓが、図４のＳＴ１４で選択された行動候補を安全に実現するために必要な必要安全度Ｔ以上であるか否かを判断する（ＳＴ２４）。必要安全度Ｔは、例えば、図４の通常モードのＳＴ１５で取得されたものである。安全度Ｓが必要安全度Ｔ未満である場合（ＳＴ２４でＮｏ）、制御部４は、動作モードを、現状の要求実行モードから通常モードへ移行させる（ＳＴ２７）。安全度Ｓが必要安全度Ｔ以上である場合（ＳＴ２４でＹｅｓ）、次のＳＴ２５に進む。

【0048】

ＳＴ２５では、制御部４は、図４のＳＴ１４で選択された行動候補の実行が完了したか否かを判断する（ＳＴ２５）。このようにして、制御部４は、現在実行している行動要求が完了したか否かを判断する。行動要求の実行が完了したと判断した場合（ＳＴ２５でＹｅｓ）、制御部４は、動作モードを、現状の要求実行モードから通常モードへ移行させる（ＳＴ２７）。動作モードの変更は、ユーザ９０が入力部１を操作することによって、手動で変更されてもよい。

【0049】

ＳＴ２５において行動要求の実行が完了していないと判断した場合（ＳＴ２５でＮｏ）、制御部４は、行動要求を実現するための処理を実行し、又は現在実行している当該処理を継続する（ＳＴ２６）。

【0050】

制御部４は、ＳＴ２６を実行した後は、ＳＴ２１に戻り、図３に示したフローを繰り返す。すなわち、図３に示したフローは、ＳＴ２７に進んで要求実行モードに移行しない限り、一定の周期で繰り返される。このようにして、ＳＴ２１の画像取得ステップが所定のフレームレートで繰り返される。

【0051】

以上の説明では、図４の通常モード及び図５の要求実行モードの両方で画像取得ステップ、画像解析ステップ、及び安全度Ｓの算出ステップが行われる例について説明した。しかしながら、本開示はこれに限定されない。例えば、制御部４は、画像取得ステップ、画像解析ステップ、及び安全度Ｓの算出ステップについては常に所定の周期で実行する一方で、通常モードと要求実行モードとの間の移行を制御するステートマシン等の状態遷移処理を並列に実行してもよい。

【0052】

４．作用・効果
以上のように、本実施形態では、ユーザ９０の移動を支援する移動支援装置１００が提供される。移動支援装置１００は、カメラ２と、制御部４と、記憶部５と、入力部１と、出力部３とを備える。カメラ２は、ユーザ９０の周囲の環境を撮像して撮像画像を取得する（ＳＴ１１）。制御部４は、撮像画像に基づいて、ユーザ９０に関する安全性の程度を示す安全度Ｓを算出する（ＳＴ１３）。記憶部５は、必要安全度テーブル５１を記憶する。必要安全度テーブル５１には、ユーザ９０が実行し得る行動として予め定められた行動候補と、予め定められた行動候補が示す行動をユーザ９０が安全に行うために必要な安全性の程度を示す必要安全度Ｔと、が対応付けられて格納される。入力部１は、ユーザ９０による選択操作の入力を受け付ける。ユーザ９０は、選択操作により、予め定められた行動候補の中からユーザ９０が所望するものを選択する。制御部４は、選択操作の入力があった場合（ＳＴ１４でＹｅｓの場合）は、必要安全度テーブル５１から、選択された行動候補に対応する必要安全度Ｔを取得する（ＳＴ１５）。制御部４は、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ未満である場合（ＳＴ１４でＮｏの場合）は、選択された行動候補をユーザ９０が実現することを支援しない。制御部４は、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ以上である場合（ＳＴ１４でＹｅｓの場合）は、選択された行動候補をユーザ９０が実現することを支援するように出力部３を制御する。

【0053】

この安全度Ｓが必要安全度Ｔ未満である場合に選択された行動候補をユーザ９０が実現すると、ユーザの安全が担保されないおそれがある。移動支援装置１００は、上記のような構成により、安全度Ｓが必要安全度Ｔ未満である場合には、選択された行動候補をユーザ９０が実現することを支援せず、ユーザ９０の安全を担保することができる。その一方で、移動支援装置１００は、安全度Ｓが必要安全度Ｔ以上である場合には、選択された行動候補をユーザ９０が実現することを支援する。このようにして、移動支援装置１００は、ユーザ９０の安全を担保しつつ、ユーザ９０の要求の実現を図る。

【0054】

制御部４は、ユーザ９０の移動を支援するように出力部３を制御する通常モードと、選択された行動候補をユーザ９０が実現することを支援するように出力部３を制御する要求実行モードとを切替可能に動作してもよい。制御部４は、通常モードで動作している場合において、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ未満であるときは、要求実行モードに動作を切り替えなくてもよい。その一方で、制御部４は、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ以上であるときは、要求実行モードに動作を切り替えてもよい。制御部４は、要求実行モードで動作している場合において、算出された安全度Ｓが、選択された行動候補に対応する必要安全度Ｔ未満であるときは、通常モードに動作を切り替えてもよい。

【0055】

移動支援装置１００は、このようにモードを切り替えて動作することにより、ユーザ９０の安全を担保しつつ、ユーザ９０の要求の実現を図ることができる。

【0056】

制御部４は、ユーザ９０の周囲の環境の天候、明るさ、ユーザ９０の足元の状態、ユーザ９０の周囲の環境における障害物の有無、障害物の性質、ユーザ９０の周囲の環境における移動体の有無、及び周囲の環境における移動体の性質のうちの少なくとも１つに基づいて、安全度Ｓを算出してもよい。

【0057】

このようにユーザ９０の周囲の環境の具体的な状況に即して安全度Ｓを算出することにより、具体的な状況に応じて適切にユーザ９０の安全を確保することができる。また、安全度Ｓが高く適切な場合にユーザ９０の要求の実現を図ることができる。

【0058】

５．変形例
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。

【0059】

５－１．第１変形例
図６は、通常モードにおける移動支援装置１００の動作の変形例を示すフローチャートである。図６のフローチャートは、図３のフローチャートと比較して、ＳＴ３１～３３を更に含む。図６では、ＳＴ１３の後、制御部４は、予め定められた情報を撮像画像から検出したか否かを判断する（ＳＴ３１）。予め定められた情報は、例えば、知人の顔、目的地の目印、信号機、道路標識等の種々の情報を含む。このような情報は、例えば記憶部５に予め格納されている。

【0060】

予め定められた情報を検出した場合（ＳＴ３１でＹｅｓの場合）は、制御部４は、安全度Ｓが充分に高いか否かを判断する（ＳＴ３２）。例えば、制御部４は、安全度Ｓが予め定められた閾値以上であるか否かを判断する。安全度Ｓが充分に高い場合（ＳＴ３２でＹｅｓの場合）は、制御部４は、出力部３を制御して、予め定められた情報を検出した旨及びその情報の内容をユーザ９０に対して報知させる（ＳＴ３３）。報知した後は、ＳＴ１４に進む。

【0061】

このように、制御部４は、予め定められた情報を撮像画像から検出した場合（ＳＴ３１でＹｅｓの場合）であって、算出された安全度Ｓが予め定められた閾値以上であるとき（ＳＴ３２でＹｅｓのとき）に、ユーザ９０に対して報知を行う（ＳＴ３３）ように出力部３を制御するものであってもよい。予め定められた情報は、例えば記憶部５に格納されている。

【0062】

これにより、ユーザ９０は、報知により予め定められた情報を知ることができ、この情報に基づいて、選択操作により、予め定められた行動候補の中からユーザ９０が所望するものを選択することができる。

【0063】

ＳＴ３１において予め定められた情報を検出しなかった場合（ＳＴ３１でＮｏの場合）は、ＳＴ１４に進む。

【0064】

ＳＴ３２において安全度Ｓが充分に高いと判断しなかった場合（ＳＴ３２でＮｏの場合）は、報知を行わずにＳＴ１４に進む。このような場合は、制御部４は、例えば安全度Ｓが高くなるように安全な場所への移動等を優先する。また、安全度Ｓが充分に高くない場合に報知を行うと、ユーザ９０が危険に対する意識を逸らすことがあり、ユーザ９０に危害が及ぶ可能性が高まる。このようなおそれを防止するために、制御部４は、安全度Ｓが充分に高くない限り、ユーザ９０に対する報知を行わない。

【0065】

５－２．第２変形例
図２に示すように、制御部４の判断部４５は、判断結果情報５２を記憶部５に格納してもよい。判断結果情報５２は、判断部４５による判断に用いられた要素及び判断の結果を示す情報を含んでもよい。例えば、判断結果情報５２は、周囲環境の状況と、その状況におけるユーザ９０の行動要求情報と、安全度Ｓと、必要安全度Ｔと、を対応付けて格納する判断結果テーブルである。周囲環境の状況は、例えば、画像取得部４１によって取得された撮像画像及び画像解析部４２による解析結果が有する情報である。

【0066】

制御部４による図３のＳＴ１６又は図５のＳＴ２４の判断は、人が行うもの異なる場合がある。例えば、ユーザ９０の同伴者からみるとユーザ９０の要求を実現しても安全であることが明白であるにもかかわらず、判断部４５が図３のＳＴ１６又は図５のＳＴ２４において安全度Ｓが必要安全度Ｔ未満であると判断する（Ｎｏと判断する）ことがある。このような場合、制御部４は、判断結果テーブル内の情報と、ユーザ９０の同伴者による判断とを用いて機械学習を行い、学習済みモデルを生成してもよい。ユーザ９０の同伴者による判断は、例えば入力部１を用いて制御部４に入力される。

【0067】

このような学習済みモデルは、例えば、制御部４が、畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）等のモデル（学習アルゴリズム）に対して、機械学習を行うことによって生成される。機械学習の一例は、ユーザ９０の同伴者による判断を教師データとし、画像取得部４１によって取得された撮像画像と、安全度Ｓとの関係を学習させる教師あり学習である。ＣＮＮのようなモデルの教師あり学習は、例えば誤差逆伝播法を利用して、制御部４によって行われる。

【0068】

このように、機械学習を行うことにより、安全度Ｓが適切に算出されるようになり、判断部４５による判断結果が正確になる。例えば、ユーザ９０の要求を実現しても安全であることが明白である場合に、判断部４５が図３のＳＴ１６又は図５のＳＴ２４において安全度Ｓが必要安全度Ｔ未満であると判断することがなくなる。

【0069】

他の機械学習の例として、制御部４は、周囲環境の状況と、ＳＴ１４で入力された行動要求情報との関係を学習してもよい。これにより、移動支援装置１００がユーザ９０の嗜好に合うように最適化でき、使用をし続けることによってユーザ９０による要求の入力回数を減少させることができる。例えば、ユーザ９０が特定の時刻に発車するバスに乗りたいと毎朝要求し続けたとする。その場合、制御部４は、学習の結果、朝の特定の範囲内の時刻にユーザ９０が自宅から外に出たとき、そのバスに間に合うようにナビゲーションを行うようになる。

【0070】

学習済みモデル等の機械学習による生成結果は、例えば記憶部５に格納される。

【0071】

（付記）
以下、本開示の種々の態様を説明する。以下に記載する参照符号は例示に過ぎない。

【0072】

本開示の第１態様の移動支援装置１００は、
ユーザ９０の移動を支援する移動支援装置１００であって、
前記ユーザ９０の周囲の環境を撮像して撮像画像を取得する撮像部２と、
前記撮像画像に基づいて、前記ユーザ９０に関する安全性の程度を示す安全度Ｓを算出する制御部４と、
前記ユーザ９０が実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザ９０が安全に行うために必要な安全性の程度を示す必要安全度Ｔと、を対応させて格納する必要安全度テーブルを記憶する記憶部５と、
前記予め定められた行動候補の中から前記ユーザ９０が所望するものを選択する、前記ユーザ９０による選択操作の入力を受け付ける入力部１と、
出力部３とを備え、
前記制御部４は、
前記選択操作の入力があった場合は、前記必要安全度テーブルから、選択された行動候補に対応する必要安全度Ｔを取得し、
算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ未満である場合は、前記選択された行動候補を前記ユーザ９０が実現することを支援せず、
算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ以上である場合は、前記選択された行動候補を前記ユーザ９０が実現することを支援するように前記出力部３を制御する。

【0073】

本開示の第２態様では、
前記制御部４は、前記ユーザ９０の移動を支援するように前記出力部３を制御する通常モードと、前記選択された行動候補を前記ユーザ９０が実現することを支援するように前記出力部３を制御する要求実行モードとを切替可能に動作し、
前記制御部４は、前記通常モードで動作している場合において、算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ未満であるときは、前記要求実行モードに動作を切り替えない一方で、算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ以上であるときは、前記要求実行モードに動作を切り替え、
前記制御部４は、前記要求実行モードで動作している場合において、算出された前記安全度Ｓが、前記選択された行動候補に対応する必要安全度Ｔ未満であるときは、前記通常モードに動作を切り替える、第１態様の移動支援装置１００が提供される。

【0074】

本開示の第３態様では、
前記制御部４は、前記ユーザ９０の周囲の環境の天候、明るさ、前記ユーザ９０の足元の状態、前記ユーザ９０の周囲の環境における障害物の有無、前記障害物の性質、前記ユーザ９０の周囲の環境における移動体の有無、及び前記移動体の性質のうちの少なくとも１つに基づいて、前記安全度Ｓを算出する、第１態様又は第２態様の移動支援装置１００が提供される。

【0075】

本開示の第４態様では、
前記制御部は、予め定められた情報を前記撮像画像から検出した場合であって、算出された前記安全度が予め定められた閾値以上であるときに、前記ユーザ９０に対して報知を行うように前記出力部を制御する、第１～第３態様のいずれか１つの移動支援装置が提供される。

【0076】

本開示の第５態様では、
ユーザ９０の移動を支援する移動支援方法であって、
制御部４が、前記ユーザ９０の周囲の環境を撮像して得られた撮像画像を取得するステップＳＴ１１と、
制御部４が、前記撮像画像に基づいて、前記ユーザ９０に関する安全性の程度を示す安全度を算出するステップＳＴ１３と、
制御部４が、前記予め定められた行動候補の中から前記ユーザ９０が所望するものを選択する、前記ユーザ９０による選択操作の入力を受け付けるステップと、
前記制御部４が、選択操作の入力があった場合に、前記ユーザ９０が実行し得る行動として予め定められた行動候補と、前記予め定められた行動候補が示す行動を前記ユーザ９０が安全に行うために必要な安全性の程度を示す必要安全度と、を対応させて格納した必要安全度テーブルから、選択された行動候補に対応する必要安全度を取得するステップＳＴ１５とを含み、
前記制御部４は、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度未満である場合は、前記選択された行動候補を前記ユーザ９０が実現することを支援せず、
算出された前記安全度が、前記選択された行動候補に対応する必要安全度以上である場合は、前記選択された行動候補を前記ユーザ９０が実現することを支援するように出力を行う、
移動支援方法が提供される。

【0077】

本開示の第６態様では、本開示の第５態様の移動支援方法をコンピュータに実行させるためのプログラムが提供される。

【符号の説明】

【0078】

１ 入力部
２ カメラ（撮像部）
３ 出力部
４ 制御部
５ 記憶部
６ 通信インタフェース
３１ 表示部
３２ 音声出力部
３３ 駆動部
４１ 画像取得部
４２ 画像解析部
４３ 安全度算出部
４４ 必要安全度決定部
４５ 判断部
４６ 出力制御部
５１ 必要安全度テーブル
５２ 判断結果情報
９０ ユーザ
９１ ロボット
１００ 移動支援装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】