(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023093173
(43)【公開日】2023-07-04
(54)【発明の名称】行動支援装置、行動支援システム、および行動支援方法
(51)【国際特許分類】
G08G 1/005 20060101AFI20230627BHJP
G01C 21/26 20060101ALI20230627BHJP
G06N 3/02 20060101ALI20230627BHJP
G06N 20/00 20190101ALI20230627BHJP
【FI】
G08G1/005
G01C21/26 P
G06N3/02
G06N20/00
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021208643
(22)【出願日】2021-12-22
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】山田 弘幸
(72)【発明者】
【氏名】今西 裕人
(72)【発明者】
【氏名】酒寄 剛
【テーマコード(参考)】
2F129
5H181
【Fターム(参考)】
2F129AA02
2F129DD53
2F129EE95
2F129FF12
2F129GG17
2F129GG18
2F129HH15
5H181AA21
5H181AA27
5H181BB04
5H181CC03
5H181CC04
5H181CC14
5H181FF10
(57)【要約】
【課題】本開示は、対象者の自律性および習熟度を向上させつつ、対象者の行動を支援することで、対象者の行動に対する支援がなくなった場合でも、全体的な効率の低下を防止することが可能な行動支援装置を提供する。
【解決手段】対象者の周囲の環境に応じて対象者の行動を支援する行動支援装置10である。行動支援装置10は、学習部11と、予測部12と、行動支援部13とを備える。学習部11は、環境に関する環境情報EIと、環境に対する対象者の行動に関する行動情報BIとを学習して、対象者の行動モデルBMを生成する。予測部12は、行動モデルBMと環境情報EIとに基づいて対象者の予測行動PBを生成する。行動支援部13は、環境情報EIに基づく対象者の最適行動OBと対象者の予測行動PBとの一致度に応じて対象者に対する行動支援情報BSI1-BSI4を生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象者の周囲の環境に応じて前記対象者の行動を支援する行動支援装置であって、
前記環境に関する環境情報と、前記環境に対する前記対象者の行動に関する行動情報とを学習して、前記対象者の行動モデルを生成する学習部と、
前記行動モデルと前記環境情報とに基づいて前記対象者の予測行動を生成する予測部と、
前記環境情報に基づく前記対象者の最適行動と前記対象者の前記予測行動との一致度に応じて前記対象者に対する行動支援情報を生成する行動支援部と、
を備えることを特徴とする行動支援装置。
【請求項2】
前記行動支援部は、前記対象者の前記最適行動と前記予測行動との前記一致度が高いほど、前記行動支援情報を簡素化することを特徴とする請求項1に記載の行動支援装置。
【請求項3】
前記行動支援部は、前記対象者の前記最適行動と前記予測行動との前記一致度が低いほど、前記行動支援情報を詳細化することを特徴とする請求項1に記載の行動支援装置。
【請求項4】
前記行動支援部は、前記対象者の前記最適行動と前記予測行動との前記一致度が所定のしきい値を超えた場合に、前記行動支援情報を生成しないことを特徴とする請求項1に記載の行動支援装置。
【請求項5】
前記行動支援部は、前記対象者の前記最適行動と前記予測行動との前記一致度が低いほど、前記行動支援情報を簡素化することを特徴とする請求項1に記載の行動支援装置。
【請求項6】
請求項1から請求項5のいずれか一項に記載の行動支援装置と、
前記行動支援装置によって生成された前記行動支援情報を前記対象者へ提供するユーザインタフェースと、
を備えることを特徴とする行動支援システム。
【請求項7】
対象者の周囲の環境に応じて前記対象者の行動を支援する行動支援方法であって、
前記環境に関する環境情報と、前記環境に対する前記対象者の行動に関する行動情報とを機械学習により学習して、前記対象者の行動モデルを生成し、
前記行動モデルと前記環境情報とに基づいて前記対象者の予測行動を生成し、
前記環境情報に基づく前記対象者の最適行動と前記対象者の前記予測行動との一致度に応じて前記対象者に対する行動支援情報を生成し、
前記対象者へ前記行動支援情報を提供することを特徴とする行動支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、行動支援装置、行動支援システム、および行動支援方法に関する。
【背景技術】
【0002】
従来から対象者に誘導案内情報を提供して、対象者を的確に誘導するための誘導プログラムが知られている。下記特許文献1に記載された誘導管理プログラムは、送受信手段および可逆印刷手段を有している(同文献、請求項5等)。この送受信手段および可逆印刷手段は、可視的に情報が可逆表示される可逆表示部とデータ記憶手段とを有する情報表示媒体の前記可逆表示部に可逆印刷を行ない、前記データ記憶手段とデータの送受信を行なう。
【0003】
この従来の誘導管理プログラムは、行動スケジュール記憶手段および誘導案内データ記憶手段に接続された管理コンピュータを用いて、前記対象者の誘導を管理する。ここで、前記行動スケジュール記憶手段は、ノードに設置されるノード端末、対象者に関する行動スケジュールデータを記録する手段である。また、前記誘導案内データ記憶手段は、前記対象者が次に進むノードへ誘導案内するための誘導案内データを記録した手段である。この従来の誘導管理プログラムは、前記管理コンピュータを、ノード特定手段、取得手段、および出力手段として機能させる。
【0004】
前記ノード特定手段は、前記ノード端末を介して前記情報表示媒体のデータ記憶手段に記録された行動特定データを取得し、この行動特定データに基づいて、前記行動スケジュール記憶手段から、前記対象者が次に進むノードを特定する。前記取得手段は、前記誘導案内データ記憶手段から、前記ノード端末の可逆印刷手段が設置されているノードから、次に進むノードへ誘導案内するための誘導案内データを取得する。前記出力手段は、取得した誘導案内データを、前記ノード端末を介して前記情報表示媒体の可逆表示部に表示させる。
【0005】
この従来の誘導管理プログラムによれば、情報表示媒体の可逆表示部に印刷された誘導案内により、対象者を次のノードまで誘導することができる。したがって、たとえば対象者を最終的な目的地に近づくノードに順次誘導するので、対象者を的確に誘導することができる。また、対象者がノードに到着する毎に、次のノードへの誘導案内を行なう。このため、管理コンピュータは、各ノードにおいて対象者の進捗状況を把握して対象者の行動プロセスを管理することができる(特許文献1、第0011段落等)。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記従来の誘導管理プログラムは、対象者を最終的な目的地に近づくノードに順次誘導することで、対象者を的確に誘導することができる反面、対象者が誘導に過度に依存することで、対象者の自律性を低下させ、対象者の習熟を妨げるおそれがある。そのため、たとえば、誘導管理プログラムに不具合が発生した場合に、対象者が周囲の環境に応じた適切な行動を取ることができず、全体的な効率が低下するおそれがある。
【0008】
本開示は、対象者の自律性および習熟度を向上させつつ、対象者の行動を支援することで、対象者の行動に対する支援がなくなった場合でも、全体的な効率の低下を防止することが可能な行動支援装置、行動支援システム、および行動支援方法を提供する。
【課題を解決するための手段】
【0009】
本開示の一態様は、対象者の周囲の環境に応じて前記対象者の行動を支援する行動支援装置であって、前記環境に関する環境情報と、前記環境に対する前記対象者の行動に関する行動情報とを学習して、前記対象者の行動モデルを生成する学習部と、前記行動モデルと前記環境情報とに基づいて前記対象者の予測行動を生成する予測部と、前記環境情報に基づく前記対象者の最適行動と前記対象者の前記予測行動との一致度に応じて前記対象者に対する行動支援情報を生成する行動支援部と、を備えることを特徴とする行動支援装置である。
【発明の効果】
【0010】
本開示の上記一態様によれば、対象者の自律性および習熟度を向上させつつ、対象者の行動を支援することで、対象者の行動に対する支援がなくなった場合でも、全体的な効率の低下を防止することが可能な行動支援装置を提供することができる。
【図面の簡単な説明】
【0011】
【
図1】本開示に係る行動支援装置およびシステムの実施形態を示すブロック図。
【
図2】
図1の行動支援装置が支援する対象者の周囲の環境の一例を示す斜視図。
【
図3】
図2の環境における移動体の移動経路を示す平面図。
【
図4】本開示に係る行動支援方法の実施形態を示すフロー図。
【
図5】
図4の対象者の周囲の環境情報を取得する工程の詳細を示すフロー図。
【
図6】
図4の対象者の行動情報を取得する工程の詳細を示すフロー図。
【
図7】
図4の対象者の行動モデルを生成する工程の詳細を示すフロー図。
【
図8】
図4の対象者の予測行動を生成する工程の詳細を示すフロー図。
【
図9】
図4の対象者の行動支援情報を生成する工程の詳細を示すフロー図。
【
図10】
図4の対象者に行動支援情報を提供する工程の詳細を示すフロー図。
【
図11】
図1のUIが対象者に提供する行動支援情報の一例を示す画像図。
【
図12】
図1のUIが対象者に提供する行動支援情報の一例を示す画像図。
【
図13】
図1のUIが対象者に提供する行動支援情報の一例を示す画像図。
【
図14】
図1のUIが対象者に提供する行動支援情報の一例を示す画像図。
【発明を実施するための形態】
【0012】
以下、図面を参照して本開示の行動支援装置、行動支援システム、および行動支援方法の実施形態を説明する。
【0013】
図1は、本開示に係る行動支援装置および行動支援システムの一実施形態を示すブロック図である。
図2は、
図1の行動支援装置10および行動支援システム100による行動支援の対象者OPと、その周囲の環境Eの一例を示す斜視図である。
【0014】
本実施形態の行動支援装置10は、対象者OPの周囲の環境Eに応じて対象者OPの行動を支援する装置であり、対象者OPに対する行動支援情報BSI1-BSI4を生成する装置である。環境Eは、たとえば、自律走行する無人フォークリフトなどの自律機械M1,M2,…と、対象者OPである作業員とが同じ空間で同時に作業を行う物流倉庫などの環境である。
【0015】
本実施形態の行動支援システム100は、行動支援装置10と、その行動支援装置10によって生成された行動支援情報を対象者OPへ提供するユーザインタフェース(UI)20と、を備えている。また、行動支援システム100は、たとえば、外界センサ30や、通信装置40を備えてもよい。
【0016】
行動支援装置10は、対象者OPの周囲の環境Eに応じて、対象者OPの行動を支援する装置である。行動支援装置10は、たとえば、中央処理装置(CPU)、RAMやROMなどのメモリ、タイマ、および入出力部を備えた一つ以上のマイクロコントローラもしくはファームウェア、または、コンピュータによって構成することができる。
【0017】
行動支援装置10は、たとえば、学習部11と、予測部12と、行動支援部13とを備えている。また、行動支援装置10は、たとえば、行動情報取得部14と、環境情報取得部15と、全体行動計画部16とを備えてもよい。なお、行動情報取得部14、環境情報取得部15、および全体行動計画部16は、行動支援装置10とは別の装置として構成してもよい。
【0018】
図1に示す行動支援装置10の各部は、たとえば、メモリに記録されたプログラムをCPUによって実行することで実現される行動支援装置10の各機能を表している。
図1に示す行動支援装置10の各部は、それぞれ別の装置によって構成してもよく、二つ以上の部分を同じ装置によって構成してもよく、すべての部分を一つの装置によって構成してもよい。
【0019】
UI20は、たとえば、対象者OPが身に着けることができる拡張現実(AR)グラスまたはスマートグラスである。UI20は、たとえば、行動支援装置10から通信装置40を介して送信された行動支援情報BSI1-BSI4を受信して、対象者OPの視界を大きく妨げることなく、対象者OPの視野に行動支援情報BSI1-BSI4を表示することで、行動支援情報BSI1-BSI4を対象者OPに提供する。なお、UI20は、スマートグラスに限定されず、たとえば、スマートフォンなどの携帯情報端末であってもよく、デジタルサイネージやプロジェクタのように対象者OPの周囲の環境Eに情報を表示する装置であってもよい。
【0020】
外界センサ30は、たとえば、一つ以上のカメラ31と、一つ以上のLiDAR32との少なくとも一方を含む。外界センサ30は、たとえば、環境Eに設定された適用エリアAにおいて、対象者OPおよび自律機械M1,M2,…の位置、速度、移動方向、コンテナボックスCBの有無などを含む外界情報を検出して、行動支援装置10へ出力する。
図2に示す例では、二つのカメラ31と、二つのLiDAR32とが、適用エリアAに隣接して設置されている。
【0021】
通信装置40は、たとえば、UI20と無線通信が可能な無線通信機である。通信装置40は、たとえば、有線通信回線または無線通信回線を介して行動支援装置10と情報通信可能に接続され、行動支援装置10から対象者OPに対する行動支援情報BSI1-BSI4を受信する。通信装置40は、たとえば、行動支援装置10から受信した行動支援情報BSI1-BSI4を、無線通信回線を介してUI20へ送信する。
【0022】
以下、本実施形態の行動支援装置10および行動支援システム100の動作を説明する。
【0023】
図3は、
図2の環境Eにおける移動体である自律機械M1,M2と対象者OPの移動経路R1-R4を示す平面図である。
図1に示す全体行動計画部16は、たとえば、複数の作業員などの対象者OPや複数のフォークリフトなどの自律機械M1,M2の行動を最適化し、全体効率が可能な限り高くなるような移動経路R1,R2,R4を演算して、それぞれの対象者OPや自律機械M1,M2にタスクを割り当てる。
【0024】
より具体的には、全体行動計画部16は、たとえば、オーダーに基づいて、物流倉庫などの環境Eを走行する各々の自律機械M1,M2の移動経路R1,R2を生成し、各々の自律機械M1,M2へ通信装置40を介して送信する。各々の自律機械M1,M2は、無線通信回線を介して受信したそれぞれの移動経路R1,R2に沿って自律的に走行する。また、全体行動計画部16は、たとえば、対象者OPの周囲の環境Eに関する環境情報EIに基づいて、対象者OPの最適な移動経路R4を含む最適行動OBを生成する。
【0025】
また、全体行動計画部16は、たとえば、各々の対象者OPにタスクを割り当て、割り当てたタスクの情報を、UI20や図示を省略する対象者OPの携帯情報端末に、通信装置40を介して送信する。対象者OPは、たとえば、UI20や携帯情報端末に表示されたタスクに従って作業を行う。ここで、対象者OPに割り当てられたタスクが、たとえば、環境Eの地点P1への移動を含む場合、対象者OPは、UI20や携帯情報端末に表示されたタスクに従って、地点P1への移動を開始する。
【0026】
ここで、
図3に示す対象者OPの現在の位置から地点P1への最短経路は、移動経路R3である。しかし、対象者OPが移動経路R3に沿って移動すると、移動経路R1,R2に沿って移動する自律機械M1,M2の進路を妨害し、自律機械M1,M2の衝突防止機能が作動して自律機械M1,M2が緊急停止するなど、環境Eにおける作業の全体効率が低下するおそれがある。
【0027】
このような場合、環境Eに習熟した対象者OP、すなわち、環境Eで経験を積んだ習熟度の高い対象者OPは、たとえば、対象者OPの周囲の環境Eに関する情報から自律機械M1,M2の移動経路R1,R2を予測することができる。ここで、対象者OPの周囲の環境Eに関する情報としては、コンテナボックスCBを搬送中の自律機械M1の移動方向、自律機械M1が走行する通路の分岐点である交差点、コンテナボックスCBが未配置の地点P2、コンテナボックスCBを配置した後の自律機械M2の移動方向などを例示することができる。
【0028】
図3に示すような環境Eにおいて、環境Eに習熟した対象者OPは、地点P1へ移動する際に、環境Eにおける全体効率の低下を防止するために、最短経路の移動経路R3ではなく、自律機械M1,M2の進路を妨げない移動経路R4で移動する。その結果、自律機械M1,M2の緊急停止を防止することができ、環境Eにおける全体効率の低下を防止することができる。しかし、すべての対象者OPが環境Eに習熟しているとは限らないため、対象者OPに対する行動支援が必要になる。
【0029】
図4は、本開示に係る行動支援方法の実施形態を示すフロー図である。本実施形態の行動支援方法BSMは、たとえば、
図1に示す行動支援システム100によって実施することができる。本実施形態の行動支援方法BSMは、たとえば、対象者OPの周囲の環境Eに関する環境情報EIを取得する工程S1と、周囲の環境Eに対する対象者OPの行動に関する行動情報BIを取得する工程S2とを有している。
【0030】
また、本実施形態の行動支援方法BSMは、たとえば、環境情報EIと行動情報BIとを機械学習により学習して、対象者OPの行動モデルBMを生成する工程S3と、その行動モデルBMと環境情報EIとに基づいて対象者OPの予測行動PBを生成する工程S4とを有している。また、本実施形態の行動支援方法BSMは、たとえば、環境情報EIに基づく対象者OPの最適行動OBと、対象者OPの予測行動PBとの一致度DCに応じて対象者OPに対する行動支援情報BSI1-BSI4を生成する工程S5を有している。また、本実施形態の行動支援方法BSMは、たとえば、対象者OPに行動支援情報BSI1-BSI4を提供する工程S6を有している。
【0031】
本実施形態の行動支援装置10は、たとえば、
図4に示す工程S1から工程S6までを所定の周期で繰り返し実行する。以下、
図5から
図14を参照して、
図4に示す各工程S1-S6の詳細と、各工程S1-S6における行動支援装置10および行動支援システム100の動作を説明する。
【0032】
図5は、
図4における環境情報を取得する工程S1の詳細を示すフロー図である。
図1に示す行動支援システム100の行動支援装置10は、たとえば、
図5に示す工程S1を開始すると、カメラ31とLiDAR32から、それぞれ、カメラ画像CIとLiDARデータLDを取得する工程S11,S12を実施する。より具体的には、行動支援装置10の環境情報取得部15は、工程S11において、複数のカメラ31から対象者OPの周囲の環境Eの画像を含むカメラ画像CIを取得し、工程S12において、複数のLiDAR32から対象者OPの周囲の環境Eの点群データを含むLiDARデータLDを取得する。
【0033】
次に、環境情報取得部15は、たとえば、カメラ画像CIとLiDARデータLDから対象者OPの周囲の環境Eに関する環境情報EIを取得する工程S13を実行する。この工程S13において、環境情報取得部15は、たとえば、LiDARデータLDから背景差分によって移動体である自律機械M1,M2,…の点群データを抽出して自律機械M1,M2,…の位置を推定する。また、この工程S13において、環境情報取得部15は、たとえば、環境Eの適用エリアAのカメラ画像CIにセマンティック・セグメンテーションを適用し、適用エリアA内の物体を、通路、コンテナボックスCB、自律機械M1,M2,…などの各カテゴリに分類する。
【0034】
以上により、環境情報取得部15は、たとえば、自律機械M1,M2,…の推定位置や、適用エリアA内の物体のカテゴリを含む、環境情報EIを取得することができる。その後、環境情報取得部15は、取得した環境情報EIを学習部11および予測部12へ出力する工程S14を実施し、
図5に示す工程S1を終了する。
【0035】
図6は、
図4における対象者OPの行動情報BIを取得する工程S2の詳細を示すフロー図である。行動支援システム100を構成する行動支援装置10は、たとえば、
図6に示す工程S2を開始すると、
図1および
図2に示すカメラ31とLiDAR32から、それぞれ、カメラ画像CIとLiDARデータLDを取得する工程S11,S12を実施する。より具体的には、行動支援装置10の行動情報取得部14は、工程S21において、複数のカメラ31から対象者OPの画像を含むカメラ画像CIを取得し、工程S22において、複数のLiDAR32から対象者OPの点群データを含むLiDARデータLDを取得する。
【0036】
次に、行動情報取得部14は、たとえば、カメラ画像CIとLiDARデータLDから対象者OPの行動に関する行動情報BIを取得する工程S23を実行する。この工程S23において、行動情報取得部14は、たとえば、対象者OPの移動経路を追跡するトラッキングを行う。より具体的には、行動情報取得部14は、たとえば、対象者OPの画像を含むカメラ画像CIから対象者OPを識別して、対象者OPの大まかな位置を把握する。
【0037】
また、行動情報取得部14は、たとえば、LiDARデータLDから背景差分によって対象者OPを含む移動体の点群データを抽出し、カメラ画像CIに基づく対象者OPの大まかな位置から対象者OPの点群データを抽出することで、対象者OPの詳細な位置を推定する。以上により、行動情報取得部14は、たとえば、対象者OPの移動経路を含む、行動情報BIを取得することができる。その後、行動情報取得部14は、取得した行動情報BIを学習部11および予測部12へ出力する工程S24を実施し、
図6に示す工程S2を終了する。
【0038】
図7は、
図4における対象者OPの行動モデルBMを生成する工程S3の詳細を示すフロー図である。この工程S3において、行動支援システム100の行動支援装置10は、環境Eに関する環境情報EIと、環境Eに対する対象者OPの行動に関する行動情報BIとを機械学習により学習して、対象者OPの行動モデルBMを生成する。行動支援装置10は、
図7に示す工程S3を開始すると、たとえば、学習データ収集工程S31と、学習工程S32とを並行して実施する。
【0039】
学習データ収集工程S31において、行動支援装置10の学習部11は、たとえば、工程S311から工程S316までを実施する。学習部11は、まず、環境情報取得部15から対象者OPの周囲の環境情報EIを取得する工程S311と、行動情報取得部14から対象者OPの行動情報BIを取得する工程S312と、全体行動計画部16から対象者OPの目的地情報DIを取得する工程S313と、を実施する。
【0040】
また、学習部11は、工程S312で取得した対象者OPの行動情報BIに含まれる対象者OPの位置情報と、工程S313で取得した対象者OPの目的地情報DIとを比較して、対象者OPが目的地に到着したか否かを判定する工程S314を実行する。この工程S314で、学習部11は、たとえば、対象者OPの位置情報と対象者OPの目的地情報DIとの差、すなわち、対象者OPの位置と目的地との距離が、所定のしきい値より大である場合、対象者OPが目的地に到着していないこと(No)を判定する。この場合、学習部11は、再度、工程S311から工程S314までを繰り返す。
【0041】
一方、工程S314において、学習部11は、対象者OPの位置情報と対象者OPの目的地情報DIとの差、すなわち、対象者OPの位置と目的地との距離が、所定のしきい値以下である場合、対象者OPが目的地に到着したこと(Yes)を判定する。この場合、学習部11は、対象者OPが目的地に到着した時刻の情報を取得する工程S315を実施する。さらに、学習部11は、たとえば、工程S311および工程S312で取得した環境情報EIおよび行動情報BIの時系列を、工程S315で取得した対象者OPの目的地への到着時刻で区切って、データベースに格納する工程S316を実施する。
【0042】
この工程S316により、学習部11は、たとえば、対象者OPが前回の目的地から今回の目的地に移動する間の環境情報EIと行動情報BIとを関連付け、一つのエピソードログとしてデータベースに格納することができる。その結果、対象者OPの前回の目的地から今回の目的地までの移動経路を含む行動情報BIと、その移動経路を移動している間の対象者OPの周囲の環境情報EIとが利用可能になる。
【0043】
以上の学習データ収集工程S31と並行して、学習部11は、学習工程S32を実施する。学習工程S32において、学習部11は、まず、機械学習を開始するか否かを判定する工程S321を実施する。この工程S321において、学習部11は、たとえば、データベースに蓄積されたエピソードログのデータ量が所定の水準に満たない場合、または、あらかじめ設定された所定の時間(たとえば1時間程度)が経過していない場合などに、学習を開始しないこと(No)を判定する。
【0044】
この場合、学習部11は、学習データを取得する工程S322、行動モデルBMを学習する工程S323、および、行動モデルBMのパラメータをデータベースに格納する工程S324を実施することなく、行動モデルBMを取得する工程S325を実施する。
【0045】
一方、学習部11は、たとえば、データベースに蓄積されたエピソードログのデータ量が所定の水準を超えている場合、または、あらかじめ設定された所定の時間(たとえば1時間程度)が経過した場合などに、学習を開始すること(Yes)を判定する。これにより、学習部11は、所定の水準以上のデータ量のエピソードログがデータベースに蓄積された状態で、学習データを取得する工程S322を実施することができ、機械学習をより効率よく実施することができる。
【0046】
学習部11は、工程S322において、前述の学習データ収集工程S31によってデータベースに蓄積されたエピソードログを学習データとしてデータベースから取得する。エピソードログは、前述のように、対象者OPが前回の目的地から今回の目的地に移動する間の対象者OPの周囲の環境情報EIと対象者OPの行動情報BIとを関連付けた情報である。さらに、学習部11は、取得したエピソードログを用いた機械学習により、対象者OPの周囲の環境情報EIに対する対象者OPの行動を予測するための行動モデルBMを、機械学習によって生成する工程S323を実施する。
【0047】
ここで、学習部11によって生成される行動モデルBMは、たとえば、対象者OPの行動情報BIに含まれる出発地の情報と、対象者OPの目的地情報DIと、対象者OPの周囲の環境情報EIとを入力とし、予測される対象者OPの移動経路を出力とするモデルである。このような対象者OPの行動モデルBMは、たとえば、深層学習などの手法によって構築することができる。
【0048】
すなわち、学習部11は、工程S323において、エピソードログから対象者OPの出発地情報、目的地情報DI、および環境情報EIを取り出す。さらに、学習部11は、そのエピソードログにおける対象者OPの移動経路を、行動モデルBMに教師データとして与えることで、行動モデルBMの機械学習を行う。その後、学習部11は、機械学習が終了した行動モデルBMの新しいパラメータをデータベースに格納し、または、その新しいパラメータによって、データベースに格納されている行動モデルBMの古いパラメータを更新する工程S324を実施する。
【0049】
以上のように、学習部11は、学習工程S32において、環境Eに関する環境情報EIと、環境Eに対する対象者OPの行動に関する行動情報BIとを学習して、対象者OPの行動モデルBMを生成する。その後、学習部11は、データベースから行動モデルBMを取得する工程S325と、その行動モデルBMを予測部12へ出力する工程S326を実施し、
図7に示す工程S3を終了する。
【0050】
図8は、
図4における対象者OPの予測行動PBを生成する工程S4の詳細を示すフロー図である。この工程S4において、
図1に示す行動支援装置10の予測部12は、行動モデルBMと環境情報EIとに基づいて対象者OPの予測行動PBを生成する。
【0051】
より詳細には、予測部12は、
図8に示す工程S4を開始すると、たとえば、全体行動計画部16から対象者OPの目的地に関する目的地情報DIを取得する工程S41と、行動情報取得部14から対象者OPの行動に関する行動情報BIを取得する工程S42を実施する。さらに、予測部12は、これらの工程と並行して、環境情報取得部15から対象者OPの周囲の環境Eに関する環境情報EIを取得する工程S43と、学習部11から対象者OPの行動モデルBMを取得する工程S44とを実施する。
【0052】
次に、予測部12は、対象者OPの行動情報BIに含まれる対象者OPの位置情報と、対象者OPの目的地情報DIと、対象者OPの周囲の環境情報EIとを行動モデルBMに入力し、行動モデルBMの出力として対象者OPの予測行動PBを生成する工程S45を実施する。対象者OPの予測行動PBは、たとえば、対象者OPの周囲の環境Eに対する対象者OPのこれまでの行動に基づいて予測される対象者OPの移動経路を含む。その後、予測部12は、生成した予測行動PBを行動支援部13へ出力する工程S46を実施して、
図8に示す工程S4を終了する。
【0053】
図9は、
図4における対象者OPの行動支援情報BSI1-BSI4を生成する工程S5の詳細を示すフロー図である。この工程S5において、
図1に示す行動支援装置10の行動支援部13は、たとえば、環境情報EIに基づく対象者OPの最適行動OBと、対象者OPの予測行動PBとの一致度DCに応じて、対象者OPに対する行動支援情報BSI1-BSI4を生成する。
【0054】
より詳細には、行動支援部13は、
図9に示す工程S5を開始すると、予測部12から対象者OPの予測行動PBを取得する工程S501と、全体行動計画部16から対象者OPの周囲の環境情報EIに基づく最適行動OBを取得する工程S502とを実施する。次に、行動支援部13は、たとえば、対象者OPの予測行動PBと、対象者OPの最適行動OBとの一致度DCを算出する工程S503を実施する。
【0055】
一致度DCは、たとえば、出発地から同じ通路を同じ方向へ進んでいること、通路の交差点などの分岐点で同じ方向へ分岐していることなど、複数の指標が一致している割合に基づいて算出することができる。一致度DCは、たとえば、予測行動PBと最適行動OBとが完全に一致している場合を100%とし、予測行動PBと最適行動OBの相違点が多くなるほど低下させてもよい。また、一致度DCは、たとえば、予測行動PBおよび最適行動OBに含まれる対象者OPの移動速度の差が小さいほど高くなるようにしてもよい。また、一致度DCは、対象者OPの最適行動OBに対する環境Eの全体効率と、対象者OPの予測行動PBによる環境Eの全体効率との差が大きくなるほど、低下させてもよい。
【0056】
次に、行動支援部13は、たとえば、工程S503で算出した一致度DCが、第1しきい値Th1以上であるか否かを判定する工程S504を実施する。この工程S504において、たとえば、第1しきい値Th1を100%に設定すると、対象者OPの予測行動PBに含まれる移動経路と、対象者OPの最適行動OBに含まれる移動経路とが、完全に一致しているか否かを判定することになる。なお、第1しきい値Th1は、100%未満の値に設定してもよい。
【0057】
工程S504において、行動支援部13は、一致度DCが第1しきい値Th1以上であること(Yes)、たとえば、対象者OPの予測行動PBに含まれる移動経路と、対象者OPの最適行動OBに含まれる移動経路とが、完全に一致していることを判定すると、第1の行動支援情報BSI1を生成する工程S505を実施する。この工程S505で生成される第1の行動支援情報BSI1は、予測行動PBと最適行動OBとが一致しているかまたは略一致している、環境Eに対して完全に習熟した対象者OPに対して提供される情報である。
【0058】
そのため、工程S505で生成される第1の行動支援情報BSI1は、行動支援部13が生成する行動支援情報BSI1-BSI4の中で、最も簡素な情報となる。なお、工程S504において、たとえば、前述のように、対象者OPの予測行動PBと、対象者OPの最適行動OBとが一致していること(Yes)が判定された場合に、行動支援情報BSI1-BSI4を生成することなく、
図9に示す工程S5を終了してもよい。すなわち、行動支援部13は、対象者OPの最適行動OBと予測行動PBとの一致度DCが所定のしきい値を超えた場合に、行動支援情報BSI1-BSI4を生成しなくてもよい。
【0059】
一方、前述の工程S504において、行動支援部13は、一致度DCが第1しきい値Th1未満であること(No)、たとえば、対象者OPの予測行動PBと最適行動OBとが一致しないことを判定すると、次の工程S506を実施する。この工程S506において、行動支援部13は、たとえば、一致度DCが第2しきい値Th2以上であるか否かを判定する。ここで、一致度DCの第2しきい値Th2は、たとえば、一致度DCの第1しきい値Th1よりも低い値に設定されている。
【0060】
工程S506において、行動支援部13は、一致度DCが第2しきい値Th2以上であること(Yes)を判定すると、第2の行動支援情報BSI2を生成する工程S507を実施する。この工程S507で生成される第2の行動支援情報BSI2は、環境Eに対する経験をある程度は積んでおり、環境Eに対して比較的に習熟した対象者OPに対して提供される情報である。
【0061】
そのため、この工程S507で生成される第2の行動支援情報BSI2は、行動支援部13が生成する行動支援情報BSI1-BSI4の中で、第1の行動支援情報BSI1の次に簡素な情報となる。換言すると、この工程S507で生成される第2の行動支援情報BSI2は、後述する第3の行動支援情報BSI3または第4の行動支援情報BSI4よりも簡素化されているが、最も簡素な第1の行動支援情報BSI1よりも詳細化された情報である。
【0062】
一方、前述の工程S506において、行動支援部13は、一致度DCが第2しきい値Th2未満であること(No)を判定すると、次の工程S508を実施する。この工程S508において、行動支援部13は、たとえば、一致度DCが第3しきい値Th3以上であるか否かを判定する。ここで、一致度DCの第3しきい値Th3は、たとえば、第2しきい値Th2よりも低い値に設定されている。
【0063】
工程S508において、行動支援部13は、一致度DCが第3しきい値Th3以上であること(Yes)を判定すると、第3の行動支援情報BSI3を生成する工程S509を実施する。この工程S509で生成される第3の行動支援情報BSI3は、環境Eに対する経験が不足しており、環境Eに対してあまり習熟していない対象者OPに対して提供される情報である。
【0064】
そのため、この工程S509で生成される第3の行動支援情報BSI3は、たとえば、第2の行動支援情報BSI2よりも詳細化された情報である。しかし、第3の行動支援情報BSI3が提供されることになる対象者OPは、たとえば、環境Eに対する経験を多少は有している。そのため、第3の行動支援情報BSI3は、たとえば、後述する最も詳細な第4の行動支援情報BSI4よりも簡素化された情報である。
【0065】
一方、前述の工程S508において、行動支援部13は、一致度DCが第3しきい値Th3未満であること(No)を判定すると、第4の行動支援情報BSI4を生成する工程S510を実施する。この工程S509で生成される第4の行動支援情報BSI4は、たとえば、環境Eに対する経験がほとんどなく、環境Eに対して全く習熟していない対象者OPに対して提供される情報である。そのため、この工程S510で生成される第4の行動支援情報BSI4は、たとえば、行動支援情報BSI1-BSI4の中で最も詳細化された情報である。
【0066】
その後、行動支援部13は、たとえば、前述の工程S505、S507、S509、またはS510で生成した第1から第4の行動支援情報BSI1-BSI4のいずれかを、
図1に示す通信装置40へ出力する工程S511を実施して、
図9に示す工程S5を終了する。通信装置40は、たとえば、無線通信回線を介して、行動支援部13から入力された行動支援情報BSI1-BSI4をUI20へ送信する。
【0067】
図10は、
図4の対象者OPに行動支援情報BSI1-BSI4を提供する工程S6の詳細を示すフロー図である。
図1に示す行動支援システム100のUI20は、
図10に示す工程S6を開始すると、まず、行動支援装置10から通信装置40を介して送信された行動支援情報BSI1-BSI4を受信する工程S61を実施する。次に、UI20は、行動支援情報BSI1-BSI4の受信が成功したか否かを判定する工程S62を実施する。
【0068】
この工程S62において、UI20は、たとえば、行動支援情報BSI1-BSI4の受信が失敗したこと(No)を判定すると、行動支援情報BSI1-BSI4を対象者OPに提供する工程S63を実施することなく、
図6に示す工程S6を終了する。その後、行動支援システム100は、
図4に示す行動支援方法BSMを終了させ、
図4に示す行動支援方法BSMの各工程S1-S6を所定の周期で繰り返し実施する。
【0069】
この場合、UI20は、行動支援情報BSI1-BSI4の受信が失敗したことを対象者OPへ通知するようにしてもよい。また、UI20は、行動支援情報BSI1-BSI4のいずれかの受信が成功するまで、行動支援情報BSI1-BSI4を受信する工程S61を繰り返してもよい。一方、前述の工程S62において、UI20は、たとえば、行動支援情報BSI1-BSI4のいずれかの受信が成功したこと(Yes)を判定すると、受信した行動支援情報BSI1-BSI4のいずれかを対象者OPへ提供する工程S63を実施する。
【0070】
図11は、UI20によって対象者OPに提供される第1の行動支援情報BSI1の一例を示す画像図である。UI20は、前述の工程S61で第1の行動支援情報BSI1を受信すると、工程S63において、たとえば、
図11に示すような最も簡素化された行動支援情報BSI1をARグラスの表示画面に表示する。前述のように、第1の行動支援情報BSI1は、たとえば、環境Eに対して完全に習熟した対象者OPに対して提供される情報である。
【0071】
そのため、
図11に示す例において、UI20の表示画面に表示される行動支援情報BSI1は、対象者OPに対する行動支援が不要であることのみを示している。UI20がこのような表示を行うことで、最も簡素な行動支援情報BSI1が提供される習熟度の高い対象者OPは、行動支援システム100が正常に作動していることを認識することができる。
【0072】
図12は、UI20によって対象者OPに提供される第2の行動支援情報BSI2の一例を示す画像図である。UI20は、前述の工程S61で第2の行動支援情報BSI2を受信すると、工程S63において、たとえば、
図12に示すように、簡素化された行動支援情報BSI2をARグラスの表示画面に表示する。前述のように、第2の行動支援情報BSI2は、たとえば、環境Eに対する経験をある程度は積んでおり、環境Eに対して比較的に習熟した対象者OPに対して提供される情報である。そのため、
図12に示す例において、UI20の表示画面に表示される第2の行動支援情報BSI2は、前述の第1の行動支援情報BSI1よりも詳細化されているが、自律機械M1の進行方向に対応する矢印のみを示す簡素化された情報になっている。
【0073】
図13は、UI20によって対象者OPに提供される第3の行動支援情報BSI3の一例を示す画像図である。UI20は、前述の工程S61で第3の行動支援情報BSI3を受信すると、工程S63において、たとえば、
図13に示すような行動支援情報BSI3をARグラスの表示画面に表示する。前述のように、第3の行動支援情報BSI3は、環境Eに対する経験が不足しており、環境Eに対してあまり習熟していない対象者OPに対して提供される情報である。そのため、
図13に示す例において、UI20の表示画面に表示される第3の行動支援情報BSI3は、前述の第2の行動支援情報BSI2よりも詳細化されているが、自律機械M1,M2の移動経路R1,R2に対応する破線を示すだけの簡素化された情報になっている。
【0074】
図14は、UI20によって対象者OPに提供される第4の行動支援情報BSI4の一例を示す画像図である。UI20は、前述の工程S61で第4の行動支援情報BSI4を受信すると、工程S63において、たとえば、
図14に示すような最も詳細化された行動支援情報BSI4をARグラスの表示画面に表示する。前述のように、第4の行動支援情報BSI4は、たとえば、環境Eに対する経験がほとんどなく、環境Eに対して全く習熟していない対象者OPに対して提供される情報である。そのため、
図14に示す例において、UI20の表示画面に表示される第4の行動支援情報BSI4は、対象者OPの最適行動OBに対応する移動経路R4を直接的に表示する情報になっている。
【0075】
UI20は、前述の行動支援情報BSI1-BSI4のいずれかを提供する工程S63の終了後、
図10に示す工程S6を終了する。その後、行動支援システム100は、
図4に示す行動支援方法BSMを終了させ、再度、行動支援方法BSMの各工程S1-S6を所定の周期で繰り返し実施する。
【0076】
以上のように、本実施形態の行動支援装置10は、対象者OPの周囲の環境Eに応じて対象者OPの行動を支援する装置であって、学習部11と、予測部12と、行動支援部13とを備えている。学習部11は、環境Eに関する環境情報EIと、環境Eに対する対象者OPの行動に関する行動情報BIとを学習して、対象者OPの行動モデルBMを生成する。予測部12は、行動モデルBMと環境情報EIとに基づいて対象者OPの予測行動PBを生成する。行動支援部13は、環境情報EIに基づく対象者OPの最適行動OBと対象者OPの予測行動PBとの一致度DCに応じて対象者OPに対する行動支援情報BSI1-BSI4を生成する。
【0077】
このような構成により、本実施形態の行動支援装置10は、学習部11によって各々の対象者OPの周囲の環境Eに対する行動を学習し、予測部12によって対象者OPの周囲の環境Eに対する対象者OPの予測行動PBを生成することができる。さらに、行動支援部13により、対象者OPの予測行動PBと対象者OPの最適行動OBとの一致度DCに応じた行動支援情報BSI1-BSI4を生成することで、各々の対象者OPの環境Eに対する習熟度に応じた行動支援が可能になる。
【0078】
より具体的には、本実施形態の行動支援装置10において、行動支援部13は、対象者OPの最適行動OBと予測行動PBとの一致度DCが低いほど、行動支援情報BSI1-BSI4を詳細化する。
【0079】
このような構成により、本実施形態の行動支援装置10は、予測行動PBと最適行動OBとの一致度DCが最も低い水準にあり、環境Eに対する習熟度が最も低い水準にある対象者OPに対しては、
図14に示すような最も詳細な行動支援情報BSI4を提供することができる。これにより、環境Eに対する習熟度が低い対象者OPであっても、対象者OPの周囲の環境Eに応じた最適行動OBを取ることが可能になり、環境Eの全体効率が低下するのを防止することができる。
【0080】
また、本実施形態の行動支援装置10において、行動支援部13は、対象者OPの最適行動OBと予測行動PBとの一致度DCが高いほど、行動支援情報BSI1-BSI4を簡素化する。
【0081】
このような構成により、本実施形態の行動支援装置10は、環境Eに対する習熟度が向上し、予測行動PBと最適行動OBとの一致度DCが上昇した対象者OPに対して、
図13に示すような、より簡素化された行動支援情報BSI3を提供することができる。また、環境Eに対する習熟度がさらに向上し、予測行動PBと最適行動OBとの一致度DCがさらに上昇した対象者OPに対して、本実施形態の行動支援装置10は、
図12に示すような、さらに簡略化された行動支援情報BSI2を提供することができる。
【0082】
また、予測行動PBと最適行動OBとがほぼ一致するなど、環境Eに対して十分に習熟した対象者OPに対して、本実施形態の行動支援装置10は、
図11に示す対象行動支援不要の表示など、最も簡略化された行動支援情報BSI1を提供することができる。これにより、対象者OPが過度に行動支援情報BSI1-BSI4に依存することが防止され、対象者OPの自律性および習熟度を、効率よく向上させることができる。その結果、行動支援装置10に不具合が発生した場合に、対象者OPが周囲の環境Eに応じた適切な行動を取ることが可能になり、環境Eの全体的な効率が低下するのを防止できる。
【0083】
また、本実施形態の行動支援装置10において、行動支援部13は、前述のように、対象者OPの最適行動OBと予測行動PBとの一致度DCが所定のしきい値を超えた場合に、行動支援情報BSI1-BSI4を生成しなくてもよい。本実施形態の行動支援装置10は、このような構成によっても、対象者OPが過度に行動支援情報BSI1-BSI4に依存することを防止することができ、対象者OPの自律性および習熟度を効率よく向上させることができる。その結果、行動支援装置10に不具合が発生した場合に、対象者OPが周囲の環境Eに応じた適切な行動を取ることが可能になり、環境Eの全体的な効率が低下するのを防止できる。
【0084】
なお、本実施形態の行動支援装置10において、行動支援部13は、前述の例とは逆に、対象者OPの最適行動OBと予測行動PBとの一致度DCが低いほど、行動支援情報BSI1-BSI4を簡素化してもよい。本実施形態の行動支援装置10は、このような構成によっても、対象者OPが過度に行動支援情報BSI1-BSI4に依存することを防止することができ、対象者OPの自律性および習熟度を効率よく向上させることができる。その結果、行動支援装置10に不具合が発生した場合に、対象者OPが周囲の環境Eに応じた適切な行動を取ることが可能になり、環境Eの全体的な効率が低下するのを防止できる。
【0085】
また、本実施形態の行動支援システム100は、前述の行動支援装置10と、行動支援装置10によって生成された行動支援情報BSI1-BSI4を対象者OPへ提供するユーザインタフェース(UI20)とを備えている。したがって、本実施形態の行動支援システム100によれば、前述の行動支援装置10と同様の効果を奏することができるだけでなく、UI20によって対象者OPに対して行動支援情報BSI1-BSI4を効率よく提供することができる。
【0086】
また、本実施形態の行動支援方法BSMは、前述のように、対象者OPの周囲の環境Eに応じて対象者OPの行動を支援する方法である。行動支援方法BSMは、環境Eに関する環境情報EIと、環境Eに対する対象者OPの行動に関する行動情報BIとを機械学習により学習して、対象者OPの行動モデルBMを生成する工程S3を有する。また、行動支援方法BSMは、行動モデルBMと環境情報EIとに基づいて対象者OPの予測行動PBを生成する工程S4と、環境情報EIに基づく対象者OPの最適行動OBと対象者OPの予測行動PBとの一致度DCに応じて対象者OPに対する行動支援情報BSI1-BSI4を生成する工程S5を有する。さらに、行動支援方法BSMは、対象者OPへ行動支援情報BSI1-BSI4を提供する工程S6を有する。このような構成により、本実施形態の行動支援方法BSMによれば、前述の行動支援装置10および行動支援システム100と同様の効果を奏することができる。
【0087】
以上、図面を用いて本開示に係る行動支援装置、行動支援システム、および行動支援方法の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。
【符号の説明】
【0088】
10 行動支援装置
11 学習部
12 予測部
13 行動支援部
20 UI(ユーザインタフェース)
100 行動支援システム
BI 行動情報
BM 行動モデル
BSI1 行動支援情報
BSI2 行動支援情報
BSI3 行動支援情報
BSI4 行動支援情報
BSM 行動支援方法
DC 一致度
E 環境
EI 環境情報
OB 最適行動
OP 対象者
PB 予測行動