知財求人 - 知財ポータルサイト「IP Force」
特開2024-93370予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデル
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093370
(43)【公開日】2024-07-09
(54)【発明の名称】予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデル
(51)【国際特許分類】
G06T 7/20 20170101AFI20240702BHJP
G06T 7/00 20170101ALI20240702BHJP
G05D 1/43 20240101ALI20240702BHJP
【ＦＩ】
G06T7/20
G06T7/00 350C
G05D1/02 H
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022209700
(22)【出願日】2022-12-27
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100189555
【弁理士】
【氏名又は名称】徳山 英浩
(72)【発明者】
【氏名】佐々木 勇輝
(72)【発明者】
【氏名】籔内 智浩
(72)【発明者】
【氏名】岩本 直人
【テーマコード（参考）】
5H301
5L096
【Ｆターム（参考）】
5H301AA01
5H301BB14
5H301CC03
5H301CC06
5H301CC10
5H301GG09
5L096BA05
5L096DA01
5L096DA03
5L096FA16
5L096FA67
5L096FA69
5L096GA30
5L096HA05
5L096HA11
5L096KA04
(57)【要約】
【課題】被写体の行動の予測の精度をより向上させることができる予測方法を提供する。
【解決手段】学習済みモデルは、空間を表す入力情報から得られる空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、対象物の行動についての第１予測結果と、複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習される。予測方法は、対象空間を表す対象入力情報から対象物の複数の定量情報を検出する。予測方法は、対象入力情報から検出された対象物の複数の定量情報を学習済みモデルに入力することによって、対象入力情報から検出された対象物の行動についての第１予測結果と、対象入力情報から検出された対象物の複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力する。
【選択図】図２
【解決手段】学習済みモデルは、空間を表す入力情報から得られる空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、対象物の行動についての第１予測結果と、複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習される。予測方法は、対象空間を表す対象入力情報から対象物の複数の定量情報を検出する。予測方法は、対象入力情報から検出された対象物の複数の定量情報を学習済みモデルに入力することによって、対象入力情報から検出された対象物の行動についての第１予測結果と、対象入力情報から検出された対象物の複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力する。
【選択図】図２
【特許請求の範囲】
【請求項1】
学習済みモデルを記憶する記憶装置にアクセス可能な演算回路によって実行される予測方法であって、
前記学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記予測方法は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測方法。
前記学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記予測方法は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測方法。
【請求項2】
前記予測方法は、前記学習済みモデルから出力された前記第１予測結果と前記第２予測結果とを関連付けて記憶させる、請求項１に記載の予測方法。
【請求項3】
前記複数の定量情報は、前記対象物の位置又は移動に関する情報と、前記対象物の状態に関する情報とを含む、請求項１に記載の予測方法。
【請求項4】
前記複数の定量情報は、前記対象物の位置、前記対象物のバウンディングボックス、前記対象物の１又は複数の部位の位置、前記対象物の１又は複数の部位の向き、前記対象物の１又は複数の部位の画像、前記対象物の複数の部位の関連性に基づく情報、前記対象物の全体の画像、前記対象物の速度、及び前記対象物の軌跡のうちの少なくとも一つの情報を含む、請求項１に記載の予測方法。
【請求項5】
前記対象物の行動は、
前記対象物が前記対象空間を表す入力情報の中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
請求項１に記載の予測方法。
前記対象物が前記対象空間を表す入力情報の中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
請求項１に記載の予測方法。
【請求項6】
前記第１予測結果は、前記対象物の行動が第１行動である確率と、前記対象物の行動が前記第１行動と異なる第２行動である確率とを含み、
前記第１行動及び第２行動は、それぞれ、
前記対象物が前記対象空間中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
請求項１に記載の予測方法。
前記第１行動及び第２行動は、それぞれ、
前記対象物が前記対象空間中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
請求項１に記載の予測方法。
【請求項7】
前記第１予測結果は、前記対象物の行動の危険の程度及び安全の程度のうちの少なくとも一方を示す指標を含む、請求項１に記載の予測方法。
【請求項8】
前記学習済みモデルは、
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
請求項１に記載の予測方法。
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
請求項１に記載の予測方法。
【請求項9】
請求項１～８のいずれかに記載の予測方法を演算回路に実行させるためのプログラム。
【請求項10】
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、
前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる、
表示方法。
前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる、
表示方法。
【請求項11】
前記第２予測結果を可視化した情報は、前記入力情報又は前記入力情報を加工して得られた情報に重畳して表示される、請求項１０に記載の表示方法。
【請求項12】
請求項１０又は１１に記載の表示方法を演算回路に実行させるためのプログラム。
【請求項13】
学習済みモデルを記憶する記憶装置と、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報を生成する生成装置と、
前記生成装置及び前記記憶装置にアクセス可能な演算回路と、
を備え、
前記学習済みモデルは、前記対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記演算回路は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測システム。
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報を生成する生成装置と、
前記生成装置及び前記記憶装置にアクセス可能な演算回路と、
を備え、
前記学習済みモデルは、前記対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記演算回路は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測システム。
【請求項14】
前記生成装置は、移動機構により前記対象空間の中で移動可能な移動体に搭載された、請求項１３に記載の予測システム。
【請求項15】
報知装置を更に備え、
前記演算回路は、
前記第１予測結果に応じて前記移動体の動作予定を決定し、
前記動作予定を前記報知装置に報知させる、
請求項１４に記載の予測システム。
前記演算回路は、
前記第１予測結果に応じて前記移動体の動作予定を決定し、
前記動作予定を前記報知装置に報知させる、
請求項１４に記載の予測システム。
【請求項16】
報知装置を更に備え、
前記演算回路は、前記第１予測結果に基づく情報を前記報知装置に報知させる、
請求項１３～１５のいずれかに記載の予測システム。
前記演算回路は、前記第１予測結果に基づく情報を前記報知装置に報知させる、
請求項１３～１５のいずれかに記載の予測システム。
【請求項17】
前記移動体は、前記演算回路が前記移動機構を制御することによって移動可能であり、
前記演算回路は、前記第１予測結果に応じて、前記移動機構に、前記移動体の進行方向及び速度の少なくとも一方を変更させる、
請求項１４又は１５に記載の予測システム。
前記演算回路は、前記第１予測結果に応じて、前記移動機構に、前記移動体の進行方向及び速度の少なくとも一方を変更させる、
請求項１４又は１５に記載の予測システム。
【請求項18】
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる、表示システム。
【請求項19】
前記第１予測結果を示す情報に代えて、又は、前記第１予測結果を示す情報に加えて、前記空間で移動可能な移動体の動作予定を表示する、請求項１８に記載の表示システム。
【請求項20】
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
学習済みモデル。
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
学習済みモデル。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデルに関する。
【背景技術】
【0002】
非特許文献１は、ディープニューラルネットワークモデルを利用して歩行者の横断意図を予測するための技術を開示する。非特許文献１では、車両速度、歩行者のバウンディングボックス、及び、歩行者の姿勢のキーポイントから、非視覚ベースの特徴量を抽出し、画像の局所的なコンテキストと画像の全体的なコンテキストとから視覚ベースの特徴量を抽出し、非視覚ベースの特徴量と視覚ベースの特徴量を融合した特徴量により、歩行者の横断意図を予測する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Dongfang Yang，他４名，”Predicting Pedestrian Crossing Intention with Feature Fusion and Spatio-Temporal Attention”，［online］，２０２１年４月１２日，［２０２２年１１月２１日検索］，Cornell University，インターネット＜URL：https://arxiv.org/abs/2104.05485＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献１に開示された技術は、車両速度、歩行者のバウンディングボックス、歩行者の姿勢のキーポイント、画像の局所的なコンテキスト、及び、画像の全体的なコンテキスト等の情報を用いることで、歩行者の横断意図を予測し得る。
【0005】
本開示は、被写体の行動についての予測の精度をより向上させることができる予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデルを提供する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る予測方法は、学習済みモデルを記憶する記憶装置にアクセス可能な演算回路によって実行される予測方法であって、
前記学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記予測方法は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する。
前記学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記予測方法は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する。
【0007】
本開示の一態様に係るプログラムは、上記の予測方法を演算回路に実行させるためのプログラムである。
【0008】
本開示の一態様に係る表示方法は、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、
前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる。
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、
前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる。
【0009】
本開示の一態様に係るプログラムは、上記の表示方法を演算回路に実行させるためのプログラムである。
【0010】
本開示の一態様に係る予測システムは、
学習済みモデルを記憶する記憶装置と、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報を生成する生成装置と、
前記生成装置及び前記記憶装置にアクセス可能な演算回路と、
を備え、
前記学習済みモデルは、前記対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記演算回路は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する。
学習済みモデルを記憶する記憶装置と、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報を生成する生成装置と、
前記生成装置及び前記記憶装置にアクセス可能な演算回路と、
を備え、
前記学習済みモデルは、前記対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記演算回路は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する。
【0011】
本開示の一態様に係る表示システムは、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる。
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる。
【0012】
本開示の一態様に係る学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する。
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する。
【発明の効果】
【0013】
本開示の態様は、被写体の行動についての予測の精度をより向上させることができる。
【図面の簡単な説明】
【0014】
【図1】本開示の一実施の形態に係る予測システムを備える移動装置の構成例を示すブロック図
【図3】被写体が写る画像の第１例を示す概略図
【図4】被写体が写る画像の第２例を示す概略図
【図5】被写体が写る画像の第３例を示す概略図
【図6】画像に写る被写体の部位の一例を示す概略図
【図12】第１正解データを説明するための模式図
【図13】第２正解データを説明するための模式図
【図14】一実施の形態に係る表示システムの構成例を示すブロック図
【図16】モデル出力結果の表示例を示す模式図
【図17】モデル出力結果の表示例を示す模式図
【図18】モデル出力結果の表示例を示す模式図
【図19】モデル出力結果の表示例を示す模式図
【図20】モデルの変形例の概略説明図
【図21】モデルの変形例の概略説明図
【図22】モデルの変形例の概略説明図
【発明を実施するための形態】
【0015】
１．実施の形態
１－１．移動装置
１－１－１．構成例
図１は、一実施の形態に係る移動装置１の構成例を示すブロック図である。移動装置１は、例えば、自律移動可能なロボットである。移動装置１は、予測システム２０と、生成装置又は撮像装置の一例である撮像システム３と、制御システム４と、移動機構５と、報知装置６とを備える。
１－１．移動装置
１－１－１．構成例
図１は、一実施の形態に係る移動装置１の構成例を示すブロック図である。移動装置１は、例えば、自律移動可能なロボットである。移動装置１は、予測システム２０と、生成装置又は撮像装置の一例である撮像システム３と、制御システム４と、移動機構５と、報知装置６とを備える。
【0016】
予測システム２０は、被写体１０の行動の予測を行う。本実施の形態において、予測システム２０は、被写体１０の写る画像情報を撮像システム３から取得し、被写体１０の行動についての予測の結果（第１予測結果）を制御システム４に提供し、制御システム４にて第１予測結果に応じた動作を実行させるために用いられる。
【0017】
さらに、予測システム２０は、画像情報中の被写体１０に基づく複数の被写体情報の入力に対して、複数の被写体情報のうちの少なくとも一つについて入力後の変化の予測結果（第２予測結果）を出力する。例えば、予測システム２０は、画像情報中の被写体１０の位置、速度等の被写体情報の将来の状態を予測し、予測した将来の状態を第２予測結果として出力する。第２予測結果は、複数の被写体情報のうちの少なくとも一つについて変化の有無の予測結果を含み、変化がある場合にはその変化の程度又は変化量の予測結果を含む。
【0018】
予測システム２０によって出力された第２予測結果は、第１予測結果の根拠の分析又は説明に用いられてもよい。例えば、第１予測結果が正確でなかった場合、開発者等のユーザは、第２予測結果を用いて第１予測結果の根拠の分析をすることによって、予測システム２０が正確でない第１予測結果を出力した原因を発見し得る。ユーザは、発見した原因を予測システム２０による行動の予測にフィードバックすることにより、第１予測結果の精度を向上させるよう、予測システム２０を改良することができる。
【0019】
被写体１０は、予測システム２０による行動の予測の対象となる物体である。被写体１０の状態には、移動している状態と、停止している状態とが含まれ得る。被写体１０は、他律的に、例えば人に操作されることにより移動可能であってもよいし、自律的に移動可能であってもよい。
【0020】
本実施の形態では、被写体１０は、人（例えば、歩行者）である。以下では、「被写体」を「人」と表記する場合があるが、これは被写体を人に限定する趣旨ではなく、単に文章の煩雑さを避けて説明を分かりやすくするためである。したがって、被写体１０は、人に限らず、人以外の動物等の生物であってもよい。被写体１０は、生物に限らず、無生物であってもよい。無生物の例としては、二輪車、自動車、船舶、航空機等の乗り物やドローン等を含む移動物体が挙げられる。被写体１０は、物体の全体に限らず、物体の一部であってもよい。
【0021】
撮像システム３は、対象画像情報９を生成するためのシステムである。対象画像情報９は、被写体１０が写る１以上の画像のデータを含み得る。対象画像情報９は、被写体１０が写る静止画像のデータであってもよいし、被写体１０が写る動画像のデータであってもよい。本実施の形態では、「被写体１０が写る」は、被写体１０の全部が写ることに限定されず、被写体１０の少なくとも一部が写ることを含む。例えば、被写体１０が人である場合、人の顔が写る画像は、被写体１０が写る画像であるといえる。撮像システム３は、予測システム２０に通信可能に接続され、対象画像情報９を予測システム２０に提供することができる。撮像システム３は、１以上のカメラを含む。
【0022】
制御システム４は、被写体１０の行動についての第１予測結果に応じた動作を実行する。一例では、制御システム４は、移動機構５を制御して移動装置１の移動（行動）を制御する。制御システム４は、第１予測結果に応じて移動装置１の移動を決定することができる。制御システム４は、予測システム２０に通信可能に接続され、第１予測結果を予測システム２０から受け取ることができる。制御システム４は、１以上のメモリ及び１以上のプロセッサ等を含むコンピュータシステムを含む。
【0023】
移動機構５は、移動装置１を移動させるための機構である。移動機構５は、例えば、駆動機構（例えば、モータ等）、オムニホイール等のホイール又は車輪、ステアリング機構等を含む。
【0024】
報知装置６は、報知装置６の周囲に情報を報知する。例えば、報知装置６は、被写体１０に情報を報知する。例えば、報知装置６は、制御システム４により制御され、予測システム２０から出力された第１予測結果に基づく情報を被写体１０に報知する。報知装置６は、ＬＥＤ等の光源、ディスプレイ、表示器等の視覚的な報知装置、又は、スピーカ、ブザー、クラクション等の音源（聴覚的な報知装置）を含み得る。被写体１０が情報処理装置と通信を行うことができる装置である場合、報知装置６は、通信装置であってもよい。
【0025】
図１に示すように、予測システム２０は、インターフェース２１と、記憶装置２２と、演算回路２３と、を備える。
【0026】
インターフェース２１は、予測システム２０への情報の入力、及び、予測システム２０からの情報の出力に利用される。インターフェース２１は、入出力装置２１１と、通信装置２１２と、を含む。入出力装置２１１は、ユーザからの情報の入力のための入力装置、及び、ユーザへの情報の出力のための出力装置としての機能を有する。入出力装置２１１は、１以上のヒューマン・マシン・インターフェースを備える。ヒューマン・マシン・インターフェースの例としては、キーボード、ポインティングデバイス（マウス、トラックボール等）、タッチパッド等の入力装置、ディスプレイ、スピーカ等の出力装置、タッチパネル等の入出力装置が挙げられる。
【0027】
通信装置２１２は、外部装置又はシステムと通信可能に接続される。本実施の形態では、通信装置２１２は、通信ネットワークを通じた撮像システム３及び制御システム４との通信に用いられる。通信装置２１２は、１以上の通信インターフェースを備える。通信装置２１２は、通信ネットワークに接続可能であり、通信ネットワークを通じた通信を行う。通信装置２１２は、所定の通信プロトコルに準拠している。所定の通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。
【0028】
記憶装置２２は、演算回路２３が利用する情報及び演算回路２３で生成される情報を記憶する。記憶装置２２は、１以上のストレージ（非一時的な記憶媒体）を含む。ストレージは、例えば、ハードディスクドライブ、光学ドライブ、及びソリッドステートドライブ（ＳＳＤ）のいずれであってもよい。また、ストレージは、内蔵型、外付け型、及びＮＡＳ（network-attached storage）型のいずれであってもよい。
【0029】
記憶装置２２は、モデル７と、モデル出力結果８と、対象画像情報９とを記憶する。モデル７と、モデル出力結果８と、対象画像情報９とは、常に記憶装置２２に記憶されている必要はなく、演算回路２３で必要とされるときに記憶装置２２に記憶されていればよい。モデル７は、被写体１０の行動についての第１予測結果と、被写体１０の複数の被写体情報のうちの少なくとも一つについての第２予測結果と、を出力するために用いられる。モデル７の詳細については後述する。
【0030】
演算回路２３は、予測システム２０の動作を制御する回路である。演算回路２３は、例えば、１以上のプロセッサと１以上のメモリとを含むコンピュータシステムにより実現され得る。１以上のプロセッサがプログラムを実行することで、演算回路２３としての機能を実現する。このようなプログラムは、例えば記憶装置２２に予め記憶されるが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記憶媒体に記憶されて提供されてもよい。
【0031】
演算回路２３は、記憶装置２２にアクセス可能である。演算回路２３は、インターフェース２１に接続され、インターフェース２１を介して、撮像システム３及び制御システム４に情報を送信し、撮像システム３及び制御システム４から情報を受信することができる。演算回路２３は、インターフェース２１を介して、表示システム２に接続されてもよい。表示システム２の詳細は後述する。
【0032】
【0033】
まず、演算回路２３は、対象画像情報９を取得する（Ｓ１１）。本実施の形態において、演算回路２３は、インターフェース２１を通じて撮像システム３から対象画像情報９を取得する。演算回路２３は、対象画像情報９を記憶装置２２に記憶させてもよい。
【0034】
図３は、対象画像情報９に含まれる、被写体１０の写る画像の第１例を示す概略図である。図４は、対象画像情報９に含まれる、被写体１０の写る画像の第２例を示す概略図である。図５は、対象画像情報９に含まれる、被写体１０の写る画像の第３例を示す概略図である。図３～５において、被写体１０は、手前に移動している。つまり、被写体１０は移動装置１（撮像システム３のレンズ又は撮像面）に接近している。図３の画像では、被写体１０は前を向いて歩いており、被写体１０の視線は、被写体１０から見て移動装置１よりやや右を向いている。図４の画像では、被写体１０は前を向いて歩いており、被写体１０の視線は、移動装置１の方を向いている。図５の画像では、被写体１０は下を向いており、前を向いて歩いていない。
【0035】
演算回路２３は、対象画像情報９に含まれる画像から被写体１０を検出する処理を実行する（Ｓ１２）。画像からの被写体１０の検出は、従来周知の方法により実現されてよい。画像からの被写体１０の検出は、例えば、エッジ検出等の画像処理技術により実現されてもよいし、学習済みモデルを利用して実現されてもよい。
【0036】
演算回路２３は、対象画像情報９から被写体１０の複数の情報（被写体情報）を検出する（Ｓ１３）。演算回路２３は、ステップＳ１２で検出した被写体１０に関して、対象画像情報９から複数の被写体情報を検出する。
【0037】
被写体情報は、被写体１０に関する定量的な情報である。例えば、複数の被写体情報は、被写体１０の位置、被写体１０のバウンディングボックスＢ（図３参照）、被写体１０の１又は複数の部位の位置、被写体１０の１又は複数の部位の向き、被写体１０の１又は複数の部位の画像、被写体１０の複数の部位の関連性に基づく情報、被写体１０の全体の画像、被写体１０の速度、及び被写体１０の軌跡のうちの少なくとも一つの情報を含む。被写体情報は、本明細書の定量情報の一例である。
【0038】
被写体１０の位置は、例えば、実空間における被写体１０の絶対的な位置、又は、実空間における移動装置１に対する被写体１０の位置（相対位置）である。一例として、被写体１０の位置は、対象画像情報９に含まれる画像上の被写体１０の位置及び大きさ（バウンディングボックスＢの大きさ）に基づいて決定され得る。画像からの被写体１０の位置の検出は、従来周知の方法により実現されてよい。
【0039】
バウンディングボックスＢは、図３～５に示したような被写体１０を囲う矩形のボックス（矩形の境界線）である。より詳細には、バウンディングボックスＢは、被写体１０をちょうど囲う大きさの矩形のボックスである。そのため、バウンディングボックスＢの幅Ｗ及び高さＨは、画像上の被写体１０の大きさに応じて変化する。
【0040】
バウンディングボックスＢは、従来周知の技術により設定されてもよい。例えば、バウンディングボックスＢは、画像における矩形の注目領域出に被写体１０が含まれるか否かに基づいて設定されてもよいし（例えば、特許第４４４７２４５号公報参照）、人の骨格の検出技術（例えば、OpenPose等の姿勢推定モデル）を利用して検出された人の骨格を内包するように設定されてもよい。
【0041】
被写体１０の速度は、例えば、被写体１０の絶対的な速度、又は、移動装置１に対する被写体１０の速度（相対速度）である。一例として、被写体１０の速度は、対象画像情報９に含まれる画像間の被写体１０の位置及び大きさの変化に基づいて決定され得る。画像からの被写体１０の速度の検出は、従来周知の方法により実現されてよい。
【0042】
被写体１０の部位の位置は、例えば、被写体１０の顔の位置である。部位の向きは、例えば、被写体１０の顔の向き又は視線である。部位の画像は、例えば、被写体１０の顔の画像である。複数の部位の関連性に基づく情報は、例えば、被写体１０の姿勢に関する情報である。被写体１０の全体の画像は、例えば、被写体１０に対応するバウンディングボックスＢで囲まれた画像である。
【0043】
被写体１０の部位は、例えば、顔、頭、腕、胴、脚である。被写体１０の部位は、図６に四角形で示した骨格点Ｐであってもよい。また、被写体１０の部位は、目、鼻、指、関節等であってもよい。
【0044】
図２に戻り、演算回路２３は、モデル７で予測を行う（Ｓ１４）。より詳細には、演算回路２３は、対象画像情報９から検出された複数の被写体情報をモデル７に入力する。モデル７は、複数の被写体情報の入力に対して、対象画像情報９から検出された被写体１０の行動についての第１予測結果と、被写体１０の複数の被写体情報のうちの少なくとも一つについての第２予測結果と、を出力する。
【0045】
本実施の形態において、予測対象である被写体１０の行動は、例えば、被写体１０が他の物体を回避すること、被写体１０が他の物体の通路を横断すること、被写体１０が他の物体に接近すること、被写体１０が他の物体に随行し、又は前記他の物体を追い抜くこと、被写体１０が加速すること、及び被写体１０が減速すること、のうちの少なくとも一つを含む。このように、モデル７から出力される被写体１０の行動は、被写体１０が加速すること、及び被写体１０が減速することを含み得る。被写体１０が加速すること、及び被写体１０が減速することは、定性的な情報であるから、定量的な情報である被写体情報には該当しない。
【0046】
上記に加えて、又は上記に代えて、被写体１０の行動は、被写体１０が停止すること、又は停止中であること、被写体１０が動き出すこと、及び被写体１０が進行方向を変えること、のうちの少なくとも一つを含んでもよい。被写体１０が停止中である状態は、例えば、被写体１０が作業中であり、移動することなく定位置に立っている状態、椅子などに座っている状態等を含む。被写体１０が動き出すことは、例えば、被写体１０が停止中である状態から移動し始めること、椅子に座った状態から立ち上がること、可動式椅子に座ったまま移動すること等を含む。
【0047】
本実施の形態において、第１予測結果の一例は、被写体１０の行動が第１行動である確率と、被写体１０の行動が第２行動である確率とを含む。第２行動は、第１行動と異なっていてもよい。
【0048】
本実施の形態において、第１予測結果の他の例は、被写体１０の移動方向についての予測結果である。被写体１０の移動方向の予測結果は、被写体１０の移動方向が第１移動方向である確率と被写体１０の移動方向が第２移動方向である確率とを含む。第１移動方向は、被写体１０が他の物体に向かう方向である。第２移動方向は、被写体１０が他の物体を回避する方向である。本実施の形態において、他の物体は、例えば、移動装置１である。つまり、被写体１０の移動方向についての予測結果は、被写体１０が移動装置１を回避しようとするかどうかの確率を表しているといえる。この観点から、被写体１０の移動方向についての予測結果は、被写体１０が移動装置１を回避しよう確率を示す回避意図スコアであるといえる。よって、この例において、予測システム２０は、モデル７を利用して、前方歩行者の回避意図予測を実行しているといえる。モデル７の詳細については後述する。
【0049】
被写体１０の行動についての第１予測結果の一例である回避意図スコアの導出例について説明する。回避意図スコア（尤度）の導出は、被写体１０の移動方向が第１移動方向である場合（非回避の場合）のスコアを０とし、被写体１０の移動方向が第２移動方向である場合（回避の場合）のスコアを１とした２値分類問題とみなすことができる。スコアを０～１の範囲にするため、モデル７の出力（後述の第１出力部７６からの出力）を式（１）で表されるシグモイド関数のｘに代入し、得られた出力がスコアとなる。
【0050】
あるいは、スコアは、０～１の範囲の値ではなく、例えば、ＲｅＬｕ関数を用いて連続的な数値として導出されてもよい（回帰モデル）。
【0051】
第１予測結果の他の例は、被写体１０の行動の危険の程度を示す指標（以下、「危険度」ともいう。）である。危険度は、例えば、被写体１０の速度、視線を示す情報に基づいて決定される。例えば、被写体１０の速度が大きく、視線が他の物体（移動装置１）の方向を向いていないとき、危険度は高くなる。これに代えて、又はこれに加えて、危険度は、行動の予測結果に基づいて決定されてもよい。例えば、被写体１０が移動装置１を回避しよう確率が低い場合、又は被写体１０が急加速すると予測される場合、危険度は高くなる。
【0052】
第１予測結果の更なる他の例は、被写体１０の行動の安全の程度を示す指標（以下、「安全度」ともいう。）である。安全度は、例えば、被写体１０の速度、視線を示す情報に基づいて決定される。例えば、被写体１０の速度が小さく、視線が他の物体（移動装置１）の方向を向いているとき、安全度は高くなる。これに代えて、又はこれに加えて、安全度は、行動の予測結果に基づいて決定されてもよい。例えば、被写体１０が移動装置１を回避しよう確率が高い場合、安全度は高くなる。
【0053】
図２において、演算回路２３は、第１予測結果と第２予測結果とを関連付けて、モデル出力結果８として記憶装置２２に記憶させる（Ｓ１５）。演算回路２３は、第１予測結果と第２予測結果とを、対象画像情報９に関連付けて記憶装置２２に格納してもよい。記憶装置２２が複数の記憶媒体で構成される場合、ステップＳ１５で記憶される第１及び第２予測結果は、モデル７が記憶される記憶媒体とは異なる記憶媒体に記憶されてもよいし、同一の記憶媒体に記憶されてもよい。
【0054】
ステップＳ１５で記憶された第１予測結果は、移動装置１の制御システム４において移動装置１の動作の決定に用いられ得る。
【0055】
図７～図９は、移動装置１の動作の一例の説明図である。図７において、移動装置１の進行予定経路Ｍ１に、被写体１０が存在する。被写体１０は移動方向Ｖ０に移動中である。図７において、移動方向Ｖ０は、移動装置１に対する被写体１０の相対速度ベクトルで表されている。
【0056】
移動装置１では、予測システム２０が、被写体１０の行動の予測、例えば移動方向の予測を実行する。被写体１０の移動方向についての第１予測結果は、被写体１０の移動方向が第１移動方向Ｖ１である確率と被写体１０の移動方向が第２移動方向Ｖ２である確率とを含む。第１移動方向Ｖ１は、被写体１０が他の物体（移動装置１）に向かう方向である。第２移動方向Ｖ２は、被写体１０が他の物体（移動装置１）を回避する方向である。
【0057】
被写体１０の移動方向が第１移動方向Ｖ１である確率が高い場合には、被写体１０が移動装置１の近接エリア１ａに到達し、移動装置１と衝突する可能性が高い。この場合、図８に示すように、制御システム４が移動装置１の進行予定経路Ｍ１を進行予定経路Ｍ２に変更し、移動装置１は、被写体１０との衝突を回避する行動をとることができる。
【0058】
被写体１０の移動方向が第２移動方向Ｖ２である確率が高い場合には、被写体１０が移動装置１と衝突する可能性が低い。この場合、図９に示すように、移動装置１では、制御システム４が移動装置１の進行予定経路Ｍ１を維持する行動をとる。
【0059】
このように、制御システム４は、第１予測結果に基づいて、移動装置１の進行方向及び速度の少なくとも一方を制御することにより、移動装置１と被写体１０とが衝突する可能性を低減することができる。特に、移動装置１は、被写体１０の移動を優先して被写体１０との衝突を徹底的に避けるような移動方針ではなく、被写体１０が移動装置１との衝突を回避する行動をとるかどうかを判定した上で譲り合いを考慮するような移動方針により進行予定経路を設定することができる。これによって、移動装置１は、被写体１０とのスムーズなすれ違いを実現することができ得る。
【0060】
移動装置１の動作の他の例として、制御システム４は、第１予測結果に応じて移動装置１の動作予定を決定し、動作予定を報知装置６に報知させてもよい。例えば、報知装置６は、第１予測結果に応じて移動方向又は移動速度を決定し、決定した情報を光源の点滅、表示器による表示、又は、音源による警告音の発生等の手段により報知する。これにより、被写体１０は移動装置１の動作予定を知ることができ、移動装置１との衝突を回避する行動をとることができる。
【0061】
移動装置１の動作の他の例として、制御システム４は、第１予測結果に基づく情報を報知装置６に報知させてもよい。例えば、報知装置６は、被写体１０が移動装置１と衝突する可能性が高い場合、光源の点滅、表示器による表示、又は、音源による警告音の発生のいずれかを実行する。これにより、被写体１０は移動装置１と衝突する可能性が高いことを知ることができ、移動装置１との衝突を回避する行動をとることができる。
【0062】
ステップＳ１５で記憶された第２予測結果は、第１予測結果の分析に用いられ得る。例えば、第２予測結果に基づいて、ユーザは、なぜそのような第１予測結果が出力されたかを説明又は分析することができる。例えば、第１予測結果が正確でなかった場合、ユーザは、モデル７によって出力された第２予測結果を用いて予測システム２０による行動の予測の根拠の分析をすることによって、モデル７が正確でない第１予測結果を出力した原因を発見し得る。例えば、モデル７から出力された第１予測結果が誤っていた場合に、特定の被写体情報の変化についての第２予測結果も誤っていたときは、第１予測結果の誤りの原因は、特定の被写体情報に関する処理に関係している可能性が高いと考えられる。
【0063】
このように予測の誤りの原因が判明すれば、ユーザは、発見した原因を第１予測結果にフィードバックすることにより、モデル７による行動の予測の精度を向上させるよう、予測システム２０を改良することができる。例えば、ユーザは、モデル７の一方の出力である第２予測結果が正しくなるようにモデル７（特に、後述する抽出部）を調整することにより、モデル７の他方の出力である第１予測結果の精度の向上が期待できる。したがって、予測システム２０は、被写体１０の行動の予測の精度を向上させることができる。
【0064】
１－１－３．モデル
１－１－３－１．モデルの構造例
モデル７は、画像情報中の被写体１０に基づく複数の被写体情報の入力に対して、被写体１０の行動についての第１予測結果と、複数の被写体情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルである。モデル７は、このように２つのタスクを解くように学習されたマルチタスクモデルであるともいえる。
１－１－３－１．モデルの構造例
モデル７は、画像情報中の被写体１０に基づく複数の被写体情報の入力に対して、被写体１０の行動についての第１予測結果と、複数の被写体情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルである。モデル７は、このように２つのタスクを解くように学習されたマルチタスクモデルであるともいえる。
【0065】
図１０は、モデル７の構成例の概略説明図である。図１０では、対象画像情報９は、時系列順の複数の画像を含む。図２のステップＳ１２及びＳ１３において、複数の画像から、複数の被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４が得られる。図１０において、被写体情報Ｉ１１は被写体１０のバウンディングボックスＢを示す情報であり、被写体情報Ｉ１２は被写体１０の速度Ｖを示す情報であり、被写体情報Ｉ１３は被写体１０の骨格点Ｐを示す情報であり、被写体情報Ｉ１４は被写体１０の全体の画像１０ａを示す情報である。図１０の複数の被写体情報はあくまでも例示であり、複数の被写体情報は、四つの被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４に限定されない。
【0066】
図１０のモデル７は、図２のステップＳ１４において、四つの被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４の入力に対して、被写体１０の行動についての第１予測結果Ｏ１と、四つの被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４のうちの少なくとも一つについての第２予測結果Ｏ２とを出力する。図１０の例では、第２予測結果Ｏ２は、四つの被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４のうちの三つについての第２予測結果Ｏ２－１，Ｏ２－２，Ｏ２－３を含む。例えば、第２予測結果Ｏ２－１は、被写体１０のバウンディングボックスＢの変化の予測結果であり、第２予測結果Ｏ２－２は、被写体１０の速度Ｖの変化の予測結果であり、第２予測結果Ｏ２－３は、被写体１０の骨格点Ｐの変化の予測結果である。第２予測結果Ｏ２は、複数の被写体情報の全ての変化の予測結果を含んでもよい。
【0067】
モデル７は、第１ネットワーク機構７１１と、第１アテンション機構７１２と、第２ネットワーク機構７２１と、第２アテンション機構７２２と、第３ネットワーク機構７３１と、第３アテンション機構７３２と、第４ネットワーク機構７４１と、第４アテンション機構７４２と、結合部７５と、第１出力部７６と、第２出力部７７とを含む。
【0068】
第１ネットワーク機構７１１は、被写体情報Ｉ１１から特徴量を抽出する。第１ネットワーク機構７１１は、例えば、長・短記憶（Long short-term memory；ＬＳＴＭ）又はゲート付き回帰型ユニット（Gated recurrent unit；ＧＲＵ）等の回帰型ニューラルネットワーク（Recurrent neural network；ＲＮＮ）のアーキテクチャを含む。第１アテンション機構７１２は、被写体情報Ｉ１１のうちのどの部分に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、被写体情報Ｉ１１のうち重要と考えられる部分の特徴量が抽出され、結合部７５に入力される。
【0069】
第２ネットワーク機構７２１は、被写体情報Ｉ１２から特徴量を抽出する。第２ネットワーク機構７２１は、例えば、ＬＳＴＭ又はＧＲＵ等のＲＮＮのアーキテクチャを含む。第２アテンション機構７２２は、被写体情報Ｉ１２のうちのどの部分に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、被写体情報Ｉ１２のうち重要と考えられる部分の特徴量が抽出され、結合部７５に入力される。
【0070】
第３ネットワーク機構７３１は、被写体情報Ｉ１３から特徴量を抽出する。第３ネットワーク機構７３１は、例えば、３次元畳み込みニューラルネットワーク（3D-convolutional neural network；３ＤＣＮＮ）、畳み込みニューラルネットワーク（Convolutional neural network；ＣＮＮ）とＲＮＮとの組み合わせ、又はグラフ畳み込みニューラルネットワーク（Graph Convolutional neural network；ＧＣＮＮ）のアーキテクチャを含む。第３アテンション機構７３２は、被写体情報Ｉ１３のうちのどの部分に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、被写体情報Ｉ１３のうち重要と考えられる部分の特徴量が抽出され、結合部７５に入力される。
【0071】
第４ネットワーク機構７４１は、被写体情報Ｉ１４から特徴量を抽出する。第４ネットワーク機構７４１は、例えば、３ＤＣＮＮ、又はＣＮＮとＲＮＮとの組み合わせのアーキテクチャを含む。第４アテンション機構７４２は、被写体情報Ｉ１４のうちのどの部分に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、被写体情報Ｉ１４のうち重要と考えられる部分の特徴量が抽出され、結合部７５に入力される。
【0072】
結合部７５は、入力された被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４の特徴量をまとめて融合特徴量とし、融合特徴量を第１出力部７６と第２出力部７７とに入力する。結合部７５は、入力された特徴量のうちのどの特徴量に着目すべきかを決定するアテンション機構を含んでもよい。結合部７５は、アテンション機構によって決定された着目すべき程度を示す重要度に基づいて融合特徴量を生成してもよい。
【0073】
第１出力部７６は、入力された融合特徴量から、被写体１０の行動についての第１予測結果Ｏ１を出力する。第１出力部７６は、例えば、全結合層を含む。全結合層は、例えば、ソフトマックス関数を含む。
【0074】
第２出力部７７は、入力された融合特徴量から、複数の被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４のうちの少なくとも一つについての第２予測結果Ｏ２を出力する。第２出力部７７は、例えば、全結合層を含む。全結合層は、例えば、ソフトマックス関数を含む。
【0075】
以上のように、モデル７は、入力された複数の被写体情報から複数の特徴量を抽出する抽出部と、抽出部で抽出された複数の特徴量から被写体１０の行動についての第１予測結果Ｏ１を決定する第１決定部と、抽出部で抽出された複数の特徴量から複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２を決定する第２決定部と、を含む。図１０の第１～第４ネットワーク機構７１１，７２１，７３１，７４１、第１～第４アテンション機構７１２，７２２，７３２，７４２、及び結合部７５は、このような抽出部の一例である。
【0076】
本明細書では、モデル７が、第１～第４ネットワーク機構７１１，７２１，７３１，７４１、第１～第４アテンション機構７１２，７２２，７３２，７４２、及び結合部７５の各機能に応じた処理を実行することを、モデル７が各機能に対応する抽出部を含む又は有すると表現することがある。
【0077】
図１０の第１出力部７６は第１決定部の一例であり、第２出力部７７は第２決定部の一例である。第１決定部が実行する処理は第１決定処理の一例であり、第２決定部が実行する処理は第２決定処理の一例である。
【0078】
予測システム２０のモデル７は、複数の被写体情報の入力に対して、第１予測結果Ｏ１と、第２予測結果Ｏ２と、を出力する（図２のＳ１４参照）。移動装置１は、第１予測結果Ｏ１に基づいて制御システム４が移動装置１の行動を制御することにより、移動装置１と被写体１０とが衝突する可能性を低減することができる。また、第２予測結果Ｏ２は、第１予測結果Ｏ１の結果の分析に用いられ得る。
【0079】
１－１－３－２．モデルの構築手順の例
以下、モデル７の構築手順としての学習方法について説明する。モデル７の学習は、例えば誤差逆伝播法を利用して、演算回路（演算回路２３又は他の演算回路）によって行われる。
以下、モデル７の構築手順としての学習方法について説明する。モデル７の学習は、例えば誤差逆伝播法を利用して、演算回路（演算回路２３又は他の演算回路）によって行われる。
【0080】
図１１は、モデル７の構築手順の一例を説明するための模式図である。モデル７の構築にあたっては、学習用データセットを用いた教師あり学習を採用する。学習用データセットは、入力データＴ、第１正解データＧＴ１、及び第２正解データＧＴ２を含む。入力データＴは、例えば、時系列順の複数の画像を含む。第１正解データＧＴ１は、入力データＴに対して予め用意された被写体１０の行動についての予測結果の正解を示す。第２正解データＧＴ２は、入力データＴに対して予め用意された複数の被写体情報のうちの少なくとも一つについての予測結果の正解を示す。
【0081】
モデル７は、入力データＴから検出された複数の被写体情報の入力に対して、被写体１０の行動についての第１予測結果Ｏ１と、複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２と、を出力する。
【0082】
演算回路は、入力データＴに対してモデル７から出力された第１予測結果Ｏ１と、入力データＴに対応する第１正解データ（ラベル情報）ＧＴ１との差、すなわち第１予測結果Ｏ１の誤差を計算し、計算された第１予測結果Ｏ１の誤差をモデル７にフィードバックする。同様に、演算回路は、入力データＴに対してモデル７から出力された第２予測結果Ｏ２と、第２正解データＧＴ２との差、すなわち第２予測結果Ｏ２の誤差を計算し、計算された第２予測結果Ｏ２の誤差をモデル７にフィードバックする。以上の手順を多数の学習用データセットについて行うことにより、モデル７が構築される。
【0083】
図１２及び図１３を用いて、学習用データセットの用意について説明する。図１２は、第１正解データＧＴ１を説明するための模式図である。被写体１０が移動装置１を回避したことを示す第１正解データＧＴ１は、例えば以下のようにして用意される。
【0084】
まず、被写体１０が移動装置１を回避した事例を撮影することにより得られた時系列順の複数の画像９ａ（これは、非回避の場面が存在しない動画であるともいえる）を用意する。この時系列順の複数の画像９ａから、被写体１０が移動装置１を回避した時点ｔ０より前の時点ｔ１と、この時点から所定期間ｔ１２前の時点ｔ２との間に撮影された時系列順の画像群９ｂを回避データとして抽出する。画像群９ｂは、図１２に例示したように被写体１０が移動装置１を回避した時点ｔ０とこの時点から所定期間ｔ０２前の時点ｔ２との間に撮影された時系列順の画像群９ｃの一部であってもよいし、図１２の例とは異なり画像群９ｃの全てであってもよい。画像群９ｂ、及び所定期間ｔ１２又はｔ０２は、モデル７の用途に応じて選択される。例えば、所定期間ｔ１２は、数秒、例えば０．５～１．５秒である。例えば、所定期間ｔ０２は、数秒、例えば０．５～１．５秒である。
【0085】
次に、抽出された画像群（回避データ）９ｂに、被写体１０が移動装置１を回避したことを示す正解ラベル（例えば１）を付与する。これによって、回避データである入力データＴと、被写体１０が移動装置１を回避したことを示す正解ラベルである第１正解データＧＴ１との組み合わせが得られる。
【0086】
被写体１０が移動装置１を回避しなかったことを示す第１正解データＧＴ１は、被写体１０が移動装置１を回避した事例を撮影することにより得られた時系列順の複数の画像９ａを利用することにより用意することができる。例えば、この時系列順の複数の画像９ａから、被写体１０が移動装置１を回避した時点ｔ０から所定期間ｔ０２前の時点ｔ２より前に撮影された画像群９ｄを非回避データとして抽出する。次に、抽出された画像群９ｄ（非回避データ）に、被写体１０が移動装置１を回避しなかったことを示す正解ラベル（例えば０）を付与する。これによって、非回避データである入力データＴと、被写体１０が移動装置１を回避しなかったことを示す正解ラベルである第１正解データＧＴ１との組み合わせが得られる。このようにして、回避する場面が存在する動画から回避データと非回避データとを抽出することができる。
【0087】
図１２の例に代えて、又はこれに加えて、被写体１０が移動装置１を回避しなかったことを示す第１正解データＧＴ１は、以下のようにして用意されてもよい。まず、被写体１０が移動装置１を回避しなかった（移動装置１と衝突した）事例を撮影することにより得られた時系列順の複数の画像を用意する。この時系列順の複数の画像から、被写体１０が移動装置１と衝突した時点と、この時点から所定期間前の時点との間に撮影された画像群を抽出する。次に、抽出された画像群に、被写体１０が移動装置１を回避しなかったことを示す正解ラベル（例えば０）を付与する。
【0088】
図１３は、第２正解データＧＴ２を説明するための模式図である。第２正解データＧＴ２は、例えば以下のようにして用意される。まず、被写体１０を撮影することにより得られた時系列順の複数の画像９ｅを用意する。これらの画像９ｅは、第１正解データＧＴ１を用意するために用いた時系列順の複数の画像９ａと同一であってもよいし、異なっていてもよい。次に、複数の画像９ｅから、１つの対象画像（対象フレーム）９ｆを選択する。さらに、対象フレーム９ｆに写っている被写体１０が、対象フレームの撮影時Ｔ０に有していた被写体情報を第２正解データＧＴ２（正解ラベル）として用意する。図１３では、被写体情報として、被写体１０のバウンディングボックスＢ、被写体１０の速度Ｖ、及び、被写体１０の骨格点Ｐが示されている。ただし、被写体情報は、例えば、被写体１０の位置、被写体１０の１又は複数の部位の位置、被写体１０の１又は複数の部位の向き、被写体１０の１又は複数の部位の画像、被写体１０の複数の部位の関連性に基づく情報、被写体１０の全体の画像、及び被写体１０の軌跡を示す情報であってよい。
【0089】
次に、複数の画像９ｅから、対象フレーム９ｆの撮影時Ｔ０から第１期間Ｔ０１前の第１時点Ｔ１と、第１時点Ｔ１より第２期間Ｔ１２前の第２時点Ｔ２との間に撮影された時系列順の画像群９ｇを抽出する。第１期間Ｔ０１は、モデル７の用途に応じて選択される。例えば、第１期間Ｔ０１は、数秒、例えば０．５～１．５秒である。撮影時Ｔ０より前の画像群９ｇに、正解ラベルとして用意した撮影時Ｔ０の被写体情報を付与する。これによって、撮影時Ｔ０より前の画像群である入力データＴと、撮影時Ｔ０の被写体情報である第２正解データＧＴ２との組み合わせが得られる。
【0090】
図１３において、抽出された画像群９ｇから見ると、対象フレーム９ｆは将来の一時点の画像であるといえる。したがって、このようにして用意された入力データＴと第２正解データＧＴ２との組み合わせにより、入力データＴの入力に対して、複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２を出力するモデル７を構築することができる。
【0091】
第１予測結果Ｏ１の誤差及び第２予測結果Ｏ２の誤差は、例えば予測関数を用いて算出される。例えば、第１出力Ｏ１の誤差をＥ１とすると、Ｅ１は、式（２）で表される二値交差エントロピー（Binary Cross Entropy、ＢＣＥ）関数を用いて算出される。
【0092】
例えば、第２予測結果Ｏ２の誤差をＥ２とすると、Ｅ２は、式（３）で表される平均絶対誤差(Mean Absolute Error、ＭＡＥ)として算出される。
【0093】
１－２．表示システム
１－２－１．構成例
図１４は、一実施の形態に係る表示システム２の構成例を示すブロック図である。表示システム２は、図１のモデル７によって出力された情報を表示装置４０に表示させる。表示装置４０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等のディスプレイを含む。
１－２－１．構成例
図１４は、一実施の形態に係る表示システム２の構成例を示すブロック図である。表示システム２は、図１のモデル７によって出力された情報を表示装置４０に表示させる。表示装置４０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等のディスプレイを含む。
【0094】
図１４に示すように、表示システム２は、インターフェース３１と、記憶装置３２と、演算回路３３とを備える。
【0095】
インターフェース３１は、表示装置４０への情報の出力、及び、図１の予測システム２０からの情報の入力に利用される。インターフェース３１は、入出力装置３１１と、通信装置３１２と、を含む。入出力装置３１１は、１以上のヒューマン・マシン・インターフェースを備える。
【0096】
通信装置３１２は、外部装置又はシステムと通信可能に接続される。本実施の形態では、通信装置３１２は、通信ネットワークを通じた予測システム２０との通信に用いられる。通信装置３１２は、１以上の通信インターフェースを備える。通信装置３１２は、通信ネットワークに接続可能であり、通信ネットワークを通じた通信を行う。通信装置３１２は、所定の通信プロトコルに準拠している。所定の通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。
【0097】
記憶装置３２は、演算回路３３が利用する情報及び演算回路３３で生成される情報を記憶する。記憶装置３２は、１以上のストレージを含む。ストレージは、例えば、ハードディスクドライブ、光学ドライブ、及びＳＳＤのいずれであってもよい。また、ストレージは、内蔵型、外付け型、及びＮＡＳ型のいずれであってもよい。記憶装置３２は、モデル出力結果８を記憶してもよい。
【0098】
演算回路３３は、表示システム２の動作を制御する回路である。演算回路３３は、例えば、１以上のプロセッサと１以上のメモリとを含むコンピュータシステムにより実現され得る。１以上のプロセッサがプログラムを実行することで、演算回路３３としての機能を実現する。このようなプログラムは、例えば記憶装置３２に予め記憶されるが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記憶媒体に記憶されて提供されてもよい。
【0099】
演算回路３３は、記憶装置３２にアクセス可能である。演算回路３３は、インターフェース３１に接続され、インターフェース３１を介して、表示装置４０及び予測システム２０に情報を送信し、表示装置４０及び予測システム２０から情報を受信することができる。演算回路３３は、予測システム２０からモデル出力結果８を受信する（図１参照）。
【0100】
【0101】
まず、演算回路３３は、モデル出力結果８を取得する（Ｓ２１）。本実施の形態において、演算回路３３は、インターフェース３１を通じて予測システム２０からモデル出力結果８を取得する。例えば、演算回路３３は、図２のステップＳ１５において関連付けて記憶された第１予測結果Ｏ１と第２予測結果Ｏ２とを取得する。あるいは、演算回路３３は、第１予測結果Ｏ１と第２予測結果Ｏ２とをモデル７から直接的に（記憶装置を介さずに）取得してもよい。演算回路２３は、取得したモデル出力結果８を記憶装置３２に記憶させてもよい。
【0102】
次に、演算回路３３は、モデル出力結果８を表示装置４０に表示させる（Ｓ２２）。本実施の形態では、演算回路３３は、第１予測結果Ｏ１を示す情報と、第２予測結果Ｏ２を可視化した情報とを表示装置４０に表示させる。
【0103】
図１６～１９を用いて、モデル出力結果８の表示例を説明する。図１６は、第１予測結果Ｏ１を示す情報と、第２予測結果Ｏ２の一例である被写体１０の速度Ｖの予測結果を可視化した情報とを例示している。図１６では、第１予測結果Ｏ１を示す情報を、被写体１０を囲む楕円形で示している。例えば、第１予測結果Ｏ１が、被写体１０が移動装置１を回避するという予測である場合、演算回路３３は、図１６の楕円の中又は枠線を緑色で表示する。これにより、表示装置４０を見た者は、モデル７が、表示された画像中の被写体１０に基づく複数の被写体情報の入力に対して、被写体１０が移動装置１を回避するという行動の第１予測結果Ｏ１を出力したことを知ることができる。
【0104】
表示装置４０を見た者が第１予測結果Ｏ１を知ることができれば良いため、第１予測結果Ｏ１を示す情報の表示例は図１６に示した例に限定されない。例えば、演算回路３３は、第１予測結果Ｏ１を示すテキストを表示装置４０に表示させてもよい。後述の図１７～１９についても同様である。
【0105】
図１７は、第１予測結果Ｏ１を示す情報と、第２予測結果Ｏ２の一例である被写体１０のバウンディングボックスＢの予測結果を可視化した情報とを例示している。図１７の予測結果は、予測システム２０が、表示装置４０に表示された図１７の画像の撮像時から所定期間（図１２参照）経過後に、被写体１０が図１７に示されたバウンディングボックスＢの位置に移動すると予測したことを示している。
【0106】
図１８は、第１予測結果Ｏ１を示す情報と、第２予測結果Ｏ２の一例である被写体１０の骨格点Ｐの予測結果を可視化した情報とを例示している。図１８の予測結果は、予測システム２０が、表示装置４０に表示された図１８の画像の撮像時から所定期間経過後に、被写体１０が図１８に示された骨格点Ｐの位置に移動すると予測したことを示している。
【0107】
表示装置４０には、第２予測結果Ｏ２が対象画像情報上に重畳して表示されてもよい。図１９は、第１予測結果Ｏ１を示す情報と、被写体１０の速度Ｖ、バウンディングボックスＢ、及び骨格点Ｐの予測結果を可視化した情報とを重畳表示する例を示している。第２予測結果Ｏ２を可視化した情報は、対象画像情報を加工して得られた情報に基づく画像上に重畳して表示されてもよい。対象画像情報を加工して得られた情報は、例えば、ＣＧ（computer graphics）情報、イラスト情報などを含む。
【0108】
また、演算回路３３は、移動装置１の動作の決定結果（図７～９参照）を表示装置４０に表示させてもよい。例えば、図１９に示すように、演算回路３３は、移動装置１の進行予定経路Ｍを表示装置４０に表示させてもよい。
【0109】
第２予測結果Ｏ２を可視化した情報は、単に予測結果Ｏ２のデータを数値として表示されるのではなく、図１６～１９に示したように、人によって理解される態様で表示されてもよい。
【0110】
以上のように、表示システム２は、被写体１０の行動についての第１予測結果Ｏ１を示す情報と、複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２を可視化した情報とを表示装置４０に表示させることにより、第１予測結果Ｏ１の分析に利用できる。例えば、第１予測結果Ｏ１が正確でなかった場合、開発者等のユーザは、モデル７によって出力された第２予測結果Ｏ２を分析することによって、モデル７が正確でない第１予測結果Ｏ１を出力した原因を発見し得る。
【0111】
このように予測の不具合の原因が判明すれば、ユーザは、発見した原因をフィードバックすることにより、モデル７による行動についての予測の精度を向上させるよう、モデル７を改良することができる。例えば、ユーザは、第２予測結果Ｏ２が正しくなるように抽出部を調整することにより、第１予測結果Ｏ１を是正することができる。したがって、表示システム２は、第１予測結果Ｏ１の精度を向上させることに利用可能である。
【0112】
１－３．効果等
以上のように、本実施の形態に係る予測方法は、モデル７を記憶する記憶装置２２にアクセス可能な演算回路２３によって実行される。モデル７は、画像情報中の被写体１０に基づく複数の被写体情報の入力に対して、被写体１０の行動についての第１予測結果Ｏ１と、複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２と、を出力するように学習される。
以上のように、本実施の形態に係る予測方法は、モデル７を記憶する記憶装置２２にアクセス可能な演算回路２３によって実行される。モデル７は、画像情報中の被写体１０に基づく複数の被写体情報の入力に対して、被写体１０の行動についての第１予測結果Ｏ１と、複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２と、を出力するように学習される。
【0113】
予測方法は、ステップＳ１３とステップＳ１４とを含む。ステップＳ１３では、演算回路２３は、対象画像情報９から被写体１０の複数の被写体情報を検出する。ステップＳ１４では、演算回路２３は、対象画像情報９から検出された被写体１０の複数の被写体情報をモデル７に入力することによって、対象画像情報９から検出された被写体１０の行動についての第１予測結果Ｏ１と、対象画像情報９から検出された被写体１０の複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２と、を出力する。本明細書では、情報の「出力」とは、情報を外部装置又は内部装置に送信すること、外部又は内部の記憶装置に格納すること、外部又は内部の報知装置により報知すること等を含む。
【0114】
この構成は、第１予測結果Ｏ１の精度を向上させることができる。例えば、モデル７から出力された第１予測結果Ｏ１が正確でない場合、第２予測結果Ｏ２がより正しくなるようにモデル７を調整することにより、モデル７の他方の出力である第１予測結果Ｏ１を是正することができる。
【0115】
予測方法は、モデル７から出力された第１予測結果Ｏ１と第２予測結果Ｏ２とを関連付けて記憶させてもよい。この構成は、第１予測結果Ｏ１の精度を向上させることができる。
【0116】
複数の被写体情報は、被写体１０の位置又は移動に関する情報と、被写体１０の状態に関する情報とを含んでもよい。この構成は、第１予測結果Ｏ１の精度を向上させることができる。例えば、第２予測結果Ｏ２がより正しくなるようにモデル７を調整することにより、第１予測結果Ｏ１を是正することができる。
【0117】
予測方法において、複数の被写体情報は、被写体１０の位置、被写体１０のバウンディングボックスＢ、被写体１０の１又は複数の部位の位置、被写体１０の１又は複数の部位の向き、被写体１０の１又は複数の部位の画像、被写体１０の複数の部位の関連性に基づく情報、被写体１０の全体の画像、被写体１０の速度、及び被写体１０の軌跡のうちの少なくとも一つの情報を含んでもよい。この構成は、被写体１０の行動の予測Ｏ１の精度を向上させることができる。
【0118】
予測方法において、被写体１０の行動は、被写体１０が他の物体を回避すること、被写体１０が他の物体の通路を横断すること、被写体１０が他の物体に接近すること、被写体１０が他の物体に随行し、又は他の物体を追い抜くこと、被写体１０が加速すること、被写体１０が減速すること、被写体１０が停止すること、又は停止中であること、被写体１０が動き出すこと、及び被写体１０が進行方向を変えること、のうちの少なくとも一つを含んでもよい。この構成は、被写体１０の行動の予測Ｏ１の精度を向上させることができる。
【0119】
予測方法において、第１予測結果Ｏ１は、被写体１０の行動が第１行動である確率と、被写体１０の行動が第１行動と異なる第２行動である確率とを含んでもよい。第１行動及び第２行動は、それぞれ、被写体１０が他の物体を回避すること、被写体１０が他の物体の通路を横断すること、被写体１０が他の物体に接近すること、被写体１０が他の物体に随行し、又は他の物体を追い抜くこと、被写体１０が加速すること、被写体１０が減速すること、被写体１０が停止すること、又は停止中であること、被写体１０が動き出すこと、及び被写体１０が進行方向を変えること、のうちの少なくとも一つを含んでもよい。この構成は、被写体１０の行動の予測Ｏ１の精度を向上させることができる。これにより、他の物体と被写体１０とが衝突する可能性を低減することができる。
【0120】
予測方法において、第１予測結果Ｏ１は、被写体１０の行動の危険の程度及び安全の程度のうちの少なくとも一方を示す指標を含んでもよい。この構成は、第１予測結果Ｏ１の精度を向上させることができる。これにより、他の物体と被写体１０とが衝突する可能性を低減することができる。
【0121】
モデル７は、被写体１０の複数の被写体情報から複数の特徴量を抽出する抽出部と、第１決定部の一例である第１出力部７６と、第２決定部の一例である第２出力部７７とを含んでもよい。第１出力部７６は、抽出部で抽出された複数の特徴量から被写体１０の行動についての第１予測結果Ｏ１を決定する。第２出力部７７は、抽出部で抽出された複数の特徴量から複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２を決定する。この構成は、第１予測結果Ｏ１の精度を向上させることができる。
【0122】
本実施の形態に係るプログラムは、上記の予測方法を演算回路２３に実行させるためのプログラムである。このプログラムは、被写体１０の行動の予測Ｏ１の精度を向上させることができる。
【0123】
本実施の形態に係る表示方法は、モデル７から第１予測結果Ｏ１と第２予測結果Ｏ２とを取得し、第１予測結果Ｏ１を示す情報と、第２予測結果Ｏ２を可視化した情報とを表示装置４０に表示させる。これにより、開発者等のユーザは、第１予測結果Ｏ１を分析することができ、被写体１０の行動の予測の精度を向上させることができる。
【0124】
複数の被写体情報のうちの少なくとも一つについての予測結果Ｏ２を可視化した情報は、対象画像情報又は対象画像情報を加工して得られた情報に基づく画像上に重畳して表示されてもよい。この構成は、被写体１０の行動の予測Ｏ１の精度を向上させることができる。
【0125】
本実施の形態に係るプログラムは、上記の表示方法を演算回路３３に実行させるためのプログラムである。このプログラムは、第１予測結果Ｏ１の精度を向上させることができる。
【0126】
本実施の形態に係る予測システム２０は、モデル７を記憶する記憶装置２２と、被写体１０を撮像して対象画像情報９を生成する撮像装置と、撮像装置及び記憶装置２２にアクセス可能な演算回路２３と、を備える。モデル７は、画像情報中の被写体１０に基づく複数の被写体情報の入力に対して、被写体１０の行動についての第１予測結果Ｏ１と、複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２と、を出力するように学習される。演算回路２３は、ステップＳ１３と、ステップＳ１４とを実行する。ステップＳ１３では、演算回路２３は、対象画像情報９から被写体１０の複数の被写体情報を検出する。ステップＳ１４では、演算回路２３は、対象画像情報９から検出された被写体１０の複数の被写体情報をモデル７に入力することによって、対象画像情報９から検出された被写体１０の行動についての第１予測結果Ｏ１と、対象画像情報９から検出された被写体１０の複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２と、を出力する。この構成は、第１予測結果Ｏ１の精度を向上させることができる。
【0127】
撮像装置は、移動機構５により移動可能な移動体の一例である移動装置１に搭載されてもよい。この構成は、移動装置１に搭載された撮像装置によって生成された対象画像情報９を用いて、精度の良い第１予測結果Ｏ１を出力することができる。
【0128】
予測システム２０は、報知装置６を更に備えてもよい。演算回路２３は、第１予測結果Ｏ１に応じて移動装置１の動作予定を決定し、動作予定を報知装置６に報知させる。これにより、移動装置１と被写体１０とが衝突する可能性を低減することができる。
【0129】
演算回路２３は、第１予測結果Ｏ１に基づく情報を報知装置６に報知させてもよい。この構成は、第１予測結果Ｏ１の精度を向上させることに加えて、撮像装置が被写体１０に接近する可能性があることを被写体１０に知らせることができる。したがって、例えば被写体１０は、撮像装置を搭載した予測システム２０との衝突を回避する行動をとることができる。
【0130】
予測システム２０において、移動装置１は、演算回路２３が移動機構５を制御することによって移動可能であってもよい。演算回路２３は、モデル７から出力された第１予測結果Ｏ１に応じて、移動装置１に、移動体の進行方向及び速度の少なくとも一方を変更させてもよい。この構成は、移動装置１に搭載された撮像装置によって生成された対象画像情報９を用いて、精度良く第１予測結果Ｏ１を出力することができる。さらに、この構成は、移動装置１と被写体１０とが衝突する可能性を低減することができる。
【0131】
本実施の形態に係る表示システム２は、モデル７から第１予測結果Ｏ１と第２予測結果Ｏ２とを取得し、第１予測結果Ｏ１を示す情報と、第２予測結果Ｏ２を可視化した情報とを表示装置４０に表示させる。これにより、開発者等のユーザは、第１予測結果Ｏ１を分析することができ、第１予測結果Ｏ１の精度を向上させることができる。
【0132】
表示システム２は、第１予測結果Ｏ１を示す情報に代えて、又は、第１予測結果Ｏ１を示す情報に加えて、移動体の動作予定を表示してもよい。ユーザは、表示装置４０に表示された移動体の動作予定に基づいて第１予測結果Ｏ１を推測することができるため、第１予測結果Ｏ１を分析することができ、被写体１０の行動の予測の精度を向上させることができる。
【0133】
２．変形例
本開示の実施の形態は、上記実施の形態に限定されない。上記実施の形態は、本開示の課題を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施の形態の変形例を示す。以下の変形例は適宜組み合わせることができる。
本開示の実施の形態は、上記実施の形態に限定されない。上記実施の形態は、本開示の課題を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施の形態の変形例を示す。以下の変形例は適宜組み合わせることができる。
【0134】
２－１．第１変形例
上記実施の形態では、図１０に示したモデル７の構成例を説明した。しかしながら、モデル７は、複数の被写体情報の入力に対して、被写体１０の行動についての第１予測結果Ｏ１と、複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２と、を出力するように学習されればよく、図１０の構成に限定されない。
上記実施の形態では、図１０に示したモデル７の構成例を説明した。しかしながら、モデル７は、複数の被写体情報の入力に対して、被写体１０の行動についての第１予測結果Ｏ１と、複数の被写体情報のうちの少なくとも一つについての第２予測結果Ｏ２と、を出力するように学習されればよく、図１０の構成に限定されない。
【0135】
図２０は、第１変形例に係るモデル７ａの構成例の概略説明図である。図１０に示したモデル７の構成例と比較すると、図２０のモデル７ａは、第１結合部７５ａを更に含み、図１０の結合部７５に代えて第２結合部７５ｂを含む。第２結合部７５ｂは、図１０の結合部７５と同様の構成を有してもよい。さらに、モデル７ａは、ネットワーク機構７８１とアテンション機構７８２とを含む。
【0136】
第１結合部７５ａには、被写体情報Ｉ１１，Ｉ１２，Ｉ１３が入力される。第１結合部７５ａは、被写体情報Ｉ１１，Ｉ１２，Ｉ１３を結合し、結合結果をネットワーク機構７８１に入力する。
【0137】
ネットワーク機構７８１は、結合された被写体情報Ｉ１１，Ｉ１２，Ｉ１３から特徴量を抽出し、抽出結果をアテンション機構７８２に入力する。ネットワーク機構７８１は、例えば、ＬＳＴＭ又はＧＲＵ等のＲＮＮのアーキテクチャを含む。アテンション機構７８２は、被写体情報Ｉ１２のうちのどの部分に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、結合された被写体情報Ｉ１１，Ｉ１２，Ｉ１３のうち重要と考えられる部分の特徴量が抽出される。アテンション機構７８２によって抽出された被写体情報Ｉ１１，Ｉ１２，Ｉ１３のうち重要と考えられる部分の特徴量と、第４アテンション機構７４２によって抽出された被写体情報Ｉ１４のうち重要と考えられる部分の特徴量とが、第２結合部７５ｂに入力される。
【0138】
第２結合部７５ｂは、入力された被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４の特徴量をまとめて融合特徴量とし、融合特徴量を第１出力部７６と第２出力部７７とに入力する。
【0139】
図２０の第４ネットワーク機構７４１、第４アテンション機構７４２、ネットワーク機構７８１、アテンション機構７８２、第１結合部７５ａ、及び第２結合部７５ｂは、本開示の抽出部の一例である。また、第１出力部７６は第１決定部の一例であり、第２出力部７７は第２決定部の一例である。
【0140】
２－２．第２変形例
図２１は、第２変形例に係るモデル７ｂの構成例の概略説明図である。モデル７ｂは、第１ネットワーク機構７１ａと、第１アテンション機構７１ｂと、第２ネットワーク機構７２ａと、第２アテンション機構７２ｂと、第３ネットワーク機構７３ａと、第３アテンション機構７３ｂと、第４ネットワーク機構７４１と、第４アテンション機構７４２と、第１結合部７５ｃと、第２結合部７５ｄと、第３結合部７５ｅと、第１出力部７６と、第２出力部７７とを含む。
図２１は、第２変形例に係るモデル７ｂの構成例の概略説明図である。モデル７ｂは、第１ネットワーク機構７１ａと、第１アテンション機構７１ｂと、第２ネットワーク機構７２ａと、第２アテンション機構７２ｂと、第３ネットワーク機構７３ａと、第３アテンション機構７３ｂと、第４ネットワーク機構７４１と、第４アテンション機構７４２と、第１結合部７５ｃと、第２結合部７５ｄと、第３結合部７５ｅと、第１出力部７６と、第２出力部７７とを含む。
【0141】
第４ネットワーク機構７４１が被写体情報Ｉ１４から特徴量を抽出し、第４アテンション機構７４２が被写体情報Ｉ１４のうち重要と考えられる部分の特徴量が抽出する点は図１０と同様である。
【0142】
第１～第３ネットワーク機構７１ａ，７２ａ，７３ａは、例えば、ＬＳＴＭ又はＧＲＵ等のＲＮＮのアーキテクチャを含む。第１～第３アテンション機構７１ｂ，７２ｂ，７３ｂは、被写体情報のうちのどの部分に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、結合された被写体情報のうち重要と考えられる部分の特徴量が抽出される。
【0143】
第１ネットワーク機構７１ａは、被写体情報Ｉ１１から特徴量を抽出して第１アテンション機構７１ｂに入力する。第１アテンション機構７１ｂは、被写体情報Ｉ１１のうち重要と考えられる部分の特徴量を抽出し、第１結合部７５ｃに入力する。第１ネットワーク機構７１ａ及び第１アテンション機構７１ｂは、それぞれ、図１０の第１ネットワーク機構７１１及び第１アテンション機構７１２と同様の構成を有してもよい。
【0144】
第１結合部７５ｃは、第１アテンション機構７１ｂから入力された被写体情報Ｉ１１の特徴量と、被写体情報Ｉ１２とをまとめて第１融合特徴量とし、第２ネットワーク機構７２ａに入力する。
【0145】
第２ネットワーク機構７２ａは、第１融合特徴量から特徴量を抽出し、第２アテンション機構７２ｂは、被写体情報Ｉ１１，Ｉ１２のうち重要と考えられる部分の特徴量を抽出し、第２結合部７５ｄに入力する。
【0146】
第２結合部７５ｄは、第２アテンション機構７２ｂから入力された被写体情報Ｉ１１，Ｉ１２の特徴量と、被写体情報Ｉ１３とをまとめて第２融合特徴量とし、第３ネットワーク機構７３ａに入力する。
【0147】
第３ネットワーク機構７３ａは、第２融合特徴量から特徴量を抽出して第３アテンション機構７３ｂに入力する。第３アテンション機構７３ｂは、被写体情報Ｉ１１，Ｉ１２，Ｉ１３のうち重要と考えられる部分の特徴量を抽出し、第３結合部７５ｅに入力する。
【0148】
第３結合部７５ｅは、入力された被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４の特徴量をまとめて第３融合特徴量とし、第３融合特徴量を第１出力部７６と第２出力部７７とに入力する。第３結合部７５ｅは、入力された特徴量のうちのどの特徴量に着目すべきかを決定するアテンション機構を含んでもよい。第３結合部７５ｅは、アテンション機構によって決定された着目すべき程度を示す重要度に基づいて第３融合特徴量を生成してもよい。
【0149】
以上のように、被写体情報Ｉ１１，Ｉ１２，Ｉ１３，Ｉ１４の特徴量は、図１０のように一度に融合される必要はなく、図２１のように段階的に融合されてもよい。段階的に融合される場合、融合する順番は、図２１に示した順番に限定されない。例えば、図２１とは異なり、最初に被写体情報Ｉ１１と被写体情報Ｉ１３の特徴量とが融合されてもよい。
【0150】
図２１の第４ネットワーク機構７４１、第４アテンション機構７４２、第１～第３ネットワーク機構７１ａ，７２ａ，７３ａ、第１～第３アテンション機構７１ｂ，７２ｂ，７３ｂ、及び第１～第３結合部７５ｃ，７５ｄ，７５ｅは、本開示の抽出部の一例である。また、第１出力部７６は第１決定部の一例であり、第２出力部７７は第２決定部の一例である。
【0151】
２－３．第３変形例
図２２は、第３変形例に係るモデル７ｃの構成例の概略説明図である。図１０に示したモデル７の構成例と比較すると、図２２のモデル７ｃは、図１０の第２出力部７７に代えて、第３出力部７７１と、第４出力部７７２と、第５出力部７７３とを含む。第３出力部７７１、第４出力部７７２、及び第５出力部７７３は、例えば、全結合層を含む。全結合層は、例えば、ソフトマックス関数を含む。第３出力部７７１、第４出力部７７２、及び第５出力部７７３は、本開示の第２決定部の一例である。
図２２は、第３変形例に係るモデル７ｃの構成例の概略説明図である。図１０に示したモデル７の構成例と比較すると、図２２のモデル７ｃは、図１０の第２出力部７７に代えて、第３出力部７７１と、第４出力部７７２と、第５出力部７７３とを含む。第３出力部７７１、第４出力部７７２、及び第５出力部７７３は、例えば、全結合層を含む。全結合層は、例えば、ソフトマックス関数を含む。第３出力部７７１、第４出力部７７２、及び第５出力部７７３は、本開示の第２決定部の一例である。
【0152】
第１出力部７６、第３出力部７７１、第４出力部７７２、及び第５出力部７７３のいずれにも、結合部７５から出力された融合特徴量が入力される。
【0153】
さらに、第３出力部７７１、第４出力部７７２、及び第５出力部７７３には、出力する被写体情報のモダリティに対応する第１～第３アテンション機構７１２，７２２，７３２の出力も入力される。すなわち、第３出力部７７１には、第１アテンション機構７１２から出力された特徴量と、結合部７５から出力された融合特徴量とが入力される。第１アテンション機構７１２から出力された特徴量と、結合部７５から出力された融合特徴量とは、第３出力部７７１に入力される前に、図示しない結合部によって融合されてもよい。
【0154】
第４出力部７７２には、第２アテンション機構７２２から出力された特徴量と、結合部７５から出力された融合特徴量とが入力される。第２アテンション機構７２２から出力された特徴量と、結合部７５から出力された融合特徴量とは、第４出力部７７２に入力される前に、図示しない結合部によって融合されてもよい。
【0155】
第５出力部７７３には、第３アテンション機構７３２から出力された特徴量と、結合部７５から出力された融合特徴量とが入力される。第３アテンション機構７３２から出力された特徴量と、結合部７５から出力された融合特徴量とは、第５出力部７７３に入力される前に、図示しない結合部によって融合されてもよい。
【0156】
２－４．第４変形例
上記実施の形態では、移動装置１の動作の一例として、モデル７から出力された被写体１０の行動についての第１予測結果Ｏ１に基づく情報を報知装置６に報知させる例を説明した。これに加えて、又はこれに代えて、移動装置１は、動きによって情報を報知してもよい。移動装置１がロボットである例では、被写体１０が移動装置１と衝突する可能性が高い場合、移動装置１は、手を振る、首を横に振る等のジェスチャによって被写体１０（例えば、通行人）に情報を報知してもよい。移動装置１が顔を有し、表情を変化させることができるロボットである場合、移動装置１は、顔の向き、表情等を変化させることによって被写体１０に情報を報知してもよい。
上記実施の形態では、移動装置１の動作の一例として、モデル７から出力された被写体１０の行動についての第１予測結果Ｏ１に基づく情報を報知装置６に報知させる例を説明した。これに加えて、又はこれに代えて、移動装置１は、動きによって情報を報知してもよい。移動装置１がロボットである例では、被写体１０が移動装置１と衝突する可能性が高い場合、移動装置１は、手を振る、首を横に振る等のジェスチャによって被写体１０（例えば、通行人）に情報を報知してもよい。移動装置１が顔を有し、表情を変化させることができるロボットである場合、移動装置１は、顔の向き、表情等を変化させることによって被写体１０に情報を報知してもよい。
【0157】
２－５．第５変形例
上記実施の形態では、移動装置１の例として、自律移動可能なロボットを挙げた。しかしながら、本実施の形態の移動装置１はこれに限定されない。例えば、移動装置１は、自律的にではなく、外力によって移動可能な情報処理装置であってもよい。また、例えば、移動装置１は、移動可能でない情報処理装置であってもよい。この場合、移動装置１は、移動機構５を備えなくてもよい。
上記実施の形態では、移動装置１の例として、自律移動可能なロボットを挙げた。しかしながら、本実施の形態の移動装置１はこれに限定されない。例えば、移動装置１は、自律的にではなく、外力によって移動可能な情報処理装置であってもよい。また、例えば、移動装置１は、移動可能でない情報処理装置であってもよい。この場合、移動装置１は、移動機構５を備えなくてもよい。
【0158】
２－６．第６変形例
予測システム２０は、必ずしも移動装置１に搭載されていなくてもよい。予測システム２０は、移動装置１以外の装置又はシステムに利用可能である。例えば、予測システム２０は、被写体１０との衝突の警告を出す警報システムに利用されてよい。予測システム２０は、複数台のサーバ等のコンピュータシステムで実現されてもよい。つまり、予測システム２０における複数の機能（構成要素）が、１つの筐体内に集約されていることは必須ではなく、予測システム２０の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、予測システム２０の少なくとも一部の機能、例えば、演算回路２３の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
予測システム２０は、必ずしも移動装置１に搭載されていなくてもよい。予測システム２０は、移動装置１以外の装置又はシステムに利用可能である。例えば、予測システム２０は、被写体１０との衝突の警告を出す警報システムに利用されてよい。予測システム２０は、複数台のサーバ等のコンピュータシステムで実現されてもよい。つまり、予測システム２０における複数の機能（構成要素）が、１つの筐体内に集約されていることは必須ではなく、予測システム２０の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、予測システム２０の少なくとも一部の機能、例えば、演算回路２３の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
【0159】
２－７．第７変形例
上記実施の形態では、モデル７が、画像情報中の被写体１０に基づく複数の被写体情報の入力に対して、第１予測結果Ｏ１と第２予測結果Ｏ２とを出力するように学習される例を説明した。しかしながら、モデル７に入力される情報はこれに限定されない。例えば、モデル７に入力される情報は、空間を表す入力情報から得られる当該空間中の対象物を示す対象物情報に基づく複数の定量情報であってもよい。
上記実施の形態では、モデル７が、画像情報中の被写体１０に基づく複数の被写体情報の入力に対して、第１予測結果Ｏ１と第２予測結果Ｏ２とを出力するように学習される例を説明した。しかしながら、モデル７に入力される情報はこれに限定されない。例えば、モデル７に入力される情報は、空間を表す入力情報から得られる当該空間中の対象物を示す対象物情報に基づく複数の定量情報であってもよい。
【0160】
空間を表す入力情報の一例は、上記実施の形態で説明した画像情報である。上記実施の形態では、入力情報によって表される空間は実空間であり、入力情報は画像情報である。画像情報は、２次元画像情報、３次元画像情報、動画像情報、及び静止画像情報を含む。上記実施の形態の被写体１０は、「対象物」又は「対象物を示す対象物情報」の一例であり、複数の被写体情報は、「複数の定量情報」の一例である。
【0161】
空間を表す入力情報の他の例は、２次元モデルデータ、３次元モデルデータ等の複数次元モデルデータである。複数次元モデルデータは、例えば、演算回路によって実現される仮想現実空間、メタバース（登録商標）等の仮想空間を表す。生成装置は、空間を表す入力情報の中の対象物を示す対象物情報を生成する。生成装置の一例は、上記実施の形態の撮像システム３（撮像装置）である。
【0162】
３．態様
以下に本開示の態様を例示する。
以下に本開示の態様を例示する。
【0163】
＜態様１＞
学習済みモデルを記憶する記憶装置にアクセス可能な演算回路によって実行される予測方法であって、
前記学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記予測方法は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測方法。
学習済みモデルを記憶する記憶装置にアクセス可能な演算回路によって実行される予測方法であって、
前記学習済みモデルは、空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記予測方法は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測方法。
【0164】
＜態様２＞
前記予測方法は、前記学習済みモデルから出力された前記第１予測結果と前記第２予測結果とを関連付けて記憶させる、態様１に記載の予測方法。
前記予測方法は、前記学習済みモデルから出力された前記第１予測結果と前記第２予測結果とを関連付けて記憶させる、態様１に記載の予測方法。
【0165】
＜態様３＞
前記複数の定量情報は、前記対象物の位置又は移動に関する情報と、前記対象物の状態に関する情報とを含む、態様１又は２に記載の予測方法。
前記複数の定量情報は、前記対象物の位置又は移動に関する情報と、前記対象物の状態に関する情報とを含む、態様１又は２に記載の予測方法。
【0166】
＜態様４＞
前記複数の定量情報は、前記対象物の位置、前記対象物のバウンディングボックス、前記対象物の１又は複数の部位の位置、前記対象物の１又は複数の部位の向き、前記対象物の１又は複数の部位の画像、前記対象物の複数の部位の関連性に基づく情報、前記対象物の全体の画像、前記対象物の速度、及び前記対象物の軌跡のうちの少なくとも一つの情報を含む、態様１～３のいずれかに記載の予測方法。
前記複数の定量情報は、前記対象物の位置、前記対象物のバウンディングボックス、前記対象物の１又は複数の部位の位置、前記対象物の１又は複数の部位の向き、前記対象物の１又は複数の部位の画像、前記対象物の複数の部位の関連性に基づく情報、前記対象物の全体の画像、前記対象物の速度、及び前記対象物の軌跡のうちの少なくとも一つの情報を含む、態様１～３のいずれかに記載の予測方法。
【0167】
＜態様５＞
前記対象物の行動は、
前記対象物が前記対象空間中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
態様１～４のいずれかに記載の予測方法。
前記対象物の行動は、
前記対象物が前記対象空間中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
態様１～４のいずれかに記載の予測方法。
【0168】
＜態様６＞
前記第１予測結果は、前記対象物の行動が第１行動である確率と、前記対象物の行動が前記第１行動と異なる第２行動である確率とを含み、
前記第１行動及び第２行動は、それぞれ、
前記対象物が前記対象空間中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
態様１～５のいずれかに記載の予測方法。
前記第１予測結果は、前記対象物の行動が第１行動である確率と、前記対象物の行動が前記第１行動と異なる第２行動である確率とを含み、
前記第１行動及び第２行動は、それぞれ、
前記対象物が前記対象空間中の他の物体を回避すること、
前記対象物が前記他の物体の通路を横断すること、
前記対象物が前記他の物体に接近すること、
前記対象物が前記他の物体に随行し、又は前記他の物体を追い抜くこと、
前記対象物が加速すること、
前記対象物が減速すること、
前記対象物が停止すること、又は停止中であること、
前記対象物が動き出すこと、及び
前記対象物が進行方向を変えること、
のうちの少なくとも一つを含む、
態様１～５のいずれかに記載の予測方法。
【0169】
＜態様７＞
前記第１予測結果は、前記対象物の行動の危険の程度及び安全の程度のうちの少なくとも一方を示す指標を含む、態様１～６のいずれかに記載の予測方法。
前記第１予測結果は、前記対象物の行動の危険の程度及び安全の程度のうちの少なくとも一方を示す指標を含む、態様１～６のいずれかに記載の予測方法。
【0170】
＜態様８＞
前記学習済みモデルは、
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
態様１～７のいずれかに記載の予測方法。
前記学習済みモデルは、
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
態様１～７のいずれかに記載の予測方法。
【0171】
＜態様９＞
態様１～８のいずれかに記載の予測方法を演算回路に実行させるためのプログラム。
態様１～８のいずれかに記載の予測方法を演算回路に実行させるためのプログラム。
【0172】
＜態様１０＞
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、
前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる、
表示方法。
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、
前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる、
表示方法。
【0173】
＜態様１１＞
前記第２予測結果を可視化した情報は、前記入力情報又は前記入力情報を加工して得られた情報に重畳して表示される、態様１０に記載の表示方法。
前記第２予測結果を可視化した情報は、前記入力情報又は前記入力情報を加工して得られた情報に重畳して表示される、態様１０に記載の表示方法。
【0174】
＜態様１２＞
態様１０又は１１に記載の表示方法を演算回路に実行させるためのプログラム。
態様１０又は１１に記載の表示方法を演算回路に実行させるためのプログラム。
【0175】
＜態様１３＞
学習済みモデルを記憶する記憶装置と、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報を生成する生成装置と、
前記生成装置及び前記記憶装置にアクセス可能な演算回路と、
を備え、
前記学習済みモデルは、前記対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記演算回路は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測システム。
学習済みモデルを記憶する記憶装置と、
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報を生成する生成装置と、
前記生成装置及び前記記憶装置にアクセス可能な演算回路と、
を備え、
前記学習済みモデルは、前記対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記演算回路は、
対象空間を表す対象入力情報から前記対象物の前記複数の定量情報を検出し、
前記対象入力情報から検出された前記対象物の前記複数の定量情報を前記学習済みモデルに入力することによって、前記対象入力情報から検出された前記対象物の行動についての前記第１予測結果と、前記対象入力情報から検出された前記対象物の前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果と、を出力する、
予測システム。
【0176】
＜態様１４＞
前記生成装置は、移動機構により前記対象空間の中で移動可能な移動体に搭載された、態様１３に記載の予測システム。
前記生成装置は、移動機構により前記対象空間の中で移動可能な移動体に搭載された、態様１３に記載の予測システム。
【0177】
＜態様１５＞
報知装置を更に備え、
前記演算回路は、
前記第１予測結果に応じて前記移動体の動作予定を決定し、
前記動作予定を前記報知装置に報知させる、
態様１４に記載の予測システム。
報知装置を更に備え、
前記演算回路は、
前記第１予測結果に応じて前記移動体の動作予定を決定し、
前記動作予定を前記報知装置に報知させる、
態様１４に記載の予測システム。
【0178】
＜態様１６＞
報知装置を更に備え、
前記演算回路は、前記第１予測結果に基づく情報を前記報知装置に報知させる、
態様１３～１５のいずれかに記載の予測システム。
報知装置を更に備え、
前記演算回路は、前記第１予測結果に基づく情報を前記報知装置に報知させる、
態様１３～１５のいずれかに記載の予測システム。
【0179】
＜態様１７＞
前記移動体は、前記演算回路が前記移動機構を制御することによって移動可能であり、
前記演算回路は、前記第１予測結果に応じて、前記移動機構に、前記移動体の進行方向及び速度の少なくとも一方を変更させる、
態様１４又は１５に記載の予測システム。
前記移動体は、前記演算回路が前記移動機構を制御することによって移動可能であり、
前記演算回路は、前記第１予測結果に応じて、前記移動機構に、前記移動体の進行方向及び速度の少なくとも一方を変更させる、
態様１４又は１５に記載の予測システム。
【0180】
＜態様１８＞
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる、表示システム。
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習された学習済みモデルから前記第１予測結果と前記第２予測結果とを取得し、前記第１予測結果を示す情報と、前記第２予測結果を可視化した情報とを表示装置に表示させる、表示システム。
【0181】
＜態様１９＞
前記第１予測結果を示す情報に代えて、又は、前記第１予測結果を示す情報に加えて、前記空間で移動可能な移動体の動作予定を表示する、態様１８に記載の表示システム。
前記第１予測結果を示す情報に代えて、又は、前記第１予測結果を示す情報に加えて、前記空間で移動可能な移動体の動作予定を表示する、態様１８に記載の表示システム。
【0182】
＜態様２０＞
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
学習済みモデル。
空間を表す入力情報から得られる前記空間中の対象物を示す対象物情報に基づく複数の定量情報の入力に対して、前記対象物の行動についての第１予測結果と、前記複数の定量情報のうちの少なくとも一つについての第２予測結果と、を出力するように学習され、
前記複数の定量情報から複数の特徴量を抽出する抽出処理と、
前記抽出処理で抽出された前記複数の特徴量から前記対象物の行動についての前記第１予測結果を決定する第１決定処理と、
前記抽出処理で抽出された前記複数の特徴量から前記複数の定量情報のうちの少なくとも一つについての前記第２予測結果を決定する第２決定処理と、
を実行する、
学習済みモデル。
【符号の説明】
【0183】
１ 移動装置
２ 表示システム
３ 撮像システム
４ 制御システム
５ 移動機構
６ 報知装置
７ モデル
８ モデル出力結果
９ 対象画像情報
１０ 被写体
２０ 予測システム
２２ 記憶装置
２３ 演算回路
３２ 記憶装置
３３ 演算回路
４０ 表示装置
２ 表示システム
３ 撮像システム
４ 制御システム
５ 移動機構
６ 報知装置
７ モデル
８ モデル出力結果
９ 対象画像情報
１０ 被写体
２０ 予測システム
２２ 記憶装置
２３ 演算回路
３２ 記憶装置
３３ 演算回路
４０ 表示装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】