(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023167690
(43)【公開日】2023-11-24
(54)【発明の名称】評価方法、プログラム、及び、評価システム
(51)【国際特許分類】
G06V 40/20 20220101AFI20231116BHJP
G06T 7/00 20170101ALI20231116BHJP
【ＦＩ】
G06V40/20
G06T7/00 350C
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2022079051
(22)【出願日】2022-05-12
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100189555
【弁理士】
【氏名又は名称】徳山 英浩
(72)【発明者】
【氏名】籔内 智浩
(72)【発明者】
【氏名】岩本 直人
(72)【発明者】
【氏名】佐々木 勇輝
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096FA67
5L096FA69
5L096GA51
5L096HA03
5L096HA09
5L096HA11
5L096JA11
5L096JA18
5L096KA04
(57)【要約】
【課題】移動体の移動方向の評価の精度の向上を可能にする、評価方法、プログラム、及び、評価システムを提供する。
【解決手段】評価方法は、複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される。複数の学習済みモデルは、画像中の移動体の全体に基づく全体情報の入力に対して、移動体の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、全体情報と移動体の部位に基づく部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６、高解像度モデル７）とを含む。評価方法は、対象画像から検出された移動体の画像の解像度が閾値未満である場合、簡易モデルに全体情報を入力して、移動体の移動方向の評価を出力させる。評価方法は、解像度が閾値以上である場合、詳細モデルに全体情報及び部位情報を入力して、移動体の移動方向の評価を出力させる。
【選択図】図２
【解決手段】評価方法は、複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される。複数の学習済みモデルは、画像中の移動体の全体に基づく全体情報の入力に対して、移動体の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、全体情報と移動体の部位に基づく部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６、高解像度モデル７）とを含む。評価方法は、対象画像から検出された移動体の画像の解像度が閾値未満である場合、簡易モデルに全体情報を入力して、移動体の移動方向の評価を出力させる。評価方法は、解像度が閾値以上である場合、詳細モデルに全体情報及び部位情報を入力して、移動体の移動方向の評価を出力させる。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法であって、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、前記移動体の移動方向の評価を出力するように学習された簡易モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された詳細モデルと、
を含み、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満である場合に、前記複数の学習済みモデルから前記簡易モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報を、前記簡易モデルに入力して、前記簡易モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させ、
前記解像度が前記閾値以上である場合に、前記複数の学習済みモデルから前記詳細モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の部位情報とを、前記詳細モデルに入力して、前記詳細モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、前記移動体の移動方向の評価を出力するように学習された簡易モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された詳細モデルと、
を含み、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満である場合に、前記複数の学習済みモデルから前記簡易モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報を、前記簡易モデルに入力して、前記簡易モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させ、
前記解像度が前記閾値以上である場合に、前記複数の学習済みモデルから前記詳細モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の部位情報とを、前記詳細モデルに入力して、前記詳細モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
【請求項2】
複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法であって、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、前記移動体の移動方向の評価を出力するように学習された簡易モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された詳細モデルと、
を含み、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満であることを確認し、
前記解像度が前記閾値未満であることを確認したことに応答して前記複数の学習済みモデルから前記簡易モデルを選択し、
前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報を、前記簡易モデルに入力して、前記簡易モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、前記移動体の移動方向の評価を出力するように学習された簡易モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された詳細モデルと、
を含み、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満であることを確認し、
前記解像度が前記閾値未満であることを確認したことに応答して前記複数の学習済みモデルから前記簡易モデルを選択し、
前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報を、前記簡易モデルに入力して、前記簡易モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
【請求項3】
複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法であって、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、前記移動体の移動方向の評価を出力するように学習された簡易モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された詳細モデルと、
を含み、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値以上であることを確認し、
前記解像度が前記閾値以上であることを確認したことに応答して前記複数の学習済みモデルから前記詳細モデルを選択し、
前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の部位情報とを、前記詳細モデルに入力して、前記詳細モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、前記移動体の移動方向の評価を出力するように学習された簡易モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された詳細モデルと、
を含み、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値以上であることを確認し、
前記解像度が前記閾値以上であることを確認したことに応答して前記複数の学習済みモデルから前記詳細モデルを選択し、
前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の部位情報とを、前記詳細モデルに入力して、前記詳細モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
【請求項4】
前記解像度は、前記対象画像情報から検出された前記移動体のバウンディングボックスの面積に基づいて決定される、
請求項１～３のいずれか一つに記載の評価方法。
請求項１～３のいずれか一つに記載の評価方法。
【請求項5】
前記１又は複数の全体情報は、前記移動体の位置、前記移動体の速度、及び、前記移動体の全体の画像の少なくとも一つを含む、
請求項１～３のいずれか一つに記載の評価方法。
請求項１～３のいずれか一つに記載の評価方法。
【請求項6】
前記１又は複数の部位情報は、前記移動体の前記１又は複数の部位の位置、前記移動体の１又は複数の部位の向き、前記移動体の１又は複数の部位の画像、及び、前記移動体の前記複数の部位の関連性に基づく情報の少なくとも一つを含む、
請求項１～３のいずれか一つに記載の評価方法。
請求項１～３のいずれか一つに記載の評価方法。
【請求項7】
前記１又は複数の部位の位置は、前記移動体の顔の位置を含む、
請求項６に記載の評価方法。
請求項６に記載の評価方法。
【請求項8】
前記１又は複数の部位の向きは、前記移動体の顔の向きと前記移動体の視線との少なくとも一つを含む、
請求項６に記載の評価方法。
請求項６に記載の評価方法。
【請求項9】
前記１又は複数の部位の画像は、前記移動体の顔の画像を含む、
請求項６に記載の評価方法。
請求項６に記載の評価方法。
【請求項10】
前記複数の部位の関連性に基づく情報は、前記移動体の姿勢に関する情報を含む、
請求項６に記載の評価方法。
請求項６に記載の評価方法。
【請求項11】
前記移動体の移動方向の評価は、前記移動体の移動方向が第１移動方向である確率と前記移動体の移動方向が第２移動方向である確率とを含み、
前記第１移動方向は、前記移動体が対象物に向かう方向であり、
前記第２移動方向は、前記移動体が対象物を回避する方向である、
請求項１～３のいずれか一つに記載の評価方法。
前記第１移動方向は、前記移動体が対象物に向かう方向であり、
前記第２移動方向は、前記移動体が対象物を回避する方向である、
請求項１～３のいずれか一つに記載の評価方法。
【請求項12】
複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法であって、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報と、前記移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第１モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記１又は複数の第１部位情報の少なくとも一つと、前記移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第２モデルと、
を含み、
前記１又は複数の第２部位は、前記１又は複数の第１部位よりも小さく、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満である場合に、前記複数の学習済みモデルから前記第１モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報と前記１又は複数の第１部位情報とを、前記第１モデルに入力して、前記第１モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させ、
前記解像度が前記閾値以上である場合に、前記複数の学習済みモデルから前記第２モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の第１部位情報の少なくとも一つと前記１又は複数の第２部位情報とを、前記第２モデルに入力して、前記第２モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報と、前記移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第１モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記１又は複数の第１部位情報の少なくとも一つと、前記移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第２モデルと、
を含み、
前記１又は複数の第２部位は、前記１又は複数の第１部位よりも小さく、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満である場合に、前記複数の学習済みモデルから前記第１モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報と前記１又は複数の第１部位情報とを、前記第１モデルに入力して、前記第１モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させ、
前記解像度が前記閾値以上である場合に、前記複数の学習済みモデルから前記第２モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の第１部位情報の少なくとも一つと前記１又は複数の第２部位情報とを、前記第２モデルに入力して、前記第２モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
【請求項13】
複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法であって、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報と、前記移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第１モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記１又は複数の第１部位情報の少なくとも一つと、前記移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第２モデルと、
を含み、
前記１又は複数の第２部位は、前記１又は複数の第１部位よりも小さく、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満であることを確認し、
前記解像度が前記閾値未満であることを確認したことに応答して前記複数の学習済みモデルから前記第１モデルを選択し、
前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報と前記１又は複数の第１部位情報とを、前記第１モデルに入力して、前記第１モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報と、前記移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第１モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記１又は複数の第１部位情報の少なくとも一つと、前記移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第２モデルと、
を含み、
前記１又は複数の第２部位は、前記１又は複数の第１部位よりも小さく、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満であることを確認し、
前記解像度が前記閾値未満であることを確認したことに応答して前記複数の学習済みモデルから前記第１モデルを選択し、
前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報と前記１又は複数の第１部位情報とを、前記第１モデルに入力して、前記第１モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
【請求項14】
複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法であって、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報と、前記移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第１モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記１又は複数の第１部位情報の少なくとも一つと、前記移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第２モデルと、
を含み、
前記１又は複数の第２部位は、前記１又は複数の第１部位よりも小さく、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値以上であることを確認し、
前記解像度が前記閾値以上であることを確認したことに応答して前記複数の学習済みモデルから前記第２モデルを選択し、
前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の第１部位情報の少なくとも一つと前記１又は複数の第２部位情報とを、前記第２モデルに入力して、前記第２モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報と、前記移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第１モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記１又は複数の第１部位情報の少なくとも一つと、前記移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第２モデルと、
を含み、
前記１又は複数の第２部位は、前記１又は複数の第１部位よりも小さく、
前記評価方法は、
対象画像情報から検出された前記移動体の画像の解像度が閾値以上であることを確認し、
前記解像度が前記閾値以上であることを確認したことに応答して前記複数の学習済みモデルから前記第２モデルを選択し、
前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の第１部位情報の少なくとも一つと前記１又は複数の第２部位情報とを、前記第２モデルに入力して、前記第２モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価方法。
【請求項15】
請求項１～３及び１２～１４のいずれか一つに記載の評価方法を、前記演算回路に実行させるための、
プログラム。
プログラム。
【請求項16】
複数の学習済みモデルを記憶する記憶装置と、
前記記憶装置にアクセス可能な演算回路と、
を備え、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、前記移動体の移動方向の評価を出力するように学習された簡易モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された詳細モデルと、
を含み、
前記演算回路は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満である場合に、前記複数の学習済みモデルから前記簡易モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報を、前記簡易モデルに入力して、前記簡易モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させ、
前記解像度が前記閾値以上である場合に、前記複数の学習済みモデルから前記詳細モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の部位情報とを、前記詳細モデルに入力して、前記詳細モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価システム。
前記記憶装置にアクセス可能な演算回路と、
を備え、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、前記移動体の移動方向の評価を出力するように学習された簡易モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された詳細モデルと、
を含み、
前記演算回路は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満である場合に、前記複数の学習済みモデルから前記簡易モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報を、前記簡易モデルに入力して、前記簡易モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させ、
前記解像度が前記閾値以上である場合に、前記複数の学習済みモデルから前記詳細モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の部位情報とを、前記詳細モデルに入力して、前記詳細モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価システム。
【請求項17】
複数の学習済みモデルを記憶する記憶装置と、
前記記憶装置にアクセス可能な演算回路と、
を備え、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報と、前記移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第１モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記１又は複数の第１部位情報の少なくとも一つと、前記移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第２モデルと、
を含み、
前記１又は複数の第２部位は、前記１又は複数の第１部位よりも小さく、
前記演算回路は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満である場合に、前記複数の学習済みモデルから前記第１モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報と前記１又は複数の第１部位情報とを、前記第１モデルに入力して、前記第１モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させ、
前記解像度が前記閾値以上である場合に、前記複数の学習済みモデルから前記第２モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の第１部位情報の少なくとも一つと前記１又は複数の第２部位情報とを、前記第２モデルに入力して、前記第２モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価システム。
前記記憶装置にアクセス可能な演算回路と、
を備え、
前記複数の学習済みモデルは、
画像情報中の移動体の全体に基づく１又は複数の全体情報と、前記移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第１モデルと、
前記１又は複数の全体情報の少なくとも一つと、前記１又は複数の第１部位情報の少なくとも一つと、前記移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、前記移動体の移動方向の評価を出力するように学習された第２モデルと、
を含み、
前記１又は複数の第２部位は、前記１又は複数の第１部位よりも小さく、
前記演算回路は、
対象画像情報から検出された前記移動体の画像の解像度が閾値未満である場合に、前記複数の学習済みモデルから前記第１モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報と前記１又は複数の第１部位情報とを、前記第１モデルに入力して、前記第１モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させ、
前記解像度が前記閾値以上である場合に、前記複数の学習済みモデルから前記第２モデルを選択し、前記対象画像情報から検出された前記移動体の前記１又は複数の全体情報の少なくとも一つと前記１又は複数の第１部位情報の少なくとも一つと前記１又は複数の第２部位情報とを、前記第２モデルに入力して、前記第２モデルに前記対象画像情報から検出された前記移動体の移動方向の評価を出力させる、
評価システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、評価方法、プログラム（コンピュータプログラム）、及び、評価システムに関する。
【背景技術】
【0002】
非特許文献１は、ディープニューラルネットワークモデルを利用して歩行者の横断意図を予測するための技術を開示する。非特許文献１では、車両速度、歩行者のバウンディングボックス、及び、歩行者の姿勢のキーポイントから、非視覚ベースの特徴量を抽出し、画像の局所的なコンテキストと画像の全体的なコンテキストとから視覚ベースの特徴量を抽出し、非視覚ベースの特徴量と視覚ベースの特徴量を融合した特徴量により、歩行者の横断意図を予測する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Dongfang Yang，他４名，“Predicting Pedestrian Crossing Intention with Feature Fusion and Spatio-Temporal Attention”，［online］，２０２１年４月１２日，［２０２２年４月１１日検索］，Cornell University，インターネット＜URL：https://arxiv.org/abs/2104.05485＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献１に開示された技術では、車両速度、歩行者のバウンディングボックス、歩行者の姿勢のキーポイント、画像の局所的なコンテキスト、及び、画像の全体的なコンテキストといった様々な情報を用いることで、歩行者の横断意図の高精度な予測ができることが期待される。
【0005】
歩行者の横断意図の予測といった移動体の移動方向の評価においては、非特許文献１で開示されているような様々な情報それ自体の精度も、移動体の移動方向の評価の精度に影響を及ぼし得る。そのため、単純に、移動体の移動方向の評価に利用する情報を増やしただけでは、必ずしも、移動体の移動方向の評価の精度の向上につながらない場合がある。
【0006】
本開示は、移動体の移動方向の評価の精度の向上を可能にする、評価方法、プログラム、及び、評価システムを提供する。
【課題を解決するための手段】
【0007】
本開示の一態様にかかる評価方法は、複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法である。複数の学習済みモデルは、画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、移動体の移動方向の評価を出力するように学習された簡易モデルと、１又は複数の全体情報の少なくとも一つと、移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された詳細モデルと、を含む。評価方法は、対象画像情報から検出された移動体の画像の解像度が閾値未満である場合に、複数の学習済みモデルから簡易モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報を、簡易モデルに入力して、簡易モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。評価方法は、解像度が閾値以上である場合に、複数の学習済みモデルから詳細モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報の少なくとも一つと１又は複数の部位情報とを、詳細モデルに入力して、詳細モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。
【0008】
本開示の一態様にかかる評価方法は、複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法である。複数の学習済みモデルは、画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、移動体の移動方向の評価を出力するように学習された簡易モデルと、１又は複数の全体情報の少なくとも一つと、移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された詳細モデルと、を含む。評価方法は、対象画像情報から検出された移動体の画像の解像度が閾値未満であることを確認し、解像度が閾値未満であることを確認したことに応答して複数の学習済みモデルから簡易モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報を、簡易モデルに入力して、簡易モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。
【0009】
本開示の一態様にかかる評価方法は、複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法である。複数の学習済みモデルは、画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、移動体の移動方向の評価を出力するように学習された簡易モデルと、１又は複数の全体情報の少なくとも一つと、移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された詳細モデルと、を含む。評価方法は、対象画像情報から検出された移動体の画像の解像度が閾値以上であることを確認し、解像度が閾値以上であることを確認したことに応答して複数の学習済みモデルから詳細モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報の少なくとも一つと１又は複数の部位情報とを、詳細モデルに入力して、詳細モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。
【0010】
本開示の一態様にかかる評価方法は、複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法である。複数の学習済みモデルは、画像情報中の移動体の全体に基づく１又は複数の全体情報と、移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された第１モデルと、１又は複数の全体情報の少なくとも一つと、１又は複数の第１部位情報の少なくとも一つと、移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された第２モデルと、を含む。１又は複数の第２部位は、１又は複数の第１部位よりも小さい。評価方法は、対象画像情報から検出された移動体の画像の解像度が閾値未満である場合に、複数の学習済みモデルから第１モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報と１又は複数の第１部位情報とを、第１モデルに入力して、第１モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。評価方法は、解像度が閾値以上である場合に、複数の学習済みモデルから第２モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報の少なくとも一つと１又は複数の第１部位情報の少なくとも一つと１又は複数の第２部位情報とを、第２モデルに入力して、第２モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。
【0011】
本開示の一態様にかかる評価方法は、複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法である。複数の学習済みモデルは、画像情報中の移動体の全体に基づく１又は複数の全体情報と、移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された第１モデルと、１又は複数の全体情報の少なくとも一つと、１又は複数の第１部位情報の少なくとも一つと、移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された第２モデルと、を含む。１又は複数の第２部位は、１又は複数の第１部位よりも小さい。評価方法は、対象画像情報から検出された移動体の画像の解像度が閾値未満であることを確認し、解像度が閾値未満であることを確認したことに応答して複数の学習済みモデルから第１モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報と１又は複数の第１部位情報とを、第１モデルに入力して、第１モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。
【0012】
本開示の一態様にかかる評価方法は、複数の学習済みモデルを記憶する記憶装置にアクセス可能な演算回路で実行される評価方法である。複数の学習済みモデルは、画像情報中の移動体の全体に基づく１又は複数の全体情報と、移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された第１モデルと、１又は複数の全体情報の少なくとも一つと、１又は複数の第１部位情報の少なくとも一つと、移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された第２モデルと、を含む。１又は複数の第２部位は、１又は複数の第１部位よりも小さい。評価方法は、対象画像情報から検出された移動体の画像の解像度が閾値以上であることを確認し、解像度が閾値以上であることを確認したことに応答して複数の学習済みモデルから第２モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報の少なくとも一つと１又は複数の第１部位情報の少なくとも一つと１又は複数の第２部位情報とを、第２モデルに入力して、第２モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。
【0013】
本開示の一態様にかかるプログラムは、上記のいずれかの評価方法を、演算回路に実行させるための、プログラムである。
【0014】
本開示の一態様にかかる評価システムは、複数の学習済みモデルを記憶する記憶装置と、記憶装置にアクセス可能な演算回路と、を備える。複数の学習済みモデルは、画像情報中の移動体の全体に基づく１又は複数の全体情報の入力に対して、移動体の移動方向の評価を出力するように学習された簡易モデルと、１又は複数の全体情報の少なくとも一つと、移動体の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された詳細モデルと、を含む。演算回路は、対象画像情報から検出された移動体の画像の解像度が閾値未満である場合に、複数の学習済みモデルから簡易モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報を、簡易モデルに入力して、簡易モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。演算回路は、解像度が閾値以上である場合に、複数の学習済みモデルから詳細モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報の少なくとも一つと１又は複数の部位情報とを、詳細モデルに入力して、詳細モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。
【0015】
本開示の一態様にかかる評価システムは、複数の学習済みモデルを記憶する記憶装置と、記憶装置にアクセス可能な演算回路と、を備える。複数の学習済みモデルは、画像情報中の移動体の全体に基づく１又は複数の全体情報と、移動体の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された第１モデルと、１又は複数の全体情報の少なくとも一つと、１又は複数の第１部位情報の少なくとも一つと、移動体の１又は複数の第２部位に基づく１又は複数の第２部位情報との入力に対して、移動体の移動方向の評価を出力するように学習された第２モデルと、を含む。１又は複数の第２部位は、１又は複数の第１部位よりも小さい。演算回路は、対象画像情報から検出された移動体の画像の解像度が閾値未満である場合に、複数の学習済みモデルから第１モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報と１又は複数の第１部位情報とを、第１モデルに入力して、第１モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。演算回路は、解像度が閾値以上である場合に、複数の学習済みモデルから第２モデルを選択し、対象画像情報から検出された移動体の１又は複数の全体情報の少なくとも一つと１又は複数の第１部位情報の少なくとも一つと１又は複数の第２部位情報とを、第２モデルに入力して、第２モデルに対象画像情報から検出された移動体の移動方向の評価を出力させる。
【発明の効果】
【0016】
本開示の態様は、移動体の移動方向の評価の精度の向上を可能にする。
【図面の簡単な説明】
【0017】
【図1】一実施の形態にかかる評価システムを備える移動装置の構成例のブロック図
【図3】移動体が写る画像の第１例の概略図
【図4】移動体が写る画像の第２例の概略図
【図6】遠距離にある移動体が写る画像の一例の概略図
【図7】中距離にある移動体が写る画像の一例の概略図
【図8】近距離にある移動体が写る画像の一例の概略図
【発明を実施するための形態】
【0018】
［１．実施の形態］
［１．１ 構成］
図１は、一実施の形態にかかる移動装置１の構成例のブロック図である。移動装置１は、例えば、自律移動可能なロボットである。移動装置１は、評価システム２と、撮像システム３と、制御システム４とを備える。
［１．１ 構成］
図１は、一実施の形態にかかる移動装置１の構成例のブロック図である。移動装置１は、例えば、自律移動可能なロボットである。移動装置１は、評価システム２と、撮像システム３と、制御システム４とを備える。
【0019】
評価システム２は、移動体１０の移動方向（移動意図）の評価を行うためのシステムである。換言すれば、評価システム２は、移動体１０の移動予測を行うためのシステムである。本実施の形態において、評価システム２は、移動体１０の写る画像情報を撮像システム３から取得し、移動体１０の移動方向の評価の結果を制御システム４に提供し、制御システム４にて移動体１０の移動方向の評価の結果に応じた動作を実行させるために用いられる。
【0020】
移動体１０は、評価システム２による移動方向の評価の対象となる視認可能な物体である。移動体１０は、自律的に移動可能な物体である。つまり、移動体１０の状態には、移動している状態と、停止している状態とが含まれ得る。本実施の形態では、移動体１０は、人（一例として、歩行者）である。以下では、「移動体」を「人」と表記する場合があるが、これは移動体を人に限定する趣旨ではなく、単に文章の煩雑さを避けて説明を分かりやすくするためである。したがって、移動体１０は、人に限らず、人以外の動物等の生物であってもよい。移動体１０は、生物に限らず、無生物であってもよい。無生物の例としては、二輪車、自動車、船舶、航空機等の乗り物やドローン等を含む移動物体が挙げられる。移動体１０は、物体の全体に限らず、物体の一部であってもよい。
【0021】
撮像システム３は、対象画像情報を生成するためのシステムである。対象画像情報は、移動体１０が写る１以上の画像のデータを含み得る。対象画像情報は、移動体１０が写る静止画像のデータであってもよいし、移動体１０が写る動画像のデータであってもよい。本実施の形態では、「移動体１０が写る」は、移動体１０の全部ではなく少なくとも一部が写ることを含む。例えば、移動体１０が人である場合、人の顔が写る画像は、移動体１０が写る画像であるといえる。撮像システム３は、評価システム２に通信可能に接続され、対象画像情報を評価システム２に提供することが可能である。撮像システム３は、１以上のカメラ（デジタルカメラ）を含む。
【0022】
制御システム４は、移動体１０の移動方向の評価の結果に応じた動作を実行する機能を持つシステムである。一例では、制御システム４は、移動装置１の移動（行動）の制御に利用され得る。制御システム４は、移動体１０の移動方向の評価の結果に応じて移動装置１の移動を決定することができる。制御システム４は、評価システム２に通信可能に接続され、移動体１０の移動方向の評価の結果を評価システム２から受け取ることが可能である。制御システム４は、１以上のメモリ及び１以上のプロセッサ等を含むコンピュータシステムを含む。
【0023】
図１に示すように、評価システム２は、インターフェース２１と、記憶装置２２と、演算回路２３と、を備える。
【0024】
インターフェース２１は、評価システム２への情報の入力、及び、評価システム２からの情報の出力に利用される。インターフェース２１は、入出力装置２１１と、通信装置２１２と、を含む。入出力装置２１１は、ユーザからの情報の入力のための入力装置、及び、ユーザへの情報の出力のための出力装置としての機能を有する。入出力装置２１１は、１以上のヒューマン・マシン・インターフェースを備える。ヒューマン・マシン・インターフェースの例としては、キーボード、ポインティングデバイス（マウス、トラックボール等）、タッチパッド等の入力装置、ディスプレイ、スピーカ等の出力装置、タッチパネル等の入出力装置が挙げられる。通信装置２１２は、外部装置又はシステムと通信可能に接続される。本実施の形態では、通信装置２１２は、通信ネットワークを通じた撮像システム３及び制御システム４との通信に用いられる。通信装置２１２は、１以上の通信インターフェースを備える。通信装置２１２は、通信ネットワークに接続可能であり、通信ネットワークを通じた通信を行う機能を有する。通信装置１１２は、所定の通信プロトコルに準拠している。所定の通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。
【0025】
記憶装置２２は、演算回路２３が利用する情報及び演算回路２３で生成される情報を記憶するために用いられる。記憶装置２２は、１以上のストレージ（非一時的な記憶媒体）を含む。ストレージは、例えば、ハードディスクドライブ、光学ドライブ、及びソリッドステートドライブ（ＳＳＤ）のいずれであってもよい。また、ストレージは、内蔵型、外付け型、およびＮＡＳ（network-attached storage）型のいずれであってもよい。
【0026】
記憶装置２２に記憶される情報は、複数の学習済みモデルを含む。複数の学習済みモデルは、低解像度モデル５と、中解像度モデル６と、高解像度モデル７と、を含む。なお、低解像度モデル５、中解像度モデル６及び高解像度モデル７に関して、「低」、「中」、「高」という用語は、これらを容易に区別することを目的として用いられている。図１では、記憶装置２２が、低解像度モデル５と、中解像度モデル６と、高解像度モデル７との全てを記憶している状態を示している。低解像度モデル５と、中解像度モデル６と、高解像度モデル７とは常に記憶装置２２に記憶されている必要はなく、演算回路２３で必要とされるときに記憶装置２２に記憶されていればよい。
【0027】
低解像度モデル５と、中解像度モデル６と、高解像度モデル７とは、移動体１０の移動方向の評価に用いられる。低解像度モデル５と、中解像度モデル６と、高解像度モデル７とについては、後に詳細に説明する。
【0028】
演算回路２３は、評価システム２の動作を制御する回路である。演算回路２３は、インターフェース２１に接続され、記憶装置２２にアクセス可能（つまり、低解像度モデル５と、中解像度モデル６と、高解像度モデル７とにアクセス可能）である。演算回路２３は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。１以上のプロセッサが（１以上のメモリ又は記憶装置２２に記憶された）プログラムを実行することで、演算回路２３としての機能を実現する。プログラムは、ここでは記憶装置２２に予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
【0029】
【0030】
演算回路２３は、対象画像情報を取得する処理を実行する（Ｓ１１）。本実施の形態において、演算回路２３は、インターフェース２１を通じて撮像システム３から対象画像情報を取得する。
【0031】
図３は、対象画像情報に含まれる、移動体１０の写る画像の第１例を示す概略図である。図４は、対象画像情報に含まれる、移動体１０の写る画像の第２例を示す概略図である。図３及び図４において、移動体１０は、手前に移動している。つまり、移動体１０は移動装置１に接近している。図３の画像では、移動体１０は前を向いて歩いている。図４の画像では、移動体１０は下を向いており、前を向いて歩いていない。
【0032】
演算回路２３は、対象画像情報に含まれる画像から移動体１０を検出する処理を実行する（Ｓ１２）。画像からの移動体１０の検出は、従来周知の方法により実現されてよい。画像からの移動体１０の検出は、例えば、エッジ検出等の画像処理技術により実現されてよいし、学習済みモデルを利用して実現されてもよい。図３及び図４に示すように、本実施の形態において、演算回路２３は、画像から、移動体１０を示すバウンディングボックスＢを抽出する。バウンディングボックスＢは、移動体１０を囲う矩形のボックス（矩形の境界線）である。より詳細には、バウンディングボックスＢは、移動体１０をちょうど囲う大きさの矩形のボックスである。そのため、バウンディングボックスＢの幅Ｗ及び高さＨは、画像上の移動体１０の大きさに応じて変化する。バウンディングボックスＢは、従来周知の技術により設定され得る。例えば、バウンディングボックスＢは、画像における矩形の注目領域出に移動体１０が含まれるか否かに基づいて設定されてよいし（例えば、特許第４４４７２４５号公報参照）、人の骨格の検出技術（例えば、OpenPose等の姿勢推定モデル）を利用して検出された人の骨格を内包するように設定されてよい。
【0033】
演算回路２３は、対象画像情報に含まれる画像から検出された移動体１０に関して、移動体１０の画像の解像度の判定をする処理を行う（Ｓ１３）。本実施の形態において、演算回路２３は、移動体１０の画像の解像度が、低解像度、中解像度、高解像度のいずれに該当するかを判定する。
【0034】
移動体１０の画像の解像度は、画像において移動体１０を表示するために用いられている画素数に対応する。移動体１０の画像の解像度は、例えば、撮像システム３から移動体１０までの距離、撮像システム３のカメラの性能（分解能）、移動体１０の実空間上での大きさによって変化し得る。撮像システム３から移動体１０までの距離が遠くなればなるほど、撮像システム３から得られる画像において、移動体１０の大きさが小さくなるから、移動体１０の画像の画素数は減少し、移動体１０の画像の解像度が低くなる。撮像システム３のカメラの性能（分解能）が低い場合には、撮像システム３から得られる画像自体の解像度が低いから、移動体１０の画像の画素数が減り、解像度は低下する。撮像システム３のカメラの性能（分解能）が高い場合には、撮像システム３から得られる画像自体の解像度が高いから、移動体１０の画像の画素数が増え、解像度は高くなる。撮像システム３から移動体１０までの距離が同じでも、撮像システム３のカメラの分解能によって、移動体１０の画像の解像度が変化する。移動体１０の実空間上での大きさは、例えば、人の体格（身長等）、又は、車の車高等が挙げられる。一例として、身長が１８０ｃｍの成人と、身長が８０ｃｍの子供とでは、子供の方が画素数が少なくなるため、解像度は低下する傾向にある。
【0035】
図５は、移動装置１（撮像システム３）と移動体１１，１２，１３との位置関係の説明図である。本実施の形態において、移動装置１が撮像システム３を備えるから、撮像システム３から移動体１１，１２，１３までの距離は、移動装置１から移動体１１，１２，１３までの距離と等しい。図５において、移動体１１は遠距離、移動体１２は中距離、移動体１３は近距離にある。例えば、移動装置１から移動体１１までの距離Ｄ１は７ｍ、移動装置１から移動体１２までの距離Ｄ２は５ｍ、移動装置１から移動体１３までの距離Ｄ３は３ｍである。
【0036】
【0037】
図６の移動体１１のバウンディングボックスＢ１、図７の移動体１２のバウンディングボックスＢ２、及び、図８の移動体１３のバウンディングボックスＢ３のなかでは、バウンディングボックスＢ１の面積が最も小さく、バウンディングボックスＢ３の面積が最も大きい。バウンディングボックスＢ１，Ｂ２，Ｂ３の面積は、画像に対するバウンディングボックスＢ１，Ｂ２，Ｂ３の大きさで規定される。図６，図７，図８に示すように、バウンディングボックスＢ１，Ｂ２，Ｂ３の面積は、画像におけるバウンディングボックスＢ１，Ｂ２，Ｂ３の幅Ｗ１，Ｗ２，Ｗ３に対応する画素数とバウンディングボックスＢ１，Ｂ２，Ｂ３の高さＨ１，Ｈ２，Ｈ３に対応する画素数との積で表される。
【0038】
バウンディングボックスを構成する画素数は、バウンディングボックスの面積に正比例する。バウンディングボックスの面積が大きいことは、移動体１０の画像の解像度が高いことを意味する。バウンディングボックスの面積が小さいことは、移動体１０の画像の解像度が低いことを意味する。図６，図７及び図８では、移動体１１の画像の解像度が最も低く、移動体１３の画像の解像度が最も高く、移動体１２の解像度は移動体１１の画像の解像度と移動体１３の画像の解像度との間である。
【0039】
図６，図７及び図８から明らかなように、近距離にある移動体１３ほど、画像において移動体１３が占める範囲が大きくなる。画像において移動体１３が占める範囲が大きくなると、移動体１３の画像を構成する画素数が増えるから、移動体１３の解像度が高くなる。図６，図７及び図８から明らかなように、遠距離にある移動体１１ほど、画像において移動体１１が占める範囲が小さくなる。画像において移動体１１が占める範囲が小さくなると、移動体１１の画像を構成する画素数が減るから、移動体１１の解像度が低くなる。つまり、撮像システム３から移動体１０までの距離が遠くなればなるほど、移動体１０の画像の解像度は低くなる。撮像システム３から移動体１０までの距離が近くなればなるほど、移動体１０の画像の解像度は高くなる。
【0040】
本実施の形態において、演算回路２３は、移動体１０のバウンディングボックスの面積に基づいて移動体１０の画像の解像度を決定する。一例として、演算回路２３は、移動体１０のバウンディングボックスの面積を、移動体１０の画像の解像度としてよい。演算回路２３は、移動体１０のバウンディングボックスの面積を閾値と比較することで、移動体１０の画像の解像度の判定をする。例えば、演算回路２３は、バウンディングボックスの面積が第１閾値未満である場合に、移動体１０の画像の解像度が低解像度であると判定してよい。本実施の形態において、演算回路２３は、バウンディングボックスの面積が第１閾値以上であるが第２閾値未満である場合に、移動体１０の画像の解像度が中解像度であると判定してよい。演算回路２３は、バウンディングボックスの面積が第２閾値以上である場合に、移動体１０の画像の解像度が高解像度であると判定してよい。
【0041】
第１閾値は、低解像度と中解像度とを区分けするための閾値である。例えば、画像の画素数が３６０×２７０である場合、バウンディングボックスの画素数が３０×９０未満であれば、移動体１０の画像の解像度が低解像度であると考えてよい。この場合、第１閾値は２７００である。第２閾値は、中解像度と高解像度とを区分けするための閾値である。例えば、画像の画素数が３６０×２７０である場合、バウンディングボックスの画素数が６０×１８０以上であれば、移動体１０の画像の解像度が高解像度であると考えてよい。この場合、第２閾値は１０８００である。
【0042】
対象画像情報が複数の画像を含む場合、複数の画像それぞれに写る移動体１０のバウンディングボックスの代表値が、閾値（第１閾値、第２閾値）と比較されてよい。代表値の例としては、平均値、最小値、最大値、中央値、及び、最頻値が挙げられる。これによって、複数の画像のバウンディングボックスの変化によって、移動体１０の画像の解像度が低解像度、中解像度、高解像度のいずれに該当するかの判断が短期間で変わってしまう可能性を低減できる。
【0043】
図６～図８の移動体１１～１３を比較すると、図６の移動体１１の画像では、移動体１１の全体は比較的明確であるが、移動体１１の頭等の部位は比較的不明確である。例えば、図６では、移動体１１の顔の向きを精度良く決定することは難しい。図７の移動体１２の画像では、移動体１２の全体は比較的明確であり、移動体１１の頭Ｒ等の部位も比較的明確である。ただし、移動体１１の目又は骨格点等の頭よりも小さい部位は比較的不明確である。例えば、図７では、移動体１１の視線又は移動体１１の姿勢を精度良く決定することは難しい。図８の移動体１３の画像では、移動体１３の全体は比較的明確であり、移動体１３の頭Ｒ等の部位（第１部位）も比較的明確である。さらに、移動体１３の目又は骨格点Ｐ等の頭よりも小さい部位（第２部位）も比較的明確である。そのため、図８の移動体１３については、移動体１１の視線又は移動体１１の姿勢も精度良く決定でき得る。
【0044】
移動体１０の画像の解像度が低くなるほど、移動体１０の全体ではなく部位から得られる情報の精度は低くなる傾向にある。そして、精度が低い情報を用いることは、移動体１０の移動方向の評価の精度の低下の一因となり得る。
【0045】
このような観点から、評価システム２は、移動体１０の画像の解像度に応じた複数の学習済みモデル（低解像度モデル５、中解像度モデル６及び高解像度モデル７）を備える。演算回路２３は、移動体１０の画像の解像度に応じて、複数の学習済みモデル（低解像度モデル５、中解像度モデル６及び高解像度モデル７）から、移動体１０の移動方向の評価に用いる学習済みモデルを選択する。
【0046】
より詳細には、演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が第１閾値未満であることを確認し、解像度が第１閾値未満であることを確認したことに応答して複数の学習済みモデルから低解像度モデル５を選択する。演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が第１閾値以上であることを確認し、解像度が第１閾値以上であることを確認したことに応答して複数の学習済みモデルから中解像度モデル６又は高解像度モデル７を選択する。この場合、演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が第２閾値未満であることを確認し、解像度が第２閾値未満であることを確認したことに応答して複数の学習済みモデル（中解像度モデル６及び高解像度モデル７）から中解像度モデル６を選択する。一方、演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が第２閾値以上であることを確認し、解像度が第２閾値以上であることを確認したことに応答して複数の学習済みモデル（中解像度モデル６及び高解像度モデル７）から高解像度モデル７を選択する。
【0047】
図２に示すように、移動体１０の画像の解像度が低解像度である場合（Ｓ１３；低解像度）、演算回路２３は、低解像度モデル５を選択する（Ｓ２１）。
【0048】
低解像度モデル５は、移動体１０の画像の解像度が低解像度である場合に用いられる。低解像度モデル５は、画像情報中の移動体１０の全体に基づく１又は複数の全体情報の入力に対して、移動体１０の移動方向の評価を出力するように学習された簡易モデルである。
【0049】
１又は複数の全体情報は、移動体１０の位置、移動体１０の速度、及び、移動体１０の全体の画像の少なくとも一つを含む。移動体１０の位置は、例えば、実空間における移動体１０の絶対的な位置、又は、実空間における移動装置１に対する移動体１０の位置（相対位置）である。移動体１０の速度は、例えば、移動体１０の絶対的な速度、又は、移動装置１に対する移動体１０の速度（相対速度）である。移動体１０の全体の画像は、例えば、移動体１０に対応するバウンディングボックスで囲まれた画像である。
【0050】
本実施の形態において、移動体１０の移動方向の評価は、移動体１０の移動方向が第１移動方向である確率と移動体１０の移動方向が第２移動方向である確率とを含む。第１移動方向は、移動体１０が対象物に向かう方向である。第２移動方向は、移動体１０が対象物を回避する方向である。本実施の形態において、対象物は、例えば、移動装置１である。つまり、移動体１０の移動方向の評価は、移動体１０が移動装置１を回避しようとするかどうかの確率を表しているといえる。この観点から、移動体１０の移動方向の評価は、移動体１０が移動装置１を回避しよう確率を示す回避意図スコアであるといえる。よって、評価システム２は、学習済みモデルを利用して、人領域画像の構成解像度に基づく前方歩行者の回避意図予測を実行しているといえる。
【0051】
図９は、低解像度モデル５の構成例の概略説明図である。図９では、対象画像情報は、時系列順の複数の画像Ｇを含む。複数の画像Ｇから、移動体１０のバウンディングボックスＢが検出される。各バウンディングボックスＢから、複数の全体情報Ｉ１１，Ｉ１２，Ｉ１３が得られる。これによって、時系列順の全体情報Ｉ１１、時系列順の全体情報Ｉ１２、及び、時系列順の全体情報Ｉ１３が得られる。図９において、全体情報Ｉ１１は移動体１０の位置であり、全体情報Ｉ１２は移動体１０の速度であり、全体情報Ｉ１３は移動体１０の全体の画像である。
【0052】
図９の低解像度モデル５は、全体情報Ｉ１１，Ｉ１２，Ｉ１３の入力に対して、移動体１０の移動方向の評価Ｏ１を出力する。図９の低解像度モデル５は、第１ネットワーク機構５１１と、第１アテンション機構５１２と、第２ネットワーク機構５２１と、第２アテンション機構５２２と、第３ネットワーク機構５３と、結合部５４と、出力部５５とを含む。
【0053】
第１ネットワーク機構５１１は、時系列順の全体情報Ｉ１１から特徴量を抽出する。第１ネットワーク機構５１１は、例えば、長・短記憶（Long short-term memory；ＬＳＴＭ）又はゲート付き回帰型ユニット（Gated recurrent unit；ＧＲＵ）等の回帰型ニューラルネットワーク（Recurrent neural network；ＲＮＮ）のアーキテクチャを含む。第１アテンション機構５１２は、時系列順の全体情報Ｉ１１のうちのどの全体情報Ｉ１１に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、時系列順の全体情報Ｉ１１のうち最も重要と考えられる全体情報Ｉ１１の特徴量が抽出され、結合部５４に入力される。
【0054】
第２ネットワーク機構５２１は、時系列順の全体情報Ｉ１２から特徴量を抽出する。第２ネットワーク機構５２１は、例えば、長・短記憶（ＬＳＴＭ）又はゲート付き回帰型ユニット（ＧＲＵ）等の回帰型ニューラルネットワーク（ＲＮＮ）のアーキテクチャを含む。第２アテンション機構５２２は、時系列順の全体情報Ｉ１２のうちのどの全体情報Ｉ１２に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、時系列順の全体情報Ｉ１２のうち最も重要と考えられる全体情報Ｉ１２の特徴量が抽出され、結合部５４に入力される。
【0055】
第３ネットワーク機構５３は、時系列順の全体情報Ｉ１３から特徴量を抽出する。上述したように、全体情報Ｉ１３は、移動体１０の全体の画像である。第３ネットワーク機構５３は、例えば、３次元畳み込みニューラルネットワーク（3D-convolutional neural network；３ＤＣＮＮ）、又は、畳み込みニューラルネットワーク（Convolutional neural network；ＣＮＮ）と回帰型ニューラルネットワーク（ＲＮＮ）との組み合わせのアーキテクチャを含む。これによって、時系列順の全体情報Ｉ１３から特徴量が抽出され、結合部５４に入力される。
【0056】
結合部５４は、全体情報Ｉ１１，Ｉ１２，Ｉ１３の特徴量をまとめて出力部５５に入力する。図９の場合、結合部５４は、第１アテンション機構５１２からの時系列順の全体情報Ｉ１１のうち最も重要と考えられる全体情報Ｉ１１の特徴量と、第２アテンション機構５２２からの時系列順の全体情報Ｉ１２のうち最も重要と考えられる全体情報Ｉ１２の特徴量と、第３ネットワーク機構５３からの時系列順の全体情報Ｉ１３の特徴量とを、出力部５５に入力する。
【0057】
出力部５５は、結合部５４からの特徴量から、移動体１０の移動方向の評価Ｏ１を出力する。出力部５５は、例えば、全結合層を含む。全結合層は、例えば、ソフトマックス関数を含む。
【0058】
図２に示すように、演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が低解像度である場合に（Ｓ１３；低解像度）、複数の学習済みモデルから簡易モデル（低解像度モデル５）を選択し（Ｓ２１）、低解像度モデル５で評価を行う（Ｓ２２）。より詳細には、演算回路２３は、対象画像情報から検出された移動体１０の全体情報Ｉ１１，Ｉ１２，Ｉ１３を、低解像度モデル５に入力して、低解像度モデル５に対象画像情報から検出された移動体１０の移動方向の評価Ｏ１を出力させる。これによって、評価システム２は、低解像度の場合に精度の低い可能性が高い情報（後述の部位情報）を用いずに移動体１０の移動方向の評価を行う。その結果、評価システム２は、移動体１０の移動方向の評価の精度の向上を可能にする。
【0059】
移動体１０の画像の解像度が中解像度である場合（Ｓ１３；中解像度）、演算回路２３は、中解像度モデル６を選択する（Ｓ３１）。図２に示すように、移動体１０の画像の解像度が高解像度である場合（Ｓ１３；高解像度）、演算回路２３は、高解像度モデル７を選択する（Ｓ４１）。
【0060】
中解像度モデル６及び高解像度モデル７の各々は、移動体１０の画像の解像度が中解像度である場合に用いられる。中解像度モデル６は、画像情報中の移動体１０の全体に基づく１又は複数の全体情報の少なくとも一つと、画像情報中の移動体１０の１又は複数の部位に基づく１又は複数の部位情報との入力に対して、移動体１０の移動方向の評価を出力するように学習された詳細モデルである。
【0061】
１又は複数の部位情報は、例えば、移動体１０の１又は複数の部位の位置、移動体１０の１又は複数の部位の向き、移動体１０の１又は複数の部位の画像、及び、移動体１０の複数の部位の関連性に基づく情報との少なくとも一つを含む。部位の位置の例としては、移動体１０の顔の位置が挙げられる。部位の向きの例としては、移動体の顔の向きと移動体の視線とが挙げられる。部位の画像の例としては、移動体の顔の画像が挙げられる。複数の部位の関連性に基づく情報の例としては、移動体の姿勢に関する情報が挙げられる。
【0062】
移動体１０の部位は、第１部位と、第１部位より小さい第２部位とに分類され得る。第１部位は、移動体１０の身体の部位、例えば、図７に示す顔Ｒである。第１部位は、顔に限らず、頭、腕、胴、脚等であってもよい。第２部位は、移動体１０の身体の部位よりも小さい部位である。第２部位は、第１部位との比較においては、移動体１０において点としてとらえることが可能である。第２部位の例としては、例えば、図８に示す骨格点Ｐが挙げられる。第２部位は、骨格点に限らず、目、鼻、指、関節等であってもよい。
【0063】
この点から、部位情報は、第１部位に基づく第１部位情報と、第２部位に基づく第２部位情報とに分類され得る。第２部位情報を精度良く得るためには、第１部位情報に比べて、移動体１０の画像の解像度が高い必要がある。
【0064】
本実施の形態において、中解像度モデル６は、全体情報に加えて、第１部位情報を用いる。つまり、中解像度モデル６は、画像情報中の移動体１０の全体に基づく１又は複数の全体情報と、移動体１０の１又は複数の第１部位に基づく１又は複数の第１部位情報との入力に対して、移動体１０の移動方向の評価を出力するように学習された第１モデルである。
【0065】
本実施の形態において、高解像度モデル７は、全体情報及び第１部位情報に加えて、第２部位情報を用いる。つまり、高解像度モデル７は、画像情報中の移動体１０の全体に基づく１又は複数の全体情報の少なくとも一つと、１又は複数の第１部位情報の少なくとも一つと、１又は複数の第２部位情報との入力に対して、移動体１０の移動方向の評価を出力するように学習された第２モデルである。
【0066】
図１０は、中解像度モデル６の構成例の概略説明図である。図１０では、対象画像情報は、時系列順の複数の画像Ｇを含む。複数の画像Ｇから、移動体１０のバウンディングボックスＢが検出される。各バウンディングボックスＢから、複数の全体情報Ｉ１１，Ｉ１２，Ｉ１３が得られる。これによって、時系列順の全体情報Ｉ１１、時系列順の全体情報Ｉ１２、及び、時系列順の全体情報Ｉ１３が得られる。図１０において、全体情報Ｉ１１は移動体１０の位置であり、全体情報Ｉ１２は移動体１０の速度であり、全体情報Ｉ１３は移動体１０の全体の画像である。
【0067】
図１０では、複数の画像Ｇから、移動体１０の顔のバウンディングボックスＲが検出される。各バウンディングボックスＲから、複数の第１部位情報Ｉ２１，Ｉ２２，Ｉ２３が得られる。これによって、時系列順の第１部位情報Ｉ２１、時系列順の第１部位情報Ｉ２２、及び、時系列順の第１部位情報Ｉ２３が得られる。図１０において、第１部位情報Ｉ２１は移動体１０の顔の位置であり、第１部位情報Ｉ２２は移動体１０の顔の向きであり、第１部位情報Ｉ２３は移動体１０の顔の画像である。
【0068】
図１０の中解像度モデル６は、全体情報Ｉ１１，Ｉ１２，Ｉ１３、及び、部位情報Ｉ２１，Ｉ２２，Ｉ２３の入力に対して、移動体１０の移動方向の評価Ｏ２を出力する。図１０の中解像度モデル６は、第１ネットワーク機構６１１と、第１アテンション機構６１２と、第２ネットワーク機構６２１と、第２アテンション機構６２２と、第３ネットワーク機構６３と、第４ネットワーク機構６４１と、第４アテンション機構６４２と、第５ネットワーク機構６５１と、第５アテンション機構６５２と、第６ネットワーク機構６６と、結合部６７と、出力部６８とを含む。
【0069】
第１ネットワーク機構６１１と、第１アテンション機構６１２と、第２ネットワーク機構６２１と、第２アテンション機構６２２と、第３ネットワーク機構６３とは、図９の低解像度モデル５の第１ネットワーク機構５１１と、第１アテンション機構５１２と、第２ネットワーク機構５２１と、第２アテンション機構５２２と、第３ネットワーク機構５３とそれぞれ同様である。
【0070】
第４ネットワーク機構６４１は、時系列順の第１部位情報Ｉ２１から特徴量を抽出する。第４ネットワーク機構６４１は、例えば、長・短記憶（ＬＳＴＭ）又はゲート付き回帰型ユニット（ＧＲＵ）等の回帰型ニューラルネットワーク（ＲＮＮ）のアーキテクチャを含む。第４アテンション機構６４２は、時系列順の第１部位情報Ｉ２１のうちのどの第１部位情報Ｉ２１に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、時系列順の第１部位情報Ｉ２１のうち最も重要と考えられる第１部位情報Ｉ２１の特徴量が抽出され、結合部６７に入力される。
【0071】
第５ネットワーク機構６５１は、時系列順の第１部位情報Ｉ２２から特徴量を抽出する。第５ネットワーク機構６５１は、例えば、長・短記憶（ＬＳＴＭ）又はゲート付き回帰型ユニット（ＧＲＵ）等の回帰型ニューラルネットワーク（ＲＮＮ）のアーキテクチャを含む。第５アテンション機構６５２は、時系列順の第１部位情報Ｉ２２のうちのどの第１部位情報Ｉ２２に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、時系列順の第１部位情報Ｉ２２のうち最も重要と考えられる第１部位情報Ｉ２２の特徴量が抽出され、結合部６７に入力される。
【0072】
第６ネットワーク機構６６は、時系列順の第１部位情報Ｉ２３から特徴量を抽出する。上述したように、第１部位情報Ｉ２３は、移動体１０の顔（第１部位）の画像である。第６ネットワーク機構６６は、例えば、３次元畳み込みニューラルネットワーク（３ＤＣＮＮ）、又は、畳み込みニューラルネットワーク（ＣＮＮ）と回帰型ニューラルネットワーク（ＲＮＮ）との組み合わせのアーキテクチャを含む。これによって、時系列順の第１部位情報Ｉ２３から特徴量が抽出され、結合部６７に入力される。
【0073】
結合部６７は、全体情報Ｉ１１，Ｉ１２，Ｉ１３の特徴量及び部位情報（第１部位情報）Ｉ２１，Ｉ２２，Ｉ２３の特徴量をまとめて出力部６８に入力する。図１０の場合、結合部６７は、第１アテンション機構６１２からの時系列順の全体情報Ｉ１１のうち最も重要と考えられる全体情報Ｉ１１の特徴量と、第２アテンション機構６２２からの時系列順の全体情報Ｉ１２のうち最も重要と考えられる全体情報Ｉ１２の特徴量と、第３ネットワーク機構６３からの時系列順の全体情報Ｉ１３の特徴量と、第４アテンション機構６４２からの時系列順の第１部位情報Ｉ２１のうち最も重要と考えられる第１部位情報Ｉ２１の特徴量と、第５アテンション機構６５２からの時系列順の第１部位情報Ｉ２２のうち最も重要と考えられる第１部位情報Ｉ２２の特徴量と、第６ネットワーク機構６６からの時系列順の第１部位情報Ｉ２３の特徴量とを、出力部６８に入力する。
【0074】
出力部６８は、結合部６７からの特徴量から、移動体１０の移動方向の評価Ｏ２を出力する。出力部６８は、例えば、全結合層を含む。全結合層は、例えば、ソフトマックス関数を含む。
【0075】
図２に示すように、演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が中解像度である場合に（Ｓ１３；中解像度）、複数の学習済みモデルから中解像度モデル６（詳細モデル、第１モデル）を選択し（Ｓ３１）、中解像度モデル６で評価を行う（Ｓ３２）。より詳細には、演算回路２３は、対象画像情報から検出された移動体１０の全体情報Ｉ１１，Ｉ１２，Ｉ１３及び部位情報（第１部位情報）Ｉ２１，Ｉ２２，Ｉ２３を、中解像度モデル６に入力して、中解像度モデル６に対象画像情報から検出された移動体１０の移動方向の評価Ｏ２を出力させる。これによって、評価システム２は、中解像度の場合に精度の低い可能性が高い情報（第２部位情報）を用いずに移動体１０の移動方向の評価を行う。その結果、評価システム２は、移動体１０の移動方向の評価の精度の向上を可能にする。
【0076】
図１１は、高解像度モデル７の構成例の概略説明図である。図１１では、対象画像情報は、時系列順の複数の画像Ｇを含む。複数の画像Ｇから、移動体１０のバウンディングボックスＢが検出される。各バウンディングボックスＢから、複数の全体情報Ｉ１１，Ｉ１２，Ｉ１３が得られる。これによって、時系列順の全体情報Ｉ１１、時系列順の全体情報Ｉ１２、及び、時系列順の全体情報Ｉ１３が得られる。図１１において、全体情報Ｉ１１は移動体１０の位置であり、全体情報Ｉ１２は移動体１０の速度であり、全体情報Ｉ１３は移動体１０の全体の画像である。
【0077】
図１１では、複数の画像Ｇから、移動体１０の顔（第１部位）のバウンディングボックスＲが検出される。各バウンディングボックスＲから、複数の第１部位情報Ｉ２１，Ｉ２２，Ｉ２３が得られる。これによって、時系列順の第１部位情報Ｉ２１、時系列順の第１部位情報Ｉ２２、及び、時系列順の第１部位情報Ｉ２３が得られる。図１１において、第１部位情報Ｉ２１は移動体１０の顔の位置であり、第１部位情報Ｉ２２は移動体１０の顔の向きであり、第１部位情報Ｉ２３は移動体１０の顔の画像である。
【0078】
図１１では、複数の画像Ｇから、移動体１０の複数の骨格点（第２部位）Ｐが検出される。複数の骨格点Ｐの関連性に基づいて、第２部位情報Ｉ３１が得られる。これによって、時系列順の第２部位情報Ｉ３１が得られる。図１１において、第２部位情報Ｉ３１は、例えば、移動体１０の姿勢の情報である。いくつかの例では、第２部位情報は、骨格点の情報、骨格点の位置、骨格点の隣接情報を含むこともできる。
【0079】
図１１の高解像度モデル７は、全体情報Ｉ１１，Ｉ１２，Ｉ１３、第１部位情報Ｉ２１，Ｉ２２，Ｉ２３、及び第２部位情報Ｉ３１の入力に対して、移動体１０の移動方向の評価Ｏ３を出力する。図１１の高解像度モデル７は、第１ネットワーク機構７１１と、第１アテンション機構７１２と、第２ネットワーク機構７２１と、第２アテンション機構７２２と、第３ネットワーク機構７３と、第４ネットワーク機構７４１と、第４アテンション機構７４２と、第５ネットワーク機構７５１と、第５アテンション機構７５２と、第６ネットワーク機構７６と、第７ネットワーク機構７７１と、第７アテンション機構７７２と、結合部７８と、出力部７９とを含む。
【0080】
第１ネットワーク機構７１１と、第１アテンション機構７１２と、第２ネットワーク機構７２１と、第２アテンション機構７２２と、第３ネットワーク機構７３とは、図９の低解像度モデル５の第１ネットワーク機構５１１と、第１アテンション機構５１２と、第２ネットワーク機構５２１と、第２アテンション機構５２２と、第３ネットワーク機構５３とそれぞれ同様である。
【0081】
第４ネットワーク機構７４１と、第４アテンション機構７４２と、第５ネットワーク機構７５１と、第５アテンション機構７５２と、第６ネットワーク機構７６とは、図１０の中解像度モデル６の第４ネットワーク機構６４１と、第４アテンション機構６４２と、第５ネットワーク機構６５１と、第５アテンション機構６５２と、第６ネットワーク機構６６とそれぞれ同様である。
【0082】
第７ネットワーク機構７７１は、時系列順の第２部位情報Ｉ３１から特徴量を抽出する。第７ネットワーク機構７７１は、例えば、長・短記憶（ＬＳＴＭ）又はゲート付き回帰型ユニット（ＧＲＵ）等の回帰型ニューラルネットワーク（ＲＮＮ）のアーキテクチャを含む。第７アテンション機構７７２は、時系列順の第２部位情報Ｉ３１のうちのどの第２部位情報Ｉ３１に着目すべきかを決定するテンポラルアテンション機構を含む。これによって、時系列順の第２部位情報Ｉ３１のうち最も重要と考えられる第２部位情報Ｉ３１の特徴量が抽出され、結合部７８に入力される。
【0083】
結合部７８は、全体情報Ｉ１１，Ｉ１２，Ｉ１３の特徴量、部位情報（第１部位情報）Ｉ２１，Ｉ２２，Ｉ２３の特徴量、及び、部位情報（第２部位情報）Ｉ３１の特徴量をまとめて出力部７９に入力する。図１１の場合、結合部７８は、第１アテンション機構７１２からの時系列順の全体情報Ｉ１１のうち最も重要と考えられる全体情報Ｉ１１の特徴量と、第２アテンション機構７２２からの時系列順の全体情報Ｉ１２のうち最も重要と考えられる全体情報Ｉ１２の特徴量と、第３ネットワーク機構７３からの時系列順の全体情報Ｉ１３の特徴量と、第４アテンション機構７４２からの時系列順の第１部位情報Ｉ２１のうち最も重要と考えられる第１部位情報Ｉ２１の特徴量と、第５アテンション機構７５２からの時系列順の第１部位情報Ｉ２２のうち最も重要と考えられる第１部位情報Ｉ２２の特徴量と、第６ネットワーク機構６６からの時系列順の第１部位情報Ｉ２３の特徴量と、第７アテンション機構７７２からの時系列順の第２部位情報Ｉ３１のうち最も重要と考えられる第２部位情報Ｉ３１の特徴量とを、出力部７９に入力する。
【0084】
出力部７９は、結合部７８からの特徴量から、移動体１０の移動方向の評価Ｏ３を出力する。出力部７９は、例えば、全結合層を含む。全結合層は、例えば、ソフトマックス関数を含む。
【0085】
図２に示すように、演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が高解像度である場合に（Ｓ１３；高解像度）、複数の学習済みモデルから高解像度モデル７（詳細モデル、第２モデル）を選択し（Ｓ４１）、高解像度モデル７で評価を行う（Ｓ４２）。より詳細には、演算回路２３は、対象画像情報から検出された移動体１０の全体情報Ｉ１１，Ｉ１２，Ｉ１３、部位情報（第１部位情報）Ｉ２１，Ｉ２２，Ｉ２３、及び部位情報（第２部位情報）I３１を、高解像度モデル７に入力して、高解像度モデル７に対象画像情報から検出された移動体１０の移動方向の評価Ｏ３を出力させる。これによって、評価システム２は、高解像度の場合に、中解像度の場合よりも情報を増やして移動体１０の移動方向の評価を行う。その結果、評価システム２は、移動体１０の移動方向の評価の精度の向上を可能にする。
【0086】
以上述べた評価システム２による移動体１０の移動方向の評価の結果は、移動装置１の制御システム４において移動装置１の動作の決定に用いられ得る。
【0087】
図１２～図１４は、移動装置１の動作の一例の説明図である。図１２において、移動装置１の進行予定経路Ｍ１に、移動体１０が存在する。移動体１０は移動方向Ｖ０に移動中である。図１２において、移動方向Ｖ０は、移動装置１に対する移動体１０の相対速度ベクトルで表されている。
【0088】
移動装置１では、評価システム２が、移動体１０の移動方向の評価を実行する。移動体１０の移動方向の評価は、移動体１０の移動方向が第１移動方向Ｖ１である確率と移動体１０の移動方向が第２移動方向Ｖ２である確率とを含む。第１移動方向Ｖ１は、移動体１０が対象物（移動装置１）に向かう方向である。第２移動方向Ｖ２は、移動体１０が対象物（移動装置１）を回避する方向である。
【0089】
移動体１０の移動方向が第１移動方向Ｖ１である確率が高い場合には、移動体１０が移動装置１の近接エリア１ａに到達し、移動装置１と衝突する可能性が高い。この場合、図１３に示すように、移動装置１では、制御システム４が移動装置１の進行予定経路Ｍ１を、進行予定経路Ｍ２に変更し、移動体１０との衝突を回避する行動をとることができる。
【0090】
移動体１０の移動方向が第２移動方向Ｖ２である確率が高い場合には、移動体１０が移動装置１と衝突する可能性が低い。この場合、図１４に示すように、移動装置１では、制御システム４が移動装置１の進行予定経路Ｍ１を維持する行動をとる。
【0091】
このように、移動装置１では、評価システム２から得られる移動体１０の移動方向の評価に基づいて制御システム４が移動装置１の行動を制御することにより、移動装置１と移動体１０との衝突の可能性を低減できる。特に、移動装置１は、単に移動体１０との衝突を徹底的に避けるような移動体１０の移動を優先した移動方針ではなく、移動体１０が移動装置１との衝突を回避する行動をとるかどうかを考慮した譲り合いを考慮した移動方針により進行予定経路を設定することがでる。これによって、移動装置１は、移動体１０とのスムーズなすれ違いを実現することができ得る。
【0092】
［１．２ 効果等］
以上述べた評価方法は、複数の学習済みモデルを記憶する記憶装置２２にアクセス可能な演算回路２３で実行される。複数の学習済みモデルは、画像情報中の移動体１０～１３の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報Ｉ１１～Ｉ１３の入力に対して、移動体１０の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと、移動体１０の１又は複数の部位Ｒ，Ｐに基づく１又は複数の部位情報Ｉ２１～Ｉ２３，Ｉ３１との入力に対して、移動体１０の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６，高解像度モデル７）と、を含む。
以上述べた評価方法は、複数の学習済みモデルを記憶する記憶装置２２にアクセス可能な演算回路２３で実行される。複数の学習済みモデルは、画像情報中の移動体１０～１３の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報Ｉ１１～Ｉ１３の入力に対して、移動体１０の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと、移動体１０の１又は複数の部位Ｒ，Ｐに基づく１又は複数の部位情報Ｉ２１～Ｉ２３，Ｉ３１との入力に対して、移動体１０の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６，高解像度モデル７）と、を含む。
【0093】
ここで、評価方法は、対象画像情報から検出された移動体１０～１３の画像の解像度が閾値（第１閾値）未満であることを確認し、解像度が閾値（第１閾値）未満であることを確認したことに応答して複数の学習済みモデルから簡易モデル（低解像度モデル５）を選択し、対象画像情報から検出された移動体１０の１又は複数の全体情報Ｉ１１～Ｉ１３を、簡易モデル（低解像度モデル５）に入力して、簡易モデル（低解像度モデル５）に対象画像情報から検出された移動体１０の移動方向の評価Ｏ１を出力させる。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0094】
あるいは、評価方法は、対象画像情報から検出された移動体１０～１３の画像の解像度が閾値（第１閾値）以上であることを確認し、解像度が閾値（第１閾値）以上であることを確認したことに応答して複数の学習済みモデルから詳細モデル（中解像度モデル６，高解像度モデル７）を選択し、対象画像情報から検出された移動体１０～１３の１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと１又は複数の部位情報Ｉ２１～Ｉ２３，Ｉ３１とを、詳細モデル（中解像度モデル６，高解像度モデル７）に入力して、詳細モデル（中解像度モデル６，高解像度モデル７）に対象画像情報から検出された移動体１０の移動方向の評価Ｏ２，Ｏ３を出力させる。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0095】
評価方法において、解像度は、対象画像情報から検出された移動体１０～１３のバウンディングボックスＢ，Ｂ１～Ｂ３の面積に基づいて決定される。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0096】
評価方法において、１又は複数の全体情報Ｉ１１～Ｉ１３は、移動体１０～１３の位置、移動体１０～１３の速度、及び、移動体１０～１３の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）の画像の少なくとも一つを含む。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0097】
評価方法において、１又は複数の部位情報Ｉ２１，Ｉ２２，Ｉ２３，Ｉ３１は、移動体１０～１３の１又は複数の部位Ｒ，Ｐの位置、移動体１０～１３の１又は複数の部位Ｒ，Ｐの向き、移動体１０～１３の１又は複数の部位Ｒ，Ｐの画像、及び、移動体１０～１３の複数の部位Ｒ，Ｐの関連性に基づく情報の少なくとも一つを含む。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0098】
評価方法において、１又は複数の部位Ｒ，Ｐの位置は、移動体１０～１３の顔の位置を含む。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0099】
評価方法において、１又は複数の部位Ｒ，Ｐの向きは、移動体１０～１３の顔の向きと移動体１０～１３の視線との少なくとも一つを含む。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0100】
評価方法において、１又は複数の部位Ｒ，Ｐの画像は、移動体１０～１３の顔の画像を含む。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0101】
評価方法において、複数の部位Ｒ，Ｐの関連性に基づく情報は、移動体１０～１３の姿勢に関する情報を含む。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0102】
評価方法において、移動体１０～１３の移動方向の評価は、移動体１０～１３の移動方向が第１移動方向である確率と移動体１０～１３の移動方向が第２移動方向である確率とを含む。第１移動方向は、移動体１０～１３が対象物（移動装置１）に向かう方向である。第２移動方向は、移動体１０～１３が対象物（移動装置１）を回避する方向である。この構成は、移動体１０～１３の移動方向を考慮した対象物の効率の良い移動を可能にする。
【0103】
別の観点から、以上述べた評価方法は、複数の学習済みモデルを記憶する記憶装置２２にアクセス可能な演算回路２３で実行される。複数の学習済みモデルは、画像情報中の移動体１０～１３の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報Ｉ１１～Ｉ１３と、移動体１０～１３の１又は複数の第１部位Ｒに基づく１又は複数の第１部位情報Ｉ２１～Ｉ２３との入力に対して、移動体１０～１３の移動方向の評価Ｏ２を出力するように学習された第１モデル（中解像度モデル６）と、１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと、１又は複数の第１部位情報Ｉ２１～Ｉ２３の少なくとも一つと、移動体１０～１３の１又は複数の第２部位Ｐに基づく１又は複数の第２部位情報Ｉ３１との入力に対して、移動体１０～１３の移動方向の評価Ｏ３を出力するように学習された第２モデル（高解像度モデル７）と、を含む。１又は複数の第２部位Ｐは、１又は複数の第１部位Ｒよりも小さい。
【0104】
ここで、評価方法は、対象画像情報から検出された移動体１０～１３の画像の解像度が閾値（第２閾値）未満であることを確認し、解像度が閾値（第２閾値）未満であることを確認したことに応答して複数の学習済みモデルから第１モデル（中解像度モデル６）を選択し、対象画像情報から検出された移動体１０～１３の１又は複数の全体情報Ｉ１１～Ｉ１３と１又は複数の第１部位情報Ｉ２１～Ｉ２３とを、第１モデル（中解像度モデル６）に入力して、第１モデル（中解像度モデル６）に対象画像情報から検出された移動体１０～１３の移動方向の評価Ｏ２を出力させる。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0105】
あるいは、評価方法は、対象画像情報から検出された移動体１０～１３の画像の解像度が閾値（第２閾値）以上であることを確認し、距離Ｄ１～Ｄ３が未満以上であることを確認したことに応答して複数の学習済みモデルから第２モデル（高解像度モデル７）を選択し、対象画像情報から検出された移動体１０～１３の１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと１又は複数の第１部位情報Ｉ２１～Ｉ２３の少なくとも一つと１又は複数の第２部位情報Ｉ３１とを、第２モデル（高解像度モデル７）に入力して、第２モデル（高解像度モデル７）に対象画像情報から検出された移動体１０～１３の移動方向の評価Ｏ３を出力させる。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0106】
以上述べたプログラムは、上記の評価方法を、演算回路２３に実行させるための、プログラムである。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0107】
以上述べた評価システム２は、複数の学習済みモデルを記憶する記憶装置２２と、記憶装置２２にアクセス可能な演算回路２３と、を備える。複数の学習済みモデルは、画像情報中の移動体１０～１３の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報Ｉ１１～Ｉ１３の入力に対して、移動体１０の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと、移動体１０の１又は複数の部位Ｒ，Ｐに基づく１又は複数の部位情報Ｉ２１～Ｉ２３，Ｉ３１との入力に対して、移動体１０の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６，高解像度モデル７）と、を含む。演算回路２３は、対象画像情報から検出された移動体１０～１３の画像の解像度が閾値（第１閾値）未満である場合に、複数の学習済みモデルから簡易モデル（低解像度モデル５）を選択し、対象画像情報から検出された移動体１０～１３の１又は複数の全体情報Ｉ１１～Ｉ１３を、簡易モデル（低解像度モデル５）に入力して、簡易モデル（低解像度モデル５）に対象画像情報から検出された移動体１０の移動方向の評価Ｏ１を出力させる。演算回路２３は、解像度が閾値（第１閾値）以上である場合に、複数の学習済みモデルから詳細モデル（中解像度モデル６，高解像度モデル７）を選択し、対象画像情報から検出された移動体１０の１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと１又は複数の部位情報Ｉ２１～Ｉ２３，Ｉ３１とを、詳細モデル（中解像度モデル６，高解像度モデル７）に入力して、詳細モデル（中解像度モデル６，高解像度モデル７）に対象画像情報から検出された移動体１０～１３の移動方向の評価Ｏ２，Ｏ３を出力させる。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0108】
以上述べた評価システム２は、複数の学習済みモデルを記憶する記憶装置２２と、記憶装置２２にアクセス可能な演算回路２３と、を備える。複数の学習済みモデルは、画像情報中の移動体１０～１３の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報Ｉ１１～Ｉ１３と、移動体１０～１３の１又は複数の第１部位Ｒに基づく１又は複数の第１部位情報Ｉ２１～Ｉ２３との入力に対して、移動体１０～１３の移動方向の評価Ｏ２を出力するように学習された第１モデル（中解像度モデル６）と、１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと、１又は複数の第１部位情報Ｉ２１～Ｉ２３の少なくとも一つと、移動体１０～１３の１又は複数の第２部位Ｐに基づく１又は複数の第２部位情報Ｉ３１との入力に対して、移動体１０～１３の移動方向の評価Ｏ３を出力するように学習された第２モデル（高解像度モデル７）と、を含む。１又は複数の第２部位Ｐは、１又は複数の第１部位Ｒよりも小さい。演算回路２３は、対象画像情報から検出された移動体１０～１３の画像の解像度が閾値（第２閾値）未満である場合に、複数の学習済みモデルから第１モデル（中解像度モデル６）を選択し、対象画像情報から検出された移動体１０～１３の１又は複数の全体情報Ｉ１１～Ｉ１３と１又は複数の第１部位情報Ｉ２１～Ｉ２３とを、第１モデル（中解像度モデル６）に入力して、第１モデル（中解像度モデル６）に対象画像情報から検出された移動体１０～１３の移動方向の評価Ｏ２を出力させる。演算回路２３は、解像度が閾値（第２閾値）以上である場合に、複数の学習済みモデルから第２モデル（高解像度モデル７）を選択し、対象画像情報から検出された移動体１０～１３の１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと１又は複数の第１部位情報Ｉ２１～Ｉ２３の少なくとも一つと１又は複数の第２部位情報Ｉ３１とを、第２モデル（高解像度モデル７）に入力して、第２モデル（高解像度モデル７）に対象画像情報から検出された移動体１０～１３の移動方向の評価Ｏ３を出力させる。この構成は、移動体１０～１３の移動方向の評価の精度の向上を可能にする。
【0109】
［２．変数例］
本開示の実施の形態は、上記実施の形態に限定されない。上記実施の形態は、本開示の課題を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施の形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示の実施の形態は、上記実施の形態に限定されない。上記実施の形態は、本開示の課題を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施の形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
【0110】
一変形例では、複数の学習済みモデルは、低解像度モデル５、中解像度モデル６及び高解像度モデル７の全てではなく、これらのうちの２つを含んでもよい。例えば、演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が閾値未満である場合に低解像度モデル５を選択し、対象画像情報から検出された移動体１０の画像の解像度が閾値以上である場合に中解像度モデル６又は高解像度モデル７を選択してよい。例えば、演算回路２３は、対象画像情報から検出された移動体１０の画像の解像度が閾値未満である場合に中解像度モデル６を選択し、対象画像情報から検出された移動体１０の画像の解像度が閾値以上である場合に高解像度モデル７を選択してよい。
【0111】
一変形例において、低解像度モデル５として用いられる簡易モデルは、画像情報中の移動体１０の全体に基づく１又は複数の全体情報Ｉ１１～Ｉ１３の入力に対して、移動体１０の移動方向の評価を出力するように学習されてよい。簡易モデルにおいて、全体情報の数は特に限定されない。
【0112】
一変形例において、中解像度モデル６又は高解像度モデル７として用いられる詳細モデルは、画像情報中の移動体１０の全体に基づく１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと、画像情報中の移動体１０の１又は複数の部位に基づく１又は複数の部位情報Ｉ２１～Ｉ２３との入力に対して、移動体１０の移動方向の評価を出力するように学習されてよい。詳細モデルにおいて、全体情報の数及び部位情報の数は特に限定されない。特に、詳細モデルは、必ずしも、簡易モデルに用いる全体情報の全てを用いる必要はない。
【0113】
一変形例において、中解像度モデル６として用いられる第１モデルは、画像情報中の移動体１０の全体に基づく１又は複数の全体情報Ｉ１１～Ｉ１３と、画像情報中の移動体１０の１又は複数の第１部位に基づく１又は複数の第１部位情報Ｉ２１～Ｉ２３との入力に対して、移動体１０の移動方向の評価を出力するように学習されてよい。第１モデルにおいて、全体情報の数、及び、第１部位情報の数は特に限定されない。
【0114】
一変形例において、高解像度モデル７として用いられる第２モデルは、画像情報中の移動体１０の全体に基づく１又は複数の全体情報Ｉ１１～Ｉ１３の少なくとも一つと、画像情報中の移動体１０の１又は複数の第１部位に基づく１又は複数の第１部位情報Ｉ２１～Ｉ２３の少なくとも一つと、画像情報中の移動体１０の１又は複数の第２部位に基づく１又は複数の第２部位情報Ｉ３１の少なくとも一つとの入力に対して、移動体１０の移動方向の評価を出力するように学習されてよい。第２モデルにおいて、全体情報の数、第１部位情報の数、及び第２部位情報の数は特に限定されない。特に、第２モデルは、必ずしも、第１モデルに用いる全体情報の全て及び第１部位情報の全てを用いる必要はない。
【0115】
一変形例では、評価システム２のインターフェース２１は、入出力装置と通信装置との両方を備える必要はない。
【0116】
一変形例では、撮像システム３は、性能（分解能）が異なる複数のカメラを備えてよい。評価システム２は、性能（分解能）が異なる複数のカメラからそれぞれ得られる対象画像情報に対して、移動体の移動方向の評価を行ってよい。
【0117】
一変形例では、評価システム２は、必ずしも移動装置１に搭載されていなくてもよい。評価システム２は、移動装置１以外の装置又はシステムに利用可能である。例えば、評価システム２は、移動体１０との衝突の警告を出す警報システムに利用されてよい。評価システム２は、複数台のサーバ等のコンピュータシステムで実現されてもよい。つまり、評価システム２における複数の機能（構成要素）が、１つの筐体内に集約されていることは必須ではなく、評価システム２の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、評価システム２の少なくとも一部の機能、例えば、演算回路２３の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
【0118】
［３．態様］
上記実施の形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施の形態との対応関係を明示するためだけに、符号を括弧付きで付している。なお、文章の見やすさを考慮して２回目以降の括弧付きの符号の記載を省略する場合がある。
上記実施の形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施の形態との対応関係を明示するためだけに、符号を括弧付きで付している。なお、文章の見やすさを考慮して２回目以降の括弧付きの符号の記載を省略する場合がある。
【0119】
第１の態様は、複数の学習済みモデルを記憶する記憶装置（２２）にアクセス可能な演算回路（２３）で実行される評価方法である。前記複数の学習済みモデルは、画像情報中の移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報（Ｉ１１～Ｉ１３）の入力に対して、前記移動体（１０）の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと、前記移動体（１０）の１又は複数の部位（Ｒ，Ｐ）に基づく１又は複数の部位情報（Ｉ２１～Ｉ２３，Ｉ３１）との入力に対して、前記移動体（１０）の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６，高解像度モデル７）と、を含む。前記評価方法は、対象画像情報から検出された前記移動体（１０～１３）の画像の解像度が閾値（第１閾値）未満である場合に、前記複数の学習済みモデルから前記簡易モデル（低解像度モデル５）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）を、前記簡易モデル（低解像度モデル５）に入力して、前記簡易モデル（低解像度モデル５）に前記対象画像情報から検出された前記移動体（１０）の移動方向の評価（Ｏ１）を出力させる。前記評価方法は、前記解像度が前記閾値（第１閾値）以上である場合に、前記複数の学習済みモデルから前記詳細モデル（中解像度モデル６，高解像度モデル７）を選択し、前記対象画像情報から検出された前記移動体（１０）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと前記１又は複数の部位情報（Ｉ２１～Ｉ２３，Ｉ３１）とを、前記詳細モデル（中解像度モデル６，高解像度モデル７）に入力して、前記詳細モデル（中解像度モデル６，高解像度モデル７）に前記対象画像情報から検出された前記移動体（１０～１３）の移動方向の評価（Ｏ２，Ｏ３）を出力させる。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0120】
第２の態様は、複数の学習済みモデルを記憶する記憶装置（２２）にアクセス可能な演算回路（２３）で実行される評価方法である。前記複数の学習済みモデルは、画像情報中の移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報（Ｉ１１～Ｉ１３）の入力に対して、前記移動体（１０）の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと、前記移動体（１０）の１又は複数の部位（Ｒ，Ｐ）に基づく１又は複数の部位情報（Ｉ２１～Ｉ２３，Ｉ３１）との入力に対して、前記移動体（１０）の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６，高解像度モデル７）と、を含む。前記評価方法は、対象画像情報から検出された前記移動体（１０～１３）の画像の解像度が閾値（第１閾値）未満であることを確認し、前記解像度が前記閾値（第１閾値）未満であることを確認したことに応答して前記複数の学習済みモデルから前記簡易モデル（低解像度モデル５）を選択し、前記対象画像情報から検出された前記移動体（１０）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）を、前記簡易モデル（低解像度モデル５）に入力して、前記簡易モデル（低解像度モデル５）に前記対象画像情報から検出された前記移動体（１０）の移動方向の評価（Ｏ１）を出力させる。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0121】
第３の態様は、複数の学習済みモデルを記憶する記憶装置（２２）にアクセス可能な演算回路（２３）で実行される評価方法である。前記複数の学習済みモデルは、画像情報中の移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報（Ｉ１１～Ｉ１３）の入力に対して、前記移動体（１０）の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと、前記移動体（１０）の１又は複数の部位（Ｒ，Ｐ）に基づく１又は複数の部位情報（Ｉ２１～Ｉ２３，Ｉ３１）との入力に対して、前記移動体（１０）の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６，高解像度モデル７）と、を含む。前記評価方法は、対象画像情報から検出された前記移動体（１０～１３）の画像の解像度が閾値（第１閾値）以上であることを確認し、前記解像度が前記閾値（第１閾値）以上であることを確認したことに応答して前記複数の学習済みモデルから前記詳細モデル（中解像度モデル６，高解像度モデル７）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと前記１又は複数の部位情報（Ｉ２１～Ｉ２３，Ｉ３１）とを、前記詳細モデル（中解像度モデル６，高解像度モデル７）に入力して、前記詳細モデル（中解像度モデル６，高解像度モデル７）に前記対象画像情報から検出された前記移動体（１０）の移動方向の評価（Ｏ２，Ｏ３）を出力させる。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0122】
第４の態様は、第１～第３の態様のいずれか一つに基づく評価方法である。第４の態様において、前記解像度は、前記対象画像情報から検出された前記移動体（１０～１３）のバウンディングボックス（Ｂ，Ｂ１～Ｂ３）の面積に基づいて決定される。この態様は、距離（Ｄ１～Ｄ３）を実際に計測する必要がないから、評価方法の実施に必要な設備のコストを低減できる。
【0123】
第５の態様は、第１～第４の態様のいずれか一つに基づく評価方法である。第５の態様において、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）は、前記移動体（１０～１３）の位置、前記移動体（１０～１３）の速度、及び、前記移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）の画像の少なくとも一つを含む。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0124】
第６の態様は、第１～第５の態様のいずれか一つに基づく評価方法である。第６の態様において、前記１又は複数の部位情報（Ｉ２１，Ｉ２２，Ｉ２３，Ｉ３１）は、前記移動体（１０～１３）の前記１又は複数の部位（Ｒ，Ｐ）の位置、前記移動体（１０～１３）の１又は複数の部位（Ｒ，Ｐ）の向き、前記移動体（１０～１３）の１又は複数の部位（Ｒ，Ｐ）の画像、及び、前記移動体（１０～１３）の前記複数の部位（Ｒ，Ｐ）の関連性に基づく情報の少なくとも一つを含む。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0125】
第７の態様は、第６の態様に基づく評価方法である。第７の態様において、前記１又は複数の部位（Ｒ，Ｐ）の位置は、前記移動体（１０～１３）の顔の位置を含む。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0126】
第８の態様は、第６又は第７の態様に基づく評価方法である。第８の態様において、前記１又は複数の部位（Ｒ，Ｐ）の向きは、前記移動体（１０～１３）の顔の向きと前記移動体（１０～１３）の視線との少なくとも一つを含む。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0127】
第９の態様は、第６～第８の態様のいずれか一つに基づく評価方法である。第９の態様において、前記１又は複数の部位（Ｒ，Ｐ）の画像は、前記移動体（１０～１３）の顔の画像を含む。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0128】
第１０の態様は、第６～第９の態様のいずれか一つに基づく評価方法である。第１０の態様において、前記複数の部位（Ｒ，Ｐ）の関連性に基づく情報は、前記移動体（１０～１３）の姿勢に関する情報を含む。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0129】
第１１の態様は、第１～第１０の態様のいずれか一つに基づく評価方法である。第１０の態様において、前記移動体（１０～１３）の移動方向の評価は、前記移動体（１０～１３）の移動方向が第１移動方向である確率と前記移動体（１０～１３）の移動方向が第２移動方向である確率とを含む。前記第１移動方向は、前記移動体（１０～１３）が対象物（移動装置１）に向かう方向である。前記第２移動方向は、前記移動体（１０～１３）が対象物（移動装置１）を回避する方向である。この態様は、移動体（１０～１３）の移動方向を考慮した対象物の効率の良い移動を可能にする。
【0130】
第１２の態様は、複数の学習済みモデルを記憶する記憶装置（２２）にアクセス可能な演算回路（２３）で実行される評価方法である。前記複数の学習済みモデルは、画像情報中の移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報（Ｉ１１～Ｉ１３）と、前記移動体（１０～１３）の１又は複数の第１部位（Ｒ）に基づく１又は複数の第１部位情報（Ｉ２１～Ｉ２３）との入力に対して、前記移動体（１０～１３）の移動方向の評価（Ｏ２）を出力するように学習された第１モデル（中解像度モデル６）と、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと、前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）の少なくとも一つと、前記移動体（１０～１３）の１又は複数の第２部位（Ｐ）に基づく１又は複数の第２部位情報（Ｉ３１）との入力に対して、前記移動体（１０～１３）の移動方向の評価（Ｏ３）を出力するように学習された第２モデル（高解像度モデル７）と、を含む。前記１又は複数の第２部位（Ｐ）は、前記１又は複数の第１部位（Ｒ）よりも小さい。前記評価方法は、対象画像情報から検出された前記移動体（１０～１３）の画像の解像度が閾値（第２閾値）未満である場合に、前記複数の学習済みモデルから前記第１モデル（中解像度モデル６）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）と前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）とを、前記第１モデル（中解像度モデル６）に入力して、前記第１モデル（中解像度モデル６）に前記対象画像情報から検出された前記移動体（１０～１３）の移動方向の評価（Ｏ２）を出力させる。前記評価方法は、前記解像度が前記閾値（第２閾値）以上である場合に、前記複数の学習済みモデルから前記第２モデル（高解像度モデル７）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）の少なくとも一つと前記１又は複数の第２部位情報（Ｉ３１）とを、前記第２モデル（高解像度モデル７）に入力して、前記第２モデル（高解像度モデル７）に前記対象画像情報から検出された前記移動体（１０～１３）の移動方向の評価（Ｏ３）を出力させる。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0131】
第１３の態様は、複数の学習済みモデルを記憶する記憶装置（２２）にアクセス可能な演算回路（２３）で実行される評価方法である。前記複数の学習済みモデルは、画像情報中の移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報（Ｉ１１～Ｉ１３）と、前記移動体（１０～１３）の１又は複数の第１部位（Ｒ）に基づく１又は複数の第１部位情報（Ｉ２１～Ｉ２３）との入力に対して、前記移動体（１０～１３）の移動方向の評価（Ｏ２）を出力するように学習された第１モデル（中解像度モデル６）と、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと、前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）の少なくとも一つと、前記移動体（１０～１３）の１又は複数の第２部位（Ｐ）に基づく１又は複数の第２部位情報（Ｉ３１）との入力に対して、前記移動体（１０～１３）の移動方向の評価（Ｏ３）を出力するように学習された第２モデル（高解像度モデル７）と、を含む。前記１又は複数の第２部位（Ｐ）は、前記１又は複数の第１部位（Ｒ）よりも小さい。前記評価方法は、対象画像情報から検出された前記移動体（１０～１３）の画像の解像度が閾値（第２閾値）未満であることを確認し、前記解像度が前記閾値（第２閾値）未満であることを確認したことに応答して前記複数の学習済みモデルから前記第１モデル（中解像度モデル６）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）と前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）とを、前記第１モデル（中解像度モデル６）に入力して、前記第１モデル（中解像度モデル６）に前記対象画像情報から検出された前記移動体（１０～１３）の移動方向の評価（Ｏ２）を出力させる。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0132】
第１４の態様は、複数の学習済みモデルを記憶する記憶装置（２２）にアクセス可能な演算回路（２３）で実行される評価方法である。前記複数の学習済みモデルは、画像情報中の移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報（Ｉ１１～Ｉ１３）と、前記移動体（１０～１３）の１又は複数の第１部位（Ｒ）に基づく１又は複数の第１部位情報（Ｉ２１～Ｉ２３）との入力に対して、前記移動体（１０～１３）の移動方向の評価（Ｏ２）を出力するように学習された第１モデル（中解像度モデル６）と、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと、前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）の少なくとも一つと、前記移動体（１０～１３）の１又は複数の第２部位（Ｐ）に基づく１又は複数の第２部位情報（Ｉ３１）との入力に対して、前記移動体（１０～１３）の移動方向の評価（Ｏ３）を出力するように学習された第２モデル（高解像度モデル７）と、を含む。前記１又は複数の第２部位（Ｐ）は、前記１又は複数の第１部位（Ｒ）よりも小さい。前記評価方法は、対象画像情報から検出された前記移動体（１０～１３）の画像の解像度が閾値（第２閾値）以上であることを確認し、前記解像度が前記第２閾値以上であることを確認したことに応答して前記複数の学習済みモデルから前記第２モデル（高解像度モデル７）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）の少なくとも一つと前記１又は複数の第２部位情報（Ｉ３１）とを、前記第２モデル（高解像度モデル７）に入力して、前記第２モデル（高解像度モデル７）に前記対象画像情報から検出された前記移動体（１０～１３）の移動方向の評価（Ｏ３）を出力させる。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0133】
第１５の態様は、第１～第１４の態様のいずれか一つに基づく評価方法を、前記演算回路（２３）に実行させるための、プログラムである。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0134】
第１６の態様は、評価システム（２）であって、複数の学習済みモデルを記憶する記憶装置（２２）と、前記記憶装置（２２）にアクセス可能な演算回路（２３）と、を備える。前記複数の学習済みモデルは、画像情報中の移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報（Ｉ１１～Ｉ１３）の入力に対して、前記移動体（１０）の移動方向の評価を出力するように学習された簡易モデル（低解像度モデル５）と、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと、前記移動体（１０）の１又は複数の部位（Ｒ，Ｐ）に基づく１又は複数の部位情報（Ｉ２１～Ｉ２３，Ｉ３１）との入力に対して、前記移動体（１０）の移動方向の評価を出力するように学習された詳細モデル（中解像度モデル６，高解像度モデル７）と、を含む。前記演算回路（２３）は、対象画像情報から検出された前記移動体（１０～１３）の画像の解像度が閾値（第１閾値）未満である場合に、前記複数の学習済みモデルから前記簡易モデル（低解像度モデル５）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）を、前記簡易モデル（低解像度モデル５）に入力して、前記簡易モデル（低解像度モデル５）に前記対象画像情報から検出された前記移動体（１０）の移動方向の評価（Ｏ１）を出力させる。前記演算回路（２３）は、前記解像度が前記閾値（第１閾値）以上である場合に、前記複数の学習済みモデルから前記詳細モデル（中解像度モデル６，高解像度モデル７）を選択し、前記対象画像情報から検出された前記移動体（１０）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと前記１又は複数の部位情報（Ｉ２１～Ｉ２３，Ｉ３１）とを、前記詳細モデル（中解像度モデル６，高解像度モデル７）に入力して、前記詳細モデル（中解像度モデル６，高解像度モデル７）に前記対象画像情報から検出された前記移動体（１０～１３）の移動方向の評価（Ｏ２，Ｏ３）を出力させる。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0135】
第１７の態様は、評価システム（２）であって、複数の学習済みモデルを記憶する記憶装置（２２）と、前記記憶装置（２２）にアクセス可能な演算回路（２３）と、を備える。前記複数の学習済みモデルは、画像情報中の移動体（１０～１３）の全体（バウンディングボックスＢ，Ｂ１～Ｂ３）に基づく１又は複数の全体情報（Ｉ１１～Ｉ１３）と、前記移動体（１０～１３）の１又は複数の第１部位（Ｒ）に基づく１又は複数の第１部位情報（Ｉ２１～Ｉ２３）との入力に対して、前記移動体（１０～１３）の移動方向の評価（Ｏ２）を出力するように学習された第１モデル（中解像度モデル６）と、前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと、前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）の少なくとも一つと、前記移動体（１０～１３）の１又は複数の第２部位（Ｐ）に基づく１又は複数の第２部位情報（Ｉ３１）との入力に対して、前記移動体（１０～１３）の移動方向の評価（Ｏ３）を出力するように学習された第２モデル（高解像度モデル７）と、を含む。前記１又は複数の第２部位（Ｐ）は、前記１又は複数の第１部位（Ｒ）よりも小さい。前記演算回路（２３）は、対象画像情報から検出された前記移動体（１０～１３）の画像の解像度が閾値（第２閾値）未満である場合に、前記複数の学習済みモデルから前記第１モデル（中解像度モデル６）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）と前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）とを、前記第１モデル（中解像度モデル６）に入力して、前記第１モデル（中解像度モデル６）に前記対象画像情報から検出された前記移動体（１０～１３）の移動方向の評価（Ｏ２）を出力させる。前記演算回路（２３）は、前記解像度が前記閾値（第２閾値）以上である場合に、前記複数の学習済みモデルから前記第２モデル（高解像度モデル７）を選択し、前記対象画像情報から検出された前記移動体（１０～１３）の前記１又は複数の全体情報（Ｉ１１～Ｉ１３）の少なくとも一つと前記１又は複数の第１部位情報（Ｉ２１～Ｉ２３）の少なくとも一つと前記１又は複数の第２部位情報（Ｉ３１）とを、前記第２モデル（高解像度モデル７）に入力して、前記第２モデル（高解像度モデル７）に前記対象画像情報から検出された前記移動体（１０～１３）の移動方向の評価（Ｏ３）を出力させる。この態様は、移動体（１０～１３）の移動方向の評価の精度の向上を可能にする。
【0136】
なお、第２～第１１の態様は、第１６又は第１７の態様にも適宜変更して適用することが可能である。
【0137】
［４．用語］
本開示では、機械学習に関する用語を以下のように定義して用いる。
本開示では、機械学習に関する用語を以下のように定義して用いる。
【0138】
「学習済みモデル」とは「学習済みパラメータ」が組み込まれた「推論プログラム」をいう。
【0139】
「学習済みパラメータ」とは、学習用データセットを用いた学習の結果、得られたパラメータ（係数）をいう。学習済みパラメータは、学習用データセットを学習用プログラムに対して入力することで、一定の目的のために機械的に調整されることで生成される。学習済みパラメータは、学習の目的にあわせて調整されているものの、単体では単なるパラメータ（数値等の情報）にすぎず、これを推論プログラムに組み込むことで初めて学習済みモデルとして機能する。例えば、ディープラーニングの場合には、学習済みパラメータの中で主要なものとしては、各ノード間のリンクの重み付けに用いられるパラメータ等がこれに該当する。
【0140】
「推論プログラム」とは、組み込まれた学習済みパラメータを適用することで、入力に対して一定の結果を出力することを可能にするプログラムをいう。例えば、入力として与えられた画像に対して、学習の結果として取得された学習済みパラメータを適用し、当該画像に対する結果（認証や判定）を出力するための一連の演算手順を規定したプログラムである。
【0141】
「学習用データセット」とは、訓練データセットともいい、生データに対して、欠測値や外れ値の除去等の前処理や、ラベル情報（正解データ）等の別個のデータの付加等、あるいはこれらを組み合わせて、変換・加工処理を施すことによって、対象とする学習の手法による解析を容易にするために生成された二次的な加工データをいう。学習用データセットには、生データに一定の変換を加えていわば「水増し」されたデータを含むこともある。
【0142】
「生データ」とは、ユーザやベンダ、その他の事業者や研究機関等により一次的に取得されたデータであって、データベースに読み込むことができるよう変換・加工処理されたものをいう。
【0143】
「学習用プログラム」とは、学習用データセットの中から一定の規則を見出し、その規則を表現するモデルを生成するためのアルゴリズムを実行するプログラムをいう。具体的には、採用する学習手法による学習を実現するために、コンピュータに実行させる手順を規定するプログラムがこれに該当する。
【産業上の利用可能性】
【0144】
本開示は、評価方法、プログラム（コンピュータプログラム）、及び、評価システムに適用可能である。具体的には、画像に写る移動体の移動方向の評価に関する評価方法、プログラム（コンピュータプログラム）、及び、評価システムに、本開示は適用可能である。
【符号の説明】
【0145】
１ 移動装置（対象物）
２ 評価システム
２２ 記憶装置
２３ 演算回路
５ 低解像度モデル（簡易モデル）
６ 中解像度モデル（詳細モデル、第１モデル）
７ 高解像度モデル（詳細モデル、第２モデル）
１０，１１～１３ 移動体
Ｂ，Ｂ１～Ｂ３ バウンディングボックス
Ｒ 部位（第１部位）
Ｐ 部位（第２部位）
Ｄ１～Ｄ３ 距離
Ｉ１１～Ｉ１３ 全体情報
Ｉ２１～Ｉ２３ 部位情報（第１部位情報）
Ｉ３１ 部位情報（第２部位情報）
Ｏ１～Ｏ３ 評価
Ｖ１ 第１移動方向
Ｖ２ 第２移動方向
２ 評価システム
２２ 記憶装置
２３ 演算回路
５ 低解像度モデル（簡易モデル）
６ 中解像度モデル（詳細モデル、第１モデル）
７ 高解像度モデル（詳細モデル、第２モデル）
１０，１１～１３ 移動体
Ｂ，Ｂ１～Ｂ３ バウンディングボックス
Ｒ 部位（第１部位）
Ｐ 部位（第２部位）
Ｄ１～Ｄ３ 距離
Ｉ１１～Ｉ１３ 全体情報
Ｉ２１～Ｉ２３ 部位情報（第１部位情報）
Ｉ３１ 部位情報（第２部位情報）
Ｏ１～Ｏ３ 評価
Ｖ１ 第１移動方向
Ｖ２ 第２移動方向
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】