特許7498688対象状態の変化と対象状態の関係を用いて受容性を推定するモデル、装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-04
(45)【発行日】2024-06-12
(54)【発明の名称】対象状態の変化と対象状態の関係を用いて受容性を推定するモデル、装置及び方法
(51)【国際特許分類】
G06N 3/044 20230101AFI20240605BHJP
【ＦＩ】
G06N3/044
【請求項の数】
13
(21)【出願番号】P 2021146024
(22)【出願日】2021-09-08
(65)【公開番号】P2023039066
(43)【公開日】2023-03-20
【審査請求日】2023-07-14
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】三原 翔一郎
(72)【発明者】
【氏名】小森田 賢史
【審査官】福西 章人
(56)【参考文献】
【文献】特開２０２１－１２５１１７（ＪＰ，Ａ）
【文献】特表２０２１－５１０８５７（ＪＰ，Ａ）
【文献】VEMULA, Anirudh et al.，Social Attention: Modeling Attention in Human Crowds，arXiv [online]，v2，2018年10月29日，[検索日 2024.05.21]、インターネット:<URL:https://arxiv.org/abs/1710.04689>
【文献】亀崎 允啓，同調と主張に基づく人共存型モビリティの協調移動技術，日本ロボット学会誌 第３７巻 第１０号，日本，2019年12月15日，pp.943-949
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
対象群に属する対象についての他の対象との間における受容性に係る情報を推定する受容性推定モデルであって、当該対象についての状態の変化に係る情報である状態変化情報を受け取り、前の時点で自ら生成した隠れ状態情報である状態変化隠れ情報に対し当該状態変化情報を反映させて、新たな状態変化隠れ情報を生成する状態変化回帰ニューラルネットワーク（ＲＮＮ）セルと、
当該対象の状態と当該他の対象の状態との相対的な関係に係る情報である相対関係情報を受け取り、前の時点で自ら生成した隠れ状態情報である相対関係隠れ情報に対し当該相対関係情報を反映させて、新たな相対関係隠れ情報を生成する、当該他の対象毎に設けられた相対関係ＲＮＮセルと、
当該他の対象毎の当該相対関係隠れ情報を、当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該対象と当該他の対象との間の影響を表現した特徴量である影響特徴量を生成する影響特徴量生成部と、
当該影響特徴量を入力として、当該対象の受容性に係る情報を決定する受容性情報決定部と
してコンピュータを機能させることを特徴とする受容性推定モデル。
【請求項2】
前記受容性情報決定部は、前の時点で自ら生成した隠れ状態情報である受容性隠れ情報、及び受け取った当該影響特徴量に基づいて、当該対象の受容性を表現した受容性特徴量を生成する受容性ＲＮＮセルと、
当該受容性特徴量を入力とし、予め設定された受容性の有無若しくは程度に係るクラス毎に当該クラスの尤度を、当該受容性に係る情報として決定する受容性分類部と
を有することを特徴とする請求項１に記載の受容性推定モデル。
【請求項3】
当該対象から当該他の対象への向きに係る情報を含む自他関係識別情報を入力して、当該相対関係情報としての自他関係情報を生成する自他関係表現抽出部としてコンピュータを更に機能させ、当該相対関係ＲＮＮセルは、当該自他関係情報を受け取り、前の時点で自ら生成した相対関係隠れ情報としての自他関係隠れ情報に対し当該自他関係情報を反映させて、新たな自他関係隠れ情報を生成する自他関係ＲＮＮを含み、
前記影響特徴量生成部は、当該他の対象毎の当該自他関係隠れ情報を、当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該他の対象の当該対象への影響を表現した当該影響特徴量としての自影響特徴量を生成する
ことを特徴とする請求項１又は２に記載の受容性推定モデル。
【請求項4】
前記影響特徴量生成部は、当該状態変化隠れ情報と当該自他関係隠れ情報との関数であるアテンションスコアを算出し、当該アテンションスコアに基づいて当該重みを決定することを特徴とする請求項３に記載の受容性推定モデル。
【請求項5】
少なくとも当該対象は、当該他の対象を認識する認識範囲を有し、前記影響特徴量生成部は、当該対象の当該認識範囲に当該他の対象が入っていない場合、入っている場合と比較してより小さな値をとる当該アテンションスコアを算出する、又は、当該認識範囲に入っていない当該他の対象に係る当該自他関係隠れ情報を、当該アテンションスコアの算出に用いない
ことを特徴とする請求項４に記載の受容性推定モデル。
【請求項6】
当該他の対象から当該対象への向きに係る情報を含む他自関係識別情報を入力して、当該相対関係情報としての他自関係情報を生成する他自関係表現抽出部としてコンピュータを更に機能させ、当該相対関係ＲＮＮセルは、当該他自関係情報を受け取り、前の時点で自ら生成した相対関係隠れ情報としての他自関係隠れ情報に対し当該他自関係情報を反映させて、新たな他自関係隠れ情報を生成する他自関係ＲＮＮも含み、
前記影響特徴量生成部は、当該他の対象毎の当該他自関係隠れ情報を、当該他の対象についての当該状態変化ＲＮＮセルで生成された当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該対象の当該他の対象への影響を表現した当該影響特徴量としての他影響特徴量も生成し、
前記受容性情報決定部は、当該自影響特徴量及び当該他影響特徴量を、又は当該自影響特徴量と当該他影響特徴量とを合わせた量を当該影響特徴量として入力として、当該対象の受容性に係る情報を生成する
ことを特徴とする請求項３から５のいずれか１項に記載の受容性推定モデル。
【請求項7】
前記影響特徴量生成部は、当該他の対象についての当該状態変化ＲＮＮセルで生成された当該状態変化隠れ情報と当該他自関係隠れ情報との関数である逆アテンションスコアを算出し、当該逆アテンションスコアに基づいて当該重みを決定することを特徴とする請求項６に記載の受容性推定モデル。
【請求項8】
少なくとも当該他の対象は、当該対象を認識する認識範囲を有し、前記影響特徴量生成部は、当該他の対象の当該認識範囲に当該対象が入っていない場合、入っている場合と比較してより小さな値をとる当該逆アテンションスコアを算出する、又は、当該認識範囲に入っていない当該対象に係る当該他自関係隠れ情報を、当該逆アテンションスコアの算出に用いない
ことを特徴とする請求項７に記載の受容性推定モデル。
【請求項9】
当該対象は、外部から受け取った又は内部で生成した制御情報に基づいて所定の制御に係る処理を行い、前記受容性情報決定部は、当該対象が当該制御情報を受け取った若しくは生成した時点、又は当該制御情報で指定された制御に係る時点に基づき設定された所定の時間区間内において生成された当該影響特徴量を入力として、当該対象の受容性に係る情報を生成する
ことを特徴とする請求項１から８のいずれか１項に記載の受容性推定モデル。
【請求項10】
当該対象は、外部から受け取った又は内部で生成した制御情報に基づいて所定の制御に係る処理を行い、前記状態変化ＲＮＮセルは、当該制御情報に係る情報及び当該状態変化情報を、若しくは当該制御情報に係る情報と当該状態変化情報とを合わせた情報を反映させて新たな状態変化隠れ情報を生成する、及び／又は、当該相対関係ＲＮＮセルは、当該制御情報に係る情報及び当該相対関係情報を、若しくは当該制御情報に係る情報と当該相対関係情報とを合わせた情報を反映させて新たな相対関係隠れ情報を生成する
ことを特徴とする請求項１から９のいずれか１項に記載の受容性推定モデル。
【請求項11】
当該対象は、とるべき行動又は状態を自律的に決定する自律体であって、当該他の対象は人であり、前記受容性情報決定部は、当該自律体の受容性としての社会性に係る情報を決定する
ことを特徴とする請求項１から１０のいずれか１項に記載の受容性推定モデル。
【請求項12】
請求項１から１１のいずれか１項に記載の受容性推定モデルを用いて、当該対象の受容性に係る情報を推定することを特徴とする受容性情報推定装置。
【請求項13】
当該対象群における各対象の当該状態に係る情報と受容性に係る正解情報とを用い、請求項１から１１のいずれか１項に記載の受容性推定モデルを学習によって構築し、構築された当該受容性推定モデルを用いて、当該対象の受容性に係る情報を推定する
ことを特徴とする、コンピュータによる受容性情報決推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボット、自動運転車や、人間を含めた意味での自律体における受容性を評価する技術に関する。
【背景技術】
【0002】
近年、介護、福祉、医療、運輸や、家事等の様々な生活にかかわる分野において、ロボットを活用した種々のサービスの提供が検討されている。ここで、人間と活動空間を共有することになるロボットは、人間に対し極力悪影響を与えないように確実に制御されることが要請される。
【0003】
例えば、ロボットと人間が同じ空間を移動する場合、ロボットには、周囲の人間の移動の様子を観察して、人間の移動を妨害することのないように自らの移動経路を適切に計画・調整することが求められる。そのため現在、ロボティクス分野において、人間と共存可能なロボットを実現するためのロボット制御技術や、ロボットを用いた好適なサービス提供技術に関する研究が盛んに行われている。
【0004】
ここで、人間と共存可能なロボットを実現するためには、新たに開発された制御技術やサービス提供技術によって達成されるロボットの活動内容が、実際に人間に受け入れられるものとなっているか否か、さらには人間社会に適応したものとなっているか否かを評価することが重要となる。
【0005】
従来、このようなロボットに対する受容性評価は、人間の主観に基づくアンケート調査やインタビュー調査によって実施されてきた。例えば非特許文献１には、ＵＴＡＵＴと呼ばれる技術受容モデルに基づき設計された受容性アンケートを利用して、公共の場に設置した案内ロボットの受容性を評価した例が開示されている。また、非特許公報２は、実店舗に導入した客引きロボットの管理者である店長に対し、インタビューを実施した結果得られたインタビュー内容を分析し、この客引きロボットの受容性を評価する手法を開示している。
【0006】
さらに、例えば特許文献１には、歩行ロボットと障害物の衝突を、ロボット脚部の加速度センサを用いて検出する技術が開示されている。このようなロボットと物体との衝突の発生は、ロボットの受容性を低下させる要因と捉えることができるので、このような衝突イベントの発生状況を調べることによって、ロボットの受容性を評価することも可能になる。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２００９－０９５９０６号公報
【非特許文献】
【0008】
【文献】A. Weiss et al., "A Methodological Variation for Acceptance Evaluation of Human-Robot Interaction in Public Places", RO-MAN 2008 - The 17th IEEE International Symposium on Robot and Human Interactive Communication, ２０１８年, ＜https://doi.org/10.1109/ROMAN.2008.4600751＞
【文献】石超ら，「客引きロボット導入に向けた社会実験」，日本ロボット学会誌, ３５巻，４号，３３４－３４５頁, ２０１７年
【発明の概要】
【発明が解決しようとする課題】
【0009】
以上、ロボットの受容性評価に係る従来の技術・手法を説明したが、このうち、アンケート調査に基づくロボット受容性の評価においては、アンケートの設計、対象者の選定と取り集め、アンケート（質問票）の配布や、回答済みアンケートの収集、さらには回答の集計と分析といったような、人手による多大な作業を行う必要が生じる（ちなみにここで述べるアンケート調査の問題点は、インタビュー調査においても概ね当てはまるものとなっている）。
【0010】
実際、統計的に有意な評価結果を得るためには、数百から数千人規模のユーザを対象にアンケート調査を実施する必要があり、このような人手による作業工数やその実施のための費用は膨大なものとなってしまう。さらに一般に、新技術や新サービスを開発するに当たっては、テストと分析・評価を繰り返し、継続的にその改善を図ることが重要となるが、アンケート調査による評価を繰り返し若しくは継続的に実施することは、膨大な手間とコストがネックとなり、現実的ではないのが実情である。
【0011】
またさらに言えば、アンケート調査では、アンケート参加者の過去の体験から総括的に得られるロボットに対する全体的な印象についての評価しか得ることができず、すなわちロボットに関し過去に発生した個々のイベントに対する評価を行うことは非常に困難である。例えば、アンケート参加者とロボットが急接近するイベントの生じた際、アンケート参加者が危険を感じた場合に、ロボットに危険を感じたか否かについてのアンケート項目に対し、このアンケート参加者が「危険を感じた」と回答したとしても、この回答からは、具体的にロボットのどの行動に問題があったのかを特定することができないのである。
【0012】
この点、特許文献１に記載された技術によれば、ロボットと障害物との衝突イベントを検出することができるので、例えば予め設定された所定のルールに基づきこの衝突イベントによる受容性の低下が生じたか否かを評価することは可能となっている。しかしながら、このような評価手法では、発生した衝突イベントにおいて、実際にロボットが反受容的な行動を行ったか否かを判断することはできない。
【0013】
例えば、ロボットにも避けられないような高速度で障害物が接近してきたために衝突イベントが発生した場合、ロボットの行動に受容性上の問題があったと判断することは不適当であると考えられるが、上記の評価手法では「ロボットの受容性は低い」と評価されてしまう可能性があるのである。このように従来、例えば人間と同じ空間で移動するロボットの行動そのものから、ロボットの実際の受容性を適切に評価することは何ら行われてこなかったのである。
【0014】
ちなみに、以上に述べたような受容性評価の問題は、当然ではあるが、ロボット以外の自動運転車や、自律飛行ドローン、さらには人間といったような自律体についての受容性評価の際にも生じ得るものとなっている。
【0015】
そこで、本発明は、対象群に属する対象についての他の対象との間における受容性に係る情報を、当該対象の状態における変化や他との関係に基づき推定することの可能な受容性推定モデル、受容性情報推定装置、及び受容性情報推定方法を提供することを目的とする。
【課題を解決するための手段】
【0016】
本発明によれば、対象群に属する対象についての他の対象との間における受容性に係る情報を推定する受容性推定モデルであって、
当該対象についての状態の変化に係る情報である状態変化情報を受け取り、前の時点で自ら生成した隠れ状態情報である状態変化隠れ情報に対し当該状態変化情報を反映させて、新たな状態変化隠れ情報を生成する状態変化回帰ニューラルネットワーク（ＲＮＮ）セルと、
当該対象の状態と当該他の対象の状態との相対的な関係に係る情報である相対関係情報を受け取り、前の時点で自ら生成した隠れ状態情報である相対関係隠れ情報に対し当該相対関係情報を反映させて、新たな相対関係隠れ情報を生成する、当該他の対象毎に設けられた相対関係ＲＮＮセルと、
当該他の対象毎の当該相対関係隠れ情報を、当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該対象と当該他の対象との間の影響を表現した特徴量である影響特徴量を生成する影響特徴量生成部と、
当該影響特徴量を入力として、当該対象の受容性に係る情報を決定する受容性情報決定部と
してコンピュータを機能させる受容性推定モデルが提供される。
当該対象についての状態の変化に係る情報である状態変化情報を受け取り、前の時点で自ら生成した隠れ状態情報である状態変化隠れ情報に対し当該状態変化情報を反映させて、新たな状態変化隠れ情報を生成する状態変化回帰ニューラルネットワーク（ＲＮＮ）セルと、
当該対象の状態と当該他の対象の状態との相対的な関係に係る情報である相対関係情報を受け取り、前の時点で自ら生成した隠れ状態情報である相対関係隠れ情報に対し当該相対関係情報を反映させて、新たな相対関係隠れ情報を生成する、当該他の対象毎に設けられた相対関係ＲＮＮセルと、
当該他の対象毎の当該相対関係隠れ情報を、当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該対象と当該他の対象との間の影響を表現した特徴量である影響特徴量を生成する影響特徴量生成部と、
当該影響特徴量を入力として、当該対象の受容性に係る情報を決定する受容性情報決定部と
してコンピュータを機能させる受容性推定モデルが提供される。
【0017】
この本発明に係る受容性情報決定部の一実施形態として、この受容性情報決定部は、
前の時点で自ら生成した隠れ状態情報である受容性隠れ情報、及び受け取った当該影響特徴量に基づいて、当該対象の受容性を表現した受容性特徴量を生成する受容性ＲＮＮセルと、
当該受容性特徴量を入力とし、予め設定された受容性の有無若しくは程度に係るクラス毎に当該クラスの尤度を、当該受容性に係る情報として決定する受容性分類部と
を有することも好ましい。
前の時点で自ら生成した隠れ状態情報である受容性隠れ情報、及び受け取った当該影響特徴量に基づいて、当該対象の受容性を表現した受容性特徴量を生成する受容性ＲＮＮセルと、
当該受容性特徴量を入力とし、予め設定された受容性の有無若しくは程度に係るクラス毎に当該クラスの尤度を、当該受容性に係る情報として決定する受容性分類部と
を有することも好ましい。
【0018】
また、本発明による受容性推定モデルの一実施形態として、
本受容性推定モデルは、当該対象から当該他の対象への向きに係る情報を含む自他関係識別情報を入力して、当該相対関係情報としての自他関係情報を生成する自他関係表現抽出部としてコンピュータを更に機能させ、
当該相対関係ＲＮＮセルは、当該自他関係情報を受け取り、前の時点で自ら生成した相対関係隠れ情報としての自他関係隠れ情報に対し当該自他関係情報を反映させて、新たな自他関係隠れ情報を生成する自他関係ＲＮＮを含み、
影響特徴量生成部は、当該他の対象毎の当該自他関係隠れ情報を、当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該他の対象の当該対象への影響を表現した当該影響特徴量としての自影響特徴量を生成する
ことも好ましい。
本受容性推定モデルは、当該対象から当該他の対象への向きに係る情報を含む自他関係識別情報を入力して、当該相対関係情報としての自他関係情報を生成する自他関係表現抽出部としてコンピュータを更に機能させ、
当該相対関係ＲＮＮセルは、当該自他関係情報を受け取り、前の時点で自ら生成した相対関係隠れ情報としての自他関係隠れ情報に対し当該自他関係情報を反映させて、新たな自他関係隠れ情報を生成する自他関係ＲＮＮを含み、
影響特徴量生成部は、当該他の対象毎の当該自他関係隠れ情報を、当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該他の対象の当該対象への影響を表現した当該影響特徴量としての自影響特徴量を生成する
ことも好ましい。
【0019】
さらに、上記の実施形態において、影響特徴量生成部は、当該状態変化隠れ情報と当該自他関係隠れ情報との関数であるアテンションスコアを算出し、当該アテンションスコアに基づいて当該重みを決定することも好ましい。
【0020】
またさらに、少なくとも当該対象は、当該他の対象を認識する認識範囲を有し、
影響特徴量生成部は、当該対象の当該認識範囲に当該他の対象が入っていない場合、入っている場合と比較してより小さな値をとる当該アテンションスコアを算出する、又は、当該認識範囲に入っていない当該他の対象に係る当該自他関係隠れ情報を、当該アテンションスコアの算出に用いないことも好ましい。
影響特徴量生成部は、当該対象の当該認識範囲に当該他の対象が入っていない場合、入っている場合と比較してより小さな値をとる当該アテンションスコアを算出する、又は、当該認識範囲に入っていない当該他の対象に係る当該自他関係隠れ情報を、当該アテンションスコアの算出に用いないことも好ましい。
【0021】
また、本発明による受容性推定モデルの他の実施形態として、
本受容性推定モデルは、当該他の対象から当該対象への向きに係る情報を含む他自関係識別情報を入力して、当該相対関係情報としての他自関係情報を生成する他自関係表現抽出部としてコンピュータを更に機能させ、
当該相対関係ＲＮＮセルは、当該他自関係情報を受け取り、前の時点で自ら生成した相対関係隠れ情報としての他自関係隠れ情報に対し当該他自関係情報を反映させて、新たな他自関係隠れ情報を生成する他自関係ＲＮＮも含み、
影響特徴量生成部は、当該他の対象毎の当該他自関係隠れ情報を、当該他の対象についての当該状態変化ＲＮＮセルで生成された当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該対象の当該他の対象への影響を表現した当該影響特徴量としての他影響特徴量も生成し、
受容性情報決定部は、当該自影響特徴量及び当該他影響特徴量を、又は当該自影響特徴量と当該他影響特徴量とを合わせた量を当該影響特徴量として入力として、当該対象の受容性に係る情報を生成する
ことも好ましい。
本受容性推定モデルは、当該他の対象から当該対象への向きに係る情報を含む他自関係識別情報を入力して、当該相対関係情報としての他自関係情報を生成する他自関係表現抽出部としてコンピュータを更に機能させ、
当該相対関係ＲＮＮセルは、当該他自関係情報を受け取り、前の時点で自ら生成した相対関係隠れ情報としての他自関係隠れ情報に対し当該他自関係情報を反映させて、新たな他自関係隠れ情報を生成する他自関係ＲＮＮも含み、
影響特徴量生成部は、当該他の対象毎の当該他自関係隠れ情報を、当該他の対象についての当該状態変化ＲＮＮセルで生成された当該状態変化隠れ情報を反映させた重みを用いて当該他の対象にわたり合わせることによって、当該対象の当該他の対象への影響を表現した当該影響特徴量としての他影響特徴量も生成し、
受容性情報決定部は、当該自影響特徴量及び当該他影響特徴量を、又は当該自影響特徴量と当該他影響特徴量とを合わせた量を当該影響特徴量として入力として、当該対象の受容性に係る情報を生成する
ことも好ましい。
【0022】
さらに、上記の実施形態において、影響特徴量生成部は、当該他の対象についての当該状態変化ＲＮＮセルで生成された当該状態変化隠れ情報と当該他自関係隠れ情報との関数である逆アテンションスコアを算出し、当該逆アテンションスコアに基づいて当該重みを決定することも好ましい。
【0023】
またさらに、少なくとも当該他の対象は、当該対象を認識する認識範囲を有し、
影響特徴量生成部は、当該他の対象の当該認識範囲に当該対象が入っていない場合、入っている場合と比較してより小さな値をとる当該逆アテンションスコアを算出する、又は、当該認識範囲に入っていない当該対象に係る当該他自関係隠れ情報を、当該逆アテンションスコアの算出に用いないことも好ましい。
影響特徴量生成部は、当該他の対象の当該認識範囲に当該対象が入っていない場合、入っている場合と比較してより小さな値をとる当該逆アテンションスコアを算出する、又は、当該認識範囲に入っていない当該対象に係る当該他自関係隠れ情報を、当該逆アテンションスコアの算出に用いないことも好ましい。
【0024】
また、本発明による受容性推定モデルの更なる他の実施形態として、当該対象は、外部から受け取った又は内部で生成した制御情報に基づいて所定の制御に係る処理を行い、
受容性情報決定部は、当該対象が当該制御情報を受け取った又は生成した時点に基づき設定された所定の時間区間内において生成された当該影響特徴量を入力として、当該対象の受容性に係る情報を生成することも好ましい。
受容性情報決定部は、当該対象が当該制御情報を受け取った又は生成した時点に基づき設定された所定の時間区間内において生成された当該影響特徴量を入力として、当該対象の受容性に係る情報を生成することも好ましい。
【0025】
さらに、本発明による受容性推定モデルの更なる他の実施形態として、当該対象は、外部から受け取った又は内部で生成した制御情報に基づいて所定の制御に係る処理を行い、
状態変化ＲＮＮセルは、当該制御情報に係る情報及び当該状態変化情報を、若しくは当該制御情報に係る情報と当該状態変化情報とを合わせた情報を反映させて新たな状態変化隠れ情報を生成する、及び／又は、当該相対関係ＲＮＮセルは、当該制御情報に係る情報及び当該相対関係情報を、若しくは当該制御情報に係る情報と当該相対関係情報とを合わせた情報を反映させて新たな相対関係隠れ情報を生成することも好ましい。
状態変化ＲＮＮセルは、当該制御情報に係る情報及び当該状態変化情報を、若しくは当該制御情報に係る情報と当該状態変化情報とを合わせた情報を反映させて新たな状態変化隠れ情報を生成する、及び／又は、当該相対関係ＲＮＮセルは、当該制御情報に係る情報及び当該相対関係情報を、若しくは当該制御情報に係る情報と当該相対関係情報とを合わせた情報を反映させて新たな相対関係隠れ情報を生成することも好ましい。
【0026】
さらに、本発明による受容性推定モデルの１つの応用例として、当該対象は、とるべき行動又は状態を自律的に決定する自律体であって、当該他の対象は人であり、
受容性情報決定部は、当該自律体の受容性としての社会性に係る情報を決定することも好ましい。
受容性情報決定部は、当該自律体の受容性としての社会性に係る情報を決定することも好ましい。
【0027】
本発明によれば、また、以上に述べた受容性推定モデルを用いて、当該対象の受容性に係る情報を推定する受容性情報推定装置が提供される。
【0028】
本発明によれば、さらに、
当該対象群における各対象の当該状態に係る情報と受容性に係る正解情報とを用い、以上に述べた受容性推定モデルを学習によって構築し、
構築された当該受容性推定モデルを用いて、当該対象の受容性に係る情報を推定する
ことを特徴とする、コンピュータによる受容性情報決推定方法が提供される。
当該対象群における各対象の当該状態に係る情報と受容性に係る正解情報とを用い、以上に述べた受容性推定モデルを学習によって構築し、
構築された当該受容性推定モデルを用いて、当該対象の受容性に係る情報を推定する
ことを特徴とする、コンピュータによる受容性情報決推定方法が提供される。
【発明の効果】
【0029】
本発明の受容性推定モデル、受容性情報推定装置、及び受容性情報推定方法によれば、対象群に属する対象についての他の対象との間における受容性に係る情報を、当該対象の状態における変化や他との関係に基づいて推定することができる。
【図面の簡単な説明】
【0030】
【図1】本発明による受容性推定モデルの一実施形態、及び本発明による受容性情報推定装置の一実施形態を示す模式図である。
【図2】本発明による受容性推定モデルへの入力情報を表す空間・時間グラフの一具体例を示した模式図である。
【図3】本発明による受容性推定モデルの他の実施形態を説明するための模式図である。
【図4】本発明による受容性推定モデルの更なる他の実施形態を説明するための模式図である。
【図5】本発明による受容性推定モデルの更なる他の実施形態を説明するための模式図である。
【発明を実施するための形態】
【0031】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0032】
［受容性推定モデル］
図１は、本発明による受容性推定モデルの一実施形態、及び本発明による受容性情報推定装置の一実施形態を示す模式図である。
図１は、本発明による受容性推定モデルの一実施形態、及び本発明による受容性情報推定装置の一実施形態を示す模式図である。
【0033】
図１に示した本実施形態の受容性推定モデル１は、
（ａ）あるエリアで互いに近接しながら移動しているロボット（対象）と複数の人間（他の対象）とが属する対象群について、
（ｂ）これらロボット（対象）及び複数の人間（他の対象）の各々における所在位置の時系列データ（各時点でとっている（所在という）状態を示すデータ（すなわち位置データ）の時系列情報）を取得し、
（ｃ）これらの所在位置の時系列データを用いて、このロボット（対象）における複数の人間（他の対象）との間の受容性に係る情報、本実施形態ではこのロボット（対象）の社会性情報を推定する
機械学習モデルとなっている。
（ａ）あるエリアで互いに近接しながら移動しているロボット（対象）と複数の人間（他の対象）とが属する対象群について、
（ｂ）これらロボット（対象）及び複数の人間（他の対象）の各々における所在位置の時系列データ（各時点でとっている（所在という）状態を示すデータ（すなわち位置データ）の時系列情報）を取得し、
（ｃ）これらの所在位置の時系列データを用いて、このロボット（対象）における複数の人間（他の対象）との間の受容性に係る情報、本実施形態ではこのロボット（対象）の社会性情報を推定する
機械学習モデルとなっている。
【0034】
ここで、ロボット（対象）の「受容性」とは、このロボット（対象）が社会（本実施形態では対象群）やそのメンバ（他の対象）の理解・賛同を得て受け入れられる度合いのことと定義される。また、ロボット（対象）の「社会性」は、社会（本実施形態では対象群）の一員であることの相応しさを示す度合いと定義され、上記の「受容性」の１つの指標となっている。例えば一般に、"社会的"である人間同士ならば、同じ空間内を移動するに際し、互いに衝突することのないように進行方向や移動速度を変えたり、互いの距離を所定以上に保つようにしたり等の調整行動を行うことが期待されるところ、群衆の中を移動するロボットが同様の調整行動を行う場合、当該ロボットは"社会的"であるとすることができるのである。
【0035】
具体的に、受容性推定モデル１は（例えば時点tにおいて）、
（Ａ）ロボット（対象v）についての状態の変化（本実施形態では所在位置の変化）に係る情報である「状態変化情報」ev tを受け取り、前の時点（時点t-1）で自ら生成した隠れ状態情報である「状態変化隠れ情報」hv t-1に対し「状態変化情報」ev tを反映させて、新たな「状態変化隠れ情報」hv tを生成する状態変化回帰ニューラルネットワーク（ＲＮＮ）セル１１と、
（Ｂ）ロボット（対象v）の状態と人間（他の対象i）の状態との相対的な関係（相対的な位置関係）に係る情報である「相対関係情報」evi tを受け取り、前の時点（時点t-1）で自ら生成した隠れ状態情報である「相対関係隠れ情報」hvi t-1に対し「相対関係情報」evi tを反映させて、新たな「相対関係隠れ情報」hvi tを生成する、人間（他の対象i）毎に設けられた相対関係ＲＮＮセル１３と、
（Ｃ）人間（他の対象i）毎の「相対関係隠れ情報」hvi tを、「状態変化隠れ情報」hv tを反映させた重みを用いて複数の人間（他の対象i）にわたり合わせることによって、ロボット（対象v）と人間（他の対象i）との間の影響を表現した特徴量である「影響特徴量」Hvを生成する影響特徴量生成部１５と、
（Ｄ）影響特徴量Hvを入力として、ロボット（対象v）の「受容性に係る情報」（本実施形態では社会性情報）を決定する受容性情報決定部１６と
してコンピュータを機能させる機械学習モデルとなっている。
（Ａ）ロボット（対象v）についての状態の変化（本実施形態では所在位置の変化）に係る情報である「状態変化情報」ev tを受け取り、前の時点（時点t-1）で自ら生成した隠れ状態情報である「状態変化隠れ情報」hv t-1に対し「状態変化情報」ev tを反映させて、新たな「状態変化隠れ情報」hv tを生成する状態変化回帰ニューラルネットワーク（ＲＮＮ）セル１１と、
（Ｂ）ロボット（対象v）の状態と人間（他の対象i）の状態との相対的な関係（相対的な位置関係）に係る情報である「相対関係情報」evi tを受け取り、前の時点（時点t-1）で自ら生成した隠れ状態情報である「相対関係隠れ情報」hvi t-1に対し「相対関係情報」evi tを反映させて、新たな「相対関係隠れ情報」hvi tを生成する、人間（他の対象i）毎に設けられた相対関係ＲＮＮセル１３と、
（Ｃ）人間（他の対象i）毎の「相対関係隠れ情報」hvi tを、「状態変化隠れ情報」hv tを反映させた重みを用いて複数の人間（他の対象i）にわたり合わせることによって、ロボット（対象v）と人間（他の対象i）との間の影響を表現した特徴量である「影響特徴量」Hvを生成する影響特徴量生成部１５と、
（Ｄ）影響特徴量Hvを入力として、ロボット（対象v）の「受容性に係る情報」（本実施形態では社会性情報）を決定する受容性情報決定部１６と
してコンピュータを機能させる機械学習モデルとなっている。
【0036】
ここで本実施形態において「状態」は所在している状態のことであり、したがって上記（Ａ）の「状態変化情報」ev
tは、ロボット（対象v）における前の時点（時点t-1）での所在位置から情報算出時点（時点t）での所在位置までの大きさ・向きで規定される時間変位ベクトルxv
tを、状態変化表現抽出部１２によって潜在表現に変換した量とすることができる。
【0037】
また本実施形態において、上記（Ｂ）の「相対関係情報」evi
tは、情報算出時点（時点t）でのロボット（対象v）の所在位置から人間（他の対象i）の所在位置までの大きさ・向きで規定される空間変位ベクトルxvi
tを、自他関係表現抽出部１４によって潜在表現に変換した量とすることができる。
【0038】
受容性推定モデル１は、各時点においてこのような「状態変化情報」ev及び「相対関係情報」eviを、それぞれ「状態変化隠れ情報」hv及び「相対関係隠れ情報」hviに埋め込んでいる。その結果、上記（Ｃ）の「影響特徴量」Hvは、ロボットの状態が（人間の影響を受けて）如何に変化したかの情報（状態変化隠れ情報）を勘案することで、影響度の強い関係部分がより強調された、ロボットの状態と各人間の状態との相対関係（隠れ）情報と捉えられる量となり、言い換えると「ロボットと人間との間の影響を表現した特徴量」と解釈されるものとなるのである。またこれにより、このような「影響特徴量」から、ロボットの「受容性に係る情報」を導出することが可能となる。
【0039】
このように受容性推定モデル１は、ロボット（対象）についての人間（他の対象）との間における「受容性に係る情報」を、ロボット（対象）の状態における変化や他との関係に基づき推定することができるのである。またそれ故、多大な手間とコストがかかり継続的な実施が難しいアンケート調査によらずに、ロボット（対象）の受容性（社会性）評価を行うことも可能となる。
【0040】
さらに、受容性推定モデル１においては、例えばロボット（対象）や人間（他の対象）の状態の測定データを用いて、ロボットの「受容性に係る情報」が導出される。したがって、例えば特定のイベントが発生した時間区間の測定データを用いることによって、ロボット（対象）の状態変化の全体的な印象に基づく受容性評価とは別の、当該特定のイベントが発生した事実に基づく、ロボット（対象）に対する受容性評価を行うことも可能となるのである。
【0041】
また、本実施形態の受容性推定モデル１において、相対関係ＲＮＮセル１３は、人間（他の対象）毎に設けられている。すなわち、各人間（他の対象）を表す添え字をi（＝1, 2, ・・・, m）として、各相対関係ＲＮＮセル１３は、各時点において「相対関係隠れ情報」hvi（i＝1, 2, ・・・, m）を生成・出力し、影響特徴量生成部１５は、各時点においてこれらのhvi（i＝1, 2, ・・・, m）を全て受け取って「影響特徴量」Hvを生成する。その結果、「影響特徴量」Hvは、各人間（他の対象i）の影響を（その程度・内容に応じて）全て反映させた特徴量となっており、また、そこから導出されたロボット（対象v）の「受容性に係る情報」も、全ての人間（他の対象i）に関係する情報となるのである。
【0042】
なお、本実施形態では、「受容性に係る情報」（社会性に係る情報）を推定する情報推定対象をロボットとし、他の対象を人間としているが、本発明は勿論、これに限定されるものではない。例えば、情報推定対象を、ロボット以外の自律体、例えば自動運転車、自律飛行ドローンや、人間とすることもできる。また例えば、対象群に属する対象全てをロボット、自律飛行ドローン、自動運転車や、人間等としてもよい。さらにロボット、自律飛行ドローン、自動運転車や、人間等が混合した対象群を採用することも可能である。すなわち、各時点においてとるべき状態に関し互いに影響を及ぼし得るような対象ならば種々様々なものが、本発明の対象・他の対象に該当するのである。
【0043】
また本実施形態では、対象（他の対象）の「状態」を、所在している状態として、状態の変化に係る情報（状態変化情報）を、所在位置の変化に係る情報とし、また、状態の相対的な関係に係る情報（相対関係情報）を、相対的な位置関係に係る情報としているが、本発明は勿論、これに限定されるものではない。例えば、対象・他の対象を人間として、「状態」を感情状態とし、状態の相対的な関係に係る情報を、予め設定した「感情状態間の距離」等とすることも可能である。
【0044】
実際、本願発明者等は、群衆を空間・時間グラフ（spatio-temporal graphs）で表してこのグラフ情報から群衆の行動予測を可能にする「Social Attentionモデル」を応用して、受容性推定モデル１を創作した経緯がある。したがって、空間・時間グラフのノード情報となり得る情報ならば、対象（他の対象）の「状態」とすることができ、また、空間・時間グラフの時間エッジ情報となり得る情報ならば、「状態の変化に係る情報」とすることができ、さらに、空間・時間グラフの空間エッジ情報となり得る情報ならば、「状態の相対的な関係に係る情報」とすることができるのである。
【0045】
ここで「Social Attentionモデル」は、非特許文献：Anirudh Vemula, Katharina Muelling, Jean Oh, "Social Attention: Modeling Attention in Human Crowds", 2018 IEEE International Conference on Robotics and Automation (ICRA), ２０１８年, ＜https://doi.org/10.1109/ICRA.2018.8460504＞において開示された群衆行動予測モデルである。なお、受容性推定モデル１における上記（Ｃ）の「影響特徴量」は、この非特許文献におけるoutput vector Hv
t（この文献中の式（４））に対応するものとなっている。
【0046】
図２は、受容性推定モデル１への入力情報を表す空間・時間グラフの一具体例を示した模式図である。
【0047】
図２に示した空間・時間グラフは、時点t-1、時点t、及び時点t+1の各時点において、ロボット（対象）及び人間（他の対象）を「ノード」とし、互いに影響し得る（例えば所定距離以内の）ノード同士を「空間エッジ」で結び、さらに時間軸上で隣接する時点における対応するノード同士を「時間エッジ」で結んだグラフとなっている。
【0048】
本実施形態では、この「時間エッジ」に係る情報として、上述した時間変位ベクトルxvを採用し、これを状態変化表現抽出部１２によって潜在表現に変換した量を「状態変化情報」evとしている。また、上記の「空間エッジ」に係る情報として、上述した空間変位ベクトルxviを採用し、これを自他関係表現抽出部１４によって潜在表現に変換した量を「相対関係情報」eviとしているのである。
【0049】
ここで、本実施形態における「ノード」に係る情報、すなわちロボット（対象）及び人間（他の対象）の各々の位置情報は、公知の種々様々な位置計測手段、例えばＲＧＢカメラ、近赤外線カメラや、ＬｉＤＡＲ（Light Detection And Ranging）等によって得られた計測データに対し、公知の画像認識技術、例えば非特許文献：Joseph Redmon, Ali Farhadi, "YOLOv3: An Incremental Improvement", Tech Report, Computer Vision and Pattern Recognition (cs.CV), arXiv:1804.02767 [cs.CV], ２０１８年に記載された技術を用いて解析を行い、取得することができる。
【0050】
また、「ノード」に係る情報には、ロボット（対象）及び人間（他の対象）の骨格情報が含まれていてもよい。この場合、例えば非特許文献：Zhe Cao et al., "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Journal version of arXiv:1611.08050, Computer Vision and Pattern Recognition (cs.CV), arXiv:1812.08008 [cs.CV], ２０１９年に記載された技術を用いて、各関節点の位置を表すヒートマップを生成し、これを骨格情報とすることができる。
【0051】
さらに「ノード」に係る情報には、ロボット（対象）及び人間（他の対象）の視線方向情報を含めることも可能である。この場合、例えば非特許文献：Petr Kellnhofer, " Gaze360: Physically Unconstrained Gaze Estimation in the Wild ", Computer Vision and Pattern Recognition (cs.CV), arXiv:arXiv:1910.10088 [cs.CV]，２０１９年に記載された技術を用いて、３次元空間における視線方向を推定し、この推定結果を視線方向情報とすることができる。
【0052】
なお、本明細書における時点の表記であるが、図２の時間軸に示すように、例えばある時点tから見て、ある単位時間１つ分だけ前の時点はt-1と表記される。したがって、例えば単位時間２つ分だけ前の時点はt-2と表記されることになる。また、単位時間１つ分だけ経過した時点はt+1と表記されるのである。ここで、単位時間は任意に設定可能であるが、ノード情報（所在位置情報）を取得可能な隣接する時点間の時間間隔（サンプリング時間）としてもよい。
【0053】
［モデル構成，受容性推定方法］
以下、本実施形態の受容性推定モデル１の構成について、より詳細に説明を行う。図１に戻って、受容性推定モデル１は、
（ア）状態変化表現抽出部１２と、状態変化ＲＮＮ１１１を含む状態変化ＲＮＮセル１１と、
（イ）自他関係表現抽出部１４と、自他関係ＲＮＮ１３１を含む相対関係ＲＮＮセル１３と、
（ウ）第１線形変換部１５１、第２線形変換部１５２、混合部１５３、スケール部１５４、ソフトマックス部１５５、及び重み付け混合部１５６を含む影響特徴量生成部１５と、
（エ）受容性ＲＮＮ１６ａａを含む受容性ＲＮＮセル１６ａと、受容性分類部１６ｂとを備えた受容性情報決定部１６と
を、コンピュータ（に搭載されたプログラム）によって具現される機能構成部として有している。
以下、本実施形態の受容性推定モデル１の構成について、より詳細に説明を行う。図１に戻って、受容性推定モデル１は、
（ア）状態変化表現抽出部１２と、状態変化ＲＮＮ１１１を含む状態変化ＲＮＮセル１１と、
（イ）自他関係表現抽出部１４と、自他関係ＲＮＮ１３１を含む相対関係ＲＮＮセル１３と、
（ウ）第１線形変換部１５１、第２線形変換部１５２、混合部１５３、スケール部１５４、ソフトマックス部１５５、及び重み付け混合部１５６を含む影響特徴量生成部１５と、
（エ）受容性ＲＮＮ１６ａａを含む受容性ＲＮＮセル１６ａと、受容性分類部１６ｂとを備えた受容性情報決定部１６と
を、コンピュータ（に搭載されたプログラム）によって具現される機能構成部として有している。
【0054】
以下、上述した各機能構成部について具体的に説明を行う。同じく図１において、状態変化表現抽出部１２は、情報生成時点を時点tとすると、ロボット（対象v）における前の時点である時点t-1での所在位置から時点tでの所在位置までの大きさ・向きで規定される「時間エッジ情報」としての時間変位ベクトルxv
tを入力とし（自身へ入力される識別子としての「状態変化識別情報」とし）、この時間変位ベクトルxv
tに対し時間変位潜在表現抽出演算子としての行列WTMを作用させて（積算して）、状態変化情報ev
tを生成する。
【0055】
同じく図１において、状態変化ＲＮＮセル１１の状態変化ＲＮＮ１１１は、例えば同じく時点tにおいて、生成された状態変化情報ev
tを受け取り、前の時点である時点t-1で自ら生成した状態変化隠れ情報hv
t-1に対しこの状態変化情報ev
tを反映させて、新たな状態変化隠れ情報hv
tを生成する。
【0056】
ここで、状態変化ＲＮＮ１１１は、忘却ゲートを備えたＬＳＴＭ（Long-Short Term Memory）や、リセットゲート及び更新ゲートを備えたＧＲＵ（Gated Recurrent Unit）といったような、ＲＮＮを構成可能な公知の機構を採用した構造を有していてもよい。
【0057】
同じく図１において、自他関係表現抽出部１４は、同じく情報生成時点を時点tとすると、時点tでのロボット（対象v）の所在位置から人間（他の対象i）の所在位置までの大きさ・向きで規定される「空間エッジ情報」としての空間変位ベクトルxvi
tを入力とし（自身へ入力される識別子としての「自他関係識別情報」とし）、この空間変位ベクトルxvi
tに対し空間変位潜在表現抽出演算子としての行列WSPを作用させて（積算して）、自他関係情報（相対関係情報）evi
tを生成する。
【0058】
同じく図１において、相対関係ＲＮＮセル１３の自他関係ＲＮＮ１３１は、例えば同じく時点tにおいて、生成された自他関係情報（相対関係情報）evi
tを受け取り、前の時点である時点t-1で自ら生成した自他関係隠れ情報（相対関係隠れ情報）hvi
t-1に対しこの自他関係情報（相対関係情報）evi
tを反映させて、新たな自他関係隠れ情報（相対関係隠れ情報）hvi
tを生成する。
【0059】
ここで、自他関係ＲＮＮ１３１も、上述した状態変化ＲＮＮ１１１と同様、忘却ゲートを備えたＬＳＴＭや、リセットゲート及び更新ゲートを備えたＧＲＵといったような、ＲＮＮを構成可能な公知の機構を採用した構造を有するものとすることができる。
【0060】
なお本実施形態において、自他関係ＲＮＮ１３１は、人間（他の対象i(＝1, 2, ・・・, m)）毎に設けられている。すなわち、各自他関係ＲＮＮ１３１は、各時点において自他関係隠れ情報（相対関係隠れ情報）hvi（i＝1, 2, ・・・, m）を生成・出力するのである。
【0061】
同じく図１において、影響特徴量生成部１５は、例えば同じく時点tにおいて、人間（他の対象i）毎に生成された自他関係隠れ情報（相対関係隠れ情報）hvi
t（i＝1, 2, ・・・, m）を、状態変化ＲＮＮ１１１で生成された状態変化隠れ情報hv
tを反映させた重みを用いて人間（他の対象i(＝1, 2, ・・・, m)）にわたり合わせることによって、ロボット（対象v）と人間（他の対象i）との間の影響を表現した影響特徴量としての自影響特徴量Hv
tを生成する。本実施形態においてこれはまさに、公知のアテンション（Attention）機構を用いて自影響特徴量Hv
tを生成する処理となっているのである。
【0062】
より具体的に本実施形態においては、
（ａ）影響特徴量生成部１５の第１線形変換部１５１により重み行列W1を積算されて次元数deのベクトルに調整された状態変化隠れ情報hv tと、第２線形変換部１５２により重み行列W2を積算されて次元数deのベクトルに調整された自他関係隠れ情報hvi tとを入力として、混合部１５３が両者を混合して混合量を生成し（例えば両者の内積をとって混合量<W1・hv t, W2・hvi t>を生成し）、
（ｂ）混合部１３から出力されたm個の混合量を要素とする混合ベクトルに対し、スケール部１５４が規格化処理（m・(de)-0.5を積算する処理）を行い、
（ｃ）ソフトマックス部１５５が、この規格化された混合ベクトルに対し、公知のソフトマックス関数を適用し、この規格化された混合ベクトルにおけるベクトル要素の最大値を最も大きくした、且つ要素の合計が1となるアテンションスコアベクトルを出力する。
（ａ）影響特徴量生成部１５の第１線形変換部１５１により重み行列W1を積算されて次元数deのベクトルに調整された状態変化隠れ情報hv tと、第２線形変換部１５２により重み行列W2を積算されて次元数deのベクトルに調整された自他関係隠れ情報hvi tとを入力として、混合部１５３が両者を混合して混合量を生成し（例えば両者の内積をとって混合量<W1・hv t, W2・hvi t>を生成し）、
（ｂ）混合部１３から出力されたm個の混合量を要素とする混合ベクトルに対し、スケール部１５４が規格化処理（m・(de)-0.5を積算する処理）を行い、
（ｃ）ソフトマックス部１５５が、この規格化された混合ベクトルに対し、公知のソフトマックス関数を適用し、この規格化された混合ベクトルにおけるベクトル要素の最大値を最も大きくした、且つ要素の合計が1となるアテンションスコアベクトルを出力する。
【0063】
ここで、アテンションスコアベクトルはいわば、自他関係隠れ情報hvi
tの各要素に対する状態変化隠れ情報hv
tの重要度を表したものと解釈される。このアテンションスコアベクトルの要素であるアテンションスコアscoreは、状態変化隠れ情報hv
tと自他関係隠れ情報hvi
tとの関数となっており、具体的には次式
（１） score(hv t, hvi t)＝m・(de)-0.5<W1・hv t, W2・hvi t>
で表される量となっている。
ちなみに、上式（１）のアテンションスコアscore(hv t, hvi t)は、ロボット（対象v）による人間（他の対象i）への注目（アテンション）の度合いを表していると捉えることができる。
（１） score(hv t, hvi t)＝m・(de)-0.5<W1・hv t, W2・hvi t>
で表される量となっている。
ちなみに、上式（１）のアテンションスコアscore(hv t, hvi t)は、ロボット（対象v）による人間（他の対象i）への注目（アテンション）の度合いを表していると捉えることができる。
【0064】
次いで、重み付け混合部１５６は、
（ｄ）決定されたアテンションスコアscoreに基づき、重み状態変化隠れ情報hv tを反映させた重みaviを、例えば次式
（２） avi＝exp(score(hv t, hvi t))／Σj=1 mexp(score(hv t, hvj t))
によって算出し、
（ｅ）人間（他の対象i）毎に生成された自他関係隠れ情報hvi t（i＝1, 2, ・・・, m）を、上記の重みaviを用いて人間（他の対象i(＝1, 2, ・・・, m)）にわたり合わせることによって、自影響特徴量Hv tを生成する。
（ｄ）決定されたアテンションスコアscoreに基づき、重み状態変化隠れ情報hv tを反映させた重みaviを、例えば次式
（２） avi＝exp(score(hv t, hvi t))／Σj=1 mexp(score(hv t, hvj t))
によって算出し、
（ｅ）人間（他の対象i）毎に生成された自他関係隠れ情報hvi t（i＝1, 2, ・・・, m）を、上記の重みaviを用いて人間（他の対象i(＝1, 2, ・・・, m)）にわたり合わせることによって、自影響特徴量Hv tを生成する。
【0065】
具体的に、重み付け混合部１５６は、次式
（３） Hv t＝Σi=1 m avi・hvi t
を用いて自影響特徴量Hv tを算出してもよい。ここで、このような自影響特徴量Hv tは、ロボットが周りの人間に注目（アテンション）した結果生じた、人間（他の対象i）によるロボット（対象v）への影響を表現した特徴量となっているのである。
（３） Hv t＝Σi=1 m avi・hvi t
を用いて自影響特徴量Hv tを算出してもよい。ここで、このような自影響特徴量Hv tは、ロボットが周りの人間に注目（アテンション）した結果生じた、人間（他の対象i）によるロボット（対象v）への影響を表現した特徴量となっているのである。
【0066】
同じく図１によれば、受容性情報決定部１６は本実施形態において、所定時間区間において生成された自影響特徴量Hv（＝[Hv
t, Hv
t+1, ・・・, Hv
t+n]）を入力として、ロボット（対象v）の「受容性に係る情報」としての社会性スコアSCvを決定する。この受容性情報決定部１６は具体的に、
（ａ）受容性ＲＮＮ１６ａａを含む受容性ＲＮＮセル１６ａと、
（ｂ）受容性分類部１６ｂと
を有している。
（ａ）受容性ＲＮＮ１６ａａを含む受容性ＲＮＮセル１６ａと、
（ｂ）受容性分類部１６ｂと
を有している。
【0067】
ここで、上記（ａ）の受容性ＲＮＮセル１６ａは、前の時点で自ら生成した隠れ状態情報である受容性隠れ情報hs、及び受け取った影響特徴量Hvに基づいて、ロボット（対象v）の受容性を表現した受容性特徴量Svを生成する受容性ＲＮＮ１６ａａを備えている。
【0068】
具体的に、受容性ＲＮＮ１６ａａは、自影響特徴量Hv＝［Hv
t, Hv
t+1, ・・・, Hv
t+n］を時系列データとして順次取り込み、最後に生成された自影響特徴量の予測結果を（又は、最後に生成された受容性隠れ情報hs
t+nを）受容性特徴量Svとして出力してもよい。この場合、出力された受容性特徴量Svは、（時間区間t～t+nにおける）人間（他の対象i）によるロボット（対象v）への影響の時間変動も考慮した受容性を表す特徴量となっているのである。
【0069】
また、上記（ｂ）の受容性分類部１６ｂは、本実施形態において多層パーセプトロン（multilayer perceptron）アルゴリズムで構成されており、受容性ＲＮＮセル１６ａ（受容性ＲＮＮ１６ａａ）から受け取った受容性特徴量Svを入力とし、予め設定された受容性の有無若しくは程度に係るクラス毎に、当該クラスの尤度である社会性スコアSCvを、受容性に係る情報として決定する。
【0070】
ここで本実施形態では、受容性として（ロボットの）社会性を採用しており、予め設定されたクラスは、例えば"社会性高（社会的）"、"社会性中（ニュートラル）"、及び"社会性低（非社会的）"であってもよい。またこの場合、決定される社会性情報（受容性に係る情報）は、例えば「"社会性高（社会的）"である（"社会性高（社会的）"の社会性スコアSCv（尤度）は0.7であって最も高い）」旨の情報や、例えば「"社会性高（社会的）"の社会性スコアSCv（尤度）は0.7、"社会性中（ニュートラル）"の社会性スコアSCv（尤度）は0.2、及び"社会性低（非社会的）"の社会性スコアSCv（尤度）は0.1である」旨の情報とすることができる。
【0071】
なお、受容性情報決定部１６において決定される「受容性に係る情報」は、当然ではあるが、社会性スコアSCvに限定されるものではない。例えば、（ロボットが受容性を有する程度に応じた当該ロボットの）好感度（スコア）とすることも可能である。また、受容性情報決定部１６は、自影響特徴量Hv又はその要素（Hv
t, Hv
t+1, ・・・, Hv
t+n）の少なくとも１つを直接、例えばＤＮＮ（Deep Neural Networks）へ入力し、所望の「受容性に係る情報」を出力させてもよい。
【0072】
［受容性推定モデル１の訓練］
以下、受容性推定モデル１の訓練（学習）について説明を行う。最初に、時間エッジ情報（例えば時間変位ベクトルxvの時系列データ）及び空間エッジ情報（例えば空間変位ベクトルxvi（i＝1, 2, ・・・, m）の時系列データ）のセットに、（例えばアンケート調査の結果を用いて）ラベル付けされた（例えば"社会性高"、"社会性中"及び"社会性低"のいずれかが付された）学習データ（正解データ）を準備する。
以下、受容性推定モデル１の訓練（学習）について説明を行う。最初に、時間エッジ情報（例えば時間変位ベクトルxvの時系列データ）及び空間エッジ情報（例えば空間変位ベクトルxvi（i＝1, 2, ・・・, m）の時系列データ）のセットに、（例えばアンケート調査の結果を用いて）ラベル付けされた（例えば"社会性高"、"社会性中"及び"社会性低"のいずれかが付された）学習データ（正解データ）を準備する。
【0073】
次いで、この学習データを用い、受容性分類決定部１６ｂからの出力と正解との差異をロス（損失）として、このロスを用いる公知の誤差逆伝播法や、公知のＲＮＮ訓練手法であるＢＰＴＴ（Back Propagation Through Time）法を応用することにより、モデル１における学習可能な各種パラメータや行列等を訓練するのである。
【0074】
また訓練の変更態様として、状態変化ＲＮＮセル１１、状態変化表現抽出部１２、相対関係ＲＮＮセル１３、自他関係表現抽出部１４、及び影響特徴量生成部１５については、社会性スコア以外の学習データを用いて予め訓練されたものを採用してもよい。例えば、上述した非特許文献：Anirudh Vemula, Katharina Muelling, Jean Oh, "Social Attention: Modeling Attention in Human Crowds", 2018 IEEE International Conference on Robotics and Automation (ICRA), ２０１８年, ＜https://doi.org/10.1109/ICRA.2018.8460504＞に開示されたSocial Attentionモデルと同様、（ロボットを含む）群衆行動の実績の学習データ（正解データ）を用い、予め訓練されたものを採用することも可能である。
【0075】
［受容性推定モデルの他の実施形態］
図３は、本発明による受容性推定モデルの他の実施形態を説明するための模式図である。
図３は、本発明による受容性推定モデルの他の実施形態を説明するための模式図である。
【0076】
図３に示した実施形態においては、図１を用いて説明した受容性推定モデル１において、相対関係ＲＮＮセル１３（図１）の代わりに、
（ａ）（自他関係表現抽出部１４１から自他関係情報evi tを受け取る）自他関係ＲＮＮ１３１に加えて、他自関係表現抽出部１４２から他自関係情報eiv tを受け取る他自関係ＲＮＮ１３２を含む相対関係ＲＮＮセル１３’
が設けられており、さらに、
（ｂ）人間（他の対象i）毎に設定された、人間（他の対象i）に係る状態変化表現抽出部１２’、及び状態変化ＲＮＮ１１１’を含む状態変化ＲＮＮセル１１’
が設けられており、またさらに、影響特徴量生成部１５（図１）の代わりに、
（ｃ）第１アテンション部１５Ａ及び第２アテンション部１５Ｂを含む影響特徴量生成部１５’
が設けられている。
（ａ）（自他関係表現抽出部１４１から自他関係情報evi tを受け取る）自他関係ＲＮＮ１３１に加えて、他自関係表現抽出部１４２から他自関係情報eiv tを受け取る他自関係ＲＮＮ１３２を含む相対関係ＲＮＮセル１３’
が設けられており、さらに、
（ｂ）人間（他の対象i）毎に設定された、人間（他の対象i）に係る状態変化表現抽出部１２’、及び状態変化ＲＮＮ１１１’を含む状態変化ＲＮＮセル１１’
が設けられており、またさらに、影響特徴量生成部１５（図１）の代わりに、
（ｃ）第１アテンション部１５Ａ及び第２アテンション部１５Ｂを含む影響特徴量生成部１５’
が設けられている。
【0077】
ここで、上記（ａ）の他自関係表現抽出部１４２は、（例えば時点tでの）人間（他の対象i）の所在位置からロボット（対象v）の所在位置までの大きさ・向きで規定される「空間エッジ情報」としての空間変位ベクトルxiv
tを入力とし（自身へ入力される識別子としての「他自関係識別情報」とし）、この空間変位ベクトルxiv
tに対し空間変位潜在表現抽出演算子としての行列WSPを作用させて（積算して）、他自関係情報（相対関係情報）eiv
tを生成する。
【0078】
また、同じく上記（ａ）の他自関係ＲＮＮ１３２（相対関係ＲＮＮセル１３’）は、（例えば同じく時点tにおいて）生成された他自関係情報（相対関係情報）eiv
tを受け取り、前の時点（時点t-1）で自ら生成した他自関係隠れ情報（相対関係隠れ情報）hiv
t-1に対しこの他自関係情報（相対関係情報）eiv
tを反映させて、新たな他自関係隠れ情報（相対関係隠れ情報）hiv
tを生成する。
【0079】
さらに、上記（ｂ）の状態変化ＲＮＮセル１１’（状態変化ＲＮＮ１１１’）は、（例えば同じく時点tにおいて）状態変化表現抽出部１２’で生成された状態変化情報ei
tを受け取り、前の時点（時点t-1）で自ら生成した状態変化隠れ情報hi
t-1に対しこの状態変化情報ei
tを反映させて、新たな状態変化隠れ情報hi
tを生成する。
【0080】
また、上記（ｃ）の第１アテンション部１５Ａ（影響特徴量生成部１５’）は、影響特徴量生成部１５（図１）と同様の構造を有し、影響特徴量生成部１５（図１）と同様、状態変化ＲＮＮ１１１から受け取った状態変化隠れ情報hv、及び自他関係ＲＮＮ１３１から受け取った自他関係隠れ情報hviを用いて、自影響特徴量Hv（＝[Hv
t, Hv
t+1, ・・・, Hv
t+n]）を生成する。
【0081】
一方、上記（ｃ）の第２アテンション部１５Ｂ（影響特徴量生成部１５’）は、影響特徴量生成部１５（図１）と同様の構造とはなっているが、他自関係ＲＮＮ１３２から受け取った他自関係隠れ情報hivを、状態変化ＲＮＮ１１１’で生成された状態変化隠れ情報hiを反映させた「逆アテンションスコアr-score」から算出された重みaivを用いて人間（他の対象i）にわたり合わせることによって、影響特徴量としての他影響特徴量Hother（＝[Hother
t, Hother
t+1, ・・・, Hother
t+n]）を生成するのである。
【0082】
ここで、（例えば時点tでの）逆アテンションスコアr-scoreは、具体的には次式
（４） r-score(hi t, hiv t)＝m・(de)-0.5<W1・hi t, W2・hiv t>
で表される量となり、人間（他の対象i）によるロボット（対象v）への注目（アテンション）の度合いを表していると捉えることができる。
（４） r-score(hi t, hiv t)＝m・(de)-0.5<W1・hi t, W2・hiv t>
で表される量となり、人間（他の対象i）によるロボット（対象v）への注目（アテンション）の度合いを表していると捉えることができる。
【0083】
また、（例えば同じく時点tでの）重みaivは、次式
（５） aiv＝exp(r-score(hi t, hiv t))／Σj=1 mexp(r-score(hi t, hij t))
をもって算出され、これにより、他影響特徴量Hother tは、次式
（６） Hother t＝Σi=1 m aiv・hiv t
を用いて算出されるのである。ここで、このような他影響特徴量Hother tは、周りの人間がロボットに注目（アテンション）した結果生じた、ロボット（対象v）による人間（他の対象i）への影響を表現した影響特徴量となっている。
（５） aiv＝exp(r-score(hi t, hiv t))／Σj=1 mexp(r-score(hi t, hij t))
をもって算出され、これにより、他影響特徴量Hother tは、次式
（６） Hother t＝Σi=1 m aiv・hiv t
を用いて算出されるのである。ここで、このような他影響特徴量Hother tは、周りの人間がロボットに注目（アテンション）した結果生じた、ロボット（対象v）による人間（他の対象i）への影響を表現した影響特徴量となっている。
【0084】
以上説明したように、本実施形態の影響特徴量生成部１５’は、自影響特徴量Hv（＝[Hv
t, Hv
t+1, ・・・, Hv
t+n]）のみならず、他影響特徴量Hother（＝[Hother
t, Hother
t+1, ・・・, Hother
t+n]）も生成するのである。ここで、受容性ＲＮＮセル１６ａ’（受容性情報決定部１６’）は、これら自影響特徴量Hv及び他影響特徴量Hotherを、又は自影響特徴量Hvと他影響特徴量Hotherとを合わせた量（例えば連結した量や加算した量等）を入力として、ロボット（対象v）の受容性特徴量Svを生成することができる。
【0085】
これにより、ロボットと人間とが相互に影響を及ぼし得る実情を反映した、より精度の高い「受容性に係る情報」を決定することも可能となるのである。ここで、自影響特徴量Hvと他影響特徴量Hotherとを合わせた量は、ロボット（対象）と人間（他の対象）との（相互の）影響を表現した「影響特徴量」とみなすことのできる量となっている。
【0086】
［受容性推定モデルの更なる他の実施形態］
図４は、本発明による受容性推定モデルの更なる他の実施形態を説明するための模式図である。
図４は、本発明による受容性推定モデルの更なる他の実施形態を説明するための模式図である。
【0087】
図４に示した実施形態においては、図１を用いて説明した受容性推定モデル１において、影響特徴量生成部１５（図１）の代わりに、
（ａ）第１線形変換部１５１、第２線形変換部１５２、混合部１５３、スケール部１５４、ソフトマックス部１５５、及び重み付け混合部１５６''に加えて、認識範囲重み関数部１５９を含む影響特徴量生成部１５''
が設けられているのである。
（ａ）第１線形変換部１５１、第２線形変換部１５２、混合部１５３、スケール部１５４、ソフトマックス部１５５、及び重み付け混合部１５６''に加えて、認識範囲重み関数部１５９を含む影響特徴量生成部１５''
が設けられているのである。
【0088】
ここで本実施形態では、少なくともロボット（対象）は、人間（他の対象）を認識する認識範囲を有しており、影響特徴量生成部１５''の認識範囲重み関数部１５９は、この認識範囲に係る情報である「認識範囲情報」を受け取ることができる。この「認識範囲情報」は例えば、ロボット（対象）について推定された視線方向を中央とした所定角度範囲±θの視野範囲を表す情報としてもよい。または、ロボット（対象）について推定された骨格情報（各関節点の位置情報）から決定されたロボット胸部若しくはロボット頭部の向いている方向を中央とした所定角度範囲±θのロボット向き範囲を表す情報とすることも可能である。
【0089】
ちなみに、上記の視線方向の推定は、例えばすでに述べた非特許文献：Zhe Cao et al., "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Journal version of arXiv:1611.08050, Computer Vision and Pattern Recognition (cs.CV), arXiv:1812.08008 [cs.CV], ２０１９年に記載された技術を用いて実施することができる。また、上記の骨格情報の推定も、例えばすでに述べた非特許文献：Petr Kellnhofer, " Gaze360: Physically Unconstrained Gaze Estimation in the Wild ", Computer Vision and Pattern Recognition (cs.CV), arXiv:arXiv:1910.10088 [cs.CV]，２０１９年に記載された技術を用いて実施することが可能である。
【0090】
同じく図４において、認識範囲重み関数部１５９は、
（ａ）以上説明したような「認識範囲情報」と、ロボット（対象v）及び人間（他の対象i）の所在位置情報とを受け取り、これらの情報に基づき、ロボット（対象v）の認識範囲に人間（他の対象i）が入っていない場合、入っている場合と比較してより小さな値をとる認識範囲重み関数fovを用いて、各人間（他の対象i）についての関数値fov(v, i)（i＝1, 2, ・・・, m）を決定し（例えば、入っていない場合にはfov(v, i)を1未満の正値若しくはゼロとして、一方、入っている場合にはfov(v, i)を1とし）、
（ｂ）ソフトマックス部１５５から出力されたアテンションスコア（ベクトル）に対し、決定した関数値f(v, i) （i＝1, 2, ・・・, m）を掛け合わせて、認識範囲調整済みのアテンションスコアscore_adjを生成し、重み付け混合部１５６''へ出力する。具体的には、例えば次式
（７） score_adj(hv t, hvi t)＝score(hv t, hvi t)・fov(v, i)
をもってアテンションスコアscore_adjを算出し、出力するのである。上式（７）によれば、このアテンションスコアscore_adjも、ロボット（対象v）の認識範囲に人間（他の対象i）が入っていない場合、入っている場合と比較してより小さな値をとることになる。
（ａ）以上説明したような「認識範囲情報」と、ロボット（対象v）及び人間（他の対象i）の所在位置情報とを受け取り、これらの情報に基づき、ロボット（対象v）の認識範囲に人間（他の対象i）が入っていない場合、入っている場合と比較してより小さな値をとる認識範囲重み関数fovを用いて、各人間（他の対象i）についての関数値fov(v, i)（i＝1, 2, ・・・, m）を決定し（例えば、入っていない場合にはfov(v, i)を1未満の正値若しくはゼロとして、一方、入っている場合にはfov(v, i)を1とし）、
（ｂ）ソフトマックス部１５５から出力されたアテンションスコア（ベクトル）に対し、決定した関数値f(v, i) （i＝1, 2, ・・・, m）を掛け合わせて、認識範囲調整済みのアテンションスコアscore_adjを生成し、重み付け混合部１５６''へ出力する。具体的には、例えば次式
（７） score_adj(hv t, hvi t)＝score(hv t, hvi t)・fov(v, i)
をもってアテンションスコアscore_adjを算出し、出力するのである。上式（７）によれば、このアテンションスコアscore_adjも、ロボット（対象v）の認識範囲に人間（他の対象i）が入っていない場合、入っている場合と比較してより小さな値をとることになる。
【0091】
これにより、ロボット（対象v）の人間（他の対象）への注目（アテンション）度は、人間（他の対象）がロボット（対象）の認識範囲内に位置する場合の方が高くなる、との知見を（認識範囲調整済みの）アテンションスコアに盛り込むことができる。またその結果、この後決定される自影響特徴量や、最終的に決定される「受容性に係る情報」の推定精度がより向上することが見込まれるのである。
【0092】
なお変更態様として、影響特徴量生成部１５''において、各人間（他の対象i(＝1, 2, ・・・, m)）について上式（１）：score(hv
t, hvi
t)＝m・(de)-0.5<W1・hv
t, W2・hvi
t>（i＝1, 2, ・・・, m）のアテンションスコアscoreを算出する際、ロボット（対象v）の認識範囲に入っていない人間（他の対象p）に係る自他関係隠れ情報hvp
tを、このアテンションスコアscoreの算出に用いないとすることも可能である。この場合いわば、このような人間（他の対象p）に係る空間エッジは、アテンションスコア（影響特徴量）算出において除外するのである。このようなやり方によっても、この後決定される自影響特徴量や、最終的に決定される「受容性に係る情報」の推定精度がより向上することが見込まれる。
【0093】
また、更なる他の実施形態として、図３に示した第２アテンション部１５Ｂに対し、以上に説明した認識範囲重み関数部１５９を適用することも好ましい。この場合、少なくとも人間（他の対象）は、ロボット（対象）を認識する認識範囲を有しており、この第２アテンション部１５Ｂ（図３）の認識範囲重み関数部１５９は、この認識範囲に係る情報である「認識範囲情報」を受け取り、人間（他の対象）の認識範囲にロボット（対象）が入っていない場合、入っている場合と比較してより小さな値をとる認識範囲重み関数fovを用いて、認識範囲調整済みの逆アテンションスコアr-score_adjを算出し、後段の重み付け混合部（１５６）へ出力するのである。ここで、逆アテンションスコアr-score_adjは、例えば次式
（８） r-score_adj(hi t, hiv t)＝r-score(hi t, hiv t)・fov(i, v)
をもって算出してもよい。
（８） r-score_adj(hi t, hiv t)＝r-score(hi t, hiv t)・fov(i, v)
をもって算出してもよい。
【0094】
これにより、人間（他の対象）のロボット（対象v）への注目（アテンション）度は、ロボット（対象）が人間（他の対象）の認識範囲内に位置する場合の方が高くなる、との知見を（認識範囲調整済みの）逆アテンションスコアに盛り込むことができる。またその結果、この後決定される他影響特徴量や、最終的に決定される「受容性に係る情報」の推定精度がより向上することが見込まれるのである。
【0095】
なお変更態様として、第２アテンション部１５Ｂ（図３）において、人間（他の対象p）の認識範囲に入っていないロボット（対象）に係る他自関係隠れ情報hpv
tを、上式（４）の逆アテンションスコアr-scoreの算出に用いないとすることも可能である。このようなやり方によっても、この後決定される他影響特徴量や、最終的に決定される「受容性に係る情報」の推定精度がより向上することが見込まれる。
【0096】
また、以上に説明したように第２アテンション部１５Ｂ（図３）へ認識範囲情報を取り入れる場合に、同じく第１アテンション部１５Ａ（図３）へも、図４を用いて説明した上記のやり方で認識範囲情報を取り入れることも好ましい。
【0097】
［受容性推定モデルの更なる他の実施形態］
図５は、本発明による受容性推定モデルの更なる他の実施形態を説明するための模式図である。
図５は、本発明による受容性推定モデルの更なる他の実施形態を説明するための模式図である。
【0098】
図５に示した実施形態においては、社会性（受容性）推定対象である自動運転車（対象v）が人間（他の対象i）の間を走行している。また、このような自動運転車（対象v）の社会性（受容性）を推定すべく、図１を用いて説明した受容性推定モデル１において、状態変化ＲＮＮセル１１（図１）及び相対関係ＲＮＮセル１３（図１）の代わりに、
（ａ）例えば時点tにおいて、自動運転車（対象v）からの「制御情報」cv tを受け取って、これに制御情報潜在表現抽出演算子としての行列WCLを作用させて（積算して）、制御表現情報ecv tを生成する制御情報表現抽出部１８と、
（ｂ）例えば同じく時点tにおいて、制御情報表現抽出部１８で生成された制御表現情報ecv t、及び状態変化表現抽出部１２で生成された状態変化情報ev tを、又はこれら制御表現情報ecv tと状態変化情報ev tとを合わせた情報（例えば連結若しくは加算した情報）を反映させて、新たな状態変化隠れ情報hv tを生成し、影響特徴量生成部１５へ出力する状態変化ＲＮＮ１１１''を含む状態変化ＲＮＮセル１１''と、
（ｃ）例えば同じく時点tにおいて、制御情報表現抽出部１８で生成された制御表現情報ecv t、及び自他関係表現抽出部１４で生成された自他関係情報evi tを、又はこれら制御表現情報ecv tと自他関係情報evi tとを合わせた情報（例えば連結若しくは加算した情報）を反映させて、新たな自他関係隠れ情報hvi tを生成し、影響特徴量生成部１５へ出力する自他関係ＲＮＮ１１３''を含む相対関係ＲＮＮセル１３''と
が設けられているのである。
（ａ）例えば時点tにおいて、自動運転車（対象v）からの「制御情報」cv tを受け取って、これに制御情報潜在表現抽出演算子としての行列WCLを作用させて（積算して）、制御表現情報ecv tを生成する制御情報表現抽出部１８と、
（ｂ）例えば同じく時点tにおいて、制御情報表現抽出部１８で生成された制御表現情報ecv t、及び状態変化表現抽出部１２で生成された状態変化情報ev tを、又はこれら制御表現情報ecv tと状態変化情報ev tとを合わせた情報（例えば連結若しくは加算した情報）を反映させて、新たな状態変化隠れ情報hv tを生成し、影響特徴量生成部１５へ出力する状態変化ＲＮＮ１１１''を含む状態変化ＲＮＮセル１１''と、
（ｃ）例えば同じく時点tにおいて、制御情報表現抽出部１８で生成された制御表現情報ecv t、及び自他関係表現抽出部１４で生成された自他関係情報evi tを、又はこれら制御表現情報ecv tと自他関係情報evi tとを合わせた情報（例えば連結若しくは加算した情報）を反映させて、新たな自他関係隠れ情報hvi tを生成し、影響特徴量生成部１５へ出力する自他関係ＲＮＮ１１３''を含む相対関係ＲＮＮセル１３''と
が設けられているのである。
【0099】
ここで、上記（ａ）の「制御情報」cvは、対象v（図５では自動運転車）が外部から受け取った、又は対象vの内部で生成された情報であり、これに基づき対象vが、対象vの状態変化（例えば移動）にかかわる所定の制御に係る処理を行うものとなっている。例えば図５に示した自動運転車（対象v）は、「制御情報」cvとして「右折ウインカーの点滅を指示する信号」を生成し（又は外部から受け取り）、自身の右折ウインカーを点滅させるとともに、この「制御情報（右ウインカー点滅指示信号）」cvを受容性推定モデル１（の制御情報表現抽出部１８）へ送信するのである。
【0100】
また変更態様として、対象v（図５では自動運転車）の実際の制御動作（例えば右ウインカーの点滅動作）を外部の測定手段によって測定し、その測定結果から、対象vが受け入れたであろう制御情報を推定し、これを「制御情報」cvとすることも可能である。なお、以上のことからして当然ではあるが、「制御情報」cvに係る対象vは、図５に示したような自動運転車に限定されるものではない。
【0101】
また、上記（ｂ）及び（ｃ）については、いずれか一方のみを採用するものであってよい。すなわち、図１を用いて説明した受容性推定モデル１において、状態変化ＲＮＮセル１１（図１）を上記（ｂ）の状態変化ＲＮＮセル１１''に代えた上で相対関係ＲＮＮセル１３（図１）はそのまま採用することもでき、または、相対関係ＲＮＮセル１３（図１）を上記（ｃ）の相対関係ＲＮＮセル１３''に代えた上で状態変化ＲＮＮセル１１（図１）はそのまま採用することも可能である。
【0102】
いずれにしても、本実施形態によれば、自動運転車やロボットといったような対象vの状態変化（例えば移動）にかかわる「制御情報」cvも勘案して、より実情に適合した精度の高い影響特徴量を生成することが可能となる。
【0103】
ちなみに「制御情報」cvに係る他の実施形態として、制御表現情報ecvを、図３に示した状態変化ＲＮＮ１１１、自他関係ＲＮＮ１３１、及び／又は他自関係ＲＮＮ１３２へ入力することも可能である。この場合においても、「制御情報」cvをも勘案することによって、より実情に適合した精度の高い影響特徴量を生成することができる。
【0104】
また、他の対象iが、ロボットや自動運転車等であって、受け取った又は生成した「制御情報」ciを、状態変化ＲＮＮ（１１１，１１１''）、自他関係ＲＮＮ（１３１）や、他自関係ＲＮＮ（１３２）へ向けて取り込ませる実施形態をとることも可能である。この場合においても、「制御情報」をも勘案することによって、より実情に適合した精度の高い影響特徴量を生成することができるのである。
【0105】
さらに、「制御情報」cvに係る更なる他の実施形態として、受容性情報決定部１６（図１）は、対象v（図５では自動運転車）が「制御情報」cvを受け取った若しくは生成した時点、又は当該制御情報で指定された制御に係る時点に基づき設定された「所定の時間区間」内において生成された影響特徴量を入力として、対象vの「受容性に係る情報」を生成してもよい。ここでこれは、この影響特徴量が上述したように「制御情報」cvを勘案して生成されたものであっても、そうではなくとも実施可能な形態となっている。
【0106】
具体的に「所定の時間区間」として、例えば対象v（自動運転車）が「制御情報」cvを取得して所定の制御が行われた時点を基準として、この基準時点t0を中央に含む時間区間（t0－T/2～t0＋T/2）を採用することもできる。また、この基準時点t0から所定時間Tの経過時点までの時間区間（t0～t0＋T）を採用してもよい。さらに、対象v（自動運転車）で制御が実施されてから、他の対象i（人間）がそれを認識するまでには通常、所定の遅延時間が経過する。そこで「所定の時間区間」を、基準時点t0から所定の遅延時間T_delayだけ経過した時点（t0＋T_delay）より始まる時間区間に設定することも可能である。
【0107】
このように、「制御情報」cvに基づき設定された「所定の時間区間」内において生成された影響特徴量を用いて受容性（社会性）推定を行うことにより、例えば（この所定の時間区間内の）特定の時点における対象v（自動運転車）の行動・移動（状態変化）が、受容性（社会性）のあるものか否かを判断することも可能となる。または、例えば対象v（自動運転車）における（この所定の時間区間に係る）特定の制御行動が、受容性（社会性）のあるものか否かを判断することもできるのである。
【0108】
［受容性情報推定装置，受容性情報推定プログラム・方法］
以下、図１に戻って、以上に説明したような受容性推定モデル１を搭載しており、対象の受容性に係る情報を推定する受容性情報推定装置９について説明する。ちなみに以下、本装置９は、図１に示した受容性推定モデル１を搭載したものとして説明を行うが、勿論、図３、図４や図５に示した形態を採用したモデル１を搭載したものであってもよい。
以下、図１に戻って、以上に説明したような受容性推定モデル１を搭載しており、対象の受容性に係る情報を推定する受容性情報推定装置９について説明する。ちなみに以下、本装置９は、図１に示した受容性推定モデル１を搭載したものとして説明を行うが、勿論、図３、図４や図５に示した形態を採用したモデル１を搭載したものであってもよい。
【0109】
図１の下部に示した本実施形態の受容性情報推定装置９は、搭載した訓練済みの受容性推定モデル１を用いて、ロボット（対象）の受容性に係る情報、本実施形態では社会性の有無の判定情報を生成し、出力する。
【0110】
具体的に図１において、受容性情報推定装置９の入力部９１は、
（ａ）通信機能を備えていて、例えば外部に設置された（例えば監視カメラによって生成された映像から公知の画像認識技術を用いて画像内認識対象の所在位置の時系列データを生成し保存・管理した）対象管理サーバから、ロボット（対象）及び人間（他の対象）の所在位置の時系列データ群を取得し、
（ｂ）取得した所在位置の時系列データ群から、図２を用いて説明した時間エッジ情報（例えば、時間変位ベクトルxv）や空間エッジ情報（例えば、空間変位ベクトルxvi）の時系列データ群を生成し、この時系列データ群に対し（例えば装置９のユーザによって）正解ラベルを付与して学習データセットとした上で、当該訓練部９２へ出力し、
（ｃ）一方、社会性推定対象であるロボット（対象）に係る時間エッジ情報（例えば、時間変位ベクトルxv）や空間エッジ情報（例えば、空間変位ベクトルxvi）の時系列データを、受容性情報決定部９３へ出力する。
（ａ）通信機能を備えていて、例えば外部に設置された（例えば監視カメラによって生成された映像から公知の画像認識技術を用いて画像内認識対象の所在位置の時系列データを生成し保存・管理した）対象管理サーバから、ロボット（対象）及び人間（他の対象）の所在位置の時系列データ群を取得し、
（ｂ）取得した所在位置の時系列データ群から、図２を用いて説明した時間エッジ情報（例えば、時間変位ベクトルxv）や空間エッジ情報（例えば、空間変位ベクトルxvi）の時系列データ群を生成し、この時系列データ群に対し（例えば装置９のユーザによって）正解ラベルを付与して学習データセットとした上で、当該訓練部９２へ出力し、
（ｃ）一方、社会性推定対象であるロボット（対象）に係る時間エッジ情報（例えば、時間変位ベクトルxv）や空間エッジ情報（例えば、空間変位ベクトルxvi）の時系列データを、受容性情報決定部９３へ出力する。
【0111】
訓練部９２は、受け取った学習データセットを用いて受容性推定モデル１の訓練を実施する。
【0112】
受容性情報決定部９３は、本実施形態において、
（ｄ）受け取った上記（ｃ）の時間・空間エッジ情報の時系列データを、訓練済みの受容性推定モデル１の状態変化表現抽出部１２及び自他関係表現抽出部１４へ入力し、その後、
（ｅ）訓練済みの受容性推定モデル１の受容性分類部１６ｂから出力される各クラスの社会性スコアSCv（尤度）から、「受容性に係る情報」として例えば「ロボット（対象）は社会的である」、「ロボット（対象）は社会性に関しニュートラルである」、及び「ロボット（対象）は非社会的である」のうちのいずれか１つの社会性情報を決定し、出力部９４へ出力する。
（ｄ）受け取った上記（ｃ）の時間・空間エッジ情報の時系列データを、訓練済みの受容性推定モデル１の状態変化表現抽出部１２及び自他関係表現抽出部１４へ入力し、その後、
（ｅ）訓練済みの受容性推定モデル１の受容性分類部１６ｂから出力される各クラスの社会性スコアSCv（尤度）から、「受容性に係る情報」として例えば「ロボット（対象）は社会的である」、「ロボット（対象）は社会性に関しニュートラルである」、及び「ロボット（対象）は非社会的である」のうちのいずれか１つの社会性情報を決定し、出力部９４へ出力する。
【0113】
出力部９４は、受け取った社会性情報を、社会性推定対象であるロボット（対象）の社会性情報（受容性に係る情報）として（通信機能を備えている場合に）外部の情報処理装置へ送信したり、（表示機能を備えている場合に）表示したりする。
【0114】
ここで、訓練部９２及び受容性情報決定部９３は、本発明による受容性情報推定方法の一実施形態を実施する主要機能構成部であり、また、本発明による受容性情報推定プログラムの一実施形態を保存したプロセッサ・メモリの機能と捉えることもできる。またこのことから、受容性情報推定装置９は、受容性情報推定の専用装置であってもよいが、本発明による受容性情報推定プログラムを搭載した、例えばクラウドサーバ、非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等とすることも可能である。
【0115】
以上詳細に説明したように、本発明によれば、対象群に属する対象（例えばロボット）についての他の対象（例えば人間）との間における受容性に係る情報を、対象（ロボット）の状態における変化や他との関係に基づいて推定することができる。すなわち例えば、対象（ロボット）の受容性（社会性）評価を、多大な手間とコストがかかり継続的な実施が難しいアンケート調査によらずに実施することも可能となるのである。
【0116】
またこれにより、例えば介護、福祉、医療、運輸や、家事等の様々な生活にかかわる分野における、ロボットを活用した種々のサービス提供事業において、実際にこのロボットの活動内容が、サービスを受ける側の人間に受け入れられるものとなっているか否か、さらには人間社会に適応したものとなっているか否かを容易且つ確実に評価することも可能となるのである。
【0117】
また、例えば子供達に対し豊かな社会性を育む、且つ個々の現状の性格や行動傾向に合った教育を提供するために、本発明によって（その行動内容の時系列情報から）推定した当該子供達の社会性情報を活用することもできる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標４「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する」に貢献することも可能となるのである。
【0118】
さらに、例えば大人達に対し、社会的に有益な、且つ個々の現状の性格や行動傾向に合ったディーセント・ワーク（働きがいのある人間らしい仕事）を提供するために、本発明によって（その作業内容の時系列情報から）推定した当該大人達の社会性情報を活用することもできる。すなわち本発明によれば、国連が主導するＳＤＧｓの目標８「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」に貢献することも可能となるのである。
【0119】
またさらに、例えば消費者に対し、社会的な受容性の高い（例えば持続可能な）消費やライフスタイルについての教育を提供するために、本発明によって（その消費行動内容や生活履歴内容の時系列情報から）推定した当該消費者の社会性情報を活用することもできる。すなわち本発明によれば、国連が主導するＳＤＧｓの目標１２「持続可能な消費と生産のパターンを確保する」に貢献することも可能となるのである。
【0120】
上述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。上述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0121】
１ 受容性推定モデル
１１、１１’、１１'' 状態変化ＲＮＮセル
１１１、１１１’、１１１'' 状態変化ＲＮＮ
１２、１２’ 状態変化表現抽出部
１３、１３’、１３'' 相対関係ＲＮＮセル
１３１、１３１'' 自他関係ＲＮＮ
１３２ 他自関係ＲＮＮ
１４、１４１ 自他関係表現抽出部
１４２ 他自関係表現抽出部
１５、１５’、１５'' 影響特徴量生成部
１５Ａ 第１アテンション部
１５Ｂ 第２アテンション部
１５１ 第１線形変換部
１５２ 第２線形変換部
１５３ 混合部
１５４ スケール部
１５５ ソフトマックス部
１５６、１５６'' 重み付け混合部
１５９ 認識範囲重み関数部
１６ 受容性情報決定部
１６ａ、１６ａ’ 受容性ＲＮＮセル
１６ａａ 受容性ＲＮＮ
１６ｂ 受容性分類部
１８ 制御情報表現抽出部
９ 受容性情報推定装置
９１ 入力部
９２ 訓練部
９３ 受容性情報決定部
９４ 出力部
１１、１１’、１１'' 状態変化ＲＮＮセル
１１１、１１１’、１１１'' 状態変化ＲＮＮ
１２、１２’ 状態変化表現抽出部
１３、１３’、１３'' 相対関係ＲＮＮセル
１３１、１３１'' 自他関係ＲＮＮ
１３２ 他自関係ＲＮＮ
１４、１４１ 自他関係表現抽出部
１４２ 他自関係表現抽出部
１５、１５’、１５'' 影響特徴量生成部
１５Ａ 第１アテンション部
１５Ｂ 第２アテンション部
１５１ 第１線形変換部
１５２ 第２線形変換部
１５３ 混合部
１５４ スケール部
１５５ ソフトマックス部
１５６、１５６'' 重み付け混合部
１５９ 認識範囲重み関数部
１６ 受容性情報決定部
１６ａ、１６ａ’ 受容性ＲＮＮセル
１６ａａ 受容性ＲＮＮ
１６ｂ 受容性分類部
１８ 制御情報表現抽出部
９ 受容性情報推定装置
９１ 入力部
９２ 訓練部
９３ 受容性情報決定部
９４ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】