(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-28
(45)【発行日】2023-08-07
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06Q 50/20 20120101AFI20230731BHJP
【FI】
G06Q50/20 300
(21)【出願番号】P 2019037238
(22)【出願日】2019-03-01
【審査請求日】2022-02-10
(31)【優先権主張番号】P 2018036546
(32)【優先日】2018-03-01
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成27年度、国立研究開発法人新エネルギー・産業技術総合開発機構「次世代人工知能・ロボット中核技術開発/次世代人工知能技術分野/人間と相互理解できる次世代人工知能技術の研究開発」委託研究、産業技術力強化法第19条の適用を受ける特許出願
(73)【特許権者】
【識別番号】593171592
【氏名又は名称】学校法人玉川学園
(73)【特許権者】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(74)【代理人】
【識別番号】100126000
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】大森 隆司
(72)【発明者】
【氏名】山田 徹志
【審査官】小山 和俊
(56)【参考文献】
【文献】特開2008-046801(JP,A)
【文献】特表2004-527313(JP,A)
【文献】特開2013-101319(JP,A)
【文献】肥田竜馬 他,保育の質の定量化のための人間行動センシングと解析ツールの開発,人工知能学会,一般社団法人 人工知能学会,2017年05月23日,P.1-2
【文献】三木紀佳 他,保育者の「気づき」を喚起する行動量に視点をおいた観察手法の提案,電子情報通信学会技術研究報告,Vol.105, No.208,社団法人電子情報通信学会,2005年07月19日,P.13-18
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
所定時間帯における所定場所を1単位として、複数の単位毎の
、教育と保育のうち少なくとも一方を受ける対象の複数の人物
の撮像画像データを取得し、当該撮像画像データに基づいて、複数の人物毎に、人物が置かれている外部環境を示す情報である環境情報及び人物の行動に関する特徴量である行動特徴量を、前記複数の人物の行動観察結果として取得する取得手段と、
前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象
として、ひと、もの、及びことの3要素のうち1以上の要素から、所定単位における所定人物の関心対象を推定する関心対象推定手段と、
前記関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動特徴量と当該所定単位における複数の他の人物の行動特徴量の平均値との差異に基づいて、当該所定人物の心的特性を推定する心的特性推定手段と、
を備える情報処理装置。
【請求項2】
前記心的特性は、開放性、積極性、勤勉性、安定性、適応性、およびリーダーシップの6つの要因から成る、
請求項
1に記載の情報処理装置。
【請求項3】
前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される1種類以上の関心対象の場及び特定個人により形成される1種類以上の関心対象の場の中から、前記複数の単位の夫々を1種類以上の関心対象の場に分類する場分類手段と、
前記心的特性推定手段により推定された所定人物の心的特性の長期的な推移の特徴と、
夫々の種類の関心対象の場における標準的な心的特性の長期的な推移の特徴との差異に基づいて、所定人物の発達特性を推定する発達特性推定手段と
、
をさらに備える、
請求項
1に記載の情報処理装置。
【請求項4】
前記取得手段は、
複数の単位毎の人物の、位置と向きとのうち少なくとも一方に関する情報を含む
前記行動観察結果を、複数の人物毎に取得する、
請求項1乃至
3のうちいずれか1項に記載の情報処理装置。
【請求項5】
情報処理装置が実行する情報処理方法であって、
所定時間帯における所定場所を1単位として、複数の単位毎の
、教育と保育のうち少なくとも一方を受ける対象の複数の人物
の撮像画像データを取得し、当該撮像画像データに基づいて、複数の人物毎に、人物が置かれている外部環境を示す情報である環境情報及び人物の行動に関する特徴量である行動特徴量を、前記複数の人物の行動観察結果として取得する取得ステップと、
前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象
として、ひと、もの、及びことの3要素のうち1以上の要素から、所定単位における所定人物の関心対象を推定する関心対象推定ステップと、
前記関心対象推定ステップの処理により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動特徴量と当該所定単位における複数の他の人物の行動特徴量の平均値との差異に基づいて、当該所定人物の心的特性を推定する心的特性推定ステップと、
を含む情報処理方法。
【請求項6】
情報処理装置を制御するコンピュータに、
所定時間帯における所定場所を1単位として、複数の単位毎の
、教育と保育のうち少なくとも一方を受ける対象の複数の人物
の撮像画像データを取得し、当該撮像画像データに基づいて、複数の人物毎に、人物が置かれている外部環境を示す情報である環境情報及び人物の行動に関する特徴量である行動特徴量を、前記複数の人物の行動観察結果として取得する取得ステップと、
前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象
として、ひと、もの、及びことの3要素のうち1以上の要素から、所定単位における所定人物の関心対象を推定する関心対象推定ステップと、
前記関心対象推定ステップの処理により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動特徴量と当該所定単位における複数の他の人物の行動特徴量の平均値との差異に基づいて、当該所定人物の心的特性を推定する心的特性推定ステップと、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来から、教育や保育の現場において、教育や保育を受ける対象者に対して、学習レベルに応じた難易度や重要度の問題コンテンツを提示するという技術が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、現在では、教育や保育を受ける対象者に対して、最適な教育や保育を施すためには、単に学習レベルだけではなく、対象者の心的状態や発達特性が考慮されることが要求されている。特許文献1を含む従来の技術では、このような要求に十分に応えられていない状況である。
【0005】
本発明は、このような状況に鑑みてなされたものであり、教育や保育を受ける対象者の心的状態や発達特性を適切に推定することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
所定時間帯における所定場所を1単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に取得する取得手段と、
前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する関心対象推定手段と、
前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される1種類以上の場及び特定個人により形成される1種類以上の場の中から、前記複数の単位の夫々を1種類以上の場に分類する場分類手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、教育や保育を受ける対象者の心的状態や発達特性を適切に推定することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る情報処理システムの構成を示すブロック図である。
【
図2】本発明の一実施形態に係るサービスの概要を説明するための説明図である。
【
図3】
図1の情報処理システムのうち、本発明の一実施形態のサーバのハードウェア構成を示すブロック図である。
【
図4】
図3のサーバ、クライアント端末の機能的構成例を示す機能ブロック図である。
【
図5】
図4のサーバが実行する特性情報推定処理の流れを説明するフローチャートである。
【
図9】心的特性の推定の一例を示すための説明図である。
【
図10】心的特性の推定の一例を示すための説明図である。
【
図11】発達特性の推定の一例を示すための説明図である。
【
図12】本サービスの具体例として、教育施設におけるクライアント(保育者)が、対象者(子ども)に絵本の読み聞かせを行った場合の例を示す図である。
【
図13】本サービスの具体例として、対象となる教育施設が自由時間になった場合の例を示す図である。
【
図14】関心推定の原理を裏付けるための根拠となる尤度距離を算出する手法の一例を示す図である。
【
図16】尤度距離を利用した解析の手法の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
(情報処理システムの概要)
図1は、本発明の一実施形態に係る情報処理システムの構成を示している。
【0011】
図1に示す情報処理システムは、以下に示すサービス(以下、「本サービス」と呼ぶ)を提供する際に適用される。
本サービスでは、観察の対象となる人物(以下、「対象者」と呼ぶ)についての心的特性や発達特性が推定される。
本サービスは、種々の領域(場面)において適用可能であるが、本実施形態では、保育・教育領域において適用される例について説明する。具体的には、本サービスは、教育施設、教育研究機関、教育行政機関等(以下、単に「教育施設」と呼ぶ)において適用されることで、保育や教育を受ける者(以下、「対象者」と呼ぶ)の心的特性や発達特性といった特性が適切に推定される。
なお、以降の説明では、教育施設の管理者等を「クライアント」と呼び、説明を行う。教育施設の管理者等とは、学校の運営を行う職員のほか、教室で対象者を指導、教育する教師(先生)、即ち、保育者等を含む。
【0012】
図1の情報処理システムは、サーバ1と、クライアント端末2と、撮像装置3とを含むように構成される。サーバ1と、クライアント端末2とはインターネット等の所定のネットワークNを介して相互に接続されている。
サーバ1は、本サービスの提供者により管理される。クライアント端末2は、クライアントにより管理される。撮像装置3は、例えばビデオカメラ等で構成され、教育施設に配置される。
【0013】
(本サービスの概要)
次に、
図2を参照して、本サービスの概要について説明する。
図2は、本発明の一実施形態に係るサービスの概要を説明するための説明図である。
図2の例では、図示はしないが、教育施設の所定場所、例えば「教室」において、複数の児童等が対象者として存在し、複数の対象者(例えば、対象者A~D)の各種行動が、撮像装置3により撮像されて観察されるものとする。
即ち、撮像装置3は、
図2の例では「教室」に配置されており、所定時間帯における撮像画像のデータを出力する。撮像画像のデータは、クライアント端末2を介してサーバ1に送信される。
ここで、撮像画像のデータとは、例えば、撮像装置3で撮像された画像に関する各種データと、当該撮像画像が撮像された時間に関する各種データを含むものである。
即ち、サーバ1は、撮像画像のデータを、所定時間帯における所定場所を1単位として取得する。ここで、1単位は、
図2においては「計測場面」として、複数の長方形で区分されて表示されている。そこで、このような1単位を、以下「場面」とも呼ぶ。
即ち、
図2の例では、第1場面は、時間帯「00(分):10(秒)~00(分):29(秒)」及び場所「教室」により特定される。第1場面の撮像画像のデータがサーバ1に取得される。
同様に、第2場面は、時間帯「00(分):30(秒)~00(分):59(秒)」及び場所「教室」により特定される。第2場面の撮像画像のデータがサーバ1に取得される。
第3場面は、時間帯「01(分):00(秒)~01(分):29(秒)」及び場所「教室」により特定される。第3場面の撮像画像のデータがサーバ1に取得される。
第4場面は、時間帯「01(分):30(秒)~01(分):59(秒)」及び場所「教室」により特定される。第4場面の撮像画像のデータがサーバ1に取得される。
【0014】
次に、サーバ1は、各「場面」の撮像画像のデータに基づいて、各「場面」毎の対象者の行動観察結果を、複数の対象者A~D毎に取得する。
そして、サーバ1は、複数の対象者A~D及び各「場面」毎に、夫々取得された行動観察結果に基づいて、個人の関心対象を推定する。
ここで、個人の関心対象は、ひと(例えば「教室」にいる保育者)、もの(例えば教室に存在するおもちゃ)、及びこと(ひとともの以外の事象)の3要素のうち1以上の要素から推定される。
即ち、対象者Aについて、第1場面~第4場面の夫々について、個人の関心対象が推定される。同様に、対象者Bについて、第1場面~第4場面の夫々について、個人の関心対象が推定される。対象者Cについて、第1場面~第4場面の夫々について、個人の関心対象が推定される。対象者Dについて、第1場面~第4場面の夫々について、個人の関心対象が推定される。
【0015】
より具体的には例えば、サーバ1は、複数の対象者A~D及び各「場面」毎に、夫々の撮像画像のデータに基づいて、行動特徴量と環境情報とを抽出する。つまり、行動観察結果とは、少なくとも複数の対象者A~Dの行動特徴量と環境情報を含んでいる。
ここで、行動特徴量とは、対象者の行動に関する特徴量である。位置、向き、姿勢、加速度、表情、発話(音声)、応答時間等が、行動特徴量として取得可能である。
また、環境情報とは、「ひと」、「もの」、「こと」の3つに分類される情報であり、対象者が各「場面」において置かれている外部環境を示す情報である。
即ち、対象者Aについて、第1場面~第4場面の夫々について、行動特徴量と環境情報が抽出される。同様に、対象者Bについて、第1場面~第4場面の夫々について、行動特徴量と環境情報象が抽出される。対象者Cについて、第1場面~第4場面の夫々について、行動特徴量と環境情報が抽出される。対象者Dについて、第1場面~第4場面の夫々について、行動特徴量と環境情報が抽出される。
【0016】
そして、サーバ1は、複数の対象者A~D及び各「場面」毎に、行動特徴量と環境情報とに基づいて、個人の関心対象を推定する。
具体的には例えば、環境情報として、第1場面の対象者Aについて、環境情報として保育者(「ひと」)とおもちゃ(「もの」)が抽出され、対象者Aの行動特徴量に含まれる姿勢が保育者に対して向いている場合、個人の関心対象は、保育者(「ひと」)であると推定される。
【0017】
なお、どのような期間とどのような場所を場面(1単位)として採用してもよいが、期間については短期間(数秒~数時間)を設定することにより、より詳細な関心対象の推定を実現することができる。
また、複数の対象者の夫々の関心対象を推定する詳細については、
図6を参照して後述する。
【0018】
次に、サーバ1は、複数の対象者A~D及び各「場面」毎の「個人の関心対象の推定」の結果に基づいて、集団により形成される1種類以上の「場」及び特定個人により形成される1種類以上の「場」の中から、各「場面」の夫々を1種類以上の「場」に分類する。
具体的には例えば本実施形態では、複数の対象者A~D毎に推定された個人の関心対象の発生頻度と分布から、各「場面」は、6つの類型(第1分類~第6分類)の「場」のうち1類型以上に分類される。
第1分類~第3分類の「場」は、集団により形成される「場」の類型である。第1分類の「場」は、「ひと」に複数の対象者の関心が集まる類型である。第2分類の「場」は、「もの」に複数の対象者の関心が集まる類型である。第3分類の「場」は、「こと」に複数の対象者の関心が集まる類型である。
第4分類~第6分類の「場」は、特定個人により形成される「場」の類型である。第4分類の「場」は、「ひと」に特定個人(特定の対象者)の関心が向く類型である。第5分類の「場」は「もの」に特定個人(特定の対象者)の関心が向く類型である。第6分類の「場」は「こと」に特定個人(特定の対象者)の関心が向く類型である。
例えば、第1場面において、対象者A~Dのうち、3人の対象者A,B,Cの関心対象が保育者(「ひと」)であると推定された場合、第1場面は、第1分類の「場」に分類される。さらに、第1場面において、対象者Dの関心対象が像(「もの」)である場合、第1場面は、第5分類の「場」にも分類される。
即ち、「場面」は、1つの「場」のみならず、複数の「場」にも分類され得るものである。
このように、サーバ1は、個人から大集団までの幅広い関心対象を推定し、また、所定の「場面」を単一又は複数の「場」に分類することを可能とする。ここで、このような所定の「場面」毎に単一又は複数の「場(第1分類~第6分類)」に分類する一連の処理を合わせて、「場の分類」と呼ぶ。
なお、この「場面」の分類には、例えば、ディープラーニングや深層学習等の機械学習に係る各種手法を利用することができる。また、「場面」の分類の詳細については、
図7、
図8を参照して後述する。
【0019】
次に、サーバ1は、複数の対象者A~D及び各「場面」毎の「場の分類」の結果に基づいて、各対象者の心的特性を推定する。
具体的に例えば、本実施形態では、複数の対象者A~D毎に推定された個人の関心対象及び推定時における複数の対象者A~D毎に個人の行動特徴量と、夫々の「場」における行動特徴量の平均値からのズレを分析することで、複数の対象者A~D毎に心的特性が確率的に推定される。
さらに言えば本実施形態では、複数の対象者A~D毎に個人の行動特徴量と、夫々の「場」における、行動特徴量の平均値からのズレを分析することで、心的特性の推定がなされる。
したがって心的特性の推定には、例えば数日~数か月の中期的な情報の蓄積が望ましく、このようなデータの蓄積により推定精度の向上が期待される。なお、心的特性の推定とは、例えば、発達障害、いじめ、ストレス耐性等の推定を含む。
なお、この心的特性の推定においても、例えば、ディープラーニングや深層学習等の機械学習に係る各種手法を利用することができる。
また、心的特性の推定及び発達特性の詳細については、
図9乃至
図11を参照して後述する。
【0020】
以上が、本サービスの概要である。次に、上記した本サービスを実現するための本実施形態における情報処理システムのハードウェア構成および機能ブロック図について説明する。
【0021】
(情報処理システムのハードウェア構成)
図3は、
図1の情報処理システムのうちサーバ1のハードウェア構成を示すブロック図である。
【0022】
サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
【0023】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0024】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。
【0025】
出力部16は、各種液晶ディスプレイ等で構成され、各種情報を出力する。
入力部17は、各種ハードウェア等で構成され、各種情報を入力する。
記憶部18は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(
図1の例では、クライアント端末2)との間で行う通信を制御する。
【0026】
ドライブ20は、必要に応じて設けられる。ドライブ20には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。またリムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することが出来る。
【0027】
クライアント端末2の構成は、サーバ1の構成と基本的に同様であるので、ここではそれらの説明は省略する。
【0028】
このような
図3のサーバ1、クライアント端末2の各種ハードウェアと各種ソフトウェアとの協働により、一連の処理が実行されることで上記した本サービスの提供が可能となる。
【0029】
すなわち、クライアント端末2は、クライアントにより撮影された撮像画像のデータをサーバ1に送信する。
なお、サーバ1への撮像画像のデータの送信タイミングは、任意でよいが、所定のタイミング(例えば、1日毎)に自動で送信されるものとしてもよい。
【0030】
サーバ1は、クライアント端末2から送信された撮像画像のデータを取得すると、当該撮像画像のデータを解析する。そして、上述したように、サーバ1は、撮像画像のデータに基づいて、複数の「場面」の夫々において各対象者の関心対象を推定し、当該「場面」を6つの類型の「場」に分類し、各対象者の心的特性、発達特性を推定する。そして、サーバ1は、推定したこれらの各種推定情報をクライアント端末2に送信する。
【0031】
クライアント端末2は、サーバ1からの各種推定情報を受信すると、当該情報をクライアントに提示する。
【0032】
(情報処理システムの機能ブロック図)
以上説明したような一連の処理を実現すべく、サーバ1、クライアント端末2を含む情報処理システムは、
図4に示すような機能的構成を有している。
図4は、
図1のサーバ1、クライアント端末2、撮像装置3の機能的構成例を示す機能ブロック図である。
【0033】
クライアント端末2のCPU21においては、撮像画像管理部211と、出力情報取得部212とが機能する。
【0034】
クライアント端末2の撮像画像管理部211は、撮像装置3によって撮像された撮像画像のデータを、通信部22を介してサーバ1へ送信するための制御を実行する。
なお、撮像装置3によって撮像された撮像画像のデータは、撮像装置3からクライアント端末2に対して、有線又は無線の通信方式により、送信されてくる。
【0035】
クライアント端末2の出力情報取得部212は、通信部22を介してサーバ1から送信されてくる対象者の心的特性や発達特性に関する各種情報等(以下、「出力情報」と呼ぶ)を取得する。
また、出力情報取得部212は、取得した出力情報を、表示部24に表示させる制御を実行する。
【0036】
サーバ1のCPU11においては、撮像画像取得部111と、撮像画像解析部112と観察結果取得部113と、関心対象推定部114と、場分類部115と、心的特性推定部116と、発達特性推定部117と、出力データ生成部118と、出力データ提示部119とが機能する。
【0037】
サーバ1の撮像画像取得部111は、所定時間帯における所定場所を1単位として、クライアント端末2から送信されてくる撮像画像のデータを通信部19を介して取得する。
【0038】
サーバ1の撮像画像解析部112は、撮像画像取得部111により取得された撮像画像のデータを解析する。
具体的には、撮像画像解析部112は、撮像画像取得部111により取得された撮像画像のデータに基づいて、取得された画像のデータと「場面(例えば第1場面)」との紐づけを行う。
【0039】
サーバ1の観察結果取得部113は、所定時間帯における所定場所を1単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に抽出する。
即ち、観察結果取得部113は、各「場面(例えば、第1場面~第4場面)」の撮像画像のデータに基づいて、各「場面」毎の、対象者の行動観察結果を、複数の対象者A~D毎に抽出する。
【0040】
サーバ1の関心対象推定部114は、前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する。
即ち、関心対象推定部114は、複数の対象者A~D及び、各「場面(例えば第1場面~第4場面)」毎に、観察結果取得部113により抽出された行動特徴量と環境情報とに基づいて、複数の対象者の夫々について個人の関心対象を推定する。なお、関心対象を推定する方法の詳細については、
図6等を用いて後述する。
【0041】
サーバ1の場分類部115は、前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される1種類以上の場及び特定個人により形成される1種類以上の場の中から、前記複数の単位の夫々を1種類以上の場に分類する。
即ち、場分類部115は、関心対象推定部114により推定された複数の対象者(例えば、対象者A~D)及び各「場面(例えば、第1場面~第4場面)」毎の「個人の関心対象の推定」の結果に基づいて、集団により形成される1種類以上の場及び特定個人により形成される1種類以上の場の中から、各「場面」を1種類以上の「場」に分類する。
具体的には、場分類部115は、複数の対象者毎に推定された個人の関心対象の発生頻度と分布から、各「場面」を、6つの類型(第1分類~第6分類)の「場」のうち1類型以上に分類する。
さらに、場分類部115は、この「場の分類」の結果を、分類DB500に格納する。なお、「場の分類」の方法の詳細については、
図8等を用いて後述する。
【0042】
サーバ1の心的特性推定部116は、前記関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動観察結果と、当該所定単位における他の人物の行動観察結果の平均値との差異に基づいて、当該所定人物の心的特性を推定する。
即ち、心的特性推定部116は、複数の対象者A~D及び各「場面」との「場の分類の結果」に基づいて、各対象者の心的特性を推定する。
具体的に例えば本実施形態では、複数の対象者A~D毎に推定された個人の関心対象及び推定時における複数の対象者A~D毎に個人の行動特徴量と、夫々の「場」における行動特徴量の平均値からのズレを分析することで、複数の対象者A~D毎に心的特性が確率的に推定される。
また、心的特性推定部116は、複数の対象者A~D毎に推定した心的特性の推定の結果を心的特性DB600に格納する。
ここで、心的特性推定部116により推定される心的特性とは、例えば、「開放性」、「積極性」、「勤勉性」、「安定性」、「適応性」、「リーダーシップ」の6つの性質が含まれる。この心的特性の推定の方法の詳細は、
図9等を用いて後述する。
【0043】
サーバ1の発達特性推定部117は、前記心的特性推定手段により推定された所定人物の心的特性の長期的な推移の特徴と、標準的な心的特性の長期的な推移の特徴との差異に基づいて、所定人物の発達特性を推定する。
具体的に例えば本実施形態では、発達特性推定部117は、複数の対象者A~D毎に推定された各対象者の心的特性の長期的な推移の傾向と、夫々の「場」における平均的な心的特性の長期的な推移傾向との差異に基づいて、複数の対象者A~Dの夫々の発達特性を推定する。
【0044】
サーバ1の出力データ生成部118は、関心対象推定部114で推定された各対象者の関心対象の推定の結果、場分類部115で分類された「場の分類」の結果、心的特性推定部116で推定された各対象者の心的特性の推定の結果、発達特性推定部117で推定された各対象者の発達特性の推定の結果等に基づいて、出力データを生成する。
さらに、出力データ生成部118は、生成した出力データを記憶部18に設置された図示せぬデータベースに、その情報を格納する。
【0045】
サーバ1の出力データ提示部119は、出力データ生成部118で生成された出力データを通信部19を介してクライアント端末2へ送信する制御を実行する。
【0046】
(特性情報推定処理)
次に、
図5を参照して、
図4の機能的構成を有するサーバ1が実行する特性情報推定処理について説明する。
図5は、サーバ1が実行する特性情報推定処理の流れを説明するフローチャートである。
【0047】
ステップS1において、撮像画像取得部111は、所定時間帯における所定場所を1単位として、クライアント端末2から送信されてくる撮像画像のデータを通信部19を介して取得する。
【0048】
ステップS2において、ステップS1で取得された撮像画像のデータを解析する。
具体的には、撮像画像解析部112は、撮像画像取得部111により取得された撮像画像のデータに基づいて、取得された画像のデータと「場面(例えば第1場面)」との紐づけを行う。
【0049】
ステップS3において、観察結果取得部113は、所定時間帯における所定場所を1単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に抽出する。
即ち、観察結果取得部113は、各「場面(例えば、第1場面~第4場面)」の撮像画像のデータに基づいて、各「場面」毎の、対象者の行動観察結果を、複数の対象者A~D毎に抽出する。
【0050】
ステップS4において、関心対象推定部114は、前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する。
即ち、関心対象推定部114は、複数の対象者A~D及び、各「場面(例えば第1場面~第4場面)」毎に、ステップS3で抽出された行動特徴量と環境情報とに基づいて、複数の対象者の夫々について個人の関心対象を推定する。
【0051】
(関心対象の推定)
ここで、上記したステップS4における関心対象の推定の詳細について
図6を参照して説明する。
図6は、関心対象の一例を説明するための図である。
【0052】
図6は、子どもが幼稚園などで活動するシーン(保育のシーン)における各対象者の関心対象の推定の一例を示す。
図6の例では、場面K1(計測時間1、教室)における、ある子供(対象者)の関心対象が、ひと「43%」、もの「26%」、こと「31%」であったことを示されている。また、関心対象の詳細としては、「友達A」、「友達B」、「友達C」、「担任」であることが示されている。
この関心対象の推定は、具体的に例えば、環境情報により識別された「ひと」、「もの」、「こと」への対象者の「位置」、「向き」、「距離」、「時間(関わる対象を注視している時間等)」等により行われる。
さらに具体的には、例えば、担任の保育者へ親しみをもつ場合や仲の良い友達である場合には、対象者と保育者や友達との距離が近く、保育者や友達に視線が向くため、随伴する頭、肩などの対象者の姿勢や、視線の持続時間の長さから、関心対象であることを推定可能となる。また、関心対象の近くでは、対象者の滞在時間も長くなる。
これらをまとめると、即ち、対象者が自身の意思でかかわりの対象へ注意を向けるときに生じる行動特徴量によって関心対象が推定される。また、このような関心対象の推定は、数秒から数時間程度の短期的な情報の取得によって実現が可能である。
【0053】
説明は
図5に戻り、ステップS5において、場分類部115は、前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される1種類以上の場及び特定個人により形成される1種類以上の場の中から、前記複数の単位の夫々を1種類以上の場に分類する。
即ち、場分類部115は、ステップS4で推定された複数の対象者(例えば、対象者A~D)及び各「場面(例えば、第1場面~第4場面)」毎の「個人の関心対象の推定」の結果に基づいて、集団により形成される1種類以上の場及び特定個人により形成される1種類以上の場の中から、各「場面」を1種類以上の「場」に分類する。
【0054】
(「場」の分類)
ここで、上記したステップS4における「場の分類」の方法の詳細について、
図7及び
図8等を参照しつつ、説明する。
図7、
図8は、「場の分類」の方法の一例を説明するための図である。
【0055】
図7は、実際に所定の「場面K(時間:0030(秒)~0059(秒)、場所:教室)」を類型(第1分類~第6分類)の「場」へ分類する場合の例を示している。
ここで、「場」の類型への分類は、各対象者の関心対象の推定と同時に得られた行動特徴(例えば、位置や向き)、環境情報(例えば、物体や人物の配置等)から行われる。
また、この「場」の類型への分類は、複数人の関心対象が収束する集団の「場」の類型(第1分類~第3分類)であるか、個人の「場」の類型(第4分類~第6分類)であるかを、物体認識等で判別することもできる。
【0056】
続いて、
図8を参照しつつ、幼稚園での紙芝居の読み聞かせのシーン(保育のシーン)を例に、「場の分類」の具体的な方法について説明していく。
【0057】
「場の分類」では、まず集団により形成される関心の「場」(第1分類~第3分類)と個人により形成される関心の「場」(第4分類~第6分類)のいずれであるかが判別される。
例えば、
図8の例では、保育者Tは紙芝居の読み聞かせを行っているため、多くの対象者(子供C1~C4)の関心は、保育者Tに向いていると推定される。
具体的には、子供C1~C4は、視線を保育者Tへと向けて、紙芝居の見やすい位置に座る等の行動特徴を示しており、子供C1~C4の関心対象は、「ひと」(保育者T)であると推定される。このような場合、子供C1~C4が参加する当該「場面G(時間:0030(秒)~0059(秒)、場所:教室)」は、第1分類に分類される。
一方で、同様の場面Gであっても、紙芝居の中の象へ関心を向け、立ち歩き大きな声で「象だよ!」と叫ぶ子供C5がいるとする。
この時、
図8に示す通り、子供C5の姿勢は、直立し、紙芝居へと向き、関心対象(紙芝居の中の象)との距離が近くなる。
このため、これらの行動特徴量から、この「場面」においては、子供C5(一人の対象者)の関心対象が「もの」(紙芝居の中の象)であると識別できる。したがって、子供C5が参加する当該「場面G(時間:0030(秒)~0059(秒)、場所:教室)」は、第5分類に分類される。
このように、子供C1~C5が参加する同一の「場面G(時間:0030(秒)~0059(秒)、場所:教室)」であっても、複数の分類(例えば、第1分類と第5分類)の「場」に分類され得る。
また、この「場面」は、所定時間(時間単位)と所定場所により決定される。そのため、同一のシーン(保育のシーン)であっても、時間経過によって「場面」の分類も変遷していくことになる。
このように、本サービスでは、複数の「場面」の夫々に対して、個人から大集団までの関心対象の推定と当該「場面」の分類(「場の分類」)とが可能となる。
ここで、上述の通り、このような「場」の分類では、例えば、ディープラーニングや深層学習等の機械学習に係る各種手法を利用することができる。
【0058】
説明は
図5に戻り、ステップS6において、心的特性推定部116は、前記関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動観察結果と、当該所定単位における他の人物の行動観察結果の平均値との差異に基づいて、当該所定人物の心的特性を推定する。
即ち、心的特性推定部116は、複数の対象者A~D及び各「場面」との「場の分類の結果」に基づいて、各対象者の心的特性を推定する。
【0059】
(心的特性の推定)
ここで、上記したステップS6における関心対象の推定の詳細について
図9、
図10を参照しつつ、説明する。
図9、
図10は、心的特性の推定の方法の一例を説明するための図である。
図9及び
図10を見ると、心的特性は、例えば、6つの要因(開放性、積極性、勤勉性、安定性、適応性、リーダーシップ)から構成される。
【0060】
開放性とは、心的特性の要因の一つであり、好奇心を持ち行動する性質である。例えば、何にでもすぐに気がつき見に行くなど、様々な「ひと」、「もの」、「こと」が幅広く関心対象として推定される場合に対象となり得る。
この関心対象の幅広さは、各対象者の関心対象の頻度分布の均一/集中の関係と、各「場」における関心対象の平均との差から推定される。即ち、開放性の特徴は、関心対象のバラつき(幅広さ)が大きい点である(各「場」における関心対象の頻度分布)。
なお、バラつきが大きすぎる場合には注意散漫傾向であるとも考えられるため、必ずしもバラつきが大きいほど良いということにはならない。
【0061】
積極性とは、心的特性の要因の一つであり、自信を持ち行動する性質である。例えば、質問に対してすぐに答える、直ぐに保育者の動きをまねる、並ぶのが早い、朝すぐにロッカーに向かい身仕度をする等の積極的な行動がみられるような場合に対象となり得る。
この積極性は、例えば、関心対象へと向かう速度や姿勢により推定される。例えば、積極性が推定される場合とは、関心対象へ向かう速度は上がり、姿勢は前のめり、胸を張る、歩幅が大きいというような場合である。
また、積極性があると推定される場合には、関心対象からの働きかけ(問いかけ:動きの模倣や質問)に対する反応時間は早くなる。この関心対象へと向かう速度や姿勢(レスポンス)は、対象者のレスポンスと、各「場」におけるレスポンスの平均との差から推定される。
即ち、積極性の特徴は、関心対象との応答が早い、レスポンス(加速度、姿勢、発話、行動に対する反応速度)が早い点である。
【0062】
勤勉性とは、心的特性の要因の一つであり、集中したり、我慢をしたりする性質である。
具体的には、紙芝居を見る、お絵かきの時間に絵を描く、保育者の話を聞く、座って待つ、机で勉強するなどの持続時間により、勤勉性が推定される。勤勉性が有る場合には、関心対象に対して集中したり、我慢したりすることで、関心対象に対する頭や体の向き、位置は一定時間持続する。この関心対象への持続時間は、各対象者の持続時間と、「場面」における持続時間の平均との差から推定される。即ち、勤勉性の特徴は、「場」における平均的な関心対象に収束する位置、視線、姿勢とその持続時間が長い点である。
【0063】
安定性とは、心的特性の要因の一つであり、安心して落ち着いている性質である。例えば、笑顔で活動に参加する、泣く・喧嘩する、保育者の手や服を握り続ける、突然歩き回る、大声を出す等の基準を基に対象となるか否かが判断される。
この安定性は、各「場」における対象者の行動の各「場」における平均との差(ズレ)が大きい程、低くなる。一方で、各「場」における対象者の行動が各「場」における平均に近く分散が小さい場合、より安定性は高いと言える。即ち、安定性の特徴は、「場」における行動特徴量(位置、向き、距離、加速度、表情等)の分散(ハズレ値)が少ない点である。
なお、不安度が高い場合のように安定性が低い場合には、対象者は、特定の「ひと」や「もの」に愛着行動を示す。また、待つことが苦手な場合には、対象者は、立ち歩いたり、ケンカをすれば特定の「ひと」に治する運動量(加速度)や発声(大声)が生じ、行動特徴量の分散が大きくなる。反対に、安定性が高い場合には、行動特徴量は平均に近く分散が小さくなる。この行動特徴量の分散は、各対象者の参加する「場(分類された)場」における全対象者の行動特徴量の平均との差(ズレ)から推定される。
【0064】
適応性とは、心的特性の要因の一つであり、周りの空気を読もうとする(その場の雰囲気方から状況を推察する)性質である。例えば、紙芝居や絵本を見る、集団で授業を受ける、並んで待つ、片付けをはじめる等のその場の雰囲気から状況を推察する等の行動がみられるような場合に対象となり得る。
この適応性は、例えば、集団の「場」において、主となる特徴(紙芝居を読む「場」での姿勢、向き等の平均)からの尤度距離の近さ等から推定される。
即ち、適応性の特徴は、個人の特徴ベクトルと集団の「場」における特徴ベクトルの平均との間の尤度距離(位置、向き、距離)が小さいという点である。
なお、適応性は、安定性と類似した特性を持つが、集団(社会)の「場」に対する適応のしやすさを推定することに主眼を置いている。
【0065】
リーダーシップとは、心的特性の要因の一つであり、状況を作ろうとする性質である。例えば、リレーのチーム決めなど、グループをとりまとめる、困った子が助けを求める(わからないことを聞きにくる)等の行動がみられるような場合に対象となり得る。
このリーダーシップは、集団の「場」において、他者の関心対象となる頻度から推定される。つまり、リーダーシップを有する対象者は、集団に語りかけたり意見を提案したりすることで、周囲から頼られ、他者からの関心対象となる頻度が高い(つまり、他者の位置、向き、などの行動特徴量が対象者に向く傾向が高い)。
即ち、リーダーシップの特徴は、集団の「場」において他者からの関心対象となる頻度(他者の位置、向き、発話)が高い点である。
なお、心的特性推定部116は、推定した各対象者の心的特性に関するデータ(以下、「心的特性データ」と呼ぶ)を心的特性DB600に格納する。
【0066】
以上のように、心的特性として6つの要因が推定されるが、この推定は、数日から数か月の中期的なデータ分析に基づいて行われることが特に望ましい。このような、心的特性の推定データが蓄積されることにより、推定精度の向上が期待される。
さらに、上述のとおり、サーバ1では、ディープラーニングや深層学習等の機械学習に係る各種手法を利用することができ、これにより推定精度の更なる向上が期待される。
【0067】
説明は
図5に戻り、ステップS7において、発達特性推定部117は、前記心的特性推定手段により推定された所定人物の心的特性の長期的な推移の特徴と、標準的な心的特性の長期的な推移の特徴との差異に基づいて、所定人物の発達特性を推定する。
具体的に例えば、本実施形態では、発達特性推定部117は、複数の対象者A~D毎に推定された各対象者の心的特性の長期的な推移の傾向と、夫々の「場」における平均的な心的特性の長期的な推移傾向との差異に基づいて、複数の対象者A~Dの夫々の発達特性を推定する。
【0068】
(発達特性の推定)
ここで、上記したステップS7における発達特性の推定の詳細について
図11を参照して説明する。
図11は、発達特性の推定の一例を説明するための図である。
【0069】
図11に示すように、発達特性は、例えば、3つの側面(心情的発達特性側面、身体的発達特性側面、知能的発達特性側面)に分類される。
ここで、特に
図11を参照しつつ、発達特性の推定について説明する。
発達特性の推定を行うには、数年の長期的計測より蓄積された心的特性のビックデータから標準発達モデルの構築を行うことが特に好ましい。このため、大量のデータの収集に基づいて、全体平均による標準発達モデルの構築が行われ、さらにその標準発達モデルからの個人(対象者)のズレの推定が行われてもよい。
具体的に例えば、
図11の例では、子どもの出生から7年間(保育園入園から小学校入学まで)の発達特性を模した例であり、「心情的発達特性側面」、「身体的発達側面」、「知能的発達側面」の三側面を描いている。換言すれば、「こころ」「からだ」「あたま」の育ちの可視化である。
即ち、発達特性推定部117により推定される発達特性は、従来の発達指標とは異なり、心的特性の長期的計測により個々人の個性の発達の特性の推定が期待できる。
なお、ここでは、心情的発達特性側面を非認知能力、社会情動的スキルといった人間性(パーソナリティ)に関する能力を表すものとする。
このような発達特性は、例えば、知能テストや体力テストへの応用等が期待され、また、知能テストや体力テスト以外にも既存の医療カルテ、成績表、SNS情報等の外部データとの同期により包括的な人の発達指標の導出等も期待される。
また、発達特性を推定する対象は、必ずしも子供に限られるものではなく、成人から高齢者までといった非常に長期的な個人の発達特性の推移の変化を出力するといった応用も可能である。
【0070】
説明は
図5に戻り、ステップS8において、出力データ生成部118は、ステップS4で推定された各対象者の関心対象の推定の結果、ステップS5で分類された「場の分類」の結果、ステップS6で推定された各対象者の心的特性の推定の結果、ステップS7で推定された各対象者の発達特性の推定の結果等に基づいて、出力データを生成する。
さらに、出力データ生成部118は、生成した出力データを記憶部18に設置された図示せぬデータベースに、その情報を格納する。
【0071】
ステップS9において、サーバ1は、処理の終了指示があったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ1のいわゆる電源等の遮断指示が採用されている。つまり、サーバ1において電源の遮断指示がなされない限り、ステップS9においてNOであると判断されて処理はステップS1に戻され、それ以降の処理が繰り返される。
これに対して、サーバ1においてスリープ状態等への移行指示がなされると、ステップS9においてYESであると判断されて、サーバ1の実行する特性情報推定処理は終了になる。
【0072】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。
また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【0073】
ここで、図示はしないが、本サービスにおいて、実行されるアノテーション処理は、必ずしも手動で行われる必要はなく、半自動で実行されてもよい。
具体的に例えば、対象者の氏名や性別等の属性、撮像画像、追跡データ、行動観察結果等の情報を、半自動的に付加し、行動特徴量を編集可能なダイアログが表示されるような仕様としてもよい。また、例えば、このダイアログには、行動特徴量として、例えば「興味・関心の対象」、「視線」、「身体の向き」、「表情」等を登録可能とする入力フォームを設けてもよい。
【0074】
(本サービスの具体例)
次に、
図12を参照しつつ、上述の実施形態におけるデータ処理について、具体的な事例について、説明する。
図12は、本サービスの具体例として、教育施設におけるクライアント(保育者)が、対象者(子ども)に絵本の読み聞かせを行った場合のデータ処理の一例を示す図である。
【0075】
図12の破線で囲まれた領域12-1には、本サービスが適用される教育施設の平面図が描画されている。
図12の例では、クライアント(保育者)が18人の対象者(子ども)に対して、読み聞かせを行った場合の、18人の対象者(子ども)の位置や視線の方向が、画像処理の結果の情報として、示されている。
即ち、18人の対象者(子ども)の夫々の位置を示す複数の点C(1乃至18)と、夫々の対象者(子ども)の視線の向きを示す線D(1乃至18)とが示されている。なお、点Bは、複数の線Dの延長線上の交点を示している。
また、線Dが示されていない点については、例えば、クライアント(保育者)等であり、対象者(子ども)以外の者の位置を示している。
図12の例では、領域EAに枠Eが密集しており、点Bのバラつきを示す領域Fの面積も小さい。また、点Cも一定の対象の周辺に収束している。つまり、
図12の例では、18人の対象者(子ども)の視線が読み聞かせをしているクライアント(保育者)に向いており、夫々の子供のほとんどすべての関心対象が、読み聞かせをしているクライアント(保育者)になっていることが推測される。
【0076】
図12の破線で囲まれた領域12-2には、対象となる教育施設を複数の角度から撮像した撮像画像が示されている。
図12の破線で囲まれた領域12-3には、18人の対象者(子ども)の関心対象を示すグラフが表示されている。
【0077】
図13は、本サービスの具体例として、対象となる教育施設が自由時間になった場合の例を示す図である。
【0078】
図13の破線で囲まれた領域13-1には、
図12の領域12-1と同様に、対象となる教育施設の平面図に、点Cと、線Dと、点Bと、枠Eとが表示されている。
図13の例では、18人の対象者(子ども)の夫々の位置を示す点Cが離散しており、点Bのバラつきを示す領域Fの面積も大きい。また、枠Eも離散している。
つまり、
図13の例では、18人の対象者(子ども)の夫々は、自由時間を過ごしているため、夫々が異なる方向に視線を向けており、関心対象にもバラツキが生じていることが推測される。
【0079】
図13の破線で囲まれた領域13-2には、
図12の領域12-2と同様に、対象となる教育施設を複数の角度から撮像した撮像画像が示されている。
破線で囲まれた領域12-3には、
図12の領域12-3と同様に、18人の対象者(子ども)の関心対象を示すグラフが表示されており、18人の対象者(子ども)の夫々の関心対象として、「保育者との関わり」、「子ども(友達)との関わり」、「全体(ことがら)との関わり」、「集団の保育活動に関連しない「ひと」の関わり」、「「もの」との関わり」、「飽きている」が項目として挙げられている。このグラフによると、18人の対象者(子ども)の関心対象にバラつきが生じていることがわかる。
【0080】
ここで、上述の通り、対象者(子ども)が視線を向けているということが、その子供の関心対象であるという点について、
図14及び
図15を参照しつつ、簡単に補足する。
【0081】
図14は、関心推定の原理を裏付けるための根拠となる尤度距離を算出する手法の一例を示す図である。
【0082】
尤度距離は、
図14の左側に示すように、クライアント(保育者)により記録(記述)された対象者(子ども)の関心対象と、行動観察結果(例えば20,736秒にわたる撮像画像のデータに基づく行動観察結果)から作成された関心対象間の角度の確率分布とに基づいて算出することができる。
なお、
図14で示している「角度」とは、二次元平面上の「角度」を意味しているが、これはあくまでも例示であり、例えば、「角度」とは、三次元空間上の「角度」を意味していてもよい。
関心対象間の角度の確率分布は、例えば
図14の右側に示すように、関心対象に対する頭の角度(f(xHead))の分布を表すグラフで示すことができる。
即ち、
図14のグラフに示すように、ある瞬間の対象者(子ども)の頭の角度(f(xHead))が「0(ゼロ)」又はその付近の角度のときに、対象者(子ども)の視線の先に関心対象があることがわかる。
【0083】
【0084】
上述したように、
図14に示すグラフは、ある瞬間における対象者(子ども)の、関心対象に対する頭の角度(f(xHead))の分布を表している。これに対し、
図15の表に示すように、「瞬間」ではなく「連続する時間(例えば1秒、2秒等)」で捉えた場合には、関心対象の推定の正答率(信頼性)に違いが生じる。
例えば、ある「瞬間」における対象者(子ども)の頭の角度に基づいて関心対象を推定すると、
図15に示すように、第1候補として推定された関心対象の正答率(信頼性)は、平均で「24.1%」となる。また、第3候補まで含めた場合の正答率(信頼性)は、平均で「48.8%」となる。
また、対象者(子ども)の頭の角度が所定の角度で連続して1秒間維持された場合の関心対象を推定すると、第1候補として推定された関心対象の正答率(信頼性)は、平均で「30.7%」となる。また、第3候補まで含めた場合の正答率(信頼性)は、平均で「61.2%」となる。
また、対象者(子ども)の頭の角度が所定の角度で連続して2秒間維持された場合の関心対象を推定すると、第1候補として推定された関心対象の正答率(信頼性)は、平均で「32.7%」となり、1秒間維持された場合よりも2ポイント上昇する。また、第3候補まで含めた場合の正答率(信頼性)は、平均で「65.1%」となり、1秒間維持された場合よりも約4ポイント上昇する。
また、対象者(子ども)の頭の角度が所定の角度で連続して3秒間維持された場合の関心対象を推定すると、第1候補として推定された関心対象の正答率(信頼性)は、平均で「33.5%」となり、2秒間維持された場合よりも約1ポイント上昇する。また、第3候補まで含めた場合の正答率(信頼性)は、平均で「67.0%」となり、2秒間維持された場合よりも約2ポイント上昇する。
このように、対象者(子ども)の頭の角度が所定の角度で連続して1秒間以上維持された場合には、「瞬間」の場合よりも飛躍的に正答率(信頼性)が向上することがわかる。
【0085】
図16は、尤度距離を利用した解析の手法の一例を示す図である。
【0086】
図16の破線で示された領域16-1には、「人による分類」、即ち、クライアント(保育者)等の熟練したスキルを持つ者によって、対象者(子ども)の関心対象の全体の平均からの尤度距離を示すグラフが示されている。
他方、
図16の破線で示された領域16-2には、「自動分類」、即ち、行動観察結果に基づいて作成された、各瞬間の行動発生確率の平均からの尤度距離を表すグラフが示されている。
図16の例では、縦軸に夫々の対象者(子ども)、横軸に抽出された状況毎の時系列的な変化が示されている。また、
図16の例では、白と黒の濃淡によって、夫々の対象者(子ども)の関心対象の平均からの距離が示されている。
【0087】
具体的に例えば、領域16-1の下段の1番の対象者(子ども)の例を見ると、特に白い点線で囲っている場面(20番:「エリカ読み聞かせ」、23番:「自由時間」、25番:「次の活動を待つ」)において、他の子供とは大きく異なる(尤度距離の遠い)関心対象を示していることが分かる。
このような1番の対象者(子ども)の傾向は、領域16-2示す「自動分類」においても同様である。
即ち、
図16例では、熟練したスキルを持つ者による「人による分類」と、上述の実施形態を含む、本サービスに関連する各種手法を用いた「自動分類」とが、例えば、1番の対象者が(子ども)が、他とは異なる関心対象を示しているという点において、同様の結果を示しているということを意味しており、本サービスに関連する各種手法を用いた「自動分類」の妥当性を支持するものである。
換言すれば、これらのデータは、対象者(子ども)の関心対象は、対象者(子ども)の位置と向きとに基づいて推定することができるということを示唆するものである。
【0088】
図16の破線で示された領域16-2には、「自動分類」、即ち、行動観察結果に基づいて自動作成された、各瞬間の行動発生確率の平均からの尤度距離を表すグラフが示されている。
図16の破線で示された領域16-3には、行動観察結果に基づいて自動的に分類される、対象者(子ども)の状況の具体例が示されている。具体的には、「保育者の説明を聞く」、「保育者とおはようの歌を歌う」、「次の活動を待つ」、「保育者と歌をうたう」、といった状況が示されている。
【0089】
さらに、本サービスによる自動分類の結果に基づいて、対象者(子ども)の個々の特性を推定することもできる。
【0090】
これにより、例えばクライアント(保育者)として注意しなければならない対象者(子ども)や集団(例えば学級)を効率よく把握することができる。
集団(例えば学級)から外れがちな対象者(子ども)がいる場合、その「外れ方」はいろいろあり、その原因も様々であるが、本サービスによる自動分類によれば、クライアント(保育者)は場面に応じた行動分布を把握することが可能となる。これにより、クライアント(保育者)は、行動分布から算出された行動の尤度距離に基づいて、注意すべき対象者(子ども)や集団(例えば学級)を判断することができる。また、注意すべき対象者(子ども)や集団(例えば学級)の保護者と協調していくことが可能となる。
【0091】
具体的には、クライアント(保育者)は、対象者(子ども)の特性の推定結果から、対象者(子ども)の友達関係を把握して、集団に属する対象者(子ども)の要注意度を推定することができる。
また、クライアント(保育者)は、複数の対象者(子ども)の特性の推定結果から、集団(例えば学級)全体のざわつき度や集中度を把握することができる。換言すると、集団(例えば学級)全体の空気(雰囲気)を定量化して、他の集団と比較することができる。
また、クライアント(保育者)は、集団(例えば学級)をリードする複数の対象者(子ども)が属する母集団を形成させることもできる。これにより、集団(例えば学級)の品質をコントロールすることも可能となる。
【0092】
さらに、本サービスによれば、次に掲げることを実現させることもできる。
即ち、対象者(子ども)の夫々の運動量、及び滞在している位置に基づいて、関心対象を推定することもできる。
また、クライアント(保育者)を注目しない対象者(子ども)や、注目しすぎる対象者(子ども)を推定することができる。
また、対象者(子ども)同士、又は対象者(子ども)と先生との間における、物理的・心的な近さを推定することもできる。
また、対象者(子ども)同士、又は対象者(子ども)と先生との間で動作の同期を測ることで、対象者の活動への参加の度合いを推定することもできる。
また、対象者(子ども)の分類と、集団行動の分類とを組合せることにより、どんな活動に熱心又は不熱心になっているか、何を得意又は不得意とするかといった見地を含む、多元的な個性の把握を可能とすることができる。
【0093】
ここで、本発明の一実施形態に係る情報処理システムの応用例について、簡単に説明する。
上述した実施形態のように、本サービスが保育・教育領域において適用される場面においては、「子供の発達障害の早期発見(縦段的な発達研究)」、「学習への意欲の推定(教育効果の検証等)」、「教育活動のリスク要因の推定(事故、いじめの予防等)」、「適切な職業タスクの推定(教育適性の推定等)」等に応用が期待される。
なお、これらの応用例は、例えば、「保育、教育施設」、「教育研究機関」、「教育行政機関」等で実行され得る。
【0094】
また、上述の実施形態では、本サービスが保育・教育領域において適用される例について説明したが、本サービスは、他の領域においても適用することができる。具体的には、本サービスは、医療・介護領域、マーケティング領域、あるいはロボットサービス領域に適用してもよい。
例えば、本サービスが医療・介護領域において適用される場合においては、「認知症推定判断(認知症の早期発見、進行度推定)」、「精神健康度推定(患者、職員のストレスマネジメント)」等に応用が期待される。
なお、これらの応用例は、例えば、「医療施設」、「介護施設」、「企業人事」等で実行され得る。
また、同様に、例えば、本サービスがマーケティング領域において適用される場面においては、「顧客の心的状態の評価(顧客のニーズの抽出)」、「関心を反映した設計提案(設備配置等の最適化推定)」等に応用が期待される。
なお、これらの応用例は、例えば、「商業施設」、「設計事業」等で実行され得る。
また、同様に、例えば、本サービスがロボットサービス領域において、適用される場面においては、「家庭、介護、職場ロボットによる人の感情推定」、即ち、ロボットによる接客、生活支援、ストレス緩和等に応用が期待される。
なお、これらの応用例は、ロボットを開発する企業やロボットが利用される現場(例えば、個人、法人等)等で実行され得る。
【0095】
例えば、上述の実施形態において、6つの類型(第1分類~第6分類)の「場」に分類する方法を採用して説明を行ったが、特にこれに限定されない。
即ち、サーバ1では、上述の6つの類型の「場」に分類する以外のあらゆる方法を採用してもよい。例えば、8つの類型の「場」に分類してもよいし、上述の6つの類型の「場」の概念を適宜変更してもよい。
また、上述の実施形態では、6つの類型を大きく、第1分類~第3分類の「場」を、集団により形成される「場」の類型として、第4分類~第6分類の「場」を、特定個人により形成される「場」の類型として規定したが、特にこれに限定されない。
即ち、サーバ1では、他のあらゆる概念を用いて「場」の類型を規定して、「場」の分類を行うことができる。
【0096】
さらに言えば、上述の実施形態では、特許請求の範囲に記載された「1単位」を、「場面」として説明したが、特にこれに限定されず、サーバ1は、「1単位」として、上述の「場面」を含む、あらゆる概念を採用することができる。例えば、サーバ1は、「1単位」として、「1秒程度の短い時間」という概念を採用してもよい。
具体的には、サーバ1は、個人の関心対象の分類を1秒程度の短い時間ごとに行い、それを合わせて集団の関心対象を、1秒程度、あるいはもう少し長い10秒程度で推定する。そして、そこから推定される集団で構成される「場」を決め、その変化点を持って、連続して撮像された画像を「1単位」毎に区切るという手法を採ることもできる。
即ち、特許請求の範囲に記載された「1単位」とは、必ずしも一定期間という幅があって固定されている訳ではなく、集団の関心対象、ひいてはそこで行われている活動が続いている間を意味し、その変化する点をもって当該「1単位」の区切りとしてもよい。
【0097】
上述の実施形態では、サーバ1にインストールされたプログラムが実行されることにより、
図5に示す特性情報推定処理が実行され、本サービスが実現するものとした。しかし、本サービスを実現するためのプログラムは、サーバ1にインストールされて実行されるものではなく、例えばクライアント端末2にインストールされて実行されるものとしてもよい。
【0098】
また、上述の実施形態では、撮像画像のデータ(動画像データ)に基づいて、画像解析処理により、複数の対象者の夫々の行動観察結果が取得されるものとしたが、行動観察結果の取得方法はこれに限るものではない。例えば、各対象者に直接、視覚センサ(カメラ)や加速度センサ等のセンサを取り付けることにより、各対象者に取り付けられたセンサの検知情報に基づいて各対象者の行動観察結果が取得されるものとしてもよい。
【0099】
また、尤度距離を算出する手法は、上述の実施形態に限定されない。例えばTopic(トピック)モデルを用いて、場面の自動分類と対象者(子ども)の尤度距離を算出することもできる。
ここで、「Topicモデル」とは、複数の潜在的なTopicに基づいて文書が生成されると仮定したモデルのことをいう。また、Topicモデルにおいて、文書を構成する各単語は、所定のTopicが持つ確率分布に従って出現すると仮定される。即ち、Topicモデルでは、文書を構成する単語の出現頻度の分布を想定することで、Topic間の類似性やその意味を解析することができる。
このTopicモデルを、本サービスにおける場面の自動分類と尤度距離の算出とに用いる。具体的には例えば、対象者(子ども)が属する集団が「英語のクラス」である場合には、まず、Topicとして分布している「英語の歌」、「人への関心」、及び「物への関心」と、対象者(子ども)の各行動とを対応付ける。次に、行動観察結果から得られる対象者(子ども)の夫々の位置と速度に基づいて、対象者(子ども)夫々の行動を分類する。なお、対象者(子ども)夫々の位置と速度に基づく行動の分類の具体的手法は特に限定されない。例えばHDP-HMM(階層ディリクレ過程隠れマルコフモデル)による教師なしのクラスタリングによる手法を用いることができる。そして、例えばLDA(潜在的ディリクレ配分法)による教師なしのクラスタリングを用いたクラス毎の行動の確率分布に基づいて、対象者(子ども)の行動の尤度距離を算出することができる。
【0100】
また、上述の実施形態では、対象者(子ども)の「向き」として、俯角のみが例示されているが、これに限定されず、仰角が含まれてもよい。即ち、対象者(子ども)が頭や体を、水平方向に左右に傾ける動作のみならず、垂直方向に上下に傾ける動作が含まれてもよい。
【0101】
また、上述の実施形態では、本発明の情報処理システムは、サーバ1、クライアント端末2により構成されていたが、本発明の目的を達成するための例示に過ぎず、特に限定されない。
即ち、
図1の例では、説明の便宜上、クライアント端末2を1つしか記載していないが、本サービスの提供を受けるクライアント数に応じて、クライアント端末2の数を適宜設定することができる。
また、上述の実施形態では、クライアント端末2を介して所定のネットワークNによって撮像画像のデータがサーバ1に送信されるものとしたが、撮像画像のデータは、撮像装置3からサーバ1へ有線で直接入力されてもよい。
また、上述の実施形態では、クライアント端末2と、撮像装置3が別々に設けられるものとしたが、クライアント端末2が撮像部(例えば、ビデオカメラ部)を備える(クライアント端末2と撮像部3とが一体に構成される)ものとしてもよい。
さらに言えば、上述の実施形態では、1つのクライアント端末2に対して、1つの撮像装置3が接続されるものとしたが、特にこれに限定されない。即ち、本サービスでは、一つのクライアント端末2に対して複数の撮像装置3が接続されてもよいし、複数のクライアント端末2に対して1つの撮像装置3が接続されてもよい。
したがって、例えば、クライアント端末2が複数の撮像装置から同時に画像(動画)を受けることも可能である。
【0102】
また、
図3に示す各ハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0103】
また、
図4に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に
図4の例に限定されない。すなわち、
図5に示す特性情報推定処理は、単一の情報処理装置(例えばサーバ1)によって実現されてもよいし、複数の情報処理装置(サーバ1、クライアント端末2)からなる情報処理システムによって実現されてもよい。また、
図5に示す特性情報推定処理は、クライアント端末2にインストールされるアプリケーションプログラムの一部として実行されるものであってもよい。
【0104】
また、機能ブロックの存在場所も、
図4に限定されず、任意で良い。例えばサーバ1側の機能ブロックの少なくとも一部をクライアント端末2の側に設けても良いし、その逆でも良い。
そして、1つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体との組み合わせで構成しても良い。
【0105】
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであっても良い。
【0106】
このようなプログラムを含む記録媒体は、各クライアントにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各クライアントに提供される記録媒体等で構成される。
【0107】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0108】
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理装置は、
所定時間帯における所定場所を1単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に取得する取得手段(例えば、
図4の観察結果取得部113)と、
前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する関心対象推定手段(例えば、
図4の関心対象推定部114)と、
前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される1種類以上の場及び特定個人により形成される1種類以上の場の中から、前記複数の単位の夫々を1種類以上の場に分類する場分類手段(例えば、
図4の場分類部115)と、
を備えれば足りる。
これにより、対象者(人物)に関心対象が生じたときの場面がどのような場面であるのか(集団により形成される場面か、特定個人により形成される場面か)を適切に推定することができる。
【0109】
また、前記関心対象推定手段は、ひと、もの、及びことの3要素のうち1以上の要素から、所定単位における所定人物の関心対象を推定する、ことができる。
これにより、対象者(人物)の関心対象の種類を推定することができる。
【0110】
また、前記関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動観察結果と、当該所定単位における他の人物の行動観察結果の平均値との差異に基づいて、当該所定人物の心的特性を推定する心的特性推定手段(例えば、
図4の心的特性推定部116)をさらに備える、ことができる。
これにより、対象者(人物)の心的特性を適切に推定することができる。
【0111】
また、前記心的特性は、開放性、積極性、勤勉性、安定性、適応性、およびリーダーシップの6つの要因から成るものとする、ことができる。
これにより、対象者(人物)の心的特性を多角的に分析することができる。
【0112】
また、前記心的特性推定手段により推定された所定人物の心的特性の長期的な推移の特徴と、標準的な心的特性の長期的な推移の特徴との差異に基づいて、所定人物の発達特性を推定する発達特性推定手段(例えば、
図4の発達特性推定部117)をさらに備える、ことができる。
これにより、対象者(人物)の発達特性を適切に推定することができる。
【0113】
また、前記取得手段は、
複数の単位毎の人物の、位置と向きとのうち少なくとも一方に関する情報を含む行動観察結果を、複数の人物毎に取得することができる。
これにより、対象者(人物)に関心対象が生じたときの場面がどのような場面であるのか(集団により形成される場面か、特定個人により形成される場面か)を、対象者(人物)の位置又は向き、あるいは位置及び向きに基づいて適切に推定することができる。
【0114】
また、本発明は、情報処理方法や、プログラムに適用することもできる。
【符号の説明】
【0115】
1・・・サーバ、2・・・クライアント端末、3・・・撮像装置、11・・・CPU、21・・・CPU、24・・・表示部、111・・・撮像画像取得部、112・・・撮像画像解析部、113・・・観察結果取得部、114・・・関心対象推定部、115・・・場分類部、116・・・心的特性推定部、117・・・発達特性推定部、118・・・出力データ生成部、119・・・情報送信部、211・・・撮像画像管理部、212・・・出力情報取得部、500・・・分類DB、600・・・心的特性DB、12-1~12-3,13-1~13-3,16-1~16-3・・・領域、B・・・対象者の向きを示す線の交点、C・・・対象者の位置を示す点、D・・・対象者の向きを示す線、E・・・対象者の関心対象を示す枠、EA・・・領域、F・・・対象者の向きを示す線の交点のバラつきを示す領域