特開 2025-9004 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025009004

(43)【公開日】2025-01-20

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20250109BHJP

   G09B 19/00 20060101ALI20250109BHJP

【ＦＩ】

G06Q50/20

G09B19/00 G

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023111691

(22)【出願日】2023-07-06

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【識別番号】100220663

【弁理士】

【氏名又は名称】佐々田 洋一

(72)【発明者】

【氏名】澤渡 愛子

(72)【発明者】

【氏名】城所 優樹

(72)【発明者】

【氏名】片岡 敬弘

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC34

5L050CC34

(57)【要約】      （修正有）

【課題】複数の受講者が共通する所定の身体動作をとった場合の、他の受講者の対応を効率化させる情報処理装置を提供する。
【解決手段】情報処理システムにおいて、情報処理装置１０は、通信部１１と、記憶部１２と、制御部１３と、を備える。通信部１１は、撮像装置３０により撮像された受講者４の撮像画像を受信する。制御部１３は、受信した受講者４の撮像画像から、所定の身体動作を検出し、所定の身体動作が検出された受講者４の撮像画像を記憶部１２に記録する。制御部１３は、検出された所定の身体動作に対応する情報を、当該所定の身体動作を行った受講者以外の受講者が使用する端末装置２０へ送信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

通信部と、
前記通信部により通信を行う制御部と、を有する情報処理装置であって、
前記制御部は、複数の受講者の撮像画像から当該複数の受講者の所定の身体動作を検出すると、前記所定の身体動作に対応する情報を、前記複数の受講者以外の受講者が使用する端末装置へ送信する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置に関する。

【背景技術】

【0002】

受講者の身体動作に対応する情報を送信する技術が知られている。例えば特許文献１には、リモート授業等で、受講者の身体動作から受講者の集中度を評価し、講師に評価結果を通知する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１６７６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

受講者の身体動作に対応する情報の処理の効率に改善の余地がある。

【0005】

かかる事情に鑑みて、受信者の対応を効率化させる情報処理装置が開示される。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理装置は、通信部と、前記通信部により通信を行う制御部と、を有する情報処理装置であって、前記制御部は、複数の受講者の撮像画像から当該複数の受講者の所定の身体動作を検出すると、前記所定の身体動作に対応する情報を、前記複数の受講者以外の受講者が使用する端末装置へ送信する。

【発明の効果】

【0007】

本開示の一実施形態によれば、受信者の対応を効率化させることが可能となる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る情報処理システムの概略構成例を示すブロック図である。

【図2】情報処理装置の動作例を示すフローチャートである。

【図3】受講者の身体動作の例を示す概略図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について説明する。
＜実施形態の概要＞
図１は、一実施形態に係る情報処理システム１の概略構成例を示すブロック図である。情報処理システム１は、情報処理装置１０と、端末装置２０と、撮像装置３０と、を備える。情報処理装置１０と、端末装置２０と、撮像装置３０とは、ネットワーク２を介して通信可能に接続される。

【0010】

情報処理装置１０は、例えばサーバ装置等のコンピュータである。情報処理装置１０は、ネットワーク２を介して端末装置２０及び撮像装置３０と通信可能に接続される。

【0011】

端末装置２０は、は、例えばスマートフォン、タブレット、又はパーソナルコンピュータ（ＰＣ：Personal Computer）等であるが、これらに限られず任意の情報処理端末であってもよい。端末装置２０Ｔは、講師３が使用する端末装置であり、端末装置２０Ａ，２０Ｂ，２０Ｃは、それぞれ受講者４Ａ，４Ｂ，４Ｃが使用する端末装置である。端末装置２０は、ネットワーク２を介して、情報処理装置１０及び撮像装置３０と通信可能に接続される。

【0012】

撮像装置３０は、例えば講演会場、又は教室内に設置されるビデオカメラであり、受講者４の撮像画像（動画像又は静止画像）を撮影する。撮像装置３０Ａは、着席する受講者の上半身の画像を撮像し、撮像装置３０Ｂは、机上で紙媒体５等を読み書きする受講者の手元の画像を撮像する。撮像装置３０Ａ及び撮像装置３０Ｂは同一の撮像装置である。撮像装置３０は、ネットワーク２を介して、情報処理装置１０及び端末装置２０と通信可能に接続される。

【0013】

情報処理装置１０は、複数の受講者の撮像画像から当該複数の受講者の所定の身体動作を検出すると、所定の身体動作に対応する情報を、当該複数の受講者以外の受講者が使用する端末装置２０へ送信する。かかる構成によれば、情報処理装置１０は、複数の受講者が共通する所定の身体動作をとった場合に当該情報を送信するので、当該情報を受信する受講者の対応の煩雑さが低減されうる。よって、当該情報を受信する受講者の対応を効率化させることが可能となる。

【0014】

（情報処理装置の構成）
情報処理装置１０は、通信部１１と、記憶部１２と、制御部１３とを備える。

【0015】

通信部１１は、ネットワーク２に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば移動体通信規格、有線ＬＡＮ規格、又は無線ＬＡＮ規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、情報処理装置１０は、通信部１１及びネットワーク２を介して、端末装置２０及び撮像装置３０と通信する。

【0016】

記憶部１２は、１つ以上のメモリを含む。記憶部１２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２は、情報処理装置１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１２は、システムプログラム、アプリケーションプログラム、データベース、及び撮像装置３０から受信した所定の身体動作をとった受講者の撮像画像等を記憶してもよい。記憶部１２に記憶された情報は、通信部１１を介してネットワーク２から取得される情報で更新可能であってもよい。

【0017】

制御部１３は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサであるがこれらに限られない。プログラマブル回路は、例えばＦＰＧＡ（Field-Programmable Gate Array）であるがこれに限られない。専用回路は、例えばＡＳＩＣ（Application Specific Integrated Circuit）であるがこれに限られない。制御部１３は、情報処理装置１０全体の動作を制御する。

【0018】

（端末装置の構成）
端末装置２０は、通信部２１と、記憶部２２と、表示部２３と、制御部２４と、を備える。

【0019】

通信部２１は、ネットワーク２に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば４Ｇ（4th Generation）若しくは５Ｇ（5th Generation）等の移動体通信規格、有線ＬＡＮ（Local Area Network）規格、又は無線ＬＡＮ規格に対応するが、これらに限られない。本実施形態において、端末装置２０は、通信部２１及びネットワーク２を介して情報処理装置１０及び撮像装置３０と通信する。

【0020】

記憶部２２は、１つ以上のメモリを含む。記憶部２２に含まれる各メモリは例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部２２は、端末装置２０の動作に用いられる任意の情報を記憶する。例えば、記憶部２２は、システムプログラム、アプリケーションプログラム、データベース、及び情報処理装置１０から受信した所定の身体動作に対応する情報等を記憶してもよい。記憶部２２に記憶された情報は、通信部２１を介してネットワーク２から取得される情報で更新可能であってもよい。

【0021】

表示部２３は、データを表示可能な少なくとも１つの表示用インタフェースを含んで構成される。表示用インタフェースは、例えば、ＬＣＤ又は有機ＥＬディスプレイ等であるが、これらに限られない。

【0022】

制御部２４は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。制御部２４は端末装置２０全体の動作を制御する。

【0023】

（撮像装置の構成）
撮像装置３０は、通信部３１と、記憶部３２と、撮像部３３と、制御部３４と、を備える。撮像装置３０は、撮像画像（動画像又は静止画像）を撮影するビデオカメラである。撮像装置３０Ａは、着席する受講者の上半身（バストアップ）の画像を撮像し、撮像装置３０Ｂは、机上で紙媒体５等を読み書きする受講者の手元の画像を撮像する。撮像装置３０Ａ及び撮像装置３０Ｂは同一の撮像装置である。

【0024】

通信部３１は、ネットワーク２に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば４Ｇ若しくは５Ｇ等の移動体通信規格、有線ＬＡＮ規格、又は無線ＬＡＮ規格に対応するが、これらに限られない。本実施形態において、撮像装置３０は、ネットワーク２を介して、情報処理装置１０及び端末装置２０と通信可能に接続される。通信部３１は、撮像部３３により撮像され、記憶部３２に一時記憶された撮像画像を情報処理装置１０へ送信する。

【0025】

記憶部３２は、１つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部３２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部３２は、撮像装置３０の動作に用いられる任意の情報を記憶する。例えば、記憶部３２は、システムプログラム、アプリケーションプログラム、組み込みソフトウェア、及び受講者４の撮像画像等を記憶する。記憶部３２に記憶された情報は、例えば通信部３１を介してネットワーク２から取得される情報で更新可能であってもよい。

【0026】

撮像部３３は、撮像画像を撮影する撮像素子である。撮像素子は、例えばＣＭＯＳ(Complementary Metal-Oxide-Semiconductor)センサ、又はＣＣＤ(Charge Coupled Device)センサであるが、これらに限られない。

【0027】

制御部３４は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。制御部３４は、記憶部３２に記憶された撮像画像を、通信部３１及びネットワーク２を介して、情報処理装置１０へ送信する。

【0028】

（情報処理装置の動作フロー）
図２は、情報処理装置１０の動作例を示すフローチャートである。本動作は、情報処理装置１０による受講者の身体動作に対応する情報の送信に関する。本動作フローは、情報処理装置１０の制御部１３が、講師３の端末装置２０Ｔからの所定の音声情報、又はテキスト情報の受信を起点に開始されてもよい。

【0029】

Ｓ１０１：通信部１１は、撮像装置３０により撮像された受講者４の撮像画像を受信する。

【0030】

図１に示すように、着席する受講者４の上半身の画像を撮像する撮像装置３０Ａと、机上で紙媒体５等を読み書きする受講者の手元の画像を撮像する撮像装置３０Ｂとが、各受講者４が着席する席の正面及び上部に設置される。

【0031】

Ｓ１０２：制御部１３は、受信した受講者４の撮像画像から、所定の身体動作を検出し、所定の身体動作が検出された受講者４の撮像画像を記憶部１２に記録する。受講者４の身体動作の例を、図３に示す。本開示において、説明の便宜上、受講者４は、４Ａ，４Ｂ，４Ｃの３名であるとして説明するが、受講者数は３名よりも多数であってもよい。受講者４の身体動作は、例えば頷き、顔の向き（右向き、左向き）、頬杖、開眼度合い、居眠り、表情（笑顔、眉間にしわ）、視線、又はノート（紙媒体５）への文字又は図形の記入等の手の動きであるが、これらに限られない。

【0032】

制御部１３は、受講者４の身体動作の中から少なくとも１つの身体動作を選択し、それらを所定の身体動作に設定する。制御部１３は、受信した受講者４Ａ，４Ｂ，４Ｃの撮像画像から、設定された所定の身体動作を検出し、所定の身体動作が検出された受講者４Ａ，４Ｂ，又は４Ｃの撮像画像を記憶部１２に記録する。制御部１３は、さらに受講者４Ａ，４Ｂ，又は４Ｃがとった所定の身体動作が検出されたことを時系列に記録したタイムラインを生成し、生成されたタイムラインを記憶部１２に記録する。図３に示すタイムラインの例では、頷き、顔の向き、開眼、及び頬杖が所定の身体動作に設定されている。

【0033】

さらに図３には、受講者４Ａ，４Ｂ，４Ｃの手元を撮像装置３０Ｂで撮像した画像が例示される。制御部１３は、受講者４の手元の動きを、例えば骨格推定を用いて検出してもよい。骨格推定は、２Ｄ画像或いは動画から人間の骨格を推定する技術である。骨格推定は、コンピュータビジョン或いは人工知能を用いることで、画像から人間の姿勢或いは動きを推定する。図３に示す例では、制御部１３は、骨格推定により受講者４が鉛筆を持つ動きを検出する。また、制御部１３は、受講者４がノートに筆記する動きを動画から検出してもよい。

【0034】

Ｓ１０３：制御部１３は、複数の受講者の撮像画像から当該複数の受講者の所定の身体動作を検出する。

【0035】

制御部１３は、記憶部１２に記録された受講者４の撮像画像の中から、所定の時間内に複数の受講者４がとった共通する所定の身体動作を検出する。図３に示すタイムラインの例では、制御部１３は、破線で囲まれた所定の時間内に、複数の受講者４（受講者４Ａ及び４Ｂ）がとった頬杖を検出する。

【0036】

Ｓ１０４：制御部１３は、検出された所定の身体動作に対応する情報を、当該所定の身体動作を行った受講者以外の受講者が使用する端末装置２０へ送信する。

【0037】

所定の身体動作に対応する情報は、所定の身体動作をとった受講者４の撮像画像及び受講者４がとった所定の身体動作をタイムラインに記録した情報に加え、制御部１３が判断した受講者４の状態の情報を含んでもよい。所定の身体動作に対応する情報はこれらに限られない。制御部１３は、例えば受講者４の状態を、ポジティブな状態又はネガティブな状態と判断する。例えば、制御部１３は、受講者４の状態を、例えば表情が笑顔の状態はポジティブな状態と、開眼度合いが小さい（眼の開き度合いが小さい）状態、居眠りをしている状態、及び頬杖をついている状態をネガティブな状態と定義する。また、制御部１３は、受講者４の状態をさらに細かい状態に分類してもよい。例えば、制御部１３は、受講者４が頷いている状態を集中度が高い状態と定義してもよい。さらに制御部１３は、受講者４が予め定められた文字又は図形等をノートに記入していることが撮像装置３０Ｂで読み取られた状態を理解度が高い状態と定義してもよい。一方、受講者４の眼の開眼度合いが所定の大きさよりも小さい場合には、集中度が低い状態と定義してもよい。制御部１３は、眼の開眼度合いを、瞬きの回数で判断し得る。瞬きの回数が多い場合は、眠気がある（集中度が低い）と判断される。このように、制御部１３は、複数の受講者４が所定の時間内に予め定義された身体動作を検出ことで、その受講者４の状態を判断することが可能である。

【0038】

制御部１３は、受講者４Ａ及び４Ｂが頬杖をついたことを検出すると、頬杖をついた受講者４Ａ及び４Ｂの撮像画像、頬杖をついたことが記録された上述のタイムラインの情報、又は受講者４Ａ及び４Ｂがネガティブな状態にあることを、受講者４Ｃの端末装置２０へ送信する。かかる構成によれば、受講者４Ａ及び４Ｂの所定の身体動作に対応する情報（頬杖をついている画像、ネガティブな状態にある）を受信した受講者４Ｃが受講者４Ａ及び４Ｂに働きかけることにより、受講者４の状態を改善することが可能となる。

【0039】

Ｓ１０５：制御部１３は、講義が終了すると、情報処理を終了する。

【0040】

以上述べたように、情報処理装置１０は、複数の受講者の撮像画像から当該複数の受講者の所定の身体動作を検出すると、所定の身体動作に対応する情報を、当該複数の受講者以外の受講者が使用する端末装置２０へ送信する。かかる構成によれば、情報処理装置１０は、複数の受講者が共通する所定の身体動作をとった場合に当該情報を送信するので、当該情報を受信する受講者の対応の煩雑さが低減されうる。よって、当該情報を受信する受講者の対応を効率化させることが可能となる。

【0041】

例えば、上述した実施形態において、情報処理装置１０の構成及び動作を、互いに通信可能な複数のコンピュータに分散させた実施形態も可能である。また、例えば汎用のコンピュータを、上述した実施形態に係る情報処理装置１０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る情報処理装置１０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。

【0042】

上述した実施形態において、制御部１３は、検出された所定の身体動作に対応する情報を、当該所定の身体動作を行った受講者以外の受講者が使用する端末装置２０へ送信するものとした。しかし、制御部１３は、かかる情報を、受講者４の端末装置２０に加え、講師３の端末装置２０Ｔへ送信してもよい。かかる構成により、講師３は、制御部１３により判断された受講者４の状態に基づいて、講義の難易度、又は進行速度等を調整することが可能となる。

【0043】

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0044】

１ 情報処理システム
２ ネットワーク
３ 講師
４，４Ａ，４Ｂ，４Ｃ 受講者
５ 媒体（紙媒体）
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｔ 端末装置
２１ 通信部
２２ 記憶部
２３ 表示部
２４ 制御部
３０，３０Ａ，３０Ｂ 撮像装置（カメラ）
３１ 通信部
３２ 記憶部
３３ 撮像部
３４ 制御部

【図1】

【図2】

【図3】