特開 2022-53433 人工知能技術を活用した画像教育システムおよび学習支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022053433

(43)【公開日】2022-04-05

(54)【発明の名称】人工知能技術を活用した画像教育システムおよび学習支援方法

(51)【国際特許分類】

   G09B 19/00 20060101AFI20220329BHJP

   G09B 5/02 20060101ALI20220329BHJP

   G06Q 50/20 20120101ALI20220329BHJP

【ＦＩ】

G09B19/00 G

G09B19/00 Z

G09B5/02

G06Q50/20

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020178918

(22)【出願日】2020-10-26

(31)【優先権主張番号】10-2020-0123642

(32)【優先日】2020-09-24

(33)【優先権主張国・地域又は機関】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】519292925

【氏名又は名称】ワールド ヴァーテックス カンパニー リミテッド

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】キム、テ ジョン

【テーマコード（参考）】

2C028

5L049

【Ｆターム（参考）】

2C028BA03

2C028BA04

2C028BB04

2C028BD01

5L049CC34

(57)【要約】      （修正有）

【課題】学習効率を向上させることができる人工知能技術を活用した画像教育システムを提供する。
【解決手段】オンライン学習に参加する学習者の顔表情が含まれた顔面イメージを取得および認識するイメージ認識部１２０と、イメージ認識部で認識される顔面イメージを分析して学習者の受講集中度を分析する集中度分析部１３０と、集中度分析部で分析された学習者の受講集中度に応じて、受講集中度が所定の基準以上であれば、学習者に補償を与える補償支給部１４０と、を含む、人工知能技術を活用した画像教育システム１０である。
【選択図】図１

【特許請求の範囲】

【請求項1】

オンライン学習に参加する学習者の顔表情が含まれた顔面イメージを取得および認識するイメージ認識部と、
前記イメージ認識部で認識される顔面イメージを分析して学習者の受講集中度を分析する集中度分析部と、
前記集中度分析部で分析された学習者の受講集中度に応じて、受講集中度が所定の基準以上であれば、学習者に補償を与える補償支給部と、を含む、人工知能技術を活用した画像教育システム。

【請求項2】

オンライン講義映像の再生中、教授者の声、教授者のイントネーション、教授者の表情、重要区間であることを表示する語彙、学習者の選択信号のうちの１つに基づいて教授者の重要区間を探知する重要区間探知部と、をさらに含む、請求項１に記載の人工知能技術を活用した画像教育システム。

【請求項3】

前記重要区間探知部で探知された重要区間を抽出して復習用動画を生成する復習用動画生成部と、
オンライン講義映像で前記重要区間探知部から探知された重要区間が始まる地点に復習用動画マーカを挿入する重要区間表示部と、をさらに含む、請求項２に記載の人工知能技術を活用した画像教育システム。

【請求項4】

前記集中度分析部で学習者の受講集中度に応じて、受講集中度が所定の基準以下であれば、学習者の集中誘発のために予め設定されたコンテンツを出力するコンテンツ出力部と、をさらに含む、請求項１に記載の人工知能技術を活用した画像教育システム。

【請求項5】

オンライン講義教授者に前記集中度分析部で分析された当該オンライン講義に対する学習者の受講集中度情報をフィードバックする講義フィードバック部と、をさらに含む、請求項１に記載の人工知能技術を活用した画像教育システム。

【請求項6】

請求項１～５のいずれか１項に記載の画像教育システムで駆動される学習支援方法において、
イメージ認識部が、オンライン学習に参加する講義学習者の顔表情が含まれた顔面イメージを取得および認識するステップと、
集中度分析部が、前記認識される顔面イメージを分析して学習者の受講集中度を分析するステップと、
補償支給部が、前記分析された学習者の受講集中度に応じて、受講集中度が所定の基準以上であれば、学習者に補償を与えるステップと、を含む、人工知能技術を活用した画像教育学習支援方法。

【請求項7】

重要区間探知部が、オンライン講義映像の再生中、教授者の声、教授者のイントネーション、教授者の表情、重要区間であることを表示する語彙、学習者の選択信号のうちの１つに基づいて教授者の重要区間を探知するステップと、をさらに含む、請求項６に記載の人工知能技術を活用した画像教育学習支援方法。

【請求項8】

復習用動画生成部が、前記探知された重要区間を抽出して復習用動画を生成するステップと、
重要区間表示部が、オンライン講義映像で前記重要区間探知部から探知された重要区間が始まる地点に復習用動画マーカを挿入するステップと、をさらに含む、請求項７に記載の人工知能技術を活用した画像教育学習支援方法。

【請求項9】

コンテンツ出力部が、前記受講集中度を分析するステップにおける学習者の受講集中度に応じて、受講集中度が所定の基準以下であれば、学習者の集中誘発のために予め設定されたコンテンツを出力するステップと、をさらに含む、請求項６に記載の人工知能技術を活用した画像教育学習支援方法。

【請求項10】

講義フィードバック部が、オンライン講義教授者に前記受講集中度を分析するステップで分析された当該オンライン講義に対する学習者の受講集中度情報をフィードバックするステップと、をさらに含む、請求項６に記載の人工知能技術を活用した画像教育学習支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能技術を活用した画像教育システムおよび学習支援方法に関し、より詳しくは、学習者の顔面認識により学習者の講義集中度を把握し、把握された集中度に応じて補償および集中を誘導するための人工知能技術を活用した画像教育システムおよび学習支援方法に関する。

【背景技術】

【0002】

一般的に、インターネットおよびこれを支援する多様な通信機器の発展に伴って多様なオンライン学習システムが提供されており、これにより、教授者は遠隔で教育対象者に対して多様な学習プログラムを提供することができる。

【0003】

しかし、既存のオンライン学習システムの場合、そのほとんどが単純なプログラムの一方的な伝達であったり、アプリケーションまたはウェブベースの対話型学習サービスの程度にとどまっていて、注意力散漫な教育対象者の持続的な関心を得にくく、学習効果が低いという限界があった。

【0004】

また、実際に先生が登場してオンラインでリアルタイムに学習者を見ながら授業を進めるオンライン画像学習サービス技術も存在するが、これは単にオフライン学習をオンラインに切り替えた程度であり、付加サービスは電子黒板やデジタルコンテンツを補助学習ツールとして活用する水準であるので、これも学習者の持続的な関心を得にくく、注意力散漫な学習者の注目を持続させにくいという限界があった。

【0005】

すなわち、既存のオンライン学習システムは、教授者の学習者に対する一方的な情報伝達にとどまっており、これにより、学習者が疲労感を感じやすく、学習に興味を失ってしまう問題点があった。

【0006】

一方、マルチモーダルインターフェースは、人間と機械の通信のために、音声、キーボード、ペンなどを用いてインターフェースする方法を意味する。このようなマルチモーダルインターフェースを介したマルチモーダル情報が入力された場合、このようなそれぞれのモダリティから入力された情報をそれぞれ融合して分析する方法が利用される。

【0007】

顔表情認識率の高い視覚モダリティ反応を利用した従来技術は、オブジェクトの顔表情を認識する際に明るさに対する制約があった。また、人為的な感情状態のオブジェクト反応データを用いることにより、自然な感情を誘発してオブジェクトの反応を測定する発明に比べて感情認識が実際にうまくいかない問題があった。そして、マルチモダリティを活用して特徴を抽出した後、この特徴を融合できない問題点があった。

【0008】

特に、顔認識により多様な感情を認識できる発明の開発を必要としており、このような問題点を解決するために、特許文献１により補完をはかっているが、これを参照して具体的に説明すれば、次のとおりである。

【0009】

韓国公開特許第２０１３－００１５９５８号（特許文献１）は、顔表情を用いた感情認識装置、感情認識方法およびその記録媒体に関し、これによれば、提示された刺激に対応して反応するオブジェクトのオブジェクト情報を受信し、オブジェクトの顔を認識する顔認識手段と、認識されたオブジェクトの顔を用いてオブジェクトの顔要素を抽出する顔要素抽出手段と、抽出されたオブジェクトの顔要素に基づき、刺激に相応して変化するオブジェクトの顔表情の変化を認識することにより、オブジェクトが表現する感情を認識する感情認識手段とを含む。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】ＫＲ１０－２０１３－００１５９５８Ａ

【特許文献2】ＫＲ１０－２０１９－０１２３３７１Ａ

【特許文献3】ＫＲ１０－１７８８２４８Ｂ１

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明はこのような技術的背景から導出されたものであり、オンライン学習を行う学習者の学習参加度および反応をリアルタイムに把握し分析することで、オンライン教育の興味度および参加度を向上させることができる人工知能技術を活用した画像教育システムおよび学習支援方法を提供することを目的とする。

【0012】

すなわち、授業に消極的な学習者を励まし、積極的な学習者には補償を付与して全体的な教育参加度を向上させることで、より高い学業成就度を達成できる人工知能技術を活用した画像教育システムおよび学習支援方法を提供しようとする。

【0013】

また、講義の途中に重要区間と検知されたか、学習者が選択した場合に、重要部分マーカを挿入するか、復習のために重要区間を抽出した復習動画を生成して提供することにより、学習効率を向上させることができる人工知能技術を活用した画像教育システムおよび学習支援方法を提供することを目的とする。

【課題を解決するための手段】

【0014】

上記の課題を達成するための本発明は、次の構成を含む。

【0015】

すなわち、本発明の一実施例による人工知能技術を活用した画像教育システムは、オンライン学習に参加する学習者の顔表情が含まれた顔面イメージを取得および認識するイメージ認識部と、前記イメージ認識部で認識される顔面イメージを分析して学習者の受講集中度を分析する集中度分析部と、前記集中度分析部で分析された学習者の受講集中度に応じて、受講集中度が所定の基準以上であれば、学習者に補償を与える補償支給部と、を含むことを特徴とする。

【0016】

一方、人工知能技術を活用した画像教育システムで駆動される学習支援方法において、イメージ認識部が、オンライン学習に参加する講義学習者の顔表情が含まれた顔面イメージを取得および認識するステップと、集中度分析部が、前記認識される顔面イメージを分析して学習者の受講集中度を分析するステップと、補償支給部が、前記分析された学習者の受講集中度に応じて、受講集中度が所定の基準以上であれば、学習者に補償を与えるステップと、を含む。

【発明の効果】

【0017】

本発明によれば、オンライン学習を行う学習者の学習参加度および反応をリアルタイムに把握し分析することで、オンライン教育の興味度および参加度を向上させることができる人工知能技術を活用した画像教育システムおよび学習支援方法を提供できるという効果が奏される。

【0018】

すなわち、授業に消極的な学習者を励まし、積極的な学習者には補償を付与して全体的な教育参加度を向上させることで、より高い学業成就度を達成できる。

【0019】

また、講義の途中に重要区間と検知されたか、学習者が選択した場合に、重要部分マーカを挿入するか、復習のために重要区間を抽出した復習動画を生成して提供することにより、学習効率を向上させることができる人工知能技術を活用した画像教育システムおよび学習支援方法を提供できるという効果がある。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施例による人工知能技術を活用した画像教育システムの構成を示すブロック図である。

【図2】本発明の一実施例による集中度分析部が目の動きの変化による集中／非集中設定のための基準テーブルの例示図である。

【図3】本発明の一実施例による人工知能技術を活用した画像教育学習支援方法を説明するためのフローチャートである。

【発明を実施するための形態】

【0021】

本発明で使われる技術的用語は単に特定の実施例を説明するために使われたものであり、本発明を限定しようとする意図ではないことに留意しなければならない。また、本発明で使われる技術的用語は、本発明で特に異なる意味で定義されない限り、本発明の属する技術分野における通常の知識を有する者によって一般的に理解される意味で解釈されなければならず、過度に包括的な意味で解釈されるか、過度に縮小した意味で解釈されてはならない。

【0022】

以下、添付した図面を参照して、本発明による望ましい実施例を詳しく説明する。

【0023】

図１は、本発明の一実施例による人工知能技術を活用した画像教育システムの構成を示すブロック図である。

【0024】

一実施例による人工知能技術を活用した画像教育システム１０は、人工知能技術を活用して画像教育学習者の反応をリアルタイムに分析し、教育参加度を向上させようとする。具体的には、顔認識技術を利用して自動的に出欠状況を確認し、オンライン授業の進行中に学習者の視線追跡および顔表情の変化を収集して学習者の表情と感情の変化を分析する。そして、学習者が教育の途中に特定時間以上認識されなかったり、表情の変化がなければ、教授者にこれを知らせる。

【0025】

学習者の表情と感情の変化を分析して、授業に消極的な参加者を励まし、積極的な参加者には補償を与えて全体的な教育参加度を向上させることで、より高い学業成就度を達成するように支援することができる。

【0026】

また、音声認識技術により使う語彙を収集し、自然語処理技術（ＮＬＰ）を活用して教育学習者および教授者の言語の使用傾向を分析することができる。

【0027】

本発明の一実施例による人工知能技術を活用した画像教育システム１０は、人工知能技術を活用して教授者と受講者の反応分析による重要区間探知技術を支援することができる。

【0028】

教授者は、講義時間中に核心内容を説明するとき、画面を一定時間以上見つめたまま説明をしたり、声のトーンが高くなる傾向を有するため、顔認識技術で教授者の視線が特定時間以上集中されたり、音声認識技術で声のトーンが平均デシベル以上続く場合に、重要区間として探知することができる。

【0029】

学習者の場合、教育に参加中の多数が画面に視線を固定したり、特定の表情を作るようになる。したがって、学習者のこのような反応状態を把握し、集中する区間を重要区間として探知することができる。

【0030】

一方、教授者から重要区間として探知された場合に、学習者に講義集中を誘発できるようにお知らせメッセージなどを提供し、教授者にはリアルタイムに学習者の集中度を検知して知らせることができる。

【0031】

また、教授者と学習者の顔認識の結果、音声認識結果の分析により重要区間として探知された区間を学習者に復習用動画マーカを提供するか、重要区間のみを抽出して要約動画を生成して提供することができる。

【0032】

一方、既存の講義評価ツールは、講義評価アンケート方式と現場モニタリング評価により進めるので、評価が歪曲されるというデメリットがある。一実施例による人工知能技術を活用した画像教育システム１０は、人工知能を活用した学習者と教授者の相互作用のための双方向講義自動評価システムを提供することができる。

【0033】

具体的には、教授者が講義集中度の良い学習者に「良くできました」、消極的な学習者には「集中してください」のようなオンラインスタンプまたはバッジを付与することにより、学習者に能動的な教育参加を誘導することができる。

【0034】

また、学習者が教授者に学習状況または感情状態を反映した顔文字などを伝送することにより、講義内容に対するフィードバックを提供することができる。

【0035】

学習者のリアルタイムな表情および感情の変化をリアルタイムに分析して特異点が発生したとき、教授者にお知らせを提供して講義の進行にフィードバックを提供することも可能である。

【0036】

講義の終了後、学習者の時間帯ごとの集中度分析資料を教授者に提供して講義コンテンツの改善に役立てることができる。

【0037】

一実施例による人工知能技術を活用した画像教育システム１０は、人工知能技術を活用して画像教育学習者の反応によるチュータリングガイドを提供する。すなわち、学習者の表情および感情の変化を分析してチュータリングが必要なパターンを分析し、学習者のパターンがチュータリングガイドを必要とする場合（ｅｘ．講義途中の眠気発生、散漫さ、退屈さなどの発生）、人工知能チュータリングガイドアルゴリズムが適正なガイドを提供する。

【0038】

チュータリングガイドにより、学習者が講義に集中できない場合、注意喚起用の短いコンテンツ（３分以内）をすすめたり、ストレッチングを誘導して講義に集中できるようにガイドを提供する。

【0039】

図１のように、一実施例による人工知能技術を活用した画像教育システム１０は、通信部１１０と、イメージ認識部１２０と、集中度分析部１３０と、補償支給部１４０と、記憶部１５０と、重要区間探知部１６０と、復習用動画生成部１７０と、重要区間表示部１７５と、コンテンツ出力部１８０と、講義フィードバック部１９０とを含む。

【0040】

人工知能技術を活用した画像教育システム１０は、教授者が持つ教授者端末３０から講義データおよびオンライン学習対象受講者を特定できる所定の基準や資料を受信する。

【0041】

そして、教授者のオンライン講義を受講した学習者の講義反応を含むフィードバック情報を提供する。

【0042】

学習者が持つ学習者端末２０は、アプリ実行または学習提供ウェブサイトに接続することにより、講義データを受信することができる。

【0043】

人工知能技術を活用した画像教育システム１０は、学習者端末２０に備えられるカメラにより顔面イメージを撮影して顔面イメージを取得することができる。

【0044】

学習者端末２０および教授者端末３０は、同一の技術的構成で実現されるが、理解のために、オンライン学習支援サービスを利用する所持者の形態によって学習者と教授者とに区分して説明する。

【0045】

学習者端末２０および教授者端末３０は、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、携帯端末（Ｐｏｒｔａｂｌｅ Ｔｅｒｍｉｎａｌ）、移動端末（Ｍｏｂｉｌｅ Ｔｅｒｍｉｎａｌ）、フォルダブル端末（Ｆｏｌｄａｂｌｅ Ｔｅｒｍｉｎａｌ）、個人情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）端末、テレマティクス（Ｔｅｌｅｍａｔｉｃｓ）端末、ナビゲーション（Ｎａｖｉｇａｔｉｏｎ）端末、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型パソコン、スレートＰＣ（Ｓｌａｔｅ ＰＣ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、ウルトラブック（Uｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（Ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ、例えば、ウォッチ型端末（Ｓｍａｒｔｗａｔｃｈ）、ガラス型端末（Ｓｍａｒｔ Ｇｌａｓｓ）、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などを含む）、ワイブロ（Ｗｉｂｒｏ）端末、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｔｅｌｅｖｉｓｉｏｎ）端末、スマートＴＶ、デジタル放送用端末、ＡＶＮ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｎａｖｉｇａｔｉｏｎ）端末、Ａ／Ｖ（Ａｕｄｉｏ／Ｖｉｄｅｏ）システム、フレキシブル端末（Ｆｌｅｘｉｂｌｅ Ｔｅｒｍｉｎａｌ）、デジタルサイネージ装置などのような多様な端末に適用可能である。

【0046】

学習者端末２０および教授者端末３０の一例は、アプリケーションのインストールが可能な端末として、３Ｇ、４Ｇ、５Ｇ端末、スマートパッド（Sｍａｒｔ Pａｄ）、ＰＣＳ（Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）－２０００、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）－２０００、Ｗ－ＣＤＭＡ（Ｗ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ Ｉｎｔｅｒｎｅｔ）などのような携帯性および移動性が保障される全種類の無線通信装置を含むことができる。

【0047】

通信部１１０は、有線／無線通信網を介して内部の任意の構成要素または外部の任意の少なくとも１つの端末と通信連結する。

【0048】

このとき、外部の任意の端末は、複数の学習者端末２０および教授者端末３０などを含むことができる。人工知能技術を活用した画像教育システム１０は、通信部１１０を介して学習者端末２０および教授者端末３０と通信を行う。

【0049】

ここで、無線インターネット技術としては、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）、ＤＬＮＡ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、ワイブロ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ：Ｗｉｂｒｏ）、ワイマックス（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ：Ｗｉｍａｘ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１６、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ：ＬＴＥ）、ＬＴＥ－Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ－Ａｄｖａｎｃｅｄ）、広帯域無線移動通信サービス（Ｗｉｒｅｌｅｓｓ Ｍｏｂｉｌｅ Ｂｒｏａｄｂａｎｄ Ｓｅｒｖｉｃｅ：ＷＭＢＳ）などがあり、前記通信部１１０は、上記で挙げられていないインターネット技術までを含む範囲で少なくとも１つの無線インターネット技術によりデータの送受信を行う。

【0050】

また、近距離通信技術としては、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、近距離無線通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）、超音波通信（Ｕｌｔｒａ Ｓｏｕｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＵＳＣ）、可視光通信（Ｖｉｓｉｂｌｅ Ｌｉｇｈｔ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＶＬＣ）、ワイファイ（Ｗｉ－Ｆｉ）、ワイファイダイレクト（Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ）などが含まれる。さらに、有線通信技術としては、電力線通信（Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＰＬＣ）、ＵＳＢ通信、イサーネット（Ｅｔｈｅｒｎｅｔ）、シリアル通信（ｓｅｒｉａｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、光／同軸ケーブルなどが含まれる。

【0051】

イメージ認識部１２０は、学習者端末２０で撮影されたオンライン学習に参加する学習者の顔表情が含まれた顔面イメージを取得する。そして、受信される顔面イメージから学習者の顔面イメージを認識する。

【0052】

本発明の補助的な態様において、講義参加度確認部は、イメージ認識部１２０で認識される顔面イメージが予め設定された学習者の顔面イメージと一致するか否かを確認することができる。そして、学習者の顔面イメージと不一致の場合には欠席と把握することができる。また、講義参加度確認部が、学習者が講義の途中に予め設定された時間以上認識されない場合に欠席と把握することができる。

【0053】

集中度分析部１３０は、イメージ認識部１２０で認識される顔面イメージを分析して学習者の受講集中度を分析する。

【0054】

一実施例において、集中度分析部１３０が学習集中度を算出する基準は、学習者が教授者から学習集中度が低いと指摘された時点から予め定められた時間前の間に見せていたモーションパターンを学習することにより、学習者の学習集中度が現在高いかまたは低いかを算出することができる。このように学習者の学習集中度を客観的な学習者モーション情報を通して把握して提供することにより、教授者は学習者の学習集中度の把握にかける努力を教育コンテンツによる学習の進行により集中することができる。

【0055】

一実施例において、集中度分析部１３０は、Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ方法で集中度を分析することができる。すなわち、イメージ認識部１２０で認識される学習者の顔面イメージに基づいて分析した後、感情による興味度を分析することができる。具体的には、「Ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ→Ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ→Ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ→Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｒ Ｒｅｇｒｅｓｓｉｏｎ」の手順を経ることになる。Ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ過程で学習者の顔を探して（Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ）、結果値をＦｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎに伝達する。

【0056】

すると、ＳＩＦＴ（Ｓｃａｌｅ Ｉｍｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などのＦｅａｔｕｒｅ ｅｘｔｒａｃｔｏｒを介してＦｅａｔｕｒｅを抽出する。

【0057】

抽出されたＦｅａｔｕｒｅをＣＮＮやＳＶＭのような分類器に入れて感情を分析することができる。集中度分析部１３０は、ＣＮＮやＳＶＭのような分類器における感情分析結果に基づいて学習者の授業に対する興味度を把握することができる。このとき、顔が認識されなければ、首を横に向けたり、画面から遠くなったような状況であるので、興味度が低いと評価し、分析結果、感情が否定的な状態の場合も、興味度が低いと評価することができる。

【0058】

他の実施例において、集中度分析部１３０は、Ｅｙｅ ＴｒａｃｋｉｎｇまたはＦａｃｅ Ｔｒａｃｋｉｎｇを利用した方法で学習者の集中度および興味度を把握することができる。

【0059】

集中度分析部１３０は、イメージ認識部１２０で認識される顔面イメージに基づき、Ｅｙｅ ＴｒａｃｋｉｎｇやＦａｃｅ ＴｒａｃｋｉｎｇによりＥｙｅ ｍｏｖｅｍｅｎｔ ｍｅｔｒｉｃｓ（ｆｉｘａｔｉｏｎ ｃｏｕｎｔｓ（視線固定回数）、ｆｉｘａｔｉｏｎ ｒａｔｅ（視線固定比率）、ｆｉｘａｔｉｏｎ ｄｕｒａｔｉｏｎ（視線固定時間）、ａｖｅｒａｇｅ ｓａｃｃａｄｅ ｌｅｎｇｔｈ（平均視線跳躍距離））を収集する。

【0060】

そして、集中度分析部１３０は、測定したＥｙｅ ｍｏｖｅｍｅｎｔ ｍｅｔｒｉｃｓを利用して、使用者の集中度をＭｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎにより分析する。例えば、集中度に応じた目の動きの変化に対する基準は、管理者によって設定、変更可能である。

【0061】

例えば、集中度分析部１３０が、コンテンツを２つに分けてやさしいコンテンツと退屈なコンテンツに対する目の動きの変化を測定して分類器で訓練し、訓練された内容に基づき、ディープラーニング方式で目の動きの変化による使用者の集中度基準を決定することができる。

【0062】

図２は、本発明の一実施例による集中度分析部が目の動きの変化による集中／非集中設定のための基準テーブルの例示図である。

【0063】

すなわち、一実施例による集中度分析部１３０は、やさしくて興味度が高いコンテンツに対する集中／非集中区分の基準と、難しくてやや退屈な内容のコンテンツに対する集中／非集中区分の基準とは、異なって適用可能である。

【0064】

集中度分析部１３０は、コンテンツの内容ごとに、学習者の年齢帯ごとに集中／非集中に対する区分の基準を異なって決定可能である。これにより、絶対的な基準として全年齢帯の集中の有無を判断するのではなく、学習者ごとに水準に合った時間と動きを基準としてそれぞれ集中度の程度を把握することができる。

【0065】

そして、補償支給部１４０は、集中度分析部１３０で分析された学習者の受講集中度に応じて、受講集中度が所定の基準以上であれば、学習者に補償を与える。

【0066】

補償支給部１４０は、予め設定された褒め言葉ステッカーまたは顔文字を提供するものであってもよい。しかし、補償手段はこれに限定されるものではなく、多様な形態で提供可能である。例えば、受講集中度が所定の基準以上である回数目が基準以上であれば、商品巻を与えたり、授業料に対するキャッシュバックを提供することで実現されてもよい。

【0067】

重要区間探知部１６０は、オンライン講義映像の再生中、教授者の声、教授者のイントネーション、教授者の表情、重要区間であることを表示する語彙、学習者の選択信号のうちの１つに基づいて教授者の重要区間を探知する。

【0068】

重要区間探知部１６０は、オンライン講義教授者の音声認識により教授者の声が一定デシベル以上の場合、または教授者の声の音量が基準値以上より大きくなった場合、教授者のイントネーションが強くなった場合であれば、当該部分が重要区間であることを把握することができる。

【0069】

また、重要区間探知部１６０は、人工知能により教授者に対する視線集中を把握して重要区間として分析し、使用者の顔表情反応の分析統計による使用者の反応を分析することができる。

【0070】

重要区間探知部１６０は、教授者の講義中に「重要」、「集中」のような重要部分を表示するための語彙が認識されると、当該部分を重要部分と把握することができる。あるいは、オンライン授業中に画面に表示されるように活用される教科書や、ノートのような授業資料中に星色で表示されたか、重要表示が含まれた場合に、当該部分を重要部分と把握することもできる。

【0071】

本発明の一態様において、復習用動画生成部１７０は、重要区間探知部１６０で探知された重要区間を抽出して復習用動画を生成する。復習用動画生成部１７０は、重要区間として判断される部分の前後に数秒の映像をさらに含ませて抽出し、抽出された重要区間の映像を連結させて復習用動画として生成することができる。

【0072】

重要区間表示部１７５は、オンライン講義映像で重要区間探知部１６０から探知された重要区間が始まる地点に復習用動画マーカを挿入する。すなわち、全体講義映像でクリックして重要区間に直ちにいけるようにマーカを挿入して重要区間を表示することができる。

【0073】

コンテンツ出力部１８０は、集中度分析部１３０における学習者の受講集中度に応じて、受講集中度が所定の基準以下であれば、学習者の集中誘発のために予め設定されたコンテンツを出力する。コンテンツ出力部１８０は、「集中しましょう」というメッセージを出力するお知らせ画面、または動画画面を出力してもよく、簡単なストレッチング映像を出力してもよい。あるいは、前の学習部分に基づいて解決できる突然クイズを出力してもよい。

【0074】

授業の途中に学習者の集中度が一定基準以下に低下したと検知された場合には、適切に学習者の注意を喚起させることが可能な多様な形態のコンテンツを出力することができる。このとき、コンテンツ出力部１８０は、学習者の傾向を把握して学習者の年齢、性格、選好度に合ったコンテンツを出力することができる。

【0075】

講義フィードバック部１９０は、オンライン講義教授者に集中度分析部１３０で分析された当該オンライン講義に対する学習者の受講集中度情報をフィードバックする。

【0076】

どの部分で学習者の集中力が低下したか、どの部分で学習者の集中力が高くなったかを統計を出して提供することができる。また、講義フィードバック部１９０は、教授者にどの学習者の集中力が不調で、どの学習者の受講集中度が高かったかを分析して提供することもできる。

【0077】

また、講義フィードバック部１９０は、講義映像が再生されている状況で学習者から当該授業講義映像に対する反応を受信して教授者に伝達することができる。例えば、表情顔文字や、「難しいです」または「おもしろいです」のようなメッセージを講義中に伝達できるようにして、教授者はオンライン授業のどの部分で学習者が興味を感じ、難しさを感じるかを正確に把握することができる。

【0078】

記憶部１５０は、フラッシュメモリタイプ（Ｆｌａｓｈ Ｍｅｍｏｒｙ Ｔｙｐｅ）、ハードディスクタイプ（Ｈａｒｄ Ｄｉｓｋ Ｔｙｐｅ）、マルチメディアカードマイクロタイプ（Ｍｕｌｔｉｍｅｄｉａ Ｃａｒｄ Ｍｉｃｒｏ Ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリなど）、磁気メモリ、磁気ディスク、光ディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）の少なくとも１つの記憶媒体を含むことができる。

【0079】

一実施例において、記憶部１５０は、学習者端末ごとにマッチングされる学習者の顔面イメージ、教授者端末３０からアップロードされる講義データ、そして教授者端末３０に提供されるフィードバック情報を格納する。しかし、これに限定されるものではない。

【0080】

また、講義フィードバック部１９０は、人工知能講義評価アルゴリズムを適用することができる。学習者の顔面イメージを通して顔感情を認識し、参加度を分析し、簡単なアンケートおよびクイズによる回答を反映した講義評価アルゴリズムにより、学習者の講義集中度を分析して教授者にフィードバックする。

【0081】

さらに、講義フィードバック部１９０は、学習者に教授者の講義に対する講義満足度をアンケートにより実施し、講義中に顔文字の伝送によるリアルタイムな講義評価およびフィードバックを提供することもできる。

【0082】

図３は、本発明の一実施例による人工知能技術を活用した画像教育学習支援方法を説明するためのフローチャートである。

【0083】

人工知能技術を活用した画像教育システムで駆動される人工知能技術を活用した画像教育学習支援方法は、イメージ認識部が、オンライン学習に参加する講義学習者の顔表情が含まれた顔面イメージを取得および認識する（Ｓ３００、Ｓ３１０）。

【0084】

本発明の補助的な態様において、認識される顔面イメージが予め設定された学習者の顔面イメージと一致するか否かを確認することができる。そして、学習者の顔面イメージと不一致の場合には欠席と把握する。また、学習者が講義の途中に予め設定された時間以上認識されない場合にも欠席と把握することができる。

【0085】

そして、集中度分析部が、前記認識される顔面イメージを分析して学習者の受講集中度を分析する（Ｓ３２０）。

【0086】

一実施例において、学習者の受講集中度を算出する基準は、学習者が教授者から学習集中度が低いと指摘された時点から予め定められた時間前の間に見せていたモーションパターンを学習することにより、学習者の学習集中度が現在高いかまたは低いかを算出することができる。このように学習者の学習集中度を客観的な学習者のモーション情報を通して把握して提供することにより、教授者は学習者の学習集中度の把握にかける努力を教育コンテンツによる学習の進行により集中することができる。

【0087】

また、集中度分析部は、コンテンツの内容ごとに、学習者の年齢帯ごとに集中／非集中に対する区分の基準を異なって決定可能である。これにより、絶対的な基準として全年齢帯の集中の有無を判断するのではなく、学習者ごとに水準に合った時間と動きを基準としてそれぞれ集中度の程度を把握することができる。

【0088】

この後に、補償支給部が、分析された学習者の受講集中度に応じて、受講集中度が所定の基準ａ以上であれば（Ｓ３３０）、学習者に補償を与える（Ｓ３４０）。

【0089】

補償を与えることは、予め設定された褒め言葉ステッカーまたは顔文字を提供するものであってもよい。しかし、補償手段はこれに限定されるものではなく、多様な形態で提供可能である。例えば、受講集中度が所定の基準以上である回数目が基準以上であれば、商品券を与えたり、授業料に対するキャッシュバックを提供することで実現されてもよい。

【0090】

この後に、本発明の一態様において、重要区間探知部は、オンライン講義映像の再生中、教授者の声、教授者のイントネーション、教授者の表情、重要区間であることを表示する語彙、学習者の選択信号のうちの１つに基づいて教授者の重要区間を探知する（Ｓ３５０）。

【0091】

このとき、重要区間探知部は、オンライン講義教授者の音声認識により教授者の声が一定デシベル以上の場合、または教授者の声の音量が基準値以上より大きくなった場合、教授者のイントネーションが強くなった場合であれば、当該部分が重要区間であることを把握することができる。

【0092】

また、重要区間探知部は、人工知能により教授者に対する視線集中を把握して重要区間として分析し、使用者の顔表情反応の分析統計による使用者の反応を分析することができる。

【0093】

そして、重要区間表示部が、オンライン講義映像で重要区間探知部から探知された重要区間が始まる地点に復習用動画マーカを挿入する（Ｓ３６０）。

【0094】

すなわち、全体講義映像でクリックして重要区間に直ちにいけるようにマーカを挿入して重要区間を表示することができる。

【0095】

そして、復習用動画生成部が、探知された重要区間を抽出して復習用動画を生成する（Ｓ３７０）。

【0096】

重要区間として判断される部分の前後に数秒の映像をさらに含ませて抽出し、抽出された重要区間の映像を連結させて復習用動画として生成することができる。

【0097】

本発明のさらなる態様において、コンテンツ出力部が、受講集中度を分析するステップにおける学習者の受講集中度に応じて、受講集中度が所定の基準ｂ以下であれば（Ｓ３３２）、学習者の集中誘発のために予め設定されたコンテンツを出力する（Ｓ３３４）。

【0098】

コンテンツ出力部は、「集中しましょう」というメッセージを出力するお知らせ画面、または動画画面を出力してもよく、簡単なストレッチング映像を出力してもよい。あるいは、前の学習部分に基づいて解決できる突然クイズを出力してもよい。

【0099】

授業の途中に学習者の集中度が一定基準以下に低下したと検知された場合には、適切に学習者の注意を喚起させることが可能な多様な形態のコンテンツを出力することができる。

【0100】

この後に、講義フィードバック部が、オンライン講義教授者に前記受講集中度を分析するステップで分析された当該オンライン講義に対する学習者の受講集中度情報をフィードバックする（Ｓ３８０）。

【0101】

このとき、講義フィードバック部は、どの部分で学習者の集中力が低下したか、どの部分で学習者の集中力が高くなったかを統計を出して提供することができる。また、講義フィードバック部は、教授者にどの学習者の集中力が不調で、どの学習者の受講集中度が高かったかを分析して提供することもできる。

【0102】

上述した方法は、アプリケーションで実現されるか、多様なコンピュータ構成要素を介して行われるプログラム命令語の形態で実現されてコンピュータ読取可能な記録媒体に記録される。前記コンピュータ読取可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。

【0103】

前記コンピュータ読取可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計および構成されたものであるが、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。

【0104】

コンピュータ読取可能な記録媒体の例には、ハードディスク、フロッピィーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Fｌｏｐｔｉｃａｌ Dｉｓｋ）のような磁気－光媒体（Mａｇｎｅｔｏ－Oｐｔｉｃａｌ Mｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納および実行するように特別に構成されたハードウェア装置が含まれる。

【0105】

プログラム命令語の例には、コンパイラによって作られるような機械語コードのみならず、インタプリタなどを用いてコンピュータによって実行できる高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を行うために、１つ以上のソフトウェアモジュールとして作動するように構成されてもよいし、その逆も同じである。

【0106】

以上、実施例を参照して説明したが、当該技術分野における熟練した当業者は下記の特許請求の範囲に記載の本発明の思想および領域を逸脱しない範囲内で本発明を多様に修正および変更させることができることを理解するであろう。

【符号の説明】

【0107】

１０：人工知能技術を活用した画像教育システム
１１０：通信部
１２０：イメージ認識部
１３０：集中度分析部
１４０：補償支給部
１５０：記憶部
１６０：重要区間探知部
１７０：復習用動画生成部
１７５：重要区間表示部
１８０：コンテンツ出力部
１９０：講義フィードバック部

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2022-02-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

オンライン学習に参加する学習者の顔表情が含まれた顔面イメージを取得および認識するイメージ認識部と、
前記イメージ認識部で認識される顔面イメージを分析して学習者の受講集中度を分析し、このときオンライン講義映像のコンテンツの内容ごと、又は学習者の年齢帯ごとに集中／非集中に対する区分の基準を異なって決定する集中度分析部と、
前記集中度分析部で分析された学習者の受講集中度に応じて、受講集中度が所定の基準以上の回数が所定回数以上の場合に学習者に補償を与える補償支給部と、
オンライン講義映像の再生中、教授者の声、教授者のイントネーション、教授者の表情、重要区間であることを表示する語彙、学習者の選択信号のうちの１つに基づいて教授者の重要区間を探知する重要区間探知部と、
前記重要区間探知部で探知された重要区間を抽出して復習用動画を生成する復習用動画生成部と、
オンライン講義映像で前記重要区間探知部から探知された重要区間が始まる地点に復習用動画マーカを挿入する重要区間表示部と、
を含む、人工知能技術を活用した画像教育システム。

【請求項2】

前記集中度分析部で学習者の受講集中度に応じて、受講集中度が所定の基準以下であれば、学習者の集中誘発のために予め設定されたコンテンツを出力するコンテンツ出力部と、をさらに含む、請求項１に記載の人工知能技術を活用した画像教育システム。

【請求項3】

オンライン講義教授者に前記集中度分析部で分析された当該オンライン講義に対する学習者の受講集中度情報をフィードバックする講義フィードバック部と、をさらに含む、請求項１に記載の人工知能技術を活用した画像教育システム。

【請求項4】

請求項１～３のいずれか１項に記載の画像教育システムで駆動される学習支援方法において、
イメージ認識部が、オンライン学習に参加する講義学習者の顔表情が含まれた顔面イメージを取得および認識するステップと、
集中度分析部が、前記認識される顔面イメージを分析して学習者の受講集中度を分析するステップと、
補償支給部が、前記分析された学習者の受講集中度に応じて、受講集中度が所定の基準以上であれば、学習者に補償を与えるステップと、を含む、人工知能技術を活用した画像教育学習支援方法。

【請求項5】

重要区間探知部が、オンライン講義映像の再生中、教授者の声、教授者のイントネーション、教授者の表情、重要区間であることを表示する語彙、学習者の選択信号のうちの１つに基づいて教授者の重要区間を探知するステップと、をさらに含む、請求項４に記載の人工知能技術を活用した画像教育学習支援方法。

【請求項6】

復習用動画生成部が、前記探知された重要区間を抽出して復習用動画を生成するステップと、
重要区間表示部が、オンライン講義映像で前記重要区間探知部から探知された重要区間が始まる地点に復習用動画マーカを挿入するステップと、をさらに含む、請求項５に記載の人工知能技術を活用した画像教育学習支援方法。

【請求項7】

コンテンツ出力部が、前記受講集中度を分析するステップにおける学習者の受講集中度に応じて、受講集中度が所定の基準以下であれば、学習者の集中誘発のために予め設定されたコンテンツを出力するステップと、をさらに含む、請求項４に記載の人工知能技術を活用した画像教育学習支援方法。

【請求項8】

講義フィードバック部が、オンライン講義教授者に前記受講集中度を分析するステップで分析された当該オンライン講義に対する学習者の受講集中度情報をフィードバックするステップと、をさらに含む、請求項４に記載の人工知能技術を活用した画像教育学習支援方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００６６

【補正方法】変更

【補正の内容】

【0066】

補償支給部１４０は、予め設定された褒め言葉ステッカーまたは顔文字を提供するものであってもよい。しかし、補償手段はこれに限定されるものではなく、多様な形態で提供可能である。例えば、受講集中度が所定の基準以上である回数目が基準以上であれば、商品券を与えたり、授業料に対するキャッシュバックを提供することで実現されてもよい。