IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイリスオーヤマ株式会社の特許一覧

特開2023-59101処理方法、処理装置及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023059101
(43)【公開日】2023-04-26
(54)【発明の名称】処理方法、処理装置及びコンピュータプログラム
(51)【国際特許分類】
   G06F 21/32 20130101AFI20230419BHJP
   G06T 7/00 20170101ALI20230419BHJP
【FI】
G06F21/32
G06T7/00 510F
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021169016
(22)【出願日】2021-10-14
(71)【出願人】
【識別番号】391001457
【氏名又は名称】アイリスオーヤマ株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】沼野 藤仁
【テーマコード(参考)】
5B043
【Fターム(参考)】
5B043BA04
5B043DA05
(57)【要約】
【課題】なりすましを防止することができる処理方法、処理装置及びコンピュータプログラムを提供する。
【解決手段】生徒端末11は、顔画像を編集し、編集することによって得られた編集画像を教師装置10に送信する。教師装置10は、編集画像を表示(出力)する。教師装置10は、編集画像が表示されている間に、顔画像に関連する顔画像データを取得する。教師装置10は、取得した顔画像データと、未編集の顔画像に関連する登録済み顔画像データとに基づいて認証を行う。
【選択図】図1
【特許請求の範囲】
【請求項1】
顔を撮像する撮像部から取得した顔画像を編集することによって得られる編集画像を出力し、
前記編集画像が表示されている間に、前記顔画像に関連する顔画像データを取得し、
取得した顔画像データと、未編集の顔画像に関連する登録済み顔画像データとに基づいて認証を行う
処理方法。
【請求項2】
前記編集画像が表示されている間に、前記顔画像データをランダムなタイミングで繰り返し取得する
請求項1に記載の処理方法。
【請求項3】
前記認証が失敗した場合、前記顔画像データを再び取得し、
取得した顔画像データと、前記登録済み顔画像データとに基づいて前記認証を再び行う
請求項1又は請求項2に記載の処理方法。
【請求項4】
画像を配信し、
再度の認証が失敗した場合、画像の配信を終了する
請求項3に記載の処理方法。
【請求項5】
操作部にて所定の操作が行われた場合、前記顔画像データを取得する
請求項1から請求項4のいずれか1項に記載の処理方法。
【請求項6】
前記認証の実行を要求する認証要求データを外部から取得し、
前記認証要求データを取得した場合、前記顔画像データを再び取得し、
取得した顔画像データと、前記登録済み顔画像データとに基づいて前記認証を再び行う
請求項1から請求項5のいずれか1項に記載の処理方法。
【請求項7】
取得した複数の顔画像データに基づいて、顔の移動量を算出し、
算出した移動量が所定量未満である場合に、前記認証の結果を失敗に変更する
請求項1から請求項6のいずれか1項に記載の処理方法。
【請求項8】
前記顔画像に関する同一の動画像が繰り返し再生されているか否かを判定し、
前記同一の動画像が繰り返し再生されていると判定した場合、前記認証の結果を失敗に変更する
請求項1から請求項7のいずれか1項に記載の処理方法。
【請求項9】
前記認証が失敗した場合、前記顔画像と、前記認証が失敗した理由を示すメッセージとを表示する
請求項1から請求項8のいずれか1項に記載の処理方法。
【請求項10】
処理を実行する処理部を備え、
前記処理部は、
顔を撮像する撮像部から取得した顔画像を編集することによって得られる編集画像を出力し、
前記編集画像が表示されている間に、前記顔画像に関連する顔画像データを取得し、
取得した顔画像データと、未編集の顔画像に関連する登録済み顔画像データとに基づいて認証を行う
処理装置。
【請求項11】
顔を撮像する撮像部から取得した顔画像を編集することによって得られる編集画像を出力し、
前記編集画像が表示されている間に、前記顔画像に関連する顔画像データを取得し、
取得した顔画像データと、未編集の顔画像に関連する登録済み顔画像データとに基づいて認証を行う
処理をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、処理方法、処理装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
特許文献1には、第1ユーザが、遠隔地にいる第2ユーザと会話するシステムが開示されている。第1ユーザ及び第2ユーザそれぞれは、第1デバイス及び第2デバイスを用いる。第1デバイスは、第2ユーザのアバターを表示し、第2デバイスが取り込んだ音声を出力する。第2デバイスは、第1ユーザのアバターを表示し、第1デバイスが取り込んだ音声を出力する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2021-523437号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のシステムでは、第1デバイスは、第2ユーザの顔画像を表示していない。このため、会話の途中で、第2デバイスを用いて話している人物が第2ユーザから第3ユーザに変更され、第3ユーザが第2ユーザになりすます可能性がある。
【0005】
本開示は斯かる事情に鑑みてなされたものであり、その目的とするところは、なりすましを防止することができる処理方法、処理装置及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本開示の一態様に係る処理方法は、顔を撮像する撮像部から取得した顔画像を編集することによって得られる編集画像を出力し、前記編集画像が表示されている間に、前記顔画像に関連する顔画像データを取得し、取得した顔画像データと、未編集の顔画像に関連する登録済み顔画像データとに基づいて認証を行う。
【発明の効果】
【0007】
上記の態様によれば、なりすましを防止することができる。
【図面の簡単な説明】
【0008】
図1】実施の形態1における通信システムの説明図である。
図2】生徒端末の要部構成を示すブロック図である。
図3】顔変換モデルの説明図である。
図4】部分変換モデルの説明図である。
図5】教師装置の要部構成を示すブロック図である。
図6】認証方法の説明図である。
図7】認証テーブルを示す図表である。
図8】認証処理及び撮像画像送信処理の手順を示すフローチャートである。
図9】装置開始処理及び端末開始処理の手順を示すフローチャートである。
図10】認証が失敗した場合に表示される画面の例示図である。
図11】編集画像表示処理及び編集画像送信処理の手順を示すフローチャートである。
図12】装置防止処理及び端末防止処理の手順を示すフローチャートである。
図13】装置防止処理及び端末防止処理の手順を示すフローチャートである。
図14】実施の形態2における第2の認証処理の手順を示すフローチャートである。
図15】移動量の説明図である。
図16】動画像検知処理及び撮像画像送信処理の手順を示すフローチャートである。
図17】実施の形態3における通信システムの説明図である。
図18】生徒端末の要部構成を示すブロック図である。
図19】認証結果変更処理及び認証処理の手順を示すフローチャートである。
図20】装置開始処理及び端末開始処理の手順を示すフローチャートである。
図21】装置防止処理及び端末防止処理の手順を示すフローチャートである。
図22】装置防止処理及び端末防止処理の手順を示すフローチャートである。
図23】実施の形態4における通信システムの説明図である。
【発明を実施するための形態】
【0009】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、実施の形態1における通信システム1の説明図である。通信システム1は、教師が、遠隔地にいる複数の生徒に対して講義を行う場合に用いられる。通信システム1は、教師が操作する教師装置10と、複数の生徒それぞれが操作する複数の生徒端末11とを備える。教師装置10及び複数の生徒端末11はネットワークNに接続されている。ネットワークNへの接続は、有線接続及び無線接続の一方又は両方によって実現される。
【0010】
教師装置10は、講義で用いる講義画像の講義画像データを生徒端末11に配信する。画像データは、例えば、画像を構成する複数の画素それぞれの輝度値を示す。生徒端末11は、講義画像データを受信した場合、受信した講義画像データの講義画像を表示する。生徒端末11は、生徒端末11の操作者の顔を撮像し、撮像した撮像画像を編集する。撮像画像は、顔が写っている顔画像である。生徒端末11は、撮像画像を編集することによって得られた編集画像の編集画像データを、教師装置10に送信する。教師装置10及び複数の生徒端末11それぞれは、受信した編集画像データの編集画像を表示する。
【0011】
このため、実際の生徒の撮像画像が教師に見られることはない。例えば、寝癖によって、髪型が好ましくない状態である場合であっても、編集画像が表示されるので、生徒は髪型を整える必要はない。しかしながら、編集画像が表示されるので、教師は、編集画像に基づいて、生徒端末11の操作者が生徒であるか否かを把握することができない。
【0012】
通信システム1では、生徒端末11は、撮像画像の撮像画像データを教師装置10に送信する。撮像画像データは、撮像画像(顔画像)に関連する顔画像データの1つである。教師装置10は、受信した撮像画像データに基づいて、生徒端末11の操作者を認証する。従って、教師は、生徒端末11の操作者が生徒であるか否かを把握することができる。教師装置10は撮像画像を表示しないため、教師が撮像画像を見ることはない。教師装置10は処理装置として機能する。以下では、教師装置10及び生徒端末11の構成を詳細に説明する。
【0013】
図2は生徒端末11の要部構成を示すブロック図である。生徒端末11は、パーソナルコンピュータ、タブレット又はスマートフォン等である。生徒端末11は、端末カメラ20、端末表示部21、端末通信部22、端末操作部23、端末スピーカ24、端末記憶部25及び端末制御部26を有する。これらは内部バス27に接続されている。端末通信部22は、更に、ネットワークNに接続されている。
【0014】
端末カメラ20は、生徒端末11の操作者の顔を撮像する。端末カメラ20は撮像部として機能する。端末カメラ20は、操作者の顔が写っている撮像画像の撮像画像データを生成する。端末制御部26は、端末カメラ20から撮像画像データを取得する。端末表示部21は、ディスプレイであり、講義画像及び編集画像等の種々の画像を表示する。
【0015】
端末通信部22は、教師装置10から種々のデータを受信する。端末通信部22が教師装置10から受信するデータには、講義画像データが含まれる。端末通信部22は、種々のデータを教師装置10に送信する。端末通信部22が教師装置10に送信するデータは、撮像画像データ及び編集画像データが含まれる。
【0016】
端末操作部23は操作者によって操作される。生徒端末11がパーソナルコンピュータである場合、端末操作部23は、例えば、キーボード又はマウス等である。生徒端末11がタブレット又はスマートフォンである場合、端末操作部23は、例えば、タッチパネルである。
【0017】
教師装置10は、教師が発した教師音声を集音し、集音した教師音声の教師音声データを生徒端末11の端末通信部22に配信する。端末スピーカ24は、受信した教師音声データの教師音声を出力する。
【0018】
端末記憶部25は、例えば、揮発性メモリ及び不揮発性メモリによって構成される。端末記憶部25には、プログラムPs、複数の顔変換モデルA1,A2,・・・及び複数の部分変換モデルB1,B2,・・・が記憶されている。端末制御部26は、処理を実行する処理素子を有する。処理素子は、CPU(Central Processing Unit)又はGPU(Graphics Processing Unit)等である。端末制御部26の処理素子は、プログラムPsを実行することによって種々の処理を並行して実行する。端末制御部26が複数の処理素子を有する場合、複数の処理素子が協同して種々の処理を実行してもよい。
【0019】
なお、プログラムPsは、プログラムPsを読み取り可能に記憶した非一時的な記憶媒体Esを用いて、生徒端末11に提供されてもよい。記憶媒体Esは、例えば可搬型メモリである。可搬型メモリの例として、CD-ROM、USB(Universal Serial Bus)メモリ、SDカード、マイクロSDカード又はコンパクトフラッシュ(登録商標)等が挙げられる。記憶媒体Esが可搬型メモリである場合、端末制御部26の処理素子は、図示しない読取装置を用いて記憶媒体EsからプログラムPsを読み取ってもよい。読み取ったプログラムPsは端末記憶部25に書き込まれる。更に、プログラムPsは、端末通信部22が外部装置と通信することによって、生徒端末11に提供されてもよい。この場合、端末制御部26の処理素子は、端末通信部22を通じてプログラムPsを取得する。取得したプログラムPsは端末記憶部25に書き込まれる。
【0020】
図3は顔変換モデルA1の説明図である。撮像画像の編集では、端末制御部26は、撮像画像の生徒の顔を他の顔に入れ替える場合がある。端末制御部26は、生徒の顔を他の顔に入れ替える場合、複数の顔変換モデルA1,A2,・・・中の1つを用いる。図3の例では、顔変換モデルA1を用いて、撮像画像の顔が熊のキャラクターの顔に入れ替える。顔変換モデルA1は、エンコーダ及びデコーダを有する。エンコーダには、画像データが入力される。エンコーダは、入力された画像データに基づいてHOG(Histograms of Oriented Gradient)データを生成し、生成したHOGデータをデコーダに出力する。HOGデータは、画像の濃淡の方向をベクトルで表したデータである。デコーダは、入力されたHOGデータに応じた画像データを出力する。
【0021】
エンコーダ及びデコーダそれぞれは、ニューラルネットワークであり、機械学習によって生成される学習済みモデルである。エンコーダ及びデコーダそれぞれは、値の入力及び出力を行う複数のニューロンを有する。各ニューロンでは、一又は複数のパラメータの値が設定されている。各ニューロンでは、端末制御部26は、入力値と一又は複数のパラメータの値とに基づいて出力値を算出し、算出した出力値を他のニューロンに出力する。最終的に、エンコーダは、一又は複数のニューロンの出力値に基づいてHOGデータを生成する。デコーダは、一又は複数のニューロンの出力値に基づいて画像データを生成する。
【0022】
学習段階では、熊のキャラクターの顔が写っている入力画像の入力画像データをエンコーダに入力する。前述したように、エンコーダはデコーダにHOGデータを出力する。デコーダが出力する出力画像データが入力画像データを同じとなるように、エンコーダ及びデコーダの複数のニューロンのパラメータを調整する。この学習では、複数の入力画像データが用いられる。次に、撮像画像データをエンコーダに入力する。エンコーダが出力したHOGデータを、デコーダと同様に構成されている第2のデコーダに出力する。第2のデコーダが出力する出力画像データが、入力された撮像画像データと同じになるように、エンコーダ及び第2のデコーダの複数のニューロンのパラメータを調整する。この学習では、複数の撮像画像データが用いられる。
【0023】
以上の学習が行われた場合、エンコーダには、生徒の顔の特徴と、熊のキャラクターの顔の特徴とが蓄積される。デコーダには、熊のキャラクターの顔の特徴が蓄積されている。前述したように、顔変換モデルA1では、学習されたエンコーダ及びデコーダによって構成されている。顔変換モデルA1のエンコーダに撮像画像データを入力した場合、デコーダは、生徒の顔が熊のキャラクターの顔に入れ替わった編集画像の編集画像データを出力する。端末制御部26は、撮像画像の生徒の顔を熊のキャラクターの顔に入れ替える場合、撮像画像データを顔変換モデルA1に入力し、各ニューロンでの算出を行う。これにより、編集画像データが生成される。
【0024】
顔変換モデルA2,A3,・・・それぞれは、顔変換モデルA1と同様に構成されている。複数の顔変換モデルA1,A2,・・・に関して、入れ替えによって生成される顔が相互に異なる。一例として、顔変換モデルA1は、生徒の顔を熊のキャラクターの顔に入れ替える。顔変換モデルA2は、生徒の顔をウサギのキャラクターの顔に入れ替える。複数の顔変換モデルA1,A2,・・・の中で、編集に用いられる顔変換モデルは生徒によって選択される。変換によって生成される顔の種類の数は、顔変換モデルA1,A2,・・・の数と同じである。
【0025】
撮像画像の顔の変換方法は、顔変換モデルA1,A2,・・・中の1つを用いる方法に限定されない。端末制御部26は、撮像画像において生徒の顔を他の顔に入れ替えることができれば、問題はない。
【0026】
図4は、部分変換モデルB1,B2,B3の説明図である。撮像画像の編集では、端末制御部26は、顔の入れ替えを行うことなく、撮像画像を部分的に編集する場合がある。端末制御部26は、顔の入れ替えを行うことなく、撮像画像を部分的に編集する場合、複数の部分変換モデルB1,B2,・・・中の1つを用いる。図4の例では、部分変換モデルB1を用いて、撮像画像の顔にメガネが追加されている。部分変換モデルB2を用いて、撮像画像の顔に髭が追加されている。部分変換モデルB3を用いて、撮像画像に写っている操作者の服がスーツに変換されている。
【0027】
部分変換モデルB1は、ニューラルネットワークであり、機械学習によって生成される学習済みモデルである。部分変換モデルB1は、値の入力及び出力を行う複数のニューロンを有する。各ニューロンでは、一又は複数のパラメータの値が設定されている。各ニューロンでは、端末制御部26は、入力値と一又は複数のパラメータの値とに基づいて出力値を算出し、算出した出力値を他のニューロンに出力する。最終的には、部分変換モデルB1は、一又は複数のニューロンの出力値に基づいて画像データを生成する。
【0028】
学習段階では、部分変換モデルB1と、真偽を判定する判定モデルとを用いる。判定モデルは、複数のニューロンを有するニューラルネットワークである。部分変換モデルB1に画像データが入力された場合、入力された画像データとは異なる画像データが生成される。判定モデルには、画像データが入力された場合、入力された画像データが真であるか否かを判定する。メガネをかけた顔が写っている複数のメガネ画像のメガネ画像データが用意されている。
【0029】
予め用意されているメガネ画像データが判定モデルに入力された場合に判定結果が真となるように、判定モデルのニューロンのパラメータを調整する。次に、部分変換モデルB1のニューロンのパラメータを固定している状態で複数の画像データを部分変換モデルB1に入力する。これにより、部分変換モデルB1は複数の画像データを生成する。部分変換モデルB1が生成した画像データが判定モデルに入力された場合に判定結果が偽となるように、判定モデルのニューロンのパラメータを調整する。
【0030】
次に、部分変換モデルB1に画像データを入力し、部分変換モデルB1が出力した画像データを判定モデルに入力する。ここでは、判定モデルのニューロンのパラメータを固定している状態で、判定モデルの判定結果が真となるように、部分変換モデルB1のニューロンのパラメータを調整する。判定モデル及び部分変換モデルB1の学習を交互に実行する。
【0031】
以上の学習が行われた後において、部分変換モデルB1に画像データが入力された場合、部分変換モデルB1は、入力された画像データを、予め用意されているメガネ画像データに近い画像データに編集する。従って、撮像画像データが部分変換モデルB1に入力された場合、部分変換モデルB1は、撮像画像に写っている生徒にメガネが追加された編集画像の画像データを出力する。端末制御部26は、撮像画像の生徒の顔にメガネを付加する場合、撮像画像データを部分変換モデルB1に入力し、各ニューロンでの算出を行う。これにより、編集画像データが生成される。
【0032】
部分変換モデルB2,B3,・・・それぞれは、部分変換モデルB1と同様に構成されている。部分変換モデルB2の学習では、髭が生えている顔が写っている画像の画像データが用いられる。部分変換モデルB3の学習では、スーツを着ている人物の画像の画像データが用いられる。複数の部分変換モデルB1,B2,・・・に関して、付加される項目が相互に異なる。なお、部分変換モデルB1が出力した画像データを部分変換モデルB2に入力した場合、メガネ及び髭が付加された画像の画像データが生成される。
【0033】
撮像画像の顔の部分的な変換方法は、部分変換モデルB1,B2,・・・中の少なくとも1つを用いる方法に限定されない。端末制御部26は、撮像画像において生徒の顔を部分的に変更することができれば、問題はない。
【0034】
図5は、教師装置10の要部構成を示すブロック図である。教師装置10は、パーソナルコンピュータ、タブレット又はスマートフォン等である。教師装置10は、装置カメラ30、装置表示部31、装置通信部32、装置操作部33、装置マイク34、装置記憶部35及び装置制御部36を有する。これらは内部バス37に接続されている。装置通信部32は、更に、ネットワークNに接続されている。
【0035】
装置カメラ30は、講義画像を撮像する。講義画像は、例えば、ホワイトボード又は黒板等が写っている画像である。装置表示部31は、ディスプレイであり、講義画像及び編集画像等の種々の画像を表示する。装置通信部32は生徒端末11の端末通信部22からデータを受信する。端末通信部22が装置通信部32に送信するデータには、撮像画像データ及び編集画像データが含まれる。装置通信部32は、種々のデータを端末通信部22に送信する。装置通信部32が端末通信部22に送信するデータには、講義画像データ及び教師音声データが含まれる。
【0036】
装置操作部33は教師によって操作される。教師装置10がパーソナルコンピュータである場合、装置操作部33は、例えば、キーボード又はマウス等である。教師装置10がタブレット又はスマートフォンである場合、装置操作部33は、例えば、タッチパネルである。装置マイク34は、教師音声を集音し、集音した教師音声の教師音声データを生成する。
【0037】
装置記憶部35は、例えば、揮発性メモリ及び不揮発性メモリによって構成される。装置記憶部35には、プログラムPt、特徴抽出モデルM、認証結果テーブルT及び複数の登録特徴データR,R,・・・が記憶されている。装置制御部36は、処理を実行する処理素子を有し、処理部として機能する。処理素子はCPU又はGPU等である。装置制御部36の処理素子は、プログラムPtを実行することによって、種々の処理を並行して実行する。装置制御部36が複数の処理素子を有する場合、複数の処理素子が協同して種々の処理を実行してもよい。
【0038】
なお、プログラムPtは、プログラムPtを読み取り可能に記憶した非一時的な記憶媒体Etを用いて、教師装置10に提供されてもよい。記憶媒体Etは、例えば可搬型メモリである。記憶媒体Etが可搬型メモリである場合、装置制御部36の処理素子は、図示しない読取装置を用いて記憶媒体EtからプログラムPtを読み取ってもよい。読み取ったプログラムPtは装置記憶部35に書き込まれる。更に、プログラムPtは、装置通信部32が外部装置と通信することによって、教師装置10に提供されてもよい。この場合、装置制御部36の処理素子は、装置通信部32を通じてプログラムPtを取得する。取得したプログラムPtは装置記憶部35に書き込まれる。
【0039】
図6は認証方法の説明図である。装置制御部36は、装置通信部32が受信した撮像画像データに基づいて認証を行う。装置制御部36は、特徴抽出モデルMに撮像画像データを入力することによって、顔の特徴点を示す抽出特徴データを生成する。特徴点は、顔の部分又は輪郭の位置を示す点である。顔の部分は、眉毛、目、鼻及び唇等である。図6の下側には、複数の特徴点が黒い点によって示されている。図6では、複数の特徴点それぞれは、眉毛の位置、目の輪郭の位置、鼻の位置、唇の輪郭の位置、又は、顔の輪郭の位置を示す。位置は、X軸及びY軸で構成される座標で表されている。
【0040】
特徴抽出モデルMは、ニューラルネットワークであり、機械学習によって生成される学習済みモデルである。特徴抽出モデルMは、値の入力及び出力を行う複数のニューロンを有する。各ニューロンでは、一又は複数のパラメータの値が設定されている。各ニューロンでは、装置制御部36は、入力値と一又は複数のパラメータの値とに基づいて出力値を算出し、算出した出力値を他のニューロンに出力する。最終的には、特徴抽出モデルMは、一又は複数のニューロンの出力値に基づいて、顔の複数の特徴点を示す抽出特徴データを生成する。
【0041】
特徴抽出モデルMでは、顔の画像の画像データと、顔の複数の特徴点を示す特徴データとが互いに対応付けられているデータセットを用いて機械学習が行われる。学習が行われた後において、特徴抽出モデルMに撮像画像データが入力された場合、特徴抽出モデルMは、入力された撮像画像データの撮像画像に写っている顔の複数の特徴点を示す抽出特徴データを出力する。装置制御部36は、撮像画像データを特徴抽出モデルMに入力し、各ニューロンでの算出を行う。これにより、抽出特徴データが生成される。
【0042】
登録特徴データRは、予め登録されている登録済みの複数の特徴点を示す。登録特徴データRは、撮像画像が編集されてない撮像画像データを特徴抽出モデルMに入力することによって生成されるデータである。即ち、登録特徴データRは、未編集の撮像画像(顔画像)に関連する登録済み顔画像データである。複数の生徒端末11それぞれには、端末IDが割り振られている。IDはIdentification Dataの略語である。複数の登録特徴データRそれぞれは、複数の端末IDに対応付けられている。従って、1つの登録特徴データRは、端末IDが001である生徒の顔の複数の特徴点を示す。他の登録特徴データRは、端末IDが002である生徒の顔の複数の特徴点を示す。
【0043】
生徒端末11の端末通信部22は、撮像画像データと併せて、生徒端末11の端末IDを示す識別データを、教師装置10の装置通信部32に送信する。装置制御部36は、認証を行う場合、撮像画像データを特徴抽出モデルMに入力し、抽出特徴データを生成する。装置制御部36は、撮像画像データに付随する識別データが示す端末IDの登録特徴データRを読み出す。
【0044】
装置制御部36は、抽出特徴データが示す複数の特徴点を、登録特徴データRが示す複数の特徴点と比較することによって、撮像画像データの撮像画像が登録済みの撮像画像であるか否かを判定する。登録済みの撮像画像は、登録特徴データRが示す複数の特徴点に対応する顔が写っている撮像画像である。比較では、2つの特徴点の相対位置、又は、2つの特徴点間の距離等が用いられる。撮像画像データの撮像画像が登録済みの撮像画像である場合、認証は成功である。撮像画像データの撮像画像が登録済みの撮像画像ではない場合、認証は失敗である。
【0045】
特徴抽出モデルMが顔の特徴点を抽出しなかった場合、特徴抽出モデルMが出力した抽出特徴データは特徴点の抽出不可を示す。特徴点が抽出されなかった場合、認証は失敗である。
【0046】
図7は認証結果テーブルTを示す図表である。認証結果テーブルTでは、端末IDに対応付けて、認証結果と、認証が失敗した理由とが示されている。図7の例では、端末IDとして、001~004が示されている。001及び003の認証結果は成功である。002及び004の認証結果は失敗である。002の認証結果が失敗した理由として、顔の特徴点の抽出不可が示されている。004の認証結果が失敗した理由として、撮像画像データの撮像画像が未登録の撮像画像であることが示されている。認証結果テーブルTの認証結果及び失敗の理由は、装置制御部36によって変更される。
【0047】
以下では、教師装置10の装置制御部36と、生徒端末11の端末制御部26とが実行する種々の処理を説明する。まず、認証に関する処理を説明する。教師装置10の装置制御部36は、プログラムPtを実行することによって、認証処理を実行する。認証処理は、生徒端末11の操作者を認証する処理である。生徒端末11の端末制御部26は、プログラムPsを実行することによって、撮像画像送信処理を実行する。撮像画像送信処理は、撮像画像データを教師装置10の装置通信部32に送信する処理である。
【0048】
図8は、認証処理及び撮像画像送信処理の手順を示すフローチャートである。認証処理では、教師装置10の装置制御部36は、装置通信部32に指示して、撮像画像データの送信を要求する画像要求データを生徒端末11の端末通信部22に送信させる(ステップS1)。撮像画像送信処理では、生徒端末11の端末制御部26は、端末通信部22が装置通信部32から撮像画像データを受信したか否かを判定する(ステップS11)。端末制御部26は、端末通信部22が撮像画像データを受信していないと判定した場合(S11:NO)、ステップS11を再び実行し、端末通信部22が撮像画像データを受信するまで待機する。
【0049】
端末制御部26は、端末通信部22が画像要求データを受信したと判定した場合(S11:YES)、端末カメラ20から撮像画像データを取得する(ステップS12)。次に、端末制御部26は、端末通信部22に指示して、ステップS12で取得した撮像画像データを装置通信部32に送信させる(ステップS13)。前述したように、端末通信部22は、撮像画像データと併せて識別データを装置通信部32に送信する。端末制御部26は、ステップS13を実行した後、撮像画像送信処理を終了する。
【0050】
教師装置10の装置制御部36は、ステップS1を実行した後、装置通信部32が端末通信部22から撮像画像データを受信したか否かを判定する(ステップS2)。装置制御部36は、装置通信部32が撮像画像データを受信していないと判定した場合(S2:NO)、ステップS2を再び実行し、装置通信部32が撮像画像データを受信するまで待機する。
【0051】
装置通信部32が撮像画像データを受信した場合、装置制御部36は、撮像画像データを装置通信部32から取得する。撮像画像データの取得は撮像画像の取得に相当する。装置制御部36は、装置通信部32が撮像画像データを受信したと判定した場合(S2:YES)、装置通信部32から取得した撮像画像データを特徴抽出モデルMに入力する(ステップS3)。装置制御部36は、特徴抽出モデルMの各ニューロンにおいて出力値を算出することによって、抽出特徴データを生成する(ステップS4)。
【0052】
次に、装置制御部36は、ステップS4で生成した抽出特徴データと、登録特徴データRとに基づいて、前述したように、生徒端末11の操作者を認証する(ステップS5)。ステップS5で用いられる登録特徴データRは、撮像画像データと併せて装置通信部32が受信した識別データが端末IDの登録特徴データである。装置制御部36は、認証結果テーブルTの認証結果を、ステップS5の認証結果に変更する(ステップS6)。端末IDが001である場合、ステップS6では、装置制御部36は、認証結果テーブルTにおいて、001に対応する認証結果を変更する。
【0053】
装置制御部36は、ステップS6を実行した後、ステップS5の認証が失敗したか否かを判定する(ステップS7)。認証が失敗していないことは認証の成功を意味する。装置制御部36は、認証が失敗したと判定した場合(S7:YES)、認証結果テーブルTにおいて、認証の失敗の理由を更新する(ステップS8)。端末IDが001である場合、装置制御部36は、認証結果テーブルTにおいて、001に対応する失敗の理由を更新する。前述したように、認証の失敗の理由として、特徴点の抽出不可と、未登録の撮像画像とが挙げられる。特徴点の抽出不可は、撮像画像の顔部分が存在しない、又は、小さい場合に生じる。未登録の撮像画像は、撮像画像データの撮像画像が登録済みの撮像画像ではないことを意味する。装置制御部36は、認証が失敗していないと判定した場合(S7:NO)、又は、ステップS8を実行した後、認証処理を終了する。
【0054】
次に、教師装置10の装置通信部32が講義画像データ及び教師音声データの配信を開始するための処理を説明する。講義画像データの配信は講義画像の配信に相当する。教師音声データの配信は教師音声の配信に相当する。教師装置10の装置制御部36は、プログラムPtを実行することによって、配信を開始するための装置開始処理を実行する。生徒端末11の端末制御部26は、プログラムPsを実行することによって、配信を開始するための端末開始処理を実行する。
【0055】
操作者は、生徒端末11の端末操作部23を操作して講義画像データ及び教師音声データの配信を指示する。講義画像データ及び教師音声データの配信が指示された場合、生徒端末11の端末制御部26は端末開始処理を実行する。教師装置10の装置制御部36は、複数の生徒端末11それぞれに対応する複数の装置開始処理を実行する。
【0056】
図9は装置開始処理及び端末開始処理の手順を示すフローチャートである。端末開始処理では、端末制御部26は、まず、端末通信部22に指示して、講義画像データ及び教師音声データの配信を要求する配信要求データを、教師装置10の装置通信部32に送信させる(ステップS21)。端末制御部26は、ステップS21を実行した後、前述した撮像画像送信処理を実行する(ステップS22)。装置開始処理では、教師装置10の装置制御部36は、装置通信部32が配信要求データを受信したか否かを判定する(ステップS31)。装置制御部36は、装置通信部32が配信要求データを受信していないと判定した場合(S31:NO)、ステップS31を再び実行し、装置通信部32が配信要求データを受信するまで待機する。
【0057】
装置制御部36は、装置通信部32が配信要求データを受信したと判定した場合(S31:YES)、前述した認証処理を実行する(ステップS32)。教師装置10及び生徒端末11それぞれにおいて、認証処理及び撮像画像送信処理が実行される。結果、認証結果テーブルTでは、撮像画像データと併せて送信された識別データが示す端末IDに対応する認証結果が更新される。装置制御部36は、ステップS32の認証処理を実行した後、装置通信部32に指示して、認証処理の認証結果を示す認証結果データを生徒端末11の端末通信部22に送信させる(ステップS33)。
【0058】
装置制御部36は、ステップS33を実行した後、認証処理の認証が成功したか否かを判定する(ステップS34)。以下では、認証が成功していないことは、認証の失敗を意味する。装置制御部36は、認証が成功したと判定した場合(S34:YES)、装置開始処理を終了する。その後、装置制御部36は、講義画像データ及び教師音声データを配信する配信処理を実行する。装置制御部36は、配信処理を終了した後、装置開始処理を再び実行する。
【0059】
端末開始処理では、端末制御部26は、ステップS22の撮像画像送信処理を実行した後、端末通信部22が装置通信部32から認証結果データを受信したか否かを判定する(ステップS23)。端末制御部26は、端末通信部22が認証結果データを受信していないと判定した場合(S23:NO)、ステップS23を再び実行し、端末通信部22が認証結果データを受信するまで待機する。
【0060】
端末制御部26は、端末通信部22が認証結果データを受信したと判定した場合(S23:YES)、端末通信部22が受信した認証結果データに基づいて、認証処理の認証が成功したか否かを判定する(ステップS24)。端末制御部26は、認証が成功したと判定した場合(S24:YES)、講義画像を表示し、かつ、教師音声を出力する講義処理を実行する。端末制御部26は、認証が成功していない場合(S24:NO)、画面を端末表示部21に表示させることによって認証の失敗を生徒端末11の操作者に通知する(ステップS25)。
【0061】
図10は、認証が失敗した場合に表示される画面の例示図である。図10の上側には、認証の失敗の理由が特徴点の抽出不可である場合に、端末表示部21に表示される画面が示されている。画面では、認証に用いられた撮像画像データの撮像画像と、認証が失敗した理由を示すメッセージと、OKボタンとが表示されている。メッセージとして、顔を認識することができない旨と、顔の位置を調整してOKボタンを選択する旨とが示されている。
【0062】
生徒端末11の操作者は、例えば、端末操作部23に含まれるマウスを操作することによって、ポインタを操作することができる。操作者は、ポインタがOKボタン上に位置している状態でマウスをクリックすることによって、OKボタンを選択することができる。
【0063】
図10の下側には、認証の失敗の理由が未登録の撮像画像である場合に端末表示部21に表示される画面が示されている。画面では、認証に用いられた撮像画像データの撮像画像と、認証が失敗した理由を示すメッセージと、OKボタンとが示されている。撮像画像では、認証に用いた顔部分が四角で囲まれている。メッセージとして、撮像画像が未登録である旨と、再度認証を行う場合にはOKボタンを選択する旨とが示されている。
【0064】
生徒端末11の操作者は、例えば、ポインタがXマーク上に位置している状態でマウスをクリックすることによって、装置開始処理及び端末開始処理の終了を選択することができる。装置開始処理及び端末開始処理の終了を選択された場合、装置制御部36及び端末制御部26それぞれは、装置開始処理及び端末開始処理を終了する。端末通信部22は、装置開始処理の終了を示す処理終了データを装置通信部32に送信することによって、装置開始処理の終了を通知する。装置開始処理及び端末開始処理を終了する処理に関しては図示を省略している。
【0065】
端末開始処理では、端末制御部26は、ステップS25を実行した後、OKボタンが選択されたか否かを判定する(ステップS26)。端末制御部26は、OKボタンが選択されていないと判定した場合(S26:NO)、ステップS26を再び実行する。端末制御部26は、端末開始処理の終了が選択されない限り、OKボタンが選択されるまで待機する。端末制御部26は、OKボタンが選択されたと判定した場合(S26:YES)、端末通信部22に指示して、認証の実行を要求する認証要求データを装置通信部32に送信させる(ステップS27)。端末制御部26は、ステップS27を実行した後、再び、ステップS22を実行する。
【0066】
装置制御部36は、認証が成功していないと判定した場合(S34:NO)、装置通信部32が認証要求データを受信したか否かを判定する(ステップS35)。装置制御部36は、装置通信部32が認証要求データを受信していないと判定した場合(S35:NO)、ステップS35を再び実行する。装置制御部36は、装置開始処理の終了が選択されない限り、装置通信部32が認証要求データを受信するまで待機する。装置制御部36は、装置通信部32が認証要求データを受信したと判定した場合(S35:YES)、ステップS32を実行する。装置制御部36は、認証を再び実行する。
【0067】
以上のように、生徒端末11の操作者の認証が成功しない限り、即ち、生徒端末11の操作者が生徒ではない限り、講義画像データ及び教師音声データの配信は開始されない。認証が成功した場合、装置制御部36及び端末制御部26それぞれは、配信処理及び講義処理を実行する。
【0068】
配信処理では、教師装置10の装置制御部36は、装置通信部32に指示して、装置カメラ30が撮像した講義画像の講義画像データを生徒端末11の端末通信部22へ繰り返し送信する。更に、装置制御部36は、装置通信部32に指示して、装置マイク34が集音した教師音声の教師音声データを端末通信部22へ繰り返し送信させる。装置制御部36は、装置通信部32に指示して講義画像データ及び教師音声データを繰り返し送信させることによって、講義画像データ及び教師音声データを生徒端末11の端末通信部22に配信する。
【0069】
なお、装置通信部32は、装置記憶部35に記憶されている画像データ、例えば、パワーポイントの画像の画像データを、講義画像データとして送信してもよい。装置通信部32は、装置記憶部35に記憶されている音声データを教師音声データとして送信してもよい。
【0070】
装置制御部36は、講義画像データ及び教師音声データの配信を終了する直前に、装置通信部32に指示して、配信の終了を示す配信終了データを端末通信部22に送信させる。装置制御部36は、装置通信部32に指示して、配信終了データを端末通信部22に送信させた後、配信処理を終了する。
【0071】
講義処理では、生徒端末11の端末制御部26は、端末表示部21に指示して、端末通信部22が受信した講義画像データの講義画像を表示させる。更に、端末制御部26は、端末スピーカ24に指示して、端末通信部22が受信した教師音声データの教師音声を出力させる。従って、配信処理が実行されている間、生徒端末11では、講義画像が表示され、教師音声が出力される。端末制御部26は、端末通信部22が配信終了データを受信した場合、講義処理を終了する。結果、講義画像の表示及び教師音声の出力は終了する。
【0072】
生徒端末11の端末制御部26は、装置開始処理において認証が成功した場合、プログラムPsを実行することによって、編集画像送信処理を実行する。編集画像送信処理は、編集画像データを端末通信部22に繰り返し送信する処理である。教師装置10の装置制御部36は、装置開始処理において認証が成功した場合、プログラムPtを実行することによって、編集画像表示処理を実行する。編集画像表示処理は、装置通信部32が端末通信部22から受信した編集画像データの編集画像を繰り返し表示する処理である。
【0073】
図11は、編集画像表示処理及び編集画像送信処理の手順を示すフローチャートである。編集画像送信処理では、生徒端末11の端末制御部26は、端末カメラ20から撮像画像データを取得し(ステップS41)、撮像画像データの撮像画像を編集する(ステップS42)。前述したように、端末制御部26は、複数の顔変換モデルA1,A2,・・・中の1つを用いて、撮像画像の生徒の顔を他の顔に入れ替える。端末制御部26は、撮像画像データを部分変換モデルB1,B2,・・・中の少なくとも1つを用いて、撮像画像を部分的に編集する。端末制御部26は、ステップS42を実行することによって、編集画像データを生成する。
【0074】
次に、端末制御部26は、端末通信部22に指示して、ステップS42を実行することによって得られた編集画像データを、教師装置10の装置通信部32に送信させる(ステップS43)。端末制御部26は、ステップS43を実行した後、講義画像データ及び教師音声データの配信が終了したか否かを判定する(ステップS44)。端末制御部26は、端末通信部22が配信終了データを受信した場合、配信が終了したと判定する。端末制御部26は、配信が終了していないと判定した場合(S44:NO)、ステップS41を実行し、端末通信部22は編集画像データを再び送信する。端末制御部26は、配信が終了したと判定した場合(S44:YES)、編集画像送信処理を終了する。
【0075】
編集画像表示処理では、教師装置10の装置制御部36は、装置通信部32が端末通信部22から編集画像データを受信したか否かを判定する(ステップS51)。装置制御部36は、装置通信部32が編集画像データを受信していないと判定した場合(S51:NO)、ステップS51を再び実行し、装置通信部32が編集画像データを受信するまで待機する。装置制御部36は、装置通信部32が編集画像データを受信したと判定した場合(S51:YES)、装置表示部31に指示して、装置通信部32が受信した編集画像データの編集画像を表示させる(ステップS52)。編集画像の表示は編集画像の出力に相当する。
【0076】
次に、装置制御部36は、ステップS52を実行した後、講義画像データ及び教師音声データの配信が終了したか否かを判定する(ステップS53)。装置制御部36は、配信が終了していないと判定した場合(S53:NO)、ステップS51を再び実行する。装置表示部31は編集画像を再び表示する。装置制御部36は、配信が終了したと判定した場合(S53:YES)、編集画像表示処理を終了する。なお、装置通信部32が編集画像データを受信するまで装置制御部36が待機している間に、配信が終了した場合、装置制御部36は編集画像表示処理を終了する。
【0077】
以上のように、講義画像データ及び教師音声データが配信されている間、生徒端末11の端末通信部22は教師装置10の装置通信部32に編集画像データを繰り返し送信する。教師装置10の装置表示部31は、装置通信部32が受信した編集画像データの編集画像を表示する。従って、装置表示部31には、顔が編集された操作者の動画像が表示される。配信処理が実行されている間、生徒端末11の端末表示部21には編集画像が表示される。
【0078】
編集画像データ及び教師音声データが配信されている間、教師装置10の装置表示部31には、編集画像が表示される。このため、配信を開始する場合において、最初の認証が成功した後、第三者が受講生になりすます可能性がある。そこで、教師装置10の装置制御部36及び生徒端末11の端末制御部26それぞれは、配信処理が実行されている間、即ち、編集画像が表示されている間のなりすましを防止する装置防止処理及び端末防止処理を実行する。装置制御部36は、プログラムPtを実行することによって、装置防止処理を実行する。端末制御部26は、プログラムPsを実行することによって、端末防止処理を実行する。装置制御部36は、複数の生徒端末11それぞれについて、装置防止処理を実行する。装置防止処理の数は生徒端末11の数と一致する。
【0079】
図12及び図13は、装置防止処理及び端末防止処理の手順を示すフローチャートである。装置防止処理では、装置制御部36は、まず、乱数を発生させる(ステップS61)。次に、装置制御部36は、ステップS61で発生させた乱数を用いて待機期間を設定する(ステップS62)。第1例として、装置記憶部35に、変数に応じて待機期間が決まる数式が記憶されている。装置制御部36は、変数にステップS61で発生した乱数を代入することによって、待機期間を算出する。ステップS62では、装置制御部36は、待機期間を算出値に設定する。第2例として、種々の数値に待機期間が対応付けられている待機期間テーブルが装置記憶部35に記憶されている。装置制御部36は、ステップS61で発生した乱数に対応する待機期間を待機期間テーブルから読み出す。ステップS62では、装置制御部36は、待機期間を読み出した値に設定する。
【0080】
教師は、装置操作部33において所定の操作を行うことによって、生徒端末11の認証の実行を指示する。装置操作部33は、教師から認証指示を受け付ける。装置制御部36は、ステップS62を実行した後、装置操作部33が認証指示を受け付けたか否かを判定する(ステップS63)。装置制御部36は、装置操作部33が認証指示を受け付けていないと判定した場合(S63:NO)、ステップS62で設定した待機期間が経過したか否かを判定する(ステップS64)。待機期間の開始時点は、例えば、ステップS62が終了した時点である。ステップS62が終了してから経過した時間の計測は、例えば、図示しないタイマによって実現される。
【0081】
装置制御部36は、待機期間が経過していないと判定した場合(S64:NO)、ステップS63を再び実行する。装置制御部36は、装置操作部33が認証指示を受け付けるか、又は、待機期間が経過するまで待機する。装置制御部36は、装置操作部33が認証指示を受け付けたと判定した場合(S63:YES)、又は、待機期間が経過したと判定した場合(S64:YES)、認証処理を実行する(ステップS65)。
【0082】
端末防止処理では、生徒端末11の端末制御部26は、まず、撮像画像送信処理を実行する(ステップS81)。装置制御部36は、ステップS65を実行した後、認証処理の認証が成功したか否かを判定する(ステップS66)。装置制御部36は、認証が成功しなかったと判定した場合(S66:NO)、装置通信部32に指示して、認証の失敗を示す認証失敗データを、生徒端末11の端末通信部22へ送信させる(ステップS67)。
【0083】
教師装置10の装置制御部36は、認証が成功したと判定した場合(S66:YES)、講義画像データ及び教師音声データの配信が終了したか否かを判定する(ステップS68)。装置制御部36は、配信が終了していないと判定した場合(S68:NO)、ステップS61を再び実行する。装置制御部36は、装置操作部33が認証を受け付けるか、又は、ステップS61で発生させた乱数に応じた待機期間が経過するまで待機する。装置操作部33が認証を受け付けるか、又は、待機期間が経過した場合、装置制御部36は認証処理を再び実行する。装置制御部36は、配信が終了したと判定した場合(S68:YES)、装置防止処理を終了する。
【0084】
端末制御部26は、ステップS81の撮像画像送信処理を実行した後、端末通信部22が認証失敗データを受信したか否かを判定する(ステップS82)。端末制御部26は、端末通信部22が認証失敗データを受信していないと判定した場合(S82:NO)、ステップS81の撮像画像送信処理が終了してから、所定期間が経過したか否かを判定する(ステップS83)。端末制御部26は、所定期間が経過していないと判定した場合(S83:NO)、ステップS82を再び実行する。端末制御部26は、端末通信部22が認証失敗データを受信するか、又は、所定期間が経過するまで待機する。
【0085】
端末制御部26は、所定期間が経過したと判定した場合(S83:YES)、講義画像データ及び教師音声データの配信が終了したか否かを判定する(ステップS84)。端末制御部26は、配信が終了していないと判定した場合(S84:NO)、ステップS81の撮像画像送信処理を再び実行し、端末通信部22が認証失敗データを受信していないか否かを判定する。端末制御部26は、配信が終了したと判定した場合(S84:YES)、端末防止処理を終了する。
【0086】
端末制御部26は、端末通信部22が認証失敗データを受信したと判定した場合(S82:YES)、端末開始処理のステップS25と同様に、画面を端末表示部21に表示させることによって認証の失敗を生徒端末11の操作者に通知する(ステップS85)。従って、端末表示部21には、図10の上側又は下側に示されている画面が表示される。生徒端末11の操作者は、ポインタを操作することによって、画面に表示されているOKボタンを選択することができる。画面には、認証に用いられた撮像画像と、認証が失敗した理由を示すメッセージとが表示される。このため、生徒端末11の操作者は、認証が失敗した理由を容易に理解することができる。
【0087】
端末制御部26は、ステップS85を実行した後、OKボタンが選択されたか否かを判定する(ステップS86)。端末制御部26は、OKボタンが選択されていないと判定された場合(S86:NO)、再びステップS86を実行し、OKボタンが選択されるまで待機する。端末制御部26は、OKボタンが選択されたと判定した場合(S86:YES)、端末通信部22に指示して、認証要求データを教師装置10の装置通信部32へ送信させる(ステップS87)。端末制御部26は、ステップS87を実行した後、撮像画像送信処理を実行する(ステップS88)。
【0088】
教師装置10の装置制御部36は、ステップS67を実行した後、装置通信部32が認証要求データを受信したか否かを判定する(ステップS69)。装置制御部36は、装置通信部32が認証要求データを受信していないと判定した場合(S69:NO)、ステップS69を再び実行し、装置通信部32が認証要求データを受信するまで待機する。装置制御部36は、装置通信部32が認証要求データを受信したと判定した場合(S69:YES)、認証処理を実行する(ステップS70)。装置制御部36は、認証を再び実行する。
【0089】
装置制御部36は、ステップS70を実行した後、認証処理の認証が成功したか否かを判定する(ステップS71)。装置制御部36は、認証が成功したと判定した場合(S71:YES)、ステップS61を再び実行する。装置制御部36は、装置操作部33が認証を受け付けるか、又は、ステップS61で発生させた乱数に応じた待機期間が経過するまで待機する。
【0090】
装置制御部36は、認証が成功していないと判定した場合(S71:NO)、装置通信部32に指示して配信終了データを、生徒端末11の端末通信部22へ送信させる(ステップS72)。装置制御部36は、ステップS72を実行した後、配信処理を終了する(ステップS73)。装置制御部36は、ステップS73を実行した後、装置防止処理を終了する。
【0091】
生徒端末11の端末制御部26は、ステップS88の撮像画像送信処理を実行した後、端末通信部22が、教師装置10の装置通信部32から配信終了データを受信したか否かを判定する(ステップS89)。端末制御部26は、端末通信部22が配信終了データを受信していないと判定した場合(S89:NO)、ステップS88の撮像画像送信処理が終了してから、所定期間が経過したか否かを判定する(ステップS90)。端末制御部26は、所定期間が経過していないと判定した場合(S90:NO)、ステップS89を再び実行する。端末制御部26は、装置通信部32が配信終了データを受信するか、又は、所定期間が経過するまで待機する。
【0092】
所定期間が経過するまでに装置通信部32が配信終了データを受信していないことは、認証処理の認証の成功を意味する。端末制御部26は、所定期間が経過したと判定した場合(S90:YES)、ステップS81の撮像画像送信処理を再び実行する。端末制御部26は、端末通信部22が配信終了データを受信したと判定した場合(S89:YES)、端末防止処理を終了する。前述したように、端末通信部22が配信終了データを受信した場合、講義処理を終了する。結果、講義画像の表示及び教師音声の出力は終了する。
【0093】
以上のように、装置防止処理では、装置操作部33が認証指示を受け付けいない場合においては、乱数に応じた待機期間が経過する都度、教師装置10の装置制御部36は、認証処理を実行する。認証処理では、装置制御部36は、端末カメラ20から取得された撮像画像データを取得する。従って、装置制御部36は、端末表示部21において編集画像が表示されている間に撮像画像データをランダムなタイミングで繰り返し取得する。
【0094】
装置制御部36は、ステップS65の認証処理の認証が失敗した場合、ステップS70の認証処理を再び実行する。ステップS70の認証処理では、装置制御部36は、端末カメラ20から取得された撮像画像データを再び取得し、取得した撮像画像データと、登録特徴データRとに基づいて認証を再び行う。端末カメラ20が生徒を撮像している場合であっても、ステップS65の認証処理の認証が失敗する可能性がある。このため、認証が失敗した場合、装置制御部36は、撮像画像データを再び取得し、認証を行う。
【0095】
装置制御部36は、再度の認証が失敗した場合、端末カメラ20が撮像している操作者は生徒とは異なる第三者であるとして、ステップS73を実行する。前述したように、ステップS73では、装置制御部36は、講義画像データ及び教師音声データの配信を終了する。ここでは、第三者を撮像している生徒端末11の端末通信部22への配信を終了する。他の生徒端末11の端末通信部22への配信は継続される。
【0096】
教師が教師装置10の装置操作部33において所定の操作を行った場合、即ち、装置操作部33が認証指示を受け付けた場合、ステップS65の認証処理が実行される。認証処理では、装置制御部36は、撮像画像データを取得し、取得した撮像画像データに基づいて認証を行う。教師は、編集画像データを送信している生徒端末11の操作者が生徒とは異なる第三者である可能性があると判断した場合、装置操作部33において、所定の操作を行う。従って、生徒端末11の操作者が生徒であることを再度認証することができる。
【0097】
以上のように構成された教師装置10では、装置制御部36は、生徒端末11の端末表示部21において編集画像が表示されている間に、端末カメラ20から取得された撮像画像データと、登録特徴データRとに基づいて認証を行う。このため、生徒とは異なる第三者が行うなりすましが防止される。前述したように、装置制御部36は、撮像画像データをランダムなタイミングで繰り返し取得する。装置制御部36は、撮像画像データを取得する都度、認証を行う。このため、第三者が行うなりすましが確実に防止される。
【0098】
(実施の形態2)
実施の形態2では、第三者が行うなりすましがより確実に防止される構成を示す。
以下では、実施の形態2について、実施の形態1と異なる点を説明する。後述する構成を除く他の構成については、実施の形態1と共通している。このため、実施の形態1と共通する構成部には実施の形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0099】
実施の形態2における装置防止処理では、教師装置10の装置制御部36は、認証処理の代わりに、生徒端末11の操作者を認証する第2の認証処理を実行する。図14は、実施の形態2における第2の認証処理の手順を示すフローチャートである。第2の認証処理では、装置制御部36は、図8に示す認証処理のステップS1~S8を同様に実行する。このため、第2の認証処理のステップS1~S8の処理の詳細な説明を省略する。認証処理及び第2の認証処理を比較した場合、ステップS7で認証が失敗していないと判定したときに行われる処理が異なる。
【0100】
第2の認証処理では、装置制御部36は、ステップS5の認証が失敗していないと判定した場合(S7:NO)、撮像画像データを特徴抽出モデルMに入力することによって得られた最新の2つの抽出特徴データに基づいて、装置通信部32から受信した2つの撮像画像データの撮像画像に写っている生徒の顔の移動量を算出する(ステップS101)。ステップS101は、認証結果テーブルTの認証結果が成功である状態で実行される。
【0101】
図15は移動量の説明図である。図15には、2つの抽出特徴データそれぞれについて、眉毛の位置を示す複数の特徴点が示されている。図15の例では、5つの特徴点によって眉毛の位置が示されている。顔の移動量は、例えば、眉毛の位置を示す複数の特徴点の移動距離の平均値である。なお、移動量の算出に用いられる複数の特徴点は、眉毛以外の顔の部分を示す複数の特徴点であってもよし、抽出特徴データの全ての特徴点であってもよい。更に、移動量は、1つの特徴点の移動距離であってもよい。
【0102】
生徒端末11の端末通信部22が同一の撮像画像データを繰り返し送信している場合、移動量は所定量未満である。所定量はゼロ近傍の正値である。移動量が所定量未満である場合、教師装置10の装置制御部36は不正を検知する。端末通信部22が同一の撮像画像データを繰り返し送信していない場合、移動量は所定量以上である。
【0103】
図14に示すように、装置制御部36は、ステップS101を実行した後、ステップS101で算出した移動量が所定量未満であるか否かを判定する(ステップS102)。装置制御部36は、移動量が所定量以上であると判定した場合(S102:NO)、認証結果テーブルTの認証結果が成功である状態で第2の認証処理を終了する。装置制御部36は、移動量が所定量未満であると判定した場合(S102:YES)、認証結果テーブルTの認証結果を成功から失敗に変更する(ステップS103)。
【0104】
次に、装置制御部36は、認証の失敗の理由を更新する(ステップS104)。ここでは、失敗の理由は、同一の撮像画像データの繰り返し送信である。装置制御部36は、ステップS104を実行した後、第2の認証処理を終了する。前述したように、生徒端末11の端末制御部26が端末防止処理のステップS85を実行した場合、端末表示部21は、認証に用いられた撮像画像データの撮像画像に加えて、認証が失敗した理由として、同一の撮像画像データの繰り返し送信を示すメッセージを表示する。
【0105】
以上のように、教師装置10の装置制御部36は、顔の移動量が小さい場合、不正が行われているとして、認証結果テーブルTの認証結果を成功から失敗に変更する。
【0106】
生徒端末11の端末通信部22が、繰り返し送信している撮像画像が、繰り返し再生している動画像である場合においては、生徒端末11の操作者が第三者であるときでも、認証処理及び第2の認証処理の認証は成功する。そこで、教師装置10の装置制御部36は、動画像の繰り返し再生を検知する動画像検知処理を実行する。装置制御部36が動画像検知処理を実行している間、生徒端末11の端末制御部26は撮像画像送信処理を実行する。撮像画像送信処理は、実施の形態1の説明で述べた通りである。装置制御部36は、配信処理を実行している間に動画像検知処理を繰り返し実行する。端末制御部26は、講義画像データ及び教師音声データが配信されている間、撮像画像送信処理を繰り返し実行する。
【0107】
図16は動画像検知処理及び撮像画像送信処理の手順を示すフローチャートである。動画像検知処理では、教師装置10の装置制御部36は、まず、装置通信部32に指示して、画像要求データを生徒端末11の端末通信部22に送信させる(ステップS111)。撮像画像送信処理では、生徒端末11の端末制御部26は、端末通信部22が装置通信部32から撮像画像データを受信したか否かを判定する(ステップS11)。端末制御部26は、端末通信部22が撮像画像データを受信していないと判定した場合(S11:NO)、ステップS11を再び実行し、端末通信部22が撮像画像データを受信するまで待機する。
【0108】
端末制御部26は、端末通信部22が画像要求データを受信したと判定した場合(S11:YES)、端末カメラ20から撮像画像データを取得する(ステップS12)。次に、端末制御部26は、端末通信部22に指示して、ステップS12で取得した撮像画像データを装置通信部32に送信させる(ステップS13)。端末制御部26は、ステップS13を実行した後、撮像画像送信処理を終了する。
【0109】
教師装置10の装置制御部36は、ステップS111を実行した後、装置通信部32が撮像画像データを受信したか否かを判定する(ステップS112)。装置制御部36は、装置通信部32が撮像画像データを受信していないと判定した場合(S112:NO)、ステップS112を再び実行し、装置通信部32が撮像画像データを受信するまで待機する。装置通信部32が撮像画像データを受信した場合、装置制御部36は、撮像画像データを装置通信部32から取得する。
【0110】
装置制御部36は、装置通信部32が撮像画像データを受信したと判定した場合(S112:YES)、動画像検知処理が開始されてから一定の収集期間が経過したか否かを判定する(ステップS113)。装置制御部36は、収集期間が経過していないと判定した場合(S113:NO)、ステップS111を実行し、撮像画像データを再び取得する。収集期間が経過するまで、装置制御部36は複数の撮像画像データを収集する。
【0111】
装置制御部36は、収集期間が経過したと判定した場合(S113:YES)、収集期間が経過するまでに収集した複数の撮像画像データに基づいて、生徒端末11において、撮像画像に関する同一の動画像が繰り返し再生されているかを判定する(ステップS114)。ステップS114では、第1例として、装置制御部36は、収集した複数の撮像画像データの撮像画像の中に相互に一致する2つの撮像画像が含まれている場合、同一の動画像が繰り返し再生されていると判定する。第2例として、装置制御部36は、収集した複数の撮像画像データの撮像画像の中に相関値が高い2つの撮像画像が含まれている場合、同一の動画像が繰り返し再生されていると判定する。第3例として、動画像の再生が終了して次の動画像が再生した場合の繋ぎ目繋ぎを検出した場合に同一の動画像が繰り返し再生されていると判定する。
【0112】
装置制御部36は、同一の動画像が繰り返し再生されていると判定した場合(S114:YES)、認証結果テーブルTの認証結果を失敗に変更する(ステップS115)。次に、装置制御部36は、認証の失敗の理由を更新する(ステップS116)。ここでは、失敗の理由は、同一の動画像の繰り返し再生である。装置制御部36は、ステップS116を実行した後、装置通信部32に指示して配信終了データを、生徒端末11の端末通信部22へ送信させ(ステップS117)、配信処理を終了する(ステップS118)。
【0113】
装置制御部36は、同一の動画像が繰り返し再生されていないと判定した場合(S114:NO)、又は、ステップS118を実行した後、動画像検知処理を終了する。動画像検知処理が終了した時点において、配信処理が実行されている場合、装置制御部36は動画像検知処理を再び実行する。
【0114】
以上のように、装置制御部36は、生徒端末11において、撮像画像に関する同一の動画像が繰り返し再生されていると判定した場合、不正が行われているとして、認証結果テーブルTの認証結果を失敗に変更する。その後、装置制御部36は、講義画像データ及び教師音声データの配信を終了する。
【0115】
なお、実施の形態1,2において、特徴抽出モデルMを用いて抽出特徴データを生成する処理は、生徒端末11の端末制御部26によって実行されてもよい。この場合、生徒端末11の端末記憶部25に特徴抽出モデルMが記憶されている。撮像画像送信処理では、端末制御部26は、ステップS12で撮像画像データを取得した後、取得した撮像画像データを特徴抽出モデルMに入力し、抽出特徴データを生成する。その後、端末制御部26は、端末通信部22に指示して抽出特徴データを装置通信部32に送信させる。装置通信部32が抽出特徴データを受信した場合、装置制御部36は、装置通信部32が受信した抽出特徴データを取得する。抽出特徴データは、端末カメラ20から取得した撮像画像データの撮像画像(顔画像)に関連する顔画像データの1つである。
【0116】
認証処理及び第2の認証処理それぞれでは、装置制御部36は、ステップS1を実行した後、装置通信部32が抽出特徴データを受信するまで待機する。装置制御部36は、装置通信部32が抽出特徴データを受信した場合、ステップS5を実行する。ステップS5では、装置制御部36は、装置通信部32から取得した抽出特徴データと、登録特徴データRとに基づいて生徒端末11の操作者を認証する。装置制御部36は、端末表示部21において編集画像が表示されている間に、抽出特徴データを取得し、取得した抽出特徴データと登録特徴データRとに基づいて認証を行う。
【0117】
第2の認証処理のステップS101では、装置制御部36は、装置通信部32から取得した最新の2つの抽出特徴データに基づいて、取得した2つの抽出特徴データが示す操作者の顔の移動量を算出する。装置制御部36は、移動量が所定量未満であると判定した場合、不正が行われているとして、認証結果テーブルTの認証結果を成功から失敗に変更する。
【0118】
動画像検知処理では、装置制御部36は、収集期間が経過するまで、複数の抽出特徴データを取集する。ステップS114では、装置制御部36は、収集期間が経過するまでに収集した複数の抽出特徴データに基づいて、生徒端末11において、撮像画像に関連する同一の動画像が繰り返し再生されているかを判定する。ステップS114では、第1例として、装置制御部36は、収集した複数の抽出特徴データの中に、全ての特徴点が一致する2つの抽出特徴データが含まれている場合、同一の動画像が繰り返し再生されていると判定する。第2例として、装置制御部36は、収集した複数の抽出特徴データの中に、全ての特徴点の相関値が高い2つの抽出特徴データが含まれている場合、同一の動画像が繰り返し再生されていると判定する。第3例として、動画像の再生が終了して次の動画像が再生した場合の繋ぎ目を検出した場合に同一の動画像が繰り返し再生されていると判定する。
【0119】
この構成では、装置制御部36は、同一の動画像が繰り返し再生されていると判定した場合、不正が行われているとして、認証結果テーブルTの認証結果を失敗に変更する。その後、装置制御部36は配信処理を終了する。
【0120】
(実施の形態3)
実施の形態1では、教師装置10の装置制御部36が認証を行っている。しかしながら、装置制御部36の代わりに、生徒端末11の端末制御部26が認証を行ってもよい。
以下では、実施の形態2について、実施の形態1と異なる点を説明する。後述する構成を除く他の構成については、実施の形態1と共通している。このため、実施の形態1と共通する構成部には実施の形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0121】
図17は、実施の形態3における通信システム1の説明図である。実施の形態3において、講義画像データ及び教師音声データの配信、並びに、編集画像データの生成及び送信は、実施の形態1と同様に行われる。
【0122】
実施の形態3では、教師装置10の装置制御部36ではなく、生徒端末11の端末制御部26が、端末カメラ20から取得した撮像画像データに基づいて、生徒端末11の操作者を認証する。生徒端末11は処理装置として機能する。端末制御部26は、端末通信部22に指示して、認証結果を示す認証結果データを装置通信部32に送信させる。装置制御部36は、装置通信部32が認証結果データを受信した場合、認証結果テーブルTの認証結果を、装置通信部32が受信した認証結果データが示す認証結果に更新する。装置制御部36は、認証が連続して失敗した場合、講義画像データ及び教師音声データの配信を終了する。
【0123】
図18は、生徒端末11の要部構成を示すブロック図である。実施の形態3における生徒端末11の端末記憶部25には、特徴抽出モデルM及び登録特徴データRが記憶されている。登録特徴データRは、生徒端末11が割り当てられている生徒の顔の複数の特徴点を示す。登録特徴データRは、生徒端末11が割り当てられている生徒の撮像画像データを特徴抽出モデルMに入力することによって生成されるデータである。端末制御部26は処理部として機能する。
実施の形態3における教師装置10の装置記憶部35には、特徴抽出モデルM及び登録特徴データRは記憶されていない。
【0124】
実施の形態3における認証に関する処理を説明する。教師装置10の装置制御部36は、プログラムPtを実行することによって、認証処理の代わりに認証結果更新処理を実行する。認証結果更新処理は、認証結果テーブルTの認証結果を更新する処理である。生徒端末11の端末制御部26は、プログラムPsを実行することによって、撮像画像送信処理の代わりに認証処理を実行する。認証処理は、生徒端末11の操作者を認証する処理である。
【0125】
図19は、認証結果更新処理及び認証処理の手順を示すフローチャートである。認証処理では、生徒端末11の端末制御部26は、端末カメラ20から撮像画像データを取得する(ステップS121)。次に、端末制御部26は、ステップS121で取得した撮像画像データを特徴抽出モデルMに入力する(ステップS122)。端末制御部26は、特徴抽出モデルMの各ニューロンにおいて出力値を算出することによって、抽出特徴データを生成する(ステップS123)。
【0126】
次に、端末制御部26は、ステップS123で生成した抽出特徴データと、登録特徴データRとに基づいて、実施の形態1と同様に、生徒端末11の操作者を認証する(ステップS124)。次に、端末制御部26は、端末通信部22に指示して、ステップS124で行った認証結果を示す認証結果データを教師装置10の装置通信部32へ送信させる(ステップS125)。
【0127】
認証が失敗である場合、認証結果データは、認証が失敗した理由も示す。生徒端末11の端末通信部22は、認証結果データと併せて、生徒端末11の端末IDを示す識別データを、教師装置10の装置通信部32に送信する。端末制御部26は、ステップS125を実行した後、認証処理を終了する。
【0128】
認証結果更新処理では、教師装置10の装置制御部36は、装置通信部32が端末通信部22から認証結果データを受信したか否かを判定する(ステップS131)。装置制御部36は、装置通信部32が認証結果データを受信していないと判定した場合(S131:NO)、ステップS131を再び実行し、装置通信部32が認証結果データを受信するまで待機する。
【0129】
装置制御部36は、装置通信部32が認証結果データを受信したと判定した場合(S131:YES)、装置通信部32が認証結果データと併せて受信した識別データが示す端末IDに対応する認証結果テーブルTの認証結果及び失敗の理由を、装置通信部32が受信した認証結果データが示す認証結果及び失敗の理由に更新する(ステップS132)。認証結果データの認証結果が成功である場合、ステップS132では、装置制御部36は、認証結果テーブルTの失敗の理由を削除する。装置制御部36は、ステップS132を実行した後、認証結果更新処理を終了する。
【0130】
次に、配信を開始するための装置開始処理及び端末開始処理を説明する。図20は装置開始処理及び端末開始処理の手順を示すフローチャートである。生徒端末11の操作者は、端末操作部23において操作を行うことによって、講義画像データ及び教師音声データの配信の開始を指示する。端末操作部23は、配信の開始を指示する開始指示を生徒端末11の操作者から受け付ける。端末開始処理では、生徒端末11の端末制御部26は、まず、端末操作部23が開始指示を受け付けたか否かを判定する(ステップS141)。
【0131】
端末制御部26は、端末操作部23が開始指示を受け付けていないと判定した場合(S141:NO)、ステップS141を再び実行し、端末操作部23が開始指示を受け付けるまで待機する。端末制御部26は、端末操作部23が開始指示を受け付けたと判定した場合(S141:YES)、認証処理を実行する(ステップS142)。
【0132】
装置開始処理では、教師装置10の装置制御部36は、認証結果更新処理を実行する(ステップS151)。装置制御部36は、ステップS151を実行した後、認証処理の認証が成功したか否かを判定する(ステップS152)。装置制御部36は、認証が成功していないと判定した場合(S152:NO)、ステップS151の認証結果更新処理を再び実行し、認証が成功するまで待機する。装置制御部36は、認証が成功した場合(S152:YES)、装置開始処理を終了する。
【0133】
端末開始処理では、生徒端末11の端末制御部26は、ステップS142の認証処理を実行した後、認証処理の認証が成功したか否かを判定する(ステップS143)。端末制御部26は、認証が成功しなかった場合(S143:NO)、実施の形態1と同様に、画面を端末表示部21に表示させることによって認証の失敗を生徒端末11の操作者に通知する(ステップS144)。従って、端末表示部21には、図10の上側又は下側に示す画面が表示される。実施の形態1と同様に、生徒端末11の操作者は、端末表示部21の画面上で、装置開始処理及び端末開始処理の終了を選択することができる。
【0134】
端末制御部26は、ステップS144を実行した後、OKボタンが選択されたか否かを判定する(ステップS145)。端末制御部26は、OKボタンが選択されていないと判定した場合(S145:NO)、ステップS145を再び実行し、OKボタンが選択されるまで待機する。端末制御部26は、OKボタンが選択されたと判定した場合(S145:YES)、ステップS142の認証処理を再び実行する。端末制御部26は、認証処理の認証が成功したと判定した場合(S143:YES)、端末開始処理を終了する。
【0135】
教師装置10の装置制御部36及び生徒端末11の端末制御部26それぞれは、実施の形態1と同様に、編集画像表示処理及び編集画像送信処理を実行する。実施の形態3では、編集画像データの送信が編集画像の出力に相当する。
【0136】
次に、編集画像が表示されている間のなりすましを防止する装置防止処理及び端末防止処理を説明する。図21及び図22は、装置防止処理及び端末防止処理の手順を示すフローチャートである。実施の形態1の説明で述べたように、装置操作部33は、教師から認証指示を受け付ける。装置防止処理では、教師装置10の装置制御部36は、まず、装置操作部33が認証指示を受け付けたか否かを判定する(ステップS161)。装置制御部36は、装置操作部33が認証指示を受け付けたと判定した場合(S161:YES)、装置通信部32に指示して、認証の実行を要求する認証要求データを生徒端末11の端末通信部22に送信させる(ステップS162)。端末通信部22が認証要求データを受信した場合、端末制御部26は、端末通信部22が受信した認証要求データを取得する。
【0137】
端末防止処理では、生徒端末11の端末制御部26は、まず、乱数を発生させる(ステップS171)。次に、端末制御部26は、実施の形態1における装置防止処理のステップS62と同様に、ステップS171で発生させた乱数を用いて待機期間を設定する(ステップS172)。端末制御部26は、ステップS172を実行した後、端末通信部22が認証要求データを受信したか否かを判定する(ステップS173)。
【0138】
端末制御部26は、端末通信部22が認証要求データを受信していないと判定した場合(S173:NO)、ステップS172で設定した待機期間が経過したか否かを判定する(ステップS174)。待機期間の開始時点は、例えば、ステップS172が終了した時点である。ステップS172が終了してから経過した時間の計測は、例えば、図示しないタイマによって実現される。
【0139】
端末制御部26は、待機期間が経過していないと判定した場合(S174:NO)、ステップS173を再び実行する。端末制御部26は、端末通信部22が認証要求データを受信するか、又は、待機期間が経過するまで待機する。端末制御部26は、端末通信部22が認証要求データを受信したと判定した場合(S173:YES)、又は、待機期間が経過したと判定した場合(S174:YES)、端末通信部22に指示して、生徒端末11の操作者の認証の開始を示す認証開始データを教師装置10の装置通信部32に送信させる(ステップS175)。端末制御部26は、ステップS175を実行した後、認証処理を実行する(ステップS176)。
【0140】
装置制御部36は、装置操作部33が認証指示を受け付けていないと判定した場合(S161:NO)、又は、ステップS162を実行した後、端末通信部22が認証開始データを受信したか否かを判定する(ステップS163)。装置制御部36は、端末通信部22が認証開始データを受信していないと判定した場合(S163:NO)、ステップS161を再び実行する。装置制御部36は、装置通信部32が認証開始データを受信するまで待機する。装置制御部36は、装置通信部32が認証開始データを受信したと判定した場合(S163:YES)、認証結果更新処理を実行する(ステップS164)。
【0141】
装置制御部36は、ステップS164の認証結果更新処理を実行した後、認証処理の認証が成功したか否かを判定する(ステップS165)。装置制御部36は、認証処理が成功したと判定した場合(S165:YES)、講義画像データ及び教師音声データの配信が終了したか否かを判定する(ステップS166)。装置制御部36は、配信が終了していないと判定した場合(S166:NO)、ステップS161を再び実行する。装置制御部36は、装置通信部32が認証開始データを受信するまで待機する。装置制御部36は、配信が終了したと判定した場合(S166:YES)、装置防止処理を終了する。
【0142】
端末制御部26は、ステップS176の認証処理を実行した後、認証処理の認証が成功したか否かを判定する(ステップS177)。端末制御部26は、認証が成功したと判定した場合(S177:YES)、講義画像データ及び教師音声データの配信が終了したか否かを判定する(ステップS178)。端末制御部26は、配信が終了していないと判定した場合(S178:NO)、ステップS171を再び実行する。端末制御部26は、端末通信部22が認証要求データを受信するか、又は、ステップS172で設定した待機期間が経過するまで待機する。端末制御部26は、配信が終了したと判定した場合(S178:YES)、端末防止処理を終了する。
【0143】
端末制御部26は、認証が成功していないと判定した場合(S177:NO)、実施の形態1と同様に、画面を端末表示部21に表示させることによって認証の失敗を生徒端末11の操作者に通知する(ステップS179)。従って、端末表示部21には、図10の上側又は下側に示されている画面が表示される。生徒端末11の操作者は、ポインタを操作することによって、画面に表示されているOKボタンを選択することができる。画面には、認証に用いられた撮像画像と、認証が失敗した理由を示すメッセージとが表示される。このため、生徒端末11の操作者は、認証が失敗した理由を容易に理解することができる。
【0144】
端末制御部26は、ステップS179を実行した後、OKボタンが選択されたか否かを判定する(ステップS180)。端末制御部26は、OKボタンが選択されていないと判定した場合(S180:NO)、ステップS180を再び実行し、OKボタンが選択されるまで待機する。端末制御部26は、OKボタンが選択されたと判定した場合(S180:YES)、認証処理を実行する(ステップS181)。
【0145】
装置制御部36は、認証が成功していないと判定した場合(S165:NO)、認証結果更新処理を実行する(ステップS167)。装置制御部36は、ステップS167の認証結果更新処理を実行した後、認証が成功したか否かを判定する(ステップS168)。装置制御部36は、認証が成功したと判定した場合(S168:YES)、ステップS161を実行する。装置制御部36は、装置通信部32が認証開始データを受信するまで待機する。装置制御部36は、認証が成功していないと判定した場合(S168:NO)、配信処理を終了する(ステップS169)。装置制御部36は、ステップS169を実行した後、装置防止処理を終了する。
【0146】
端末制御部26は、ステップS181の認証処理を実行した後、認証処理の認証が成功したか否かを判定する(ステップS182)。端末制御部26は、認証が成功したと判定した場合(S182:YES)、ステップS171を再び実行する。端末制御部26は、端末通信部22が認証要求データを受信するか、又は、ステップS172で設定した待機期間が経過するまで待機する。端末制御部26は、認証が成功していないと判定した場合(S182:NO)、配信処理が停止されるので、端末防止処理を終了する。
【0147】
以上のように、端末防止処理では、端末通信部22が認証要求データを受信していない場合においては、乱数に応じた待機期間が経過する都度、生徒端末11の端末制御部26は、認証処理を実行する。認証処理では、端末制御部26は、端末カメラ20から撮像画像データを取得する。従って、端末制御部26は、端末表示部21において編集画像が表示されている間に撮像画像データをランダムなタイミングで繰り返し取得する。
【0148】
端末制御部26は、ステップS176の認証処理の認証が失敗した場合、ステップS181の認証処理を再び実行する。ステップS181の認証処理では、端末制御部26は、端末カメラ20から撮像画像データを再び取得し、取得した撮像画像データと、登録特徴データRとに基づいて認証を再び行う。端末カメラ20が生徒を撮像している場合であっても、ステップS176の認証処理の認証が失敗する可能性がある。このため、認証が失敗した場合、装置制御部36は、撮像画像データを再び取得し、認証を行う。
【0149】
端末制御部26は、再度の認証が失敗した場合、端末カメラ20が撮像している生徒端末11の操作者は生徒とは異なる第三者であるとして、教師装置10の装置制御部36は、ステップS169を実行する。前述したように、ステップS73では、装置制御部36は、講義画像データ及び教師音声データの配信を終了する。ここでは、第三者を撮像している生徒端末11の端末通信部22への配信を終了する。他の生徒端末11の端末通信部22への配信は継続される。
【0150】
生徒端末11の端末通信部22が教師装置10の装置通信部32から認証要求データを受信した場合、即ち、端末制御部26が教師装置10の装置通信部32から認証要求データを取得した場合、端末制御部26はステップS175の認証処理を実行する。認証処理では、端末制御部26は、撮像画像データを取得し、取得した撮像画像データに基づいて認証を行う。教師は、編集画像データを送信している生徒端末11の操作者が、生徒とは異なる第三者である可能性があると判断した場合、装置操作部33において操作を行うことによって、装置通信部32に認証要求データを送信させる。これにより、生徒端末11の操作者が生徒であることを再度認証することができる。
【0151】
以上のように構成された生徒端末11では、端末制御部26は、端末表示部21において編集画像が表示されている間に、端末カメラ20から取得された撮像画像データと、登録特徴データRとに基づいて認証を行う。このため、生徒とは異なる第三者が行うなりすましが防止される。前述したように、端末制御部26は、撮像画像データをランダムなタイミングで繰り返し取得する。端末制御部26は、撮像画像データを取得する都度、認証を行う。このため、第三者が行うなりすましが確実に防止される。
【0152】
なお、実施の形態3では、実施の形態1と同様に、生徒端末11の端末制御部26は、顔の移動量が所定量未満である場合、不正が行われているとして、認証処理の結果を失敗に変更してもよい。更に、生徒端末11の端末制御部26は、生徒端末11において、撮像画像に関する同一動画像が繰り返し再生されていると判定した場合、不正が行われているとして、認証処理の結果を失敗に変更してもよい。この場合、端末制御部26は、端末通信部22に指示して、配信の終了を示す配信終了データを教師装置10の装置通信部32に送信させる。装置制御部36は、装置通信部32が配信終了データを受信した場合、講義画像データ及び教師音声データの配信を終了する。
【0153】
(実施の形態4)
実施の形態1~3では、教師装置10の装置制御部36、又は、生徒端末11の端末制御部26が認証を行っている。しかしながら、教師装置10及び生徒端末11とは異なる装置が認証を行ってもよい。
以下では、実施の形態4について、実施の形態1と異なる点を説明する。後述する構成を除く他の構成については、実施の形態1と共通している。このため、実施の形態1と共通する構成部には実施の形態1と同一の参照符号を付し、その構成部の説明を省略する。
【0154】
図23は、実施の形態4における通信システム1の説明図である。実施の形態4における通信システム1は、教師装置10及び複数の生徒端末11に加えて、サーバ12を備える。サーバ12はネットワークNに接続されている。サーバ12は、サーバ通信部、サーバ記憶部及びサーバ制御部を有する。サーバ通信部、サーバ記憶部及びサーバ制御部それぞれは、教師装置10の装置通信部32、装置記憶部35及び装置制御部36と同様に構成されている。
【0155】
サーバ制御部は、処理を実行する処理素子を有し、処理部として機能する。サーバ制御部の処理素子は、サーバ記憶部に記憶されているコンピュータプログラムを実行することによって、実施の形態1と同様に認証処理を実行する。具体的には、サーバ制御部は、撮像画像データ又は抽出特徴データを取得し、取得した撮像画像データ又は抽出特徴データに基づいて認証を行う。サーバ12は処理装置として機能する。
【0156】
なお、実施の形態2,3それぞれにおいて、サーバ12がネットワークNに接続されてもよい。この場合において、サーバ12のサーバ制御部が、認証に関連する処理を実行してもよい。更に、サーバ12のサーバ制御部が、動画像検知処理を実行してもよい。
【0157】
なお、実施の形態1~4において、撮像画像データ又は抽出特徴データを取得するタイミングは、ランダムなタイミングに限定されず、例えば、周期的なタイミングであってもよい。編集画像が表示されている間において、認証が失敗した場合に、再び認証を行わずに、教師装置10の装置通信部32は配信を停止してもよい。認証が失敗した場合に配信の停止以外の処理が行われてもよい。認証が失敗した場合、生徒端末11の端末表示部21に、警告を示す画面を表示してもよい。
【0158】
また、実施の形態1~4において、通信システム1の構成は、教師が講義を行う構成に限定されず、複数の人物が会議を行う構成であってもよい。この場合、複数の人物それぞれが操作する複数の装置がネットワークNに接続される。例えば、複数の装置それぞれは、教師装置10及び生徒端末11として機能する。複数の装置それぞれは、他の装置から送信された編集画像データの編集画像を表示し、他の装置の操作者を認証する。
【0159】
実施の形態1~4で記載されている技術的特徴(構成要件)はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
開示された実施の形態1~4はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0160】
10 教師装置(処理装置)
11 生徒端末(処理装置)
12 サーバ(処理装置)
36 装置制御部(処理部)
26 端末制御部(処理部)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23