特許 7540657 児童のモニタ端末の使用をインテリジェントに制御する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】児童のモニタ端末の使用をインテリジェントに制御する方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240820BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 11

(21)【出願番号】P 2023529007

(86)(22)【出願日】2022-08-19

(65)【公表番号】

(43)【公表日】2023-11-29

(86)【国際出願番号】 CN2022113472

(87)【国際公開番号】W WO2023040577

(87)【国際公開日】2023-03-23

【審査請求日】2023-05-11

(31)【優先権主張番号】202111092773.3

(32)【優先日】2021-09-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】523174789

【氏名又は名称】浙江霊創网絡科技有限公司

(73)【特許権者】

【識別番号】523174790

【氏名又は名称】東勝神州旅游管理有限公司

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】黄 水財

【審査官】佐田 宏史

(56)【参考文献】

【文献】中国特許出願公開第１０９２７１０２８（ＣＮ，Ａ）

【文献】中国特許出願公開第１０３７２９９８１（ＣＮ，Ａ）

【文献】特開２０２１－１１１８９０（ＪＰ，Ａ）

【文献】特開２０１３－１０５３８４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１３８２８５（ＵＳ，Ａ１）

【文献】松本 吉央、外３名，“リアルタイム顔・視線計測システムの開発と知的インタフェースへの応用”，情報処理学会論文誌，日本，社団法人情報処理学会，2006年10月15日，Vol.47, No.SIG 15 (CVIM 16)，pp.10-21

【文献】鈴木 巧、外３名，“光源無し鼻孔検出用カメラを伴う３カメラ視線・頭部姿勢同時計測装置”，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集，日本，画像センシング技術研究会，2014年06月11日，pp.1-8

【文献】岩名 毅、外３名，“モニタ上の注目点推定のためのサラウンディングカメラシステム”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2003年05月23日，Vol.103, No.96，pp.7-12

【文献】堀田 一弘，“１．顔認識の研究動向”，映像情報メディア学会誌，日本，（社）映像情報メディア学会，2010年04月01日，Vol.64, No.4，pp.7-10

【文献】村本 晴紀、篠沢 佳久，“独立成分分析を用いた顔画像からの属性推定”，画像の認識・理解シンポジウム（ＭＩＲＵ2011）論文集，日本，情報処理学会，2011年07月20日，Vol.2011，pp.540-546

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ａ６１Ｂ ５／１１３

(57)【特許請求の範囲】

【請求項1】

児童のモニタ端末の使用をインテリジェントに制御する方法であって、ターゲット領域の画像を収集してターゲット画像を得るステップと、前記ターゲット画像から顔検出するステップと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出するステップと、抽出した固有値を事前トレーニング済みの顔データセットとマッチングし、前記固有値が前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るステップと、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップと、前記人体骨の関係情報に基づき座位姿勢状態の異常の有無を判断すると共に、人体の距離情報に基づき距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するステップとを含み、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップは、具体的に人体の重要な部分の世界座標情報を取得するステップと、前記世界座標情報に基づき、ステレオカメラによる視差の視差情報を得るステップと、ステレオカメラによる両眼距離測定を通じて人体の距離情報を取得するステップと、前記視差情報、前記人体の距離情報に基づき人体骨の関係情報を得るステップとを含み、前記人体骨の関係情報は、｜右肩縦座標－左肩縦座標｜×（人体の実際の距離－人体の標準計測距離）×（比例補正係数）であることを特徴とする、児童のモニタ端末の使用をインテリジェントに制御する方法。

【請求項2】

児童のモニタ端末の使用をインテリジェントに制御する方法であって、ターゲット領域の画像を収集してターゲット画像を得るステップと、前記ターゲット画像から顔検出するステップと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出するステップと、抽出した固有値を事前トレーニング済みの顔データセットとマッチングし、前記固有値が前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るステップと、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップと、前記人体骨の関係情報に基づき座位姿勢状態の異常の有無を判断すると共に、人体の距離情報に基づき距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するステップと、第１の顔データセットのデータと一致する顔テンプレートの年齢範囲を取得するステップと、前記顔テンプレートが第１の年齢範囲にあるとき、モニタ端末を常に電源オフモードに保つよう制御するステップと、前記顔テンプレートが第２の年齢範囲にあるとき、児童が第１の座位姿勢、第１の距離にあることを検出した場合、第１の所定時間間隔でモニタ端末をオンにするよう制御するステップと、前記顔テンプレートが第３の年齢範囲にあるとき、児童が第２の座位姿勢で、第２の距離にあることを検出した場合、第２の所定時間間隔でモニタ端末をオンにするよう制御するステップとを含むことを特徴とする、児童のモニタ端末の使用をインテリジェントに制御する方法。

【請求項3】

児童のモニタ端末の使用をインテリジェントに制御する方法であって、ターゲット領域の画像を収集してターゲット画像を得るステップと、前記ターゲット画像から顔検出するステップと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出するステップと、抽出した固有値を事前トレーニング済みの顔データセットとマッチングし、前記固有値が前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るステップと、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップと、前記人体骨の関係情報に基づき座位姿勢状態の異常の有無を判断すると共に、人体の距離情報に基づき距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するステップとを含み、日付が非試験日で、モニタ端末がオン状態にある場合、第３の所定時間間隔ごとに時間を第４の所定時間間隔に保持してからオフにすることを特徴とする、児童のモニタ端末の使用をインテリジェントに制御する方法。

【請求項4】

前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップは、具体的に人体の重要な部分の世界座標情報を取得するステップと、前記世界座標情報に基づき、ステレオカメラによる視差の視差情報を得るステップと、ステレオカメラによる両眼距離測定を通じて人体の距離情報を取得するステップと、前記視差情報、前記人体の距離情報に基づき人体骨の関係情報を得るステップとを含むことを特徴とする、請求項２又は３に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【請求項5】

座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、モニタ端末を制御するステップは、具体的に座位姿勢状態又は距離状態の異常回数が第１の所定閾値を超えた場合、モニタ端末の音量を下げるステップと、座位姿勢状態又は距離状態の異常回数が第２の所定閾値を超えた場合、モニタ端末を赤外線でシャットダウンするステップと、座位姿勢状態又は距離状態の異常回数が第３の所定閾値を超えた場合、モニタ端末の電源を切るステップとを含むことを特徴とする、請求項１から３の何れか一項に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【請求項6】

鼻先の左右の目の世界座標を介して第１の人体骨の関係情報を取得し、前記第１の人体骨の関係情報は第１の所定視差閾値より大きい場合、児童に身体(両目)を水平に保つよう注意を促がすことを特徴とする、請求項１から３の何れか一項に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【請求項7】

前記第１の顔データセットは、４～１６歳の顔データセットであることを特徴とする、請求項１から３の何れか一項に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【請求項8】

赤外線制御装置は対応する制御信号を受信し、対応する前記制御信号に基づき音量を下げるか、赤外線によるシャットダウン或いは直接電源を切ることで、前記児童のモニタ端末の使用をインテリジェントに制御することを実現することを特徴とする、請求項１から３の何れか一項に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【請求項9】

児童のモニタ端末の使用をインテリジェントに制御するシステムであって、
ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュールと、
前記ターゲット画像から顔検出するように構成される顔検出モジュールと、
顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して顔テンプレートを得るよう構成される固有値抽出モジュールと、
前記顔テンプレートとトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュールと、
前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュールと、
前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るよう構成される両眼補正モジュールと、
前記人体骨の関係情報に基づき座位姿勢状態の異常の有無を判断すると共に、人体の距離情報に基づき距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意を促がすため、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するよう構成されるインテリジェントコントロールモジュールとを備え、
前記両眼補正モジュールは、
人体の重要な部分の世界座標情報を取得し、
前記世界座標情報に基づき、ステレオカメラによる視差の視差情報を得、
ステレオカメラによる両眼距離測定を通じて人体の距離情報を取得し、
前記視差情報、前記人体の距離情報に基づき人体骨の関係情報を得、
前記人体骨の関係情報は、｜右肩縦座標－左肩縦座標｜×（人体の実際の距離－人体の標準計測距離）×（比例補正係数）であることを特徴とする、児童のモニタ端末の使用をインテリジェントに制御するシステム。

【請求項10】

児童のモニタ端末の使用をインテリジェントに制御するシステムであって、
ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュールと、
前記ターゲット画像から顔検出するように構成される顔検出モジュールと、
顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して顔テンプレートを得るよう構成される固有値抽出モジュールと、
前記顔テンプレートとトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュールと、
前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュールと、
前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るよう構成される両眼補正モジュールと、
前記人体骨の関係情報に基づき座位姿勢状態の異常の有無を判断すると共に、人体の距離情報に基づき距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意を促がすため、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するよう構成されるインテリジェントコントロールモジュールとを備え、
前記システムは、
第１の顔データセットのデータと一致する顔テンプレートの年齢範囲を取得し、
前記顔テンプレートが第１の年齢範囲にあるとき、モニタ端末を常に電源オフモードに保つよう制御し、
前記顔テンプレートが第２の年齢範囲にあるとき、児童が第１の座位姿勢、第１の距離にあることを検出した場合、第１の所定時間間隔でモニタ端末をオンにするよう制御し、
前記顔テンプレートが第３の年齢範囲にあるとき、児童が第２の座位姿勢で、第２の距離にあることを検出した場合、第２の所定時間間隔でモニタ端末をオンにするよう制御することを特徴とする、児童のモニタ端末の使用をインテリジェントに制御するシステム。

【請求項11】

児童のモニタ端末の使用をインテリジェントに制御するシステムであって、
ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュールと、
前記ターゲット画像から顔検出するように構成される顔検出モジュールと、
顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して顔テンプレートを得るよう構成される固有値抽出モジュールと、
前記顔テンプレートとトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュールと、
前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュールと、
前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るよう構成される両眼補正モジュールと、
前記人体骨の関係情報に基づき座位姿勢状態の異常の有無を判断すると共に、人体の距離情報に基づき距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意を促がすため、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するよう構成されるインテリジェントコントロールモジュールとを備え、
前記システムは、日付が非試験日で、モニタ端末がオン状態にある場合、第３の所定時間間隔ごとに時間を第４の所定時間間隔に保持してからオフにすることを特徴とする、児童のモニタ端末の使用をインテリジェントに制御するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートホーム端末の技術分野に関し、特に、児童のモニタ端末の使用をインテリジェントに制御する方法及びシステムに関する。

【背景技術】

【0002】

近年、不適切な座位姿勢による近視、猫背になる児童が徐々に増加し、座位姿勢が悪いことは児童の視力低下の主な原因の１つとなり、児童の身体の健全な発育に非常に有害である。多くの児童は、正しい座位姿勢を意識しておらず、常に大人が注意する必要がある。特に、異常な座位姿勢状態で、モニタ端末を長時間使用していた場合、視力低下の原因となるため、児童のモニタ端末の使用をインテリジェントに制御する方法の創出が急務となっていた。

【0003】

モニタ端末を管理する従来の方法では、テレビなどのモニタ端末を管理するためにアプリケーションソフトウェア又は音声制御の中央制御装置を用いて手動で管理する必要があり、常時監視して児童に注意を促がすには限界があり、つまり、児童が電化製品と向き合う時間、使用時の姿勢などを監視することは不可能であり、保護者がモニタ端末を使用している子供の状況を確認したい場合、自宅内のカメラを遠隔操作する必要がある。モニタ端末を管理する場合、対応する機器管理用のアプリケーションソフトウェアを開いて手作業で機器を管理する必要があるため、使用が面倒で、インテリジェントに欠けるなどの問題が存在していた。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、背景技術で言及されている上記問題点を解決するため、児童のモニタ端末の使用をインテリジェントに制御する方法及びシステムを提案することである。

【課題を解決するための手段】

【0005】

上記目的を達成するため、本発明は、ターゲット領域の画像を収集してターゲット画像を得るステップと、前記ターゲット画像から顔検出するステップと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出するステップと、抽出した固有値を事前トレーニング済みの顔データセットとマッチングし、前記固有値が前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るステップと、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップと、前記人体骨の関係情報、人体の距離情報に基づき座位姿勢状態及び／又は距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意を促がすため、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するステップとを含む児童のモニタ端末の使用をインテリジェントに制御する方法をまず提案する。

【0006】

代替的に、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、モニタ端末を制御するステップは、具体的に座位姿勢状態又は距離状態の異常回数が第１の所定閾値を超えた場合、モニタ端末の音量を下げるステップと、座位姿勢状態又は距離状態の異常回数が第２の所定閾値を超えた場合、モニタ端末を赤外線でシャットダウンするステップと、座位姿勢状態又は距離状態の異常回数が第３の所定閾値を超えた場合、モニタ端末の電源を切るステップとを含む。

【0007】

代替的に、第１の顔データセットのデータと一致する顔テンプレートの年齢範囲を取得するステップと、前記顔テンプレートが第１の年齢範囲にあるとき、モニタ端末を常に電源オフモードに保つよう制御するステップと、前記顔テンプレートが第２の年齢範囲にあるとき、児童が第１の座位姿勢、第１の距離にあることを検出した場合、第１の所定時間間隔でモニタ端末をオンにするよう制御するステップと、前記顔テンプレートが第３の年齢範囲にあるとき、児童が第２の座位姿勢で、第２の距離にあることを検出した場合、第２の所定時間間隔でモニタ端末をオンにするよう制御するステップとをさらに含む。

【0008】

代替的に、日付が非試験日で、モニタ端末がオン状態にある場合、第３の所定時間間隔ごとに時間を第４の所定時間間隔に保持してからオフにする。

【0009】

代替的に、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップは、具体的に人体の重要な部分の世界座標情報を取得するステップと、前記世界座標情報に基づき視差情報を得るステップと、両眼距離測定を通じて人体の距離情報を取得するステップと、前記視差情報、前記人体の距離情報に基づき人体骨の関係情報を得るステップとを含む。

【0010】

代替的に、前記視差情報、前記人体の距離情報に基づき人体骨の関係情報を得るステップは、｜右肩縦座標－左肩縦座標｜×（人体の実際の距離－人体の標準計測距離）×（比例補正係数）を含む。

【0011】

代替的に、鼻先の左右の目の世界座標を介して第１の人体骨の関係情報を取得し、前記第１の人体骨の関係情報は第１の所定視差閾値より大きい場合、児童に身体(両目)を水平に保つよう注意を促がす。

【0012】

代替的に、前記第１の顔データセットは、４～１６歳の顔データセット、前記第２の顔データセットは１６歳超の顔データセットである。

【0013】

代替的に、赤外線制御装置は対応する制御信号を受信し、対応する制御信号に基づき音量を下げるか、赤外線によるシャットダウン或いは直接電源を切ることで、児童のモニタ端末の使用をインテリジェントに制御することを実現する。

【0014】

本発明の実施形態は、ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュールと、前記ターゲット画像から顔検出するように構成される顔検出モジュールと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して顔テンプレートを得るよう構成される固有値抽出モジュールと、前記顔テンプレートとトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュールと、前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュールと、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るよう構成される両眼補正モジュールと、前記人体骨の関係情報、人体の距離情報に基づき座位姿勢状態及び／又は距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意を促がすため、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することにより児童のモニタ端末の使用のインテリジェントな制御を実現するよう構成されるインテリジェントコントロールモジュールとを備えた児童のモニタ端末の使用をインテリジェントに制御するシステムも提供する。

【発明の効果】

【0015】

本発明の実施例で提供される児童のモニタ端末の使用をインテリジェントに制御する方法及びシステムは、児童がモニタ端末を使用する時、該児童の年齢を自動的かつインテリジェントに識別し、児童年齢の違いに応じて、児童の座位姿勢、距離などをリアルタイムでインテリジェントに監視し、モニタ端末のオン、オフの時間をインテリジェントに制御することで、児童の視力健康を管理しながらモニタ端末を使用するように導く。先行技術の技術的手段と比較して、本発明の実施形態は、人為的な操作を必要とせず、モニタ端末への管理を実現でき、手作業による機器管理の煩わしさを減らし、児童のモニタ端末の使用に対する年齢層別の特定管理を実現し、インテリジェント化の程度を高め、マルチシナリオで使用できるという利点を有する。

【0016】

本発明の特徴及び利点は、実施形態及び添付の図面を参照しつつ詳細に説明する。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態で提供される児童のモニタ端末の使用をインテリジェントに制御する方法のフローチャート（一）である。

【図2】本発明の実施形態で提供される児童のモニタ端末の使用をインテリジェントに制御する方法のフローチャート（二）である。

【図3】本発明の実施形態で提供される児童のモニタ端末の使用をインテリジェントに制御する方法のフローチャート（三）である。

【図4】本発明の実施形態で提供される児童のモニタ端末の使用をインテリジェントに制御する方法のフローチャート（四）である。

【図5】本発明の実施形態で提供される児童のモニタ端末の使用をインテリジェントに制御する方法のフローチャート（五）である。

【図6】本発明の実施形態で提供される児童のモニタ端末の使用をインテリジェントに制御するシステムのブロック図である。

【発明を実施するための形態】

【0018】

当業者の理解を容易にするため、以下、具体的実施形態を参照しつつ本発明をさらに詳細に説明する。

【0019】

図１を参照すると、本発明の実施形態は、以下のステップを含む児童のモニタ端末の使用をインテリジェントに制御する方法を提供する。

【0020】

ステップＳ１０：ターゲット領域の画像を収集してターゲット画像を得る。

【0021】

本実施形態において、画像収集は、１つ又は複数のカメラでモニタ端末から一定の範囲内の画像を記録することでターゲット画像情報を生成する。前記カメラは、モニタ端末に組み込まれる方法を用い得、スクリーンの外付け方法を用いてもよい。カメラは、処理ユニットに接続され、収集したターゲット画像を前記処理ユニットに送信して後続の一連の処理を実行し、具体的にカメラは有線又は無線の方法で前記処理ユニットと接続してデータを転送することができる。前記処理ユニットは、モニタ端末に組み込まれたプロセッサであり得、ＩｏＴの中央制御装置内のプロセッサであってもよく、ＩｏＴの中央制御装置としては、天猫精霊（Ｔｍａｌｌ Ｇｅｎｉｅ）、小度（Ｘｉａｏｄｕ）、小米（Ｘｉａｏｍｉ）スマート・デバイスが挙げられるが、これらに限定されない。

【0022】

ステップＳ２０：前記ターゲット画像から顔検出する。

【0023】

顔検出の目的は、得られたターゲット画像内の任意のフレームについて、顔検出アルゴリズムでターゲット画像を検索し、ターゲット画像に人間の顔があるかどうかを確認し、ターゲット画像には室内の家具及び人体の他の部位（腿、肩及び腕など）などの人間の顔ではない物体が含まれている可能性があるためである。

【0024】

処理ユニットに組み込まれている顔検出アルゴリズムを介してターゲット画像内の任意のフレームから顔検出でき、該フレーム内に人間の顔がある場合、後続の顔特徴抽出等のステップに進む。顔検出アルゴリズムは、ＯｐｅｎＣＶに付属の分類器で実現でき、ＯｐｅｎＣＶは、Ｌｉｎｕｘ、Ｗｉｎｄｏｗｓ、Ａｎｄｒｏｉｄ等のOS上で実行できるオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリであり、画像処理及びコンピュータビジョンアプリケーションの開発に使用されることができる。

【0025】

本実施形態において、ｙｏｌｏに基づく顔検出アルゴリズムで顔検出し、ターゲット画像を４９個の画像ブロックに分割してから各画像ブロックを個別に計算して顔の位置を確認する。また、前記ｙｏｌｏに基づく顔検出アルゴリズムは、ターゲット画像を４９個の画像ブロックに分割し、後続の特徴抽出段階で、まぶた等の重要な部分を細かく検出できることで、顔特徴抽出及び顔照合の精度を向上させる。

【0026】

他の実施形態において、勾配方向ヒストグラムで顔の位置を検出し、まずターゲット画像をグレースケール化し、次に画像内の画素の勾配を計算し、画像を勾配方向ヒストグラムに変換することで、顔の位置を検出することができる。

【0027】

ステップＳ３０：顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出する。

【0028】

本実施形態において、ｙｏｌｏに基づくｄａｒｋｎｅｔ深層学習フレームワークにより顔のシワ、眼角、目の下等年齢の見分け部位に重みのプルーニングを行うことで、顔の固有値の抽出を実現する。

【0029】

他の実施形態において、事前トレーニング済みの顔特徴モデルにより顔画像の固有値を抽出して顔テンプレートを得、事前トレーニング済みの顔特徴モデルはＯｐｅｎＣＶ内のＦａｃｅｒｅｃｏｇｎｉｚｅｒクラスに付属する顔認識アルゴリズム（Ｅｉｇｅｎｆａｃｅｓアルゴリズム又はＦｉｓｈｅｒｆａｃｅｓアルゴリズム等）を呼び出すことによって得られ、顔認識アルゴリズムのために汎用インターフェースを提供する。

【0030】

ステップＳ４０：抽出した固有値を事前トレーニング済みの顔データセットとマッチングし、前記固有値が前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得る。

【0031】

特徴回帰法で顔データセット内の全ての顔の固有値をトレーニングすることができ、トレーニング結果は、顔データセットを顔の属性に従い第１の顔データセット及び第２の顔データセットに分けられ、次に顔の属性識別方法でマッチングする。本実施形態において、第１の顔データセットは４～１６歳の顔データセット、前記第２の顔データセットは１６歳超の顔データセットである。

【0032】

他の実施形態において、第１の顔データセットは、４～１２歳の顔データセット、第２の顔データセットが１２歳以上の顔データセットである。

【0033】

本実施形態において、４～１６歳の顔データセットを用いることにより、一部児童の顔が比較的成熟して、実際の年齢が外見年齢より若いということでインテリジェント制御システムによって除外されることを防ぐことができる。

【0034】

より詳細で差別化された制御のため、児童をより小さな年齢範囲に区分する必要があるアプリケーションシナリオにおいて、まず顔データセット内の全ての顔の固有値をトレーニングし、いくつかの異なる範囲の顔データセットに分けられ、次に各異なる年齢層の児童を区分して計算する。

【0035】

具体的には、顔認識手法を用い、ターゲット顔と顔データベース内の各人物の重みベクトルとの間のユークリッド距離を計算することにより、異なる年齢層の児童をより正確に識別できる。

【0036】

ターゲット画像内の顔の固有値を第１の顔データセットとマッチングすることにより、得られたターゲット画像内の顔被写体が第１の顔データセットに表される年齢範囲に属することを判定できる。

【0037】

本実施形態において、４～１６歳の児童が、本発明の児童のモニタ端末の使用をインテリジェントに制御する対象に属する。

【0038】

一致しない場合、ターゲット画像内の顔被写体は、１６歳以上の成人又は４歳未満の子供である可能性があり、該被写体はモニタ端末の使用をインテリジェントに制御する範囲外とする。

【0039】

ターゲット画像内の顔被写体は、第１の顔データセットで表される年齢範囲に属する場合、ターゲット画像内の人体骨の位置情報を取得し、前記人体骨の位置情報、人体の各重要な部位の世界座標を取得する。

【0040】

ステップＳ５０：前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得る。

【0041】

図５を参照すると、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップは具体的に次のいくつかのステップを含む。

【0042】

ステップＳ５１０：人体の重要な部位（肩、目、鼻先等の部位）の世界座標情報を取得し、本実施例では、鼻先の世界座標を取得する。

【0043】

ステップＳ５２０：前記世界座標情報に基づき視差情報を得、得られた世界座標情報に基づき人体の重要な部分の視差を計算する。本実施形態において、鼻先の左右の目の世界座標を介して視差を計算し、鼻先が顔の中心にあり、水平方向にのみ視差があり、垂直方向にも比較的大きな視差が生じた場合、人体が水平になっていないか、機器が水平に置かれていない。他の実施形態において、任意の複数の骨位置の世界座標情報を選択して視差情報を得ることができ、例えば左右の肩の世界座標情報を使用して視差情報を得ることができる。具体的な式は次のように表される。

【0044】

｜右肩縦座標－左肩縦座標｜

【0045】

ステップＳ５３０：両眼距離測定を通じて人体の距離情報を取得する。計算式は、次のように表される。

【0046】

人体の距離情報＝人体の実際の距離－人体の標準計測距離である。

【0047】

従来技術では、人体が異なる距離にある時、視覚識別において、ズームスケールと世界座標差に変化が生じるため、座位姿勢の計算は一定の距離で行う必要がある。本発明の実施形態は、両眼距離測定を介して距離を正確に計算して距離比例計算を実行することができ、任意の距離（可視限界距離内）で骨の計算を実行することで、より正確な座位姿勢の結果を得ることができる。

【0048】

ステップＳ５４０：前記視差情報、前記人体の距離情報に基づき人体骨の関係情報を得る。本実施形態では、鼻先の左右の目の世界座標を介して第１の人体骨の関係情報を取得し、前記第１の人体骨の関係情報は第１の所定視差閾値より大きい場合、児童に身体(両目)を水平に保つよう注意を促がす。

【0049】

他の実施形態において、左肩及び右肩を人体の各重要な部位の例として、人体骨の関係情報を得る。具体的な計算式は、次のように表される。

【0050】

｜右肩縦座標－左肩縦座標｜×（人体の実際の距離－人体の標準計測距離）×（比例補正係数）
ここで、比例補正係数は、人体の実際の距離と人体の標準計測距離との関係から予め設定することができる。

【0051】

ステップＳ６０：前記人体骨の関係情報、人体の距離情報に基づき座位姿勢状態及び／又は距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意を促がすため、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現する。

【0052】

具体的には、人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得、左右の肩の関係情報に基づき左右の肩傾斜角度を得る。具体的な計算式は、次のように表される。

【0053】

【数1】

【0054】

最後に左右の肩傾斜角度に基づき人体の座位姿勢状態を判断し、左右の肩傾斜角度は、肩傾斜角度の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定され、注意を促がすため、注意喚起メッセージが生成され、座位姿勢状態の異常回数又は座位姿勢状態の異常時間が所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現する。

【0055】

同様に、両眼間距離測定で得られた人体の距離情報を所定距離閾値と比較でき、人体の距離情報が所定閾値より小さい場合、現在の距離状態が異常であると判定され、注意を促がすため、注意喚起メッセージが生成され、距離状態の異常回数又は距離状態の異常時間が所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現する。

【0056】

図３を参照すると、本発明の実施形態では、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、モニタ端末を制御することは、具体的に次のいくつかのステップを含み、
ステップＳ６１０：座位姿勢状態又は距離状態の異常回数が第１の所定閾値を超えた場合、モニタ端末の音量を下げ、
ステップＳ６２０：座位姿勢状態又は距離状態の異常回数が第２の所定閾値を超えた場合、モニタ端末を赤外線でシャットダウンし、
ステップＳ６３０：座位姿勢状態又は距離状態の異常回数が第３の所定閾値を超えた場合、モニタ端末の電源を切る。

【0057】

図４を参照すると、その他の実施形態において、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、モニタ端末を制御することは、次の通りステップを含み、
ステップＳ６１１：座位姿勢状態又は距離状態の異常回数が第１の所定閾値を超えた場合、モニタ端末の音量を下げ、
ステップＳ６２１：座位姿勢状態又は距離状態の異常回数が第２の所定閾値を超えた場合、モニタ端末を赤外線でシャットダウンし、
ステップＳ６３１：座位姿勢状態又は距離状態の異常回数が第３の所定閾値を超えた場合、モニタ端末の電源を切る。このため上記の第１、第２、第３の所定閾値は、人為的に設定できる回数或いは時間の長さとする。

【0058】

モニタ端末の対応する制御に関しては、ＭＱＴＴプロトコルを含む様々なプロトコルを使用して、データプロセッサから関連するモニタ端末を制御する制御装置に制御信号を送信でき、前記モニタ制御装置には学習型赤外線リモコンを含むが、これに限定されない。

【0059】

本発明の実施形態は、異なる年齢の児童に応じて区分監視を行う機能も備え、まず上述で言及した顔認識技術で児童をより小さな年齢範囲に区分し、いくつかの年齢範囲を得てから監視対象児童の顔テンプレートの年齢範囲を取得し、次に監視対象児童の顔テンプレートの年齢範囲に従って区分して監視し、具体的なステップは図５に示され、
ステップＳ７１０：第１の顔データセットのデータと一致する顔テンプレートの年齢範囲を取得し、
ステップＳ７２０：監視対象児童の顔テンプレートが第１の年齢範囲にあるとき、モニタ端末を常に電源オフモードに保つよう制御し、
ステップＳ７３０：監視対象児童の顔テンプレートが第２の年齢範囲にあるとき、児童が第１の座位姿勢、第１の距離にあることを検出した場合、第１の所定時間間隔でモニタ端末をオンにするよう制御し、
ステップＳ７４０：監視対象児童の顔テンプレートが第3の年齢範囲にあるとき、児童が第２の座位姿勢で、第２の距離にあることを検出した場合、第２の所定時間間隔でモニタ端末をオンにするよう制御する。

【0060】

また、当日が非試験日であることが検出され、モニタ端末がオン状態にある場合、第３の所定時間間隔ごとに時間を第４の所定時間間隔に保持してからオフにする。

【0061】

具体的には、監視対象児童の顔テンプレートの年齢範囲を得てからカレンダーに基づき監視対象児童が重要な試験期間にあるかどうかを推定し、年齢範囲に応じて異なる監視レベルを設定でき、例えばレベル０：試験期間で、娯楽性モニタ端末（以下、テレビと称する）を使用できない。レベル１：最高の監視モードで、１日３０分だけテレビを見ることができ、左右の肩を水平に保ち、テレビから３ｍ離れる。レベル２：２番目に高い監視モードで、１日４５分テレビを見ることができ、左右の肩を３°に保ち、テレビから２．５ｍ離れる。レベル３：弱い監視レベルで、１日に何度でもテレビを見ることができるが、テレビからの２．５ｍ離れ、４５分ごとに１０分間の休みをとる必要がある。

【0062】

本発明の実施形態は、児童がモニタ端末を使用する時、該児童の年齢を自動的かつインテリジェントに識別し、児童年齢の違いに応じて、児童の座位姿勢、距離などをリアルタイムでインテリジェントに監視し、モニタ端末のオン、オフの時間をインテリジェントに制御することで、児童の視力健康を管理しながらモニタ端末を使用するように導く。先行技術の技術的手段と比較して、本発明の実施形態は、人為的な操作を必要とせず、モニタ端末への管理を実現でき、手作業による機器管理の煩わしさを減らし、児童のモニタ端末の使用に対する年齢層分けの特定管理を実現し、インテリジェント化の程度を高め、マルチシナリオで使用できるという利点を有する。

【0063】

また、児童のモニタ端末の使用をインテリジェントに制御する方法によれば、図６に示すように本発明の実施形態は、児童のモニタ端末の使用をインテリジェントに制御するシステムも提供し、前記システムは、
ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュール１００と、
前記ターゲット画像から顔検出するように構成される顔検出モジュール２００と、
顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して顔テンプレートを得るよう構成される固有値抽出モジュール３００と、
前記顔テンプレートとトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュール４００と、
前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュール５００と、
前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るよう構成される両眼補正モジュール６００と、
前記人体骨の関係情報、人体の距離情報に基づき座位姿勢状態及び／又は距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意を促がすため、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するよう構成されるインテリジェントコントロールモジュール７００とを備える。

【0064】

要するに、本発明の実施形態は、プログラムとして実現され、コンピュータ機器上で実行され得る、児童のモニタ端末の使用をインテリジェントに制御するシステムを提案する。コンピュータ機器のメモリーには、前記児童のモニタ端末の使用をインテリジェントに制御するシステムを構成する各プログラムモジュール、例えば図６に示す画像収集モジュール１００、顔検出モジュール２００、固有値抽出モジュール３００、顔照合モジュール４００、人体骨の位置情報取得モジュール５００、両眼補正モジュール６００、インテリジェントコントロールモジュール７００を格納することができる。各プログラムモジュールからなるプログラムは、プロセッサが本明細書内に記載の本出願の各実施形態の児童のモニタ端末の使用をインテリジェントに制御する方法におけるステップを実行することを可能にする。

【0065】

上記実施形態は、本発明の例示であって本発明を限定するものではなく、本発明の単純な変形後の技術的手段は、本発明の保護範囲に属する。以上、本発明の好適な実施例につき説明したが、本発明の保護範囲は前述した実施例に限定されることなく、本発明の技術構想に基づく技術的手段は本発明の保護範囲に属する。当業者であれば、本発明の原理から逸脱することなく、様々な改良及び潤色が可能であり、かかる改良及び潤色は本発明の保護範囲に含めることを指摘しておかなければならない。

【0066】

（付記）
（付記１）
児童のモニタ端末の使用をインテリジェントに制御する方法であって、ターゲット領域の画像を収集してターゲット画像を得るステップと、前記ターゲット画像から顔検出するステップと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出するステップと、抽出した固有値を事前トレーニング済みの顔データセットとマッチングし、前記固有値が前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るステップと、前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップと、前記人体骨の関係情報、人体の距離情報に基づき座位姿勢状態及び／又は距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するステップとを含むことを特徴とする、児童のモニタ端末の使用をインテリジェントに制御する方法。

【0067】

（付記２）
座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、モニタ端末を制御するステップは、具体的に座位姿勢状態又は距離状態の異常回数が第１の所定閾値を超えた場合、モニタ端末の音量を下げるステップと、座位姿勢状態又は距離状態の異常回数が第２の所定閾値を超えた場合、モニタ端末を赤外線でシャットダウンするステップと、座位姿勢状態又は距離状態の異常回数が第３の所定閾値を超えた場合、モニタ端末の電源を切るステップとを含むことを特徴とする、付記１に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【0068】

（付記３）
第１の顔データセットのデータと一致する顔テンプレートの年齢範囲を取得するステップと、前記顔テンプレートが第１の年齢範囲にあるとき、モニタ端末を常に電源オフモードに保つよう制御するステップと、前記顔テンプレートが第２の年齢範囲にあるとき、児童が第１の座位姿勢、第１の距離にあることを検出した場合、第１の所定時間間隔でモニタ端末をオンにするよう制御するステップと、前記顔テンプレートが第３の年齢範囲にあるとき、児童が第２の座位姿勢で、第２の距離にあることを検出した場合、第２の所定時間間隔でモニタ端末をオンにするよう制御するステップとをさらに含むことを特徴とする、付記１に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【0069】

（付記４）
日付が非試験日で、モニタ端末がオン状態にある場合、第３の所定時間間隔ごとに時間を第４の所定時間間隔に保持してからオフにすることを特徴とする、付記１に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【0070】

（付記５）
前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るステップは、具体的に人体の重要な部分の世界座標情報を取得するステップと、前記世界座標情報に基づき視差情報を得るステップと、両眼距離測定を通じて人体の距離情報を取得するステップと、前記視差情報、前記人体の距離情報に基づき人体骨の関係情報を得るステップとを含むことを特徴とする、付記１に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【0071】

（付記６）
前記視差情報、前記人体の距離情報に基づき人体骨の関係情報を得るステップは、｜右肩縦座標－左肩縦座標｜×（人体の実際の距離－人体の標準計測距離）×（比例補正係数）を含むことを特徴とする、付記５に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【0072】

（付記７）
鼻先の左右の目の世界座標を介して第１の人体骨の関係情報を取得し、前記第１の人体骨の関係情報は第１の所定視差閾値より大きい場合、児童に身体(両目)を水平に保つよう注意を促がすことを特徴とする、付記１に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【0073】

（付記８）
前記第１の顔データセットは、４～１６歳の顔データセット、前記第２の顔データセットは１６歳超の顔データセットであることを特徴とする、付記１に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【0074】

（付記９）
赤外線制御装置は対応する制御信号を受信し、対応する前記制御信号に基づき音量を下げるか、赤外線によるシャットダウン或いは直接電源を切ることで、前記児童のモニタ端末の使用をインテリジェントに制御することを実現することを特徴とする、付記１に記載の児童のモニタ端末の使用をインテリジェントに制御する方法。

【0075】

（付記１０）
児童のモニタ端末の使用をインテリジェントに制御するシステムであって、
ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュールと、
前記ターゲット画像から顔検出するように構成される顔検出モジュールと、
顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して顔テンプレートを得るよう構成される固有値抽出モジュールと、
前記顔テンプレートとトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュールと、
前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュールと、
前記人体骨の位置情報に対して両眼補正を実行して人体骨の関係情報及び人体の距離情報を得るよう構成される両眼補正モジュールと、
前記人体骨の関係情報、人体の距離情報に基づき座位姿勢状態及び／又は距離状態の異常の有無を判断し、座位姿勢状態又は距離状態が異常の場合、注意を促がすため、注意喚起メッセージを生成し、座位姿勢状態又は距離状態が異常で所定閾値を超えている場合、対応する制御信号を出力してモニタ端末を制御することで、児童のモニタ端末の使用のインテリジェントな制御を実現するよう構成されるインテリジェントコントロールモジュールとを備えることを特徴とする、児童のモニタ端末の使用をインテリジェントに制御するシステム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】