特許 7153052 オンライン絵本コンテンツの取得方法、装置及びスマートスクリーンデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-04

(45)【発行日】2022-10-13

(54)【発明の名称】オンライン絵本コンテンツの取得方法、装置及びスマートスクリーンデバイス

(51)【国際特許分類】

   H04N 21/482 20110101AFI20221005BHJP

   G06T 7/00 20170101ALI20221005BHJP

   H04L 67/02 20220101ALI20221005BHJP

   H04N 21/41 20110101ALI20221005BHJP

   H04N 21/436 20110101ALI20221005BHJP

   H04N 21/44 20110101ALI20221005BHJP

【ＦＩ】

H04N21/482

G06T7/00 300F

H04L67/02

H04N21/41

H04N21/436

H04N21/44

【請求項の数】 21

(21)【出願番号】P 2020213348

(22)【出願日】2020-12-23

(65)【公開番号】P2021180473

(43)【公開日】2021-11-18

【審査請求日】2020-12-23

(31)【優先権主張番号】202010403581.9

(32)【優先日】2020-05-13

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】100096091

【弁理士】

【氏名又は名称】井上 誠一

(72)【発明者】

【氏名】戴 ▲暁▼澄

(72)【発明者】

【氏名】郎 柳

(72)【発明者】

【氏名】王 ▲楽▼

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１３－０９２９６４（ＪＰ，Ａ）

【文献】特開２００９－１１９７６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｇ０６Ｔ ７／００ － ７／９０

Ｈ０４Ｌ ６７／００ － ６７／７５

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

スマートスクリーンデバイスに適用されるオンライン絵本コンテンツの取得方法であって、
前記取得方法は、
前記スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立するステップと、
前記プリズムコンポーネントを使用してオフライン絵本を認識して、前記オフライン絵本に対応する画像コンテンツを取得するステップと、
前記画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得するステップと、
を含み、
前記プリズムコンポーネントは、撮影コンポーネントと画像認識コンポーネントとを含み、
前記撮影コンポーネントを使用して、マルチモーダルのインタラクション方式に基づいて前記オフライン絵本の絵本画像をキャプチャし、
前記画像認識コンポーネントを使用して、前記絵本画像の画像特徴を認識し、及び
前記スマートスクリーンデバイスのプロセッサを使用して、前記絵本画像の画像特徴を解析して前記画像コンテンツを取得する、
ことを特徴とするオンライン絵本コンテンツの取得方法。

【請求項2】

前記画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得するステップは、
前記画像コンテンツを解析してコンテンツタグを取得するステップと、
ビデオライブラリから前記コンテンツタグに対応する絵本ビデオを前記ビデオ形式のオンライン絵本コンテンツとして取得するステップと、
を含む、
ことを特徴とする請求項１に記載のオンライン絵本コンテンツの取得方法。

【請求項3】

前記ビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得するステップは、
ローカルビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得するステップ、及び／又は
サードパーティのビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得するステップ、
を含む、
ことを特徴とする請求項２に記載のオンライン絵本コンテンツの取得方法。

【請求項4】

前記ビデオライブラリは、候補コンテンツタグ、及び前記候補コンテンツタグに対応する候補絵本ビデオを含み、前記ビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得するステップは、
コンテンツタグとビデオライブラリに格納された候補コンテンツタグを比較して、コンテンツタグとある候補コンテンツタグがマッチングされた場合、前記ビデオライブラリにおける前記コンテンツタグとマッチングされた候補コンテンツタグに対応する候補絵本ビデオを直接取得するステップを含む、
ことを特徴とする請求項２に記載のオンライン絵本コンテンツの取得方法。

【請求項5】

前記ビデオライブラリは、候補コンテンツタグ、及び前記候補コンテンツタグに対応するマルチフレーム候補絵本画像をさらに含み、前記ビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得するステップは、
ビデオライブラリから前記コンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を読み取るステップと、
前記マルチフレーム候補絵本画像に基づいて、前記対応する絵本ビデオを合成するステップと、
を含む、
ことを特徴とする請求項２に記載のオンライン絵本コンテンツの取得方法。

【請求項6】

各フレーム候補絵本画像は、それぞれ１つのタイムスタンプに対応し、前記マルチフレーム候補絵本画像に基づいて、前記対応する絵本ビデオを合成するステップは、
前記マルチフレーム候補絵本画像を、各フレーム候補絵本画像に対応するタイムスタンプの順位に従って並べ替えることで、前記対応する絵本ビデオを合成するステップを含む、
ことを特徴とする請求項５に記載のオンライン絵本コンテンツの取得方法。

【請求項7】

各フレーム候補絵本画像は、１段のテキストコンテンツに対応し、前記マルチフレーム候補絵本画像に基づいて、前記対応する絵本ビデオを合成した後、
各フレーム候補絵本画像に対応するテキストコンテンツに基づいて、前記絵本ビデオに対応するオーディオを形成し、形成された絵本ビデオを前記対応するオーディオに関連付けるステップをさらに含む、
ことを特徴とする請求項５に記載のオンライン絵本コンテンツの取得方法。

【請求項8】

前記画像コンテンツは前記オフライン絵本の表紙画像コンテンツである、
ことを特徴とする請求項１に記載のオンライン絵本コンテンツの取得方法。

【請求項9】

教育係アプリケーションのメインインタフェースで前記ビデオ形式のオンライン絵本コンテンツを表示するステップをさらに含む、
ことを特徴とする請求項１に記載のオンライン絵本コンテンツの取得方法。

【請求項10】

オンライン絵本コンテンツの取得装置であって、
スマートスクリーンデバイスに適用され、前記取得装置は、
前記スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立するための確立モジュールと、
前記プリズムコンポーネントを使用してオフライン絵本を認識して、前記オフライン絵本に対応する画像コンテンツを取得するための認識モジュールと、
前記画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得するための取得モジュールと、
を含み、
前記プリズムコンポーネントは、撮影コンポーネントと画像認識コンポーネントとを含み、
前記撮影コンポーネントを使用して、マルチモーダルのインタラクション方式に基づいて前記オフライン絵本の絵本画像をキャプチャし、
前記画像認識コンポーネントを使用して、前記絵本画像の画像特徴を認識し、及び
前記スマートスクリーンデバイスのプロセッサを使用して、前記絵本画像の画像特徴を解析して前記画像コンテンツを取得する、
ことを特徴とするオンライン絵本コンテンツの取得装置。

【請求項11】

前記取得モジュールは、
前記画像コンテンツを解析してコンテンツタグを取得するための解析ユニットと、
ビデオライブラリから前記コンテンツタグに対応する絵本ビデオを前記ビデオ形式のオンライン絵本コンテンツとして取得するための取得ユニットと、
を含む、
ことを特徴とする請求項１０に記載のオンライン絵本コンテンツの取得装置。

【請求項12】

前記取得ユニットは、
ローカルビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得する、
及び／又は
サードパーティのビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得することにさらに用いられる、
ことを特徴とする請求項１１に記載のオンライン絵本コンテンツの取得装置。

【請求項13】

前記ビデオライブラリは、候補コンテンツタグ、及び前記候補コンテンツタグに対応する候補絵本ビデオを含み、前記取得ユニットは、
コンテンツタグとビデオライブラリに格納された候補コンテンツタグを比較して、コンテンツタグとある候補コンテンツタグがマッチングされた場合、前記ビデオライブラリにおける前記コンテンツタグとマッチングされた候補コンテンツタグに対応する候補絵本ビデオを直接取得することにさらに用いられる、
ことを特徴とする請求項１１に記載のオンライン絵本コンテンツの取得装置。

【請求項14】

前記ビデオライブラリは、候補コンテンツタグ、及び前記候補コンテンツタグに対応するマルチフレーム候補絵本画像をさらに含み、前記取得ユニットは、
ビデオライブラリから前記コンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を読み取り、
前記マルチフレーム候補絵本画像に基づいて、前記対応する絵本ビデオを合成することにさらに用いられる、
ことを特徴とする請求項１１に記載のオンライン絵本コンテンツの取得装置。

【請求項15】

各フレーム候補絵本画像は、それぞれ１つのタイムスタンプに対応し、前記取得ユニットは、
前記マルチフレーム候補絵本画像を、各フレーム候補絵本画像に対応するタイムスタンプの順位に従って並べ替えることで、前記対応する絵本ビデオを合成することにさらに用いられる、
ことを特徴とする請求項１４に記載のオンライン絵本コンテンツの取得装置。

【請求項16】

各フレーム候補絵本画像は、１段のテキストコンテンツに対応し、前記取得ユニットは、
各フレーム候補絵本画像に対応するテキストコンテンツに基づいて、前記絵本ビデオに対応するオーディオを形成し、形成された絵本ビデオを前記対応するオーディオに関連付けることにさらに用いられる、
ことを特徴とする請求項１４に記載のオンライン絵本コンテンツの取得装置。

【請求項17】

前記画像コンテンツは前記オフライン絵本の表紙画像コンテンツである、
ことを特徴とする請求項１０～１６のいずれかに記載のオンライン絵本コンテンツの取得装置。

【請求項18】

教育係アプリケーションのメインインタフェースで前記ビデオ形式のオンライン絵本コンテンツを表示するための表示モジュールをさらに含む、
ことを特徴とする請求項１０～１６のいずれかに記載のオンライン絵本コンテンツの取得装置。

【請求項19】

スマートスクリーンデバイスであって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが請求項１～９のいずれかに記載のオンライン絵本コンテンツの取得方法を実行する、
ことを特徴とするスマートスクリーンデバイス。

【請求項20】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～９のいずれかに記載のオンライン絵本コンテンツの取得方法を実行させる、
ことを特徴とするコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項21】

コンピュータプログラムであって、
前記コンピュータプログラムにおける命令が実行された場合に、請求項１～９のいずれかに記載のオンライン絵本コンテンツの取得方法が実行される、
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、インターネット技術分野に関し、具体的にオンライン教育技術分野に関し、特にオンライン絵本コンテンツの取得方法、装置及びスマートスクリーンデバイスに関する。

【背景技術】

【0002】

マルチモーダルインテリジェントインタラクションは、将来のインテリジェントインタラクションの主要な形式であり、人工知能技術の進歩に伴い、人とスマートデバイスの間、および人とマシンの間のインタラクションは、よりスマートで、より自然になる傾向がある。ユーザは例えば、スマートスピーカ、スマートロボットなどのスマートデバイスとのインタラクションにより、クラス内の教育リソース、課外リソース、娯楽リソースなど、様々なリソースを取得することができる。

【0003】

しかしながら、既存のスマートデバイスがユーザにオンライン絵本コンテンツを提供する場合、オーディオ形式のコンテンツのみを提供することができ、より多くのシーンに適合するオンライン絵本コンテンツを豊富なマルチメディア形式で表示することができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本出願は、オンライン絵本コンテンツの取得方法、装置、スマートスクリーンデバイス及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本出願の第１の側面の実施例は、スマートスクリーンデバイスに適用されるオンライン絵本コンテンツの取得方法を提供し、
前記スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立するステップと、
前記プリズムコンポーネントを使用してオフライン絵本を認識して、前記オフライン絵本に対応する画像コンテンツを取得するステップと、
前記画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得するステップと、を含む。

【0006】

本出願の第２の側面の実施例は、スマートスクリーンデバイスに適用されるオンライン絵本コンテンツの取得装置を提供し、
前記スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立するための確立モジュールと、
前記プリズムコンポーネントを使用してオフライン絵本を認識して、前記オフライン絵本に対応する画像コンテンツを取得するための認識モジュールと、
前記画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得するための取得モジュールと、を含む。

【0007】

本出願の第３の側面の実施例は、スマートスクリーンデバイスを提供し、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが第１の側面の実施例のオンライン絵本コンテンツの取得方法を実行する。

【0008】

本出願の第４の側面の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ命令は、前記コンピュータに第１の側面の実施例のオンライン絵本コンテンツの取得方法を実行させる。
本出願の第５の態様では、コンピュータプログラムを提供し、前記コンピュータプログラムにおける命令が実行された場合に、第１の側面の実施例のオンライン絵本コンテンツの取得方法が実行される。

【発明の効果】

【0009】

上記出願における一つの実施例は、以下のような利点または有益な効果を有する。スマートスクリーンデバイスに適用され、スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立し、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得することにより、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得する。当該方法は、スマートスクリーンデバイスと通信リンクを確立するプリズムコンポーネントがオフライン絵本に対応する画像コンテンツを認識して取得することにより、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得し、従来技術におけるオーディオ形式のオンライン絵本コンテンツのみを取得することと比較して、本出願は、スマートスクリーンデバイスでオンライン絵本コンテンツをビデオの方式で表示し、より生き生きとした方式でオフライン絵本コンテンツをユーザに提供することができることを実現する。

【0010】

なお、この部分に記載された内容は、本開示の実施例の肝心または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定することを意図するものでもない。本開示の他の特徴は、以下の説明によって容易に理解されやすくなる。

【図面の簡単な説明】

【0011】

図面は、本技術案をよりよく理解するために使用されており、本出願の限定を構造するものではない。

【図1】本出願の実施例一により提供されるオンライン絵本コンテンツの取得方法のフローチャートである。

【図2】本出願の実施例により提供されるオンライン絵本コンテンツの取得の例示図である。

【図3】本出願の実施例二により提供されるオンライン絵本コンテンツの取得方法のフローチャートである。

【図4】本出願の実施例三により提供されるオンライン絵本コンテンツの取得方法のフローチャートである。

【図5】本出願の実施例四により提供されるオンライン絵本コンテンツの取得装置の概略構造図である。

【図6】本出願の実施例のオンライン絵本コンテンツの取得方法を実現するためのスマートスクリーンデバイスのブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構造の説明を省略する。

【0013】

以下、図面を参照して本出願の実施例のオンライン絵本コンテンツの取得方法、装置、スマートスクリーンデバイス及び記憶媒体を説明する。

【0014】

図１は本出願の実施例一により提供されるオンライン絵本コンテンツの取得方法のフローチャートである。

【0015】

本出願の実施例は、当該オンライン絵本コンテンツの取得方法がオンライン絵本コンテンツの取得装置に配置されることを例として説明し、当該オンライン絵本コンテンツの取得装置はいずれかのスマートスクリーンデバイスに適用されることができ、当該スマートスクリーンデバイスがオンライン絵本コンテンツの取得機能を実行することができる。

【0016】

一つの可能的な情況として、本出願の実施例により提供されるオンライン絵本コンテンツの取得方法は、教育係アプリケーション（Ａｐｐｌｉｃａｔｉｏｎ、ＡＰＰと略称する）に適用されることができ、教育係ＡＰＰはスマートスクリーンデバイスで実行することができる。ここで、スマートスクリーンデバイスは、タッチスクリーンを備えたスマートデバイスであってもよい。

【0017】

なお、子供が絵本を読みやすくするために、スマートデバイスのタッチスクリーンを大きなスクリーンに設定し、一定の角度に傾けることであってもよい。例えば、スマートスクリーンのスクリーンは８インチであってもよく、スクリーンの傾斜角度は１０５°であってもよい。

【0018】

図１に示すように、当該オンライン絵本コンテンツの取得方法は、以下のステップを含むことができる。
ステップ１０１：スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立する。

【0019】

ここで、スマートスクリーンデバイスは、ユーザとの遠方界の音声インタラクションやジェスチャーコントロール、目覚め、顔認識などのマルチモーダルインタラクションを実現して、ユーザにより自然で多様な人間とコンピュータのインタラクション体験を提供する。例えば、スマートスクリーンデバイスは、タッチスクリーンを備えたスマートスピーカであってもよい。

【0020】

なお、スマートスクリーンデバイスがスリープ状態にあるとき、ユーザは音声、顔認識、タッチ、クリックなどの方式によってスマートスクリーンデバイスをウェイクアップして、アウェイクアップ状態にあるスマートスクリーンデバイスがプリズムコンポーネントと通信リンクを確立することができる。

【0021】

本出願におけるプリズムコンポーネントは、プリズム枠、及び反射鏡などを含むことができる。

【0022】

本出願の実施例において、スマートスクリーンデバイスは、ユニバーサル・シリアル・バス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ＵＳＢと略称する）インタフェースによってプリズムコンポーネントと通信リンクを確立することができ、ブルートゥース（登録商標）によってプリズムコンポーネントと通信リンクを確立することもでき、無線通信ネットワーク接続方式によってプリズムコンポーネントと通信リンクを確立することもできる。

【0023】

なお、スマートスクリーンデバイスとプリズムコンポーネントの間の通信接続方式は、上述接続通信接続方式に限定されず、他の通信接続方式によって通信リンクを確立するもよく、ここでは限定しない。

【0024】

ステップ１０２：プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得する。

【0025】

ここで、オフライン絵本は、子供用の絵本でも大人用の絵本でもよいが、ここでは限定しない。

【0026】

本出願の実施例において、スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立した後、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得することができる。ここで、オフライン絵本に対応する画像コンテンツは、オフライン絵本の表紙画像コンテンツであってもよいし、オフライン絵本の本文部分の画像コンテンツであってもよい、ここでは限定しない。オフライン絵本の画像コンテンツは、画像部分および/または文字部分を含むこともできる。

【0027】

例えば、オフライン絵本の表紙画像コンテンツはそれぞれ異なるので、オフライン絵本に対応する画像コンテンツはオフライン絵本の表紙画像コンテンツである場合、スマートスクリーンデバイスがオフライン絵本の表紙画像コンテンツを効果的に認識して取得できるようにして、表紙画像コンテンツとマッチングされたビデオ形式のオンライン絵本コンテンツを取得する。本出願において、スマートスクリーンデバイスは、オフラインでもオンラインでも、オフライン絵本に対応する画像コンテンツの検出を実現することができ、ここでは限定しない。

【0028】

一つの可能的な実現方式として、プリズムコンポーネントをスマートスクリーンデバイスの上方に設置し、オフライン絵本とスマートスクリーンデバイスを同じレベルに配置し、プリズムコンポーネントによってオフライン絵本を認識した後、スマートスクリーンデバイスにオフライン絵本に対応する画像コンテンツを取得させることができる。

【0029】

例示として、プリズムコンポーネントにカメラヘッドが設置されたと仮定すると、プリズムコンポーネントにおけるカメラヘッドによってオフライン絵本に対応する画像を収集することができ、さらに、収集された画像を認識して、オフライン絵本に対応する画像コンテンツを取得する。

【0030】

本出願の実施例において、プリズムコンポーネントに設置されたカメラヘッドがオフライン絵本に対応する画像を収集して取得した後、さらに収集されたオフライン絵本の画像を画像認識して、オフライン絵本に対応する画像コンテンツを取得する。

【0031】

例えば、カメラヘッドがオフライン絵本の画像を収集して取得した後、画像に強調処理を行って、画像中のノイズを低減し、画像の鮮明度、品質などを向上させることができる。さらに、画像をエンコード、圧縮などする方式で画像処理を行う。そして、画像処理して取得された画像に対して特徴抽出を行って、抽出して取得された特徴図をトレーニングされた画像認識モデルに入力し、モデルの出力に基づいてオフライン絵本に対応する画像コンテンツを決定することができる。

【0032】

なお、他の画像認識方法によってカメラヘッドで収集されたオフライン絵本の画像を画像処理してもよく、例えば、ニューラルネットワークに基づく画像認識方法、またはウェーブレット距離に基づく画像認識方法などを使用して、画像コンテンツを含む初期絵本コンテンツを取得する。

【0033】

なお、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得する場合、オフライン絵本の表紙を認識してもよいし、オフライン絵本の本文部分を認識してもよい、ここでは限定しない。

【0034】

例えば、図２を参照すると、図２におけるスマートスクリーンデバイスはスマートスピーカであってもよく、スマートスピーカとオフライン絵本を同じレベルに配置して、スマートスピーカの上方に設置されたプリズムコンポーネントがオフライン絵本を認識させて、オフライン絵本に対応する画像コンテンツを取得することができる。一つの可能的な情況において、スマートスピーカが有効なオフライン絵本を認識しておらず、ユーザにオフライン絵本の交換を促すことができる。

【0035】

例えば、スマートスピーカのスクリーンに文字を表示する方式で、例えば「絵本が無効なので、交換してください」を表示する方式でユーザに注意を促すことができ、音声再生の方式で、例えば音声「絵本が無効なので、交換してください」を再生する方式でユーザに注意を促すこともでき、ビープ音や予め設定された音楽などの特定の音を出す方式でユーザに注意を促すこともでき、ここでは限定しない。

【0036】

もう一つの可能的な実現方式として、プリズムコンポーネントにおけるプリズムによってオフライン絵本をキャプチャした後、スマートスクリーンデバイスに設置されたカメラヘッドによってプリズムに表示されたオフライン絵本を収集し、さらにスマートスクリーンデバイスがオフライン絵本を取得した後、収集されたオフライン絵本コンテンツを認識して、オフライン絵本に対応する画像コンテンツを取得することができる。

【0037】

本出願の実施例の一つの可能的な情況として、スマートスクリーンデバイスに、オフライン絵本に構造光を発射するための構造光発射装置を取り付けることができる。構造光がオフライン絵本を照射した後、オフライン絵本に基づいて構造光を反射して、構造光の歪みを引き起こし、オフライン絵本に対応する画像コンテンツを取得することができる。

【0038】

例示として、構造光のタイプは、グレーティング型、スポット型、スペックル型（円形スペックルと十字スペックルを含む）を含み、上記構造光は均一に配置されている。対応的に、構造光を生成するデバイスは、光のスポット、ライン、グレーティング、グリッド、またはスペックルをオフライン絵本コンテンツ上に投影するある投影デバイスまたは機器、例えば光学プロジェクタであってもよいし、レーザービームを生成するレーザであってもよい。

【0039】

ステップ１０３：画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得する。

【0040】

ここで、オンライン絵本コンテンツは、スマートスクリーンデバイスで予め取得された、絵本コンテンツライブラリに記憶されたコンテンツであってもよいし、サードパーティのＡＰＰで提供されるオンライン絵本コンテンツであってもよいし、外部検索エンジンがクエリして教育係ＡＰＰにフィードバックしたオンライン絵本コンテンツであってもよい、ここでは限定しない。

【0041】

本出願において、オフライン絵本に対応する画像コンテンツを取得した後、画像コンテンツに基づいて、対応するビデオ形式のオンライン絵本コンテンツを取得することができる。

【0042】

一つの可能的な実現方式として、画像コンテンツで含まれた画像部分及び文字部分に基づいて、スマートスクリーンデバイスで予め取得された、絵本コンテンツライブラリに記憶されたコンテンツから画像コンテンツとマッチングされたビデオ形式のオンライン絵本コンテンツを取得することができる。

【0043】

もう一つの可能的な実現方式として、画像コンテンツで含まれた画像部分及び文字部分に基づいて、サードパーティのＡＰＰから画像コンテンツとマッチングされたビデオ形式のオンライン絵本コンテンツを取得することができる。

【0044】

もう一つの可能的な実現方式として、画像コンテンツで含まれた画像部分及び文字部分に基づいて、外部検索エンジンから画像コンテンツとマッチングされたビデオ形式のオンライン絵本コンテンツをクエリすることができる。

【0045】

なお、画像コンテンツに基づいて取得されたオンライン絵本コンテンツは、オフライン絵本コンテンツと同期したビデオコンテンツであってもよく、スマートスクリーンデバイスの表示ページにオンライン絵本コンテンツをビデオの形式で表示し、より生き生きとした方式でオフライン絵本コンテンツをユーザに提供することができる。

【0046】

選択可能に、スマートスクリーンデバイスがビデオ形式のオンライン絵本コンテンツを取得した後、スマートスクリーンデバイスに取り付けられた教育係ＡＰＰのメインインタフェースでは、オンライン絵本コンテンツをビデオの方式で表示することで、ユーザがビデオ形式のオンライン絵本コンテンツを取得することができる。

【0047】

本出願の実施例のオンライン絵本コンテンツの取得方法は、スマートスクリーンデバイスに適用され、スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立し、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得することにより、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得する。当該方法は、スマートスクリーンデバイスと通信リンクを確立するプリズムコンポーネントがオフライン絵本に対応する画像コンテンツを認識して取得することにより、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得し、従来技術におけるオーディオ形式のオンライン絵本コンテンツのみを取得することと比較して、本出願は、スマートスクリーンデバイスでオンライン絵本コンテンツをビデオの方式で表示し、より生き生きとした方式でオフライン絵本コンテンツをユーザに提供することができることを実現する。

【0048】

上記実施例に基づいて、本出願は、もう一つのオンライン絵本コンテンツの取得方法を提供する。

【0049】

図３は本出願の実施例二により提供されるオンライン絵本コンテンツの取得方法のフローチャートである。

【0050】

図３に示すように、当該オンライン絵本コンテンツの取得方法は、以下のステップを含むことができる。
ステップ２０１：スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立する。

【0051】

ステップ２０２：プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得する。

【0052】

本出願の実施例において、ステップ２０１及びステップ２０２の実現プロセスは、上記実施例におけるステップ１０１及びステップ１０２の実現プロセスを参照することができ、ここでは説明を省略する。

【0053】

ステップ２０３：画像コンテンツを解析してコンテンツタグを取得する。

【0054】

ここで、コンテンツタグは、オフライン絵本に対応する画像コンテンツをマークして、対応するビデオ形式を取得するためのオンライン絵本コンテンツであってもよい。

【0055】

選択可能に、大量のオフライン絵本に対応する画像コンテンツを予めマークして、各オフライン絵本に対応する画像コンテンツのコンテンツタグを作成することができる。例えば、オフライン絵本の表紙をマークすることができ、オフライン絵本のページごとをマークすることもできる。オフライン絵本に対応する画像コンテンツをマークする場合、カメラヘッドによってオフライン絵本に対応する画像コンテンツを異なる角度と位置で収集して、オフライン絵本に対応する画像コンテンツをマークして対応するコンテンツタグを取得することができる。

【0056】

一つの可能的な実現方式として、オフライン絵本に対応する画像コンテンツを予めトレーニングされたコンテンツ認識モデルに入力して、モデルの出力に基づいて対応するコンテンツタグを取得することができる。

【0057】

ここで、コンテンツ認識モデルはディープニューラルネットワークに基づくモデルであってもよく、大量のマークされたオフライン絵本に対応する画像コンテンツに基づいて予めトレーニングされた、画像コンテンツとコンテンツタグの対応関係を学習したものであってもよい。

【0058】

ステップ２０４：ビデオライブラリからコンテンツタグに対応する絵本ビデオをビデオ形式のオンライン絵本コンテンツとして取得する。

【0059】

ここで、絵本ビデオは、ビデオ形式で再生される絵本コンテンツであってもよい。ビデオライブラリは、大量のオフライン絵本に対応する画像コンテンツに対応するコンテンツタグに基づいて、予め記憶された、コンテンツタグを持った絵本ビデオであってもよい。

【0060】

本出願の実施例において、オフライン絵本に対応する画像コンテンツを解析して、画像コンテンツに対応するコンテンツタグを取得した後、ビデオライブラリからコンテンツタグに対応する絵本ビデオをビデオ形式のオンライン絵本コンテンツとして取得することができる。

【0061】

一つの可能的な実現方式として、スマートスクリーンデバイスは複数の絵本ビデオを予めローカルビデオライブラリに格納して、画像コンテンツに基づいて取得されたコンテンツタグを解析し、スマートスクリーンデバイスのローカルビデオライブラリからコンテンツタグに対応する絵本ビデオを取得して、取得された絵本ビデオをビデオ形式のオンライン絵本コンテンツとすることができる。これにより、スマートスクリーンデバイスのローカルビデオライブラリが絵本ビデオを提供することにより、ビデオ形式のオンライン絵本コンテンツの取得速度を向上させ、ユーザがオンライン絵本コンテンツを取得するための使用体験を向上させることに役立つ。

【0062】

もう一つの可能的な実現方式として、画像コンテンツを解析して取得されたコンテンツタグに基づいて、スマートスクリーンデバイスのローカルビデオライブラリからコンテンツタグに対応する絵本ビデオを取得していない。この場合に、サードパーティのビデオライブラリからコンテンツタグに対応する絵本ビデオを取得して、取得された絵本ビデオをビデオ形式のオンライン絵本コンテンツとすることができる。これにより、ローカルビデオライブラリにコンテンツタグに対応する絵本ビデオが格納されない場合、対応する絵本ビデオを取得することもできる。

【0063】

もう一つの可能的な実現方式として、オフライン絵本に対応する画像コンテンツを解析してコンテンツタグを取得した後、ローカルビデオライブラリ及びサードパーティのビデオライブラリから同時にコンテンツタグに対応する絵本ビデオを取得することができる。取得された絵本ビデオが同じでない場合、最新バージョンの絵本ビデオをビデオ形式のオンライン絵本コンテンツとして、スマートスクリーンデバイスの画面に表示することができ、異なる絵本ビデオをスマートスクリーンデバイスの画面に表示して、ユーザの選択に基づいて表示する必要がある絵本ビデオを決定することもできる。

【0064】

選択可能に、ビデオライブラリは、候補コンテンツタグ、及び候補コンテンツタグに対応する候補絵本ビデオを含むことができる。つまり、ビデオライブラリは、複数のコンテンツタグ及びコンテンツタグに対応する絵本ビデオを格納することができる。

【0065】

本出願の実施例において、オフライン絵本に対応する画像コンテンツを解析してコンテンツタグを取得した後、ビデオライブラリにおけるコンテンツタグとマッチングされた候補コンテンツタグに対応する候補絵本ビデオをビデオ形式のオンライン絵本コンテンツとして直接取得することができる。これにより、ビデオ形式のオンライン絵本コンテンツの取得効率を向上させる。

【0066】

オフライン絵本に対応する画像コンテンツを解析してコンテンツタグを取得した後、コンテンツタグとビデオライブラリに格納された候補コンテンツタグを比較して、コンテンツタグとある候補コンテンツタグがマッチングされた場合、ビデオライブラリから取得された、コンテンツタグとマッチングされた候補コンテンツタグに対応する候補絵本ビデオをビデオ形式のオンライン絵本コンテンツとすることができると理解できる。

【0067】

例えば、ローカルビデオライブラリに格納された候補コンテンツタグにはオフライン絵本に対応するコンテンツタグとマッチングされた候補コンテンツタグがあるか否かを判断することができ、ローカルビデオライブラリに格納された候補コンテンツタグにはオフライン絵本に対応するコンテンツタグとマッチングされた候補コンテンツタグがある場合、ローカルビデオライブラリからコンテンツタグとマッチングされた候補コンテンツタグに対応する候補絵本ビデオをビデオ形式のオンライン絵本コンテンツとして直接取得することができる。ローカルビデオライブラリに格納された候補コンテンツタグにはオフライン絵本に対応するコンテンツタグとマッチングされた候補コンテンツタグがない場合、さらに、サードパーティのビデオライブラリからコンテンツタグに対応する絵本ビデオを取得する。

【0068】

選択可能に、スマートスクリーンデバイスがビデオ形式のオンライン絵本コンテンツを取得した後、スマートスクリーンデバイスに取り付けられた教育係ＡＰＰのメインインタフェースでは、オンライン絵本コンテンツをビデオの方式で表示することで、ユーザがビデオ形式のオンライン絵本コンテンツを取得することができる。

【0069】

本出願の実施例のオンライン絵本コンテンツの取得方法は、スマートスクリーンデバイスに適用され、スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立し、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得し、画像コンテンツを解析してコンテンツタグを取得し、ビデオライブラリからコンテンツタグに対応する絵本ビデオをビデオ形式のオンライン絵本コンテンツとして取得する。これにより、オフライン絵本に対応する画像コンテンツに基づいて取得された対応するコンテンツタグを解析することにより、ビデオライブラリからビデオ形式のオンライン絵本コンテンツを取得し、オンライン絵本コンテンツをビデオ方式で表示する目的を実現し、ユーザがより生き生きとしたオフライン絵本コンテンツを取得することができる。

【0070】

上記実施例に基づいて、一つの可能的な情況で、ビデオライブラリは、候補コンテンツタグ、及び候補コンテンツタグに対応するマルチフレーム候補絵本画像をさらに含むことができる。この場合に、ビデオライブラリからオフライン絵本コンテンツに対応するコンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を取得して、マルチフレーム候補絵本画像に基づいて、対応する絵本ビデオを合成することができる。以下は図４を組み合わせて上記のプロセスについて詳細に説明し、図４は本出願の実施例三により提供されるオンライン絵本コンテンツの取得方法のフローチャートである。

【0071】

図４に示すように、当該オンライン絵本コンテンツの取得方法は、以下のステップを含むことができる。
ステップ３０１：スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立する。

【0072】

ステップ３０２：プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得する。

【0073】

ステップ３０３：画像コンテンツを解析してコンテンツタグを取得する。

【0074】

本出願の実施例において、ステップ３０１及びステップ３０３の実現プロセスは、上記実施例におけるステップ２０１及びステップ２０３の実現プロセスを参照することができ、ここでは説明を省略する。

【0075】

ステップ３０４：ビデオライブラリからコンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を読み取る。

【0076】

選択可能に、ビデオライブラリは、候補コンテンツタグ、及び候補コンテンツタグに対応するマルチフレーム候補絵本画像をさらに含むことができる。つまり、ビデオライブラリには、複数のコンテンツタグ及びコンテンツタグごとに対応するマルチフレーム絵本画像が格納される。例えば、１つのオフライン絵本は５ページあり、ビデオライブラリにはそのオフライン絵本に対応する絵本画像が５フレーム格納されることができる。

【0077】

１つの完全なオフライン絵本は複数のコンテンツを含むことができるので、オフライン絵本に対応する画像コンテンツのコンテンツタグは、マルチフレーム候補絵本画像に対応することができると理解できる。

【0078】

本出願において、オフライン絵本に対応する画像コンテンツを解析して画像コンテンツに対応するコンテンツタグを取得した後、画像コンテンツに対応するコンテンツタグとビデオライブラリに格納された候補コンテンツタグを比較して、ビデオライブラリから画像コンテンツに対応するコンテンツタグとマッチングされた候補コンテンツタグを取得することができる。さらに、ビデオライブラリからコンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を読み取る。

【0079】

なお、本出願のビデオライブラリはスマートスクリーンデバイスに対応するローカルビデオライブラリであってもよいし、サードパーティのビデオライブラリであってもよい、ここでは限定しない。

【0080】

なお、オフライン絵本に対応するビデオ形式のオンライン絵本コンテンツを取得する速度を向上させるために、まずローカルビデオライブラリにはオフライン絵本の画像コンテンツに対応するコンテンツタグとマッチングされた候補コンテンツタグが格納されるか否かを決定することができる。一つの可能的な情況で、ローカルビデオライブラリにはコンテンツタグとマッチングされた候補コンテンツタグが格納されると決定された場合、ビデオライブラリからコンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を直接読み取ることができる。

【0081】

もう一つの可能的な情況で、ローカルビデオライブラリにはコンテンツタグとマッチングされた候補コンテンツタグが格納されない、サードパーティのビデオライブラリにはコンテンツタグとマッチングされた候補コンテンツタグが格納されると決定された場合、サードパーティのビデオライブラリからコンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を直接読み取ることができる。

【0082】

ステップ３０５：マルチフレーム候補絵本画像に基づいて、対応する絵本ビデオをビデオ形式のオンライン絵本コンテンツとして合成する。

【0083】

本出願の実施例において、ビデオライブラリからコンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を取得した後、マルチフレーム候補絵本画像を合成して、対応する絵本ビデオを取得し、さらにビデオ形式のオンライン絵本コンテンツを取得する。

【0084】

一つの可能的な情況で、各フレーム候補絵本画像は、それぞれ１つのタイムスタンプに対応することができ、つまり、各フレーム候補絵本画像にはタイムスタンプを持つことができる。本出願において、マルチフレーム候補絵本画像に基づいて、各フレーム候補絵本画像に対応するタイムスタンプを結合して、対応する絵本ビデオをビデオ形式のオンライン絵本コンテンツとして合成する。

【0085】

例示として、マルチフレーム候補絵本画像を、各フレーム候補絵本画像に対応するタイムスタンプの優先順位に従って並べ替えることで、並べ替えたマルチフレーム候補絵本画像を対応する絵本ビデオに合成することができる。

【0086】

選択可能に、各フレーム候補絵本画像は、１段のテキストコンテンツに対応することができ、マルチフレーム候補絵本画像に基づいて対応する絵本ビデオを合成した後、各フレーム候補絵本画像に対応するテキストコンテンツに基づいて、絵本ビデオに対応するオーディオを形成し、形成された絵本ビデオを対応するオーディオに関連付けることができる。

【0087】

本出願の実施例のオンライン絵本コンテンツの取得方法は、スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立し、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得し、画像コンテンツを解析してコンテンツタグを取得し、ビデオライブラリからコンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を読み取り、マルチフレーム候補絵本画像に基づいて、対応する絵本ビデオをビデオ形式のオンライン絵本コンテンツとして合成する。これにより、ビデオライブラリからコンテンツタグに対応するマルチフレーム候補絵本画像を取得して、取得された絵本ビデオを合成することができ、ビデオ形式のオンライン絵本コンテンツの取得を実現する。

【0088】

上記のいずれかの実施例において、一つの可能的な情況として、プリズムコンポーネントは、撮影コンポーネントと画像認識コンポーネントとを含むことができる。ここで、撮影コンポーネントは、マルチモーダルのインタラクション方式に基づいてオフライン絵本の絵本画像をキャプチャすることに用いられ、画像認識コンポーネントは、絵本画像の画像特徴を認識して取得することに用いられる。

【0089】

ここで、それぞれの情報のソースまたは形式は、モーダルと呼ぶことができる。例えば、人の触覚、聴覚、視覚、嗅覚、情報の媒体の音声、ビデオ、文字など、レーダー、赤外線、加速度計などの様々なセンサ、これらのいずれも一種のモーダルと呼ぶことができる。

【0090】

２つの異なる言語を２つのモーダルと考えることができ、２つの異なる状況で収集されたデータセットでも、２つのモーダルと考えることができる。したがって、本出願において、マルチモーダルのインタラクション方式に基づいてオフライン絵本の画像コンテンツをキャプチャすることができる。

【0091】

一つの可能的な実現方式として、オンライン絵本コンテンツを取得するときに、プリズムコンポーネントをスマートスクリーンデバイスの上方に取り付け、スマートスクリーンデバイスとオフライン絵本が同じレベルに位置して、プリズムコンポーネントの撮影コンポーネントによってオフライン絵本の絵本画像をキャプチャすることができる。撮影コンポーネントで収集されたオフライン絵本の絵本画像を取得した後、画像認識コンポーネントを使用して、絵本画像を画像認識して、絵本画像の画像特徴を認識して取得することができる。さらに、スマートスクリーンデバイスのプロセッサを使用して、絵本画像の画像特徴を解析して、オフライン絵本に対応する画像コンテンツを取得する。

【0092】

なお、撮影コンポーネントは、通常のカメラヘッドを設置することができ、通常のカメラヘッドを使用してオフライン教材コンテンツを撮影して、オフライン教材コンテンツに対応する２次元絵本画像を取得することができ、撮影コンポーネントは、深度カメラヘッドを設置することもでき、深度カメラヘッドを使用してオフライン絵本コンテンツを撮影して、深度情報を含む３次元絵本画像を取得することもでき、もちろん、撮影コンポーネントは他の形式のカメラヘッドを設置することもでき、ここでは限定しない。

【0093】

選択可能に、スマートスクリーンデバイスのプロセッサが絵本画像の画像特徴を取得した後、画像特徴をトレーニングされた画像認識モデルに入力して、モデルの出力に基づいて、オフライン絵本に対応する画像コンテンツを決定することができる。

【0094】

これにより、プリズムコンポーネントによってオフライン絵本の画像特徴を取得し、さらに解析してオフライン絵本に対応する画像コンテンツを取得して、画像コンテンツに基づいてビデオ形式のオンライン絵本コンテンツを取得し、スマートスクリーンデバイスにオンライン絵本コンテンツをビデオの方式で表示することを実現し、子供の良い読書習慣を育成することができ、めくりながら見ながら聞きながら考えることで絵本を読み、絵本の内容のすばらしさを実感し、言語能力、感情体験、思考能力の共同発展を促進することができる。

【0095】

上記実施例を実現するために、本出願は、オンライン絵本コンテンツの取得装置を提供する。

【0096】

図５は本出願の実施例四により提供されるオンライン絵本コンテンツの取得装置の概略構造図である。

【0097】

図５に示すように、当該オンライン絵本コンテンツの取得装置４００は、スマートスクリーンデバイスに適用されることができ、当該オンライン絵本コンテンツの取得装置４００は、確立モジュール４１０と、認識モジュール４２０と、取得モジュール４３０と、を含むことができる。

【0098】

ここで、確立モジュール４１０は、スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立することに用いられる。
認識モジュール４２０は、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得することに用いられる。
取得モジュール４３０は、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得することに用いられる。

【0099】

一つの可能的な情況として、取得モジュール４３０は、
画像コンテンツを解析してコンテンツタグを取得するための解析ユニットと、
ビデオライブラリから前記コンテンツタグに対応する絵本ビデオを前記ビデオ形式のオンライン絵本コンテンツとして取得するための取得ユニットと、を含む。

【0100】

もう一つの可能的な情況として、取得ユニットは、
ローカルビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得する、及び／又は
サードパーティのビデオライブラリから前記コンテンツタグに対応する絵本ビデオを取得することにさらに用いられる。

【0101】

もう一つの可能的な情況として、ビデオライブラリは、候補コンテンツタグ、及び候補コンテンツタグに対応する候補絵本ビデオを含むことができ、取得ユニットは、
ビデオライブラリにおけるコンテンツタグとマッチングされた候補コンテンツタグに対応する候補絵本ビデオを直接取得することにさらに用いられる。

【0102】

もう一つの可能的な情況として、ビデオライブラリは、候補コンテンツタグ、及び候補コンテンツタグに対応するマルチフレーム候補絵本画像をさらに含むことができ、取得ユニットは、
ビデオライブラリからコンテンツタグとマッチングされた候補コンテンツタグのマルチフレーム候補絵本画像を読み取り、
マルチフレーム候補絵本画像に基づいて、対応する絵本ビデオを合成することにさらに用いられる。

【0103】

もう一つの可能的な情況として、各フレーム候補絵本画像は、それぞれ１つのタイムスタンプに対応し、取得ユニットは、
マルチフレーム候補絵本画像に基づいて、各フレーム候補絵本画像に対応するタイムスタンプを結合して、対応する絵本ビデオ合成することにさらに用いられる。

【0104】

もう一つの可能的な情況として、各フレーム候補絵本画像は、１段のテキストコンテンツに対応し、取得ユニットは、
各フレーム候補絵本画像に対応するテキストコンテンツに基づいて、絵本ビデオに対応するオーディオを形成し、形成された絵本ビデオを対応するオーディオに関連付けることにさらに用いられる。

【0105】

もう一つの可能的な情況として、プリズムコンポーネントは、撮影コンポーネントと画像認識コンポーネントとを含むことができ、撮影コンポーネントを使用して、マルチモーダルのインタラクション方式に基づいてオフライン絵本の絵本画像をキャプチャし、画像認識コンポーネントを使用して、絵本画像の画像特徴を認識し、及びスマートスクリーンデバイスのプロセッサを使用して、絵本画像の画像特徴を解析して画像コンテンツを取得することができる。

【0106】

もう一つの可能的な情況として、画像コンテンツはオフライン絵本の表紙画像コンテンツである。

【0107】

もう一つの可能的な情況として、当該オンライン絵本コンテンツの取得装置４００は、
教育係アプリケーションのメインインタフェースでビデオ形式のオンライン絵本コンテンツを表示するための表示モジュールをさらに含む。

【0108】

本出願の実施例のオンライン絵本コンテンツの取得装置は、スマートスクリーンデバイスに適用され、スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立し、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得することにより、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得する。当該方法は、スマートスクリーンデバイスと通信リンクを確立するプリズムコンポーネントがオフライン絵本に対応する画像コンテンツを認識して取得することにより、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得し、従来技術におけるオーディオ形式のオンライン絵本コンテンツのみを取得することと比較して、本出願は、スマートスクリーンデバイスでオンライン絵本コンテンツをビデオの方式で表示し、より生き生きとした方式でオフライン絵本コンテンツをユーザに提供することができることを実現する。

【0109】

本出願の実施例によれば、本出願は、スマートスクリーンデバイス及び読み取り可能な記憶媒体をさらに提供する。本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、上記オンライン絵本コンテンツの取得方法が実行される。

【0110】

図６に示すように、それは本出願の実施例に係るオンライン絵本コンテンツの取得方法のスマートスクリーンデバイスのブロック図である。スマートスクリーンデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。スマートスクリーンデバイスは、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるユニット、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

【0111】

図６に示すように、当該スマートスクリーンデバイスは、一つ又は複数のプロセッサ５０１と、メモリ５０２と、高速インターフェースと低速インターフェースを含む各ユニットを接続するためのインターフェースと、を含む。各ユニットは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に基づいて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、スマートスクリーンデバイス内に実行される命令を処理することができる。他の実施方式では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数のスマートスクリーンデバイスを接続することができ、各スマートスクリーンデバイスは、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図６では、一つのプロセッサ５０１を例とする。

【0112】

メモリ５０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中、前記メモリには、少なくとも一つのプロセッサによって実行される命令を記憶して、前記少なくとも一つのプロセッサが本出願により提供されるオンライン絵本コンテンツの取得方法を実行することができるようにする。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータが本出願により提供されるオンライン絵本コンテンツの取得方法を実行するためのコンピュータ命令を記憶する。

【0113】

メモリ５０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例におけるオンライン絵本コンテンツの取得方法に対応するプログラム命令／モジュール（例えば、図５に示す確立モジュール４１０、認識モジュール４２０及び取得モジュール４３０）ように、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサ５０１は、メモリ５０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アクティベーション及びデータ処理を実行し、すなわち上記の方法の実施例におけるオンライン絵本コンテンツの取得方法を実現する。

【0114】

メモリ５０２は、ストレージプログラム領域とストレージデータ領域とを含むことができ、その中、ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアクティベーションプログラムを記憶することができ、ストレージデータ領域は、スマートスクリーンデバイスの使用によって作成されたデータなどを記憶することができる。また、メモリ５０２は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも一つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ５０２は、プロセッサ５０１に対して遠隔に設置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介してスマートスクリーンデバイスに接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定しない。

【0115】

スマートスクリーンデバイスは、入力装置５０３と出力装置５０４とをさらに含むことができる。プロセッサ５０１、メモリ５０２、入力装置５０３、及び出力装置５０４は、バス又は他の方式を介して接続することができ、図６では、バスを介して接続することを例とする。

【0116】

入力装置５０３は、入力された数字又は文字情報を受信することができ、及びスマートスクリーンデバイスのユーザ設置及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示杆、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置５０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定しない。いくつかの実施方式では、ディスプレイデバイスは、タッチスクリーンであってもよい。

【0117】

本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳIＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。

【0118】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアクティベーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令、高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することを含む。本明細書に使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

【0119】

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

【0120】

ここで説明されるシステム及び技術は、バックエンドユニットを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアユニットを含むコンピューティングシステム（例えば、アクティベーションサーバー）、又はフロントエンドユニットを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドユニットと、ミドルウェアユニットと、フロントエンドユニットの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのユニットを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

【0121】

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。

【0122】

本出願の実施例の技術案によれば、スマートスクリーンデバイスに適用され、スマートスクリーンデバイスとプリズムコンポーネントとの通信リンクを確立し、プリズムコンポーネントを使用してオフライン絵本を認識して、オフライン絵本に対応する画像コンテンツを取得することにより、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得する。当該方法は、スマートスクリーンデバイスと通信リンクを確立するプリズムコンポーネントがオフライン絵本に対応する画像コンテンツを認識して取得することにより、画像コンテンツに基づいて、ビデオ形式のオンライン絵本コンテンツを取得し、従来技術におけるオーディオ形式のオンライン絵本コンテンツのみを取得することと比較して、本出願は、スマートスクリーンデバイスでオンライン絵本コンテンツをビデオの方式で表示し、より生き生きとした方式でオフライン絵本コンテンツをユーザに提供することができることを実現する。

【0123】

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

【0124】

上記の具体的な実施方式は、本出願に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】