(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023161582
(43)【公開日】2023-11-07
(54)【発明の名称】コンテンツ提供システム及びコンテンツ提供方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20231030BHJP
H04N 23/60 20230101ALI20231030BHJP
G06F 3/0481 20220101ALI20231030BHJP
【FI】
G06Q50/10
H04N23/60 500
G06F3/0481
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023071105
(22)【出願日】2023-04-24
(31)【優先権主張番号】P 2022071922
(32)【優先日】2022-04-25
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(71)【出願人】
【識別番号】522019340
【氏名又は名称】株式会社Tangent Japan
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】吉本 英樹
(72)【発明者】
【氏名】山本 剛久
(72)【発明者】
【氏名】長谷川 達
(72)【発明者】
【氏名】村井 隼人
【テーマコード(参考)】
5C122
5E555
5L049
【Fターム(参考)】
5C122DA09
5C122DA28
5C122EA56
5C122FH11
5C122FH14
5C122FJ03
5C122FJ15
5C122GA31
5C122GC14
5C122GC75
5C122HB01
5C122HB09
5E555AA46
5E555BA02
5E555BA04
5E555BB02
5E555BB04
5E555BC04
5E555BD03
5E555CA12
5E555CA42
5E555CB14
5E555CB33
5E555DA23
5E555DB20
5E555DD01
5E555DD08
5E555EA02
5E555EA19
5E555EA22
5E555EA24
5E555FA00
5L049CC11
(57)【要約】
【課題】既存の紙面媒体における紙面に対応する音声コンテンツを出力可能とする。
【解決手段】紙面媒体の紙面ごとに対応付けられ、当該紙面に対応する内容の音声データを記憶する音声データ記憶部と、撮像部により紙面媒体の紙面を撮像して得られた撮像画像を取得する画像取得部と、前記画像取得部により取得された撮像画像により撮像された紙面媒体の紙面が、前記音声データ記憶部に記憶される音声データが対応する紙面媒体の紙面のうちのいずれであるのかを特定する紙面特定部と、前記紙面特定部により特定された紙面媒体の紙面に対応付けられた音声データの音声を音声出力端末から出力させる音声出力制御部とを備えてコンテンツ提供システムを提供する。
【選択図】
図11
【特許請求の範囲】
【請求項1】
紙面媒体の紙面ごとに対応付けられ、当該紙面に対応する内容の音声データを記憶する音声データ記憶部と、
撮像部により紙面媒体の紙面を撮像して得られた撮像画像を取得する画像取得部と、
前記画像取得部により取得された撮像画像により撮像された紙面媒体の紙面が、前記音声データ記憶部に記憶される音声データが対応する紙面媒体の紙面のうちのいずれであるのかを特定する紙面特定部と、
前記紙面特定部により特定された紙面媒体の紙面に対応付けられた音声データの音声を音声出力端末から出力させる音声出力制御部と
を備えるコンテンツ提供システム。
【請求項2】
前記音声データ記憶部が紙面ごとに対応して記憶する音声データは、対応の紙面において示される文字を音声化した音声データである
請求項1に記載のコンテンツ提供システム。
【請求項3】
前記音声データ記憶部は、1つの紙面に対応して記憶する音声データとして、予め用意された音声データと、ユーザが録音することにより作成された録音音声データとを記憶可能とされ、
前記音声出力制御部は、前記紙面特定部により特定された紙面媒体の紙面に対応付けられた音声データとして、前記予め用意された音声データと前記録音音声データとのうちで音声出力の対象として設定されている音声データを前記音声出力端末から出力させる
請求項2に記載のコンテンツ提供システム。
【請求項4】
前記紙面特定部は、紙面媒体を撮像して得られる媒体撮像画像と前記紙面媒体における紙面を撮像して得られる紙面撮像画像の組み合わせに対して、当該組み合わせに対応する紙面媒体と紙面とを対応付けたに学習データにより学習器を学習させることで得られた学習済みモデルを用いて、紙面媒体の紙面の特定を行う
請求項1から3のいずれか一項に記載のコンテンツ提供システム。
【請求項5】
前記撮像部は前記音声出力端末に備えられ、
前記音声出力端末は、前記紙面媒体を利用するユーザが身に付けることが可能とされた態様を有する
請求項1から3のいずれか一項に記載のコンテンツ提供システム。
【請求項6】
前記音声出力端末と、当該音声出力端末と通信可能に接続されるコンテンツ管理端末とを備え、
前記音声出力端末は、前記撮像部を備え、当該撮像部により撮像して得られた撮像画像を前記コンテンツ管理端末に送信し、
前記コンテンツ管理端末は、前記音声データ記憶部と、前記音声出力端末から送信された撮像画像を取得する前記画像取得部と、前記紙面特定部と、前記紙面特定部により特定された紙面に対応付けられて前記音声データ記憶部に記憶される音声データを前記音声出力端末に送信するようにされた前記音声出力制御部とを備える
請求項1から3のいずれか一項に記載のコンテンツ提供システム。
【請求項7】
コンテンツ管理サーバをさらに備え、
前記コンテンツ管理端末は、前記コンテンツ管理サーバが記憶する音声データのうちからダウンロードした音声データを前記音声データ記憶部に記憶させる
請求項6に記載のコンテンツ提供システム。
【請求項8】
コンテンツ提供システムにおけるコンテンツ提供方法であって、
撮像部により紙面媒体の紙面を撮像して得られた撮像画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された撮像画像により撮像された紙面媒体の紙面が、紙面媒体の紙面ごとに対応付けられ当該紙面に対応する内容の音声データを記憶する音声データ記憶部に記憶される音声データが対応する紙面媒体の紙面のうちのいずれであるのかを特定する紙面特定ステップと、
前記紙面特定ステップにより特定された紙面媒体の紙面に対応付けられた音声データの音声を音声出力端末から出力させる音声出力制御ステップと
を含むコンテンツ提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ提供システム及びコンテンツ提供方法に関する。
【背景技術】
【0002】
現在開かれているページを検出したブックが、検出したページを、ページごとに対応するオーディオ・コンテンツを記憶するリモート・レスポンダに送信し、リモート・レスポンダが受信したページに対応するオーディオ・コンテンツを再生するようにされたブック・システムの技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のブック・システムでは、ブックについて、例えば開かれているページを検知するために、マグネットと共振回路とによる検知システムを付加した構成とする必要がある。このため、特許文献1に記載のブック・システムは、既存の書籍に適用することができない。
【0005】
本発明は、既存の紙面媒体における紙面に対応する音声コンテンツを出力可能とすることを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決する本発明の一態様は、紙面媒体の紙面ごとに対応付けられ、当該紙面に対応する内容の音声データを記憶する音声データ記憶部と、撮像部により紙面媒体の紙面を撮像して得られた撮像画像を取得する画像取得部と、前記画像取得部により取得された撮像画像により撮像された紙面媒体の紙面が、前記音声データ記憶部に記憶される音声データが対応する紙面媒体の紙面のうちのいずれであるのかを特定する紙面特定部と、前記紙面特定部により特定された紙面媒体の紙面に対応付けられた音声データの音声を音声出力端末から出力させる音声出力制御部とを備えるコンテンツ提供システムである。
【0007】
また、本発明の一態様は、コンテンツ提供システムにおけるコンテンツ提供方法であって、撮像部により紙面媒体の紙面を撮像して得られた撮像画像を取得する画像取得ステップと、前記画像取得ステップにより取得された撮像画像により撮像された紙面媒体の紙面が、紙面媒体の紙面ごとに対応付けられ当該紙面に対応する内容の音声データを記憶する音声データ記憶部に記憶される音声データが対応する紙面媒体の紙面のうちのいずれであるのかを特定する紙面特定ステップと、前記紙面特定ステップにより特定された紙面媒体の紙面に対応付けられた音声データの音声を音声出力端末から出力させる音声出力制御ステップとを含むコンテンツ提供方法である。
【発明の効果】
【0008】
本発明によれば、既存の紙面媒体における紙面に対応する音声コンテンツを出力可能になるとの効果が得られる。
【図面の簡単な説明】
【0009】
【
図1】本実施形態に係るコンテンツ提供システムの全体的な構成例を示す図である。
【
図2】本実施形態に係る読み聞かせアプリケーションのアプリケーション画面の例を示す図である。
【
図3】本実施形態に係る読み聞かせアプリケーションのアプリケーション画面の例を示す図である。
【
図4】本実施形態に係る読み聞かせアプリケーションのアプリケーション画面の例を示す図である。
【
図5】本実施形態に係るコンテンツ管理サーバの機能構成例を示す図である。
【
図6】本実施形態に係る読み聞かせコンテンツデータの一例を示す図である。
【
図7】本実施形態に係るコンテンツ管理端末の機能構成例を示す図である。
【
図8】本実施形態に係るページ特定部に用いられる学習済みモデルの構築例を説明する図である。
【
図9】本実施形態に係る音声出力設定データの一例を示す図である。
【
図10】本実施形態に係る音声出力端末の機能構成例を示す図である。
【
図11】本実施形態に係る音声出力端末とコンテンツ管理端末とが、音声出力端末での読み聞かせ音声の出力に関連して実行する処理手順例を示すフローチャートである。
【発明を実施するための形態】
【0010】
<実施形態>
[コンテンツ提供システムの全体的構成例]
図1は、本実施形態のコンテンツ提供システムの全体的な構成例を示している。本実施形態のコンテンツ提供システムは、コンテンツ管理サーバ100、コンテンツ管理端末200、及び音声出力端末300を備える。
【0011】
本実施形態のコンテンツ提供システムでは、子供としてのユーザである子供ユーザUcが音声出力端末300を身に付けた状態で、絵本PB(紙面媒体の一例)における或るページ(紙面の一例)を開くと、開かれたページに記載されている文章(文字)が、音声出力端末300から音声として出力される。つまり、本実施形態のコンテンツ提供システムは、子供ユーザUcが開いたページに追従するようにして、子供ユーザUcに向けて絵本の読み聞かせを行うことが可能とされる。
【0012】
コンテンツ管理サーバ100は、本実施形態のコンテンツ提供システムが提供可能な全ての絵本に対応する読み聞かせコンテンツを管理する。コンテンツ管理サーバ100は、コンテンツ提供システムにおいて提供可能な全ての絵本の読み聞かせコンテンツを記憶している。読み聞かせコンテンツは、対応の絵本に記載された文章を音読した音声データや対応の絵本の画像データを含む。
【0013】
コンテンツ管理端末200は、保護者ユーザUpが使用する端末である。コンテンツ管理端末200は、スマートフォン、タブレット端末、パーソナルコンピュータ等であってよい。以下の説明では、コンテンツ管理端末200がスマートフォンである場合を例に挙げる。コンテンツ管理端末200には、本実施形態のコンテンツ提供システムに対応するコンテンツ提供アプリケーション(読み聞かせアプリケーション)が導入(インストール)されている。
【0014】
前述のようにコンテンツ管理サーバ100には、コンテンツ提供システムが提供可能な全ての絵本に対応する読み聞かせコンテンツが記憶されている。保護者ユーザUpは、読み聞かせアプリケーションが動作するコンテンツ管理端末200を操作して、コンテンツ提供システムが提供可能な全ての読み聞かせコンテンツのうちで、例えば子供ユーザUcに与えられている実物の絵本に対応する読み聞かせコンテンツをコンテンツ管理端末200にダウンロードすることができる。コンテンツ管理端末200は、ダウンロードした読み聞かせコンテンツを記憶する。
また、例えば保護者ユーザUpは、コンテンツ管理サーバ100が提供する音声データに加えて、絵本のページごとに自分が音読した音声を読み聞かせアプリケーションが動作するコンテンツ管理端末200に録音することができる。コンテンツ管理端末200は、録音された保護者ユーザUpの音声を、対応の絵本の読み聞かせコンテンツにおける音声データの1つに含めて記憶する。これにより、本実施形態では、読み聞かせ音声として、コンテンツ管理サーバ100から提供されるものに加えて、保護者等のように身近な者の音声も音声出力端末300から出力させることができる。
【0015】
本実施形態の音声出力端末300は、例えばペンダントの態様を有している。子供ユーザUcは、ペンダントの態様の音声出力端末300に設けられたストラップを首にかけ、自分の胸の辺りに位置するようにして身に付ける。子供ユーザUcは、このように音声出力端末300を身に付けた状態で、絵本PBを持ち、ページをめくる。
音声出力端末300は、撮像部(カメラ)を備えている。撮像部は視野角の広いレンズを備える。このような視野角の広いレンズの一具体例として、魚眼レンズが用いられてよい。このように視野角の広い撮像部を有する音声出力端末300は、上記のように子供ユーザUcの胸の辺りに位置していることで、子供ユーザUcが持つ絵本PBを撮像することができる。音声出力端末300は、子供ユーザUcが絵本PBを開いているときには開かれたページを撮像する。
音声出力端末300は、例えばWi-Fi(登録商標)あるいはBluetooth(登録商標)等の近距離対応の無線通信によりコンテンツ管理端末200と通信可能に接続される。音声出力端末300は、撮像部により撮像して得られる撮像画像をコンテンツ管理端末200に送信する。
【0016】
コンテンツ管理端末200は、受信した撮像画像を解析することで、現在において子供ユーザUcが持っている絵本と当該絵本について開かれているページとを特定する。コンテンツ管理端末200は、絵本とページとの特定にあたり、絵本のページを学習用データとして学習した学習済モデルを用いてよい。
【0017】
コンテンツ管理端末200はダウンロード済の読み聞かせコンテンツのうちから、特定された絵本のページに対応する読み聞かせコンテンツに含まれる音声データを取得し、取得した音声データを音声出力端末300に送信する。
音声出力端末300は、コンテンツ管理端末200から送信された音声データを音声として出力する。このようにして、本実施形態のコンテンツ提供システムでは、子供ユーザUcが開いた絵本のページに対応する音声が出力されることで、子供ユーザUcに絵本PBの読み聞かせを行うことができる。
【0018】
[事前準備のための操作手順例]
次に、子供ユーザUcのために絵本の読み聞かせが行われるようにするにあたり、保護者ユーザUpが事前準備として操作手順例について説明する。
まず、
図2(A)、
図2(B)、
図2(C)を参照して、保護者ユーザUpがコンテンツ管理端末200に読み聞かせコンテンツをダウンロードする手順例について説明する。
読み聞かせコンテンツのダウンロードにあたり、保護者ユーザUpは、コンテンツ管理端末200にて読み聞かせアプリケーションを起動させる。
【0019】
図2(A)は、コンテンツ管理端末200の表示部にて表示される読み聞かせアプリケーションのアプリケーション画面として、起動に応じて表示されるホーム画面の一例を示している。ホーム画面においては、絵本提示エリアAR1、AR2が配置される。
絵本提示エリアAR1は、読み聞かせコンテンツに対応する絵本のうちでおすすめとされた絵本を紹介する画像が表示されるエリアである。
絵本提示エリアAR2は、読み聞かせコンテンツに対応する絵本について所定の分類ごとに区分して提示するエリアである。絵本提示エリアAR2においては、提示される絵本の表紙画像CVが配列される。
【0020】
保護者ユーザUpは、
図2(A)のホーム画面において提示された絵本のうちから、ダウンロードしたい読み聞かせコンテンツに対応する絵本を選択する操作を行う。絵本を選択する操作は、絵本提示エリアAR1に対するタップ操作または絵本提示エリアAR2における1つの表紙画像CVに対するタップ操作であってよい。
【0021】
絵本を選択する操作が行われたことに応じて、表示部における表示は、選択された絵本に対応する読み聞かせコンテンツをダウンロードする操作が行われるダウンロード操作画面に遷移する。
図2(B)は、ダウンロード操作画面の一例を示している。同図のダウンロード操作画面においては、操作により選択された絵本のタイトルと表紙画像CVと、絵本についての作者、対象年齢、ページ数(ページ番号)、絵本概要等の絵本に関する書誌情報とが表示されている。また、ダウンロード操作画面においては、購入ボタンBT1とダウンロードボタンBT2とが配置されている。
保護者ユーザUpは、ダウンロード操作画面において提示されている絵本が対象のものであることを確認したうえで、ダウンロードボタンBT2を操作する。ダウンロードボタンBT2が操作されたことに応じて、コンテンツ管理端末200は、コンテンツ管理サーバ100から対象の絵本に対応する読み聞かせコンテンツをダウンロードする。コンテンツ管理端末200は、ダウンロードした読み聞かせコンテンツを記憶する。
このようにして、保護者ユーザUpは、コンテンツ管理サーバ100が提供する読み聞かせコンテンツのうちから任意の読み聞かせコンテンツを選択してコンテンツ管理端末200にダウンロードすることができる。
【0022】
また、保護者ユーザUpは、
図2(B)のダウンロード操作画面にて提示されている絵本の実物を、ダウンロード操作画面からの操作によりECを利用して購入することが可能とされている。
保護者ユーザUpは、絵本を購入する場合には、ダウンロード操作画面にて配置されている購入ボタンBT1を操作する。購入ボタンBT1が操作されたことに応じて、コンテンツ管理端末200は、対象の絵本を販売するECサイトのウェブページにアクセスし、アクセスしたウェブページを表示する。保護者ユーザUpは、表示されたウェブページにて絵本の購入手続と配送注文とを行う。
【0023】
保護者ユーザUpは、読み聞かせアプリケーションのアプリケーション画面の下における固定操作エリアにおいて配置されている「本棚」のエリアを操作することで、コンテンツ管理端末200にて本棚画面を表示させることができる。本棚画面は、ダウンロードした読み聞かせコンテンツに対応する絵本の一覧を示す画面である。
図2(C)は本棚画面の一例を示している。本棚画面においては、ダウンロード済みの読み聞かせコンテンツごとに対応する絵本の表紙画像CVが配列されている。
【0024】
次に、
図3(A)、
図3(B)を参照して絵本の読み聞かせの際に用いる音声種別の設定に関する操作手順例について説明する。
保護者ユーザUpは、絵本の読み聞かせに際して用いる音声種別を設定するにあたり、
図2(C)の本棚画面において配置される表紙画像CVのうちから、音声種別設定の対象とする絵本の表紙画像CVを操作する。コンテンツ管理端末200は、操作された表紙画像CVに対応する音声設定画面を表示する。
【0025】
図3(A)は、音声設定画面の一例を示している。音声設定画面は、音声種別設定を含み、読み聞かせコンテンツの音声設定に関する操作が可能とされる画面である。同図の音声設定画面においては、対応の絵本の表紙画像CVと対応の絵本に関する書誌情報とが表示されている。また、音声設定画面においては、録音指示ボタンBT11、音声種別設定ボタンBT12、ブックマーク登録ボタンBT13、及び再録音指示ボタンBT14が配置されている。
【0026】
録音指示ボタンBT11は読み聞かせ音声の録音をする場合に操作されるボタンである。
音声種別設定ボタンBT12は、読み聞かせにおいて出力させる音声種別を設定する場合に操作されるボタンである。
ブックマーク登録ボタンBT13は、音声設定画面において対象とされている絵本をお気に入りとして登録する(ブックマークする)にあたって操作されるボタンである。
再録音指示ボタンBT14は、既に読み聞かせ音声が録音されている場合において、録音のやり直しを行う際に操作されるボタンである。
【0027】
保護者ユーザUpは、読み聞かせにおいて出力させる音声種別を設定する場合には、音声種別設定ボタンBT12を操作する。音声種別設定ボタンBT12が操作されたことに応じて、コンテンツ管理端末200の表示部には音声種別選択画面が表示される。
【0028】
図3(B)は、音声種別選択画面の一例を示している。同図の音声種別選択画面においては、4つの音声種別選択ボタンBT21(BT21-1、BT22-2、BT22-3、BT22-4)が配置されている。
音声種別選択ボタンBT21-1は、デフォルトとして用意された読み聞かせ音声を選択する操作が行われるボタンである。
音声種別選択ボタンBT21-2は、例えば保護者ユーザUpがコンテンツ管理端末200に録音した読み聞かせ音声を選択する操作が行われるボタンである。
音声種別選択ボタンBT21-3は、副言語(この場合は英語)による読み聞かせ音声を選択する操作が行われるボタンである。
音声種別選択ボタンBT21-4は、読み聞かせ音声を出力させずにBGMのみを音声出力端末300から出力させる設定のための操作が行われるボタンである。
ユーザは、音声種別選択ボタンBT21のうちから、読み聞かせに対応して音声出力端末300から出力させたい音声種別に対応するものを選択して操作する。コンテンツ管理端末200は、操作された音声種別選択ボタンBT21に対応する音声種別を、読み聞かせに際して音声出力端末300から出力させる音声種別として設定する。
【0029】
なお、音声種別の内訳は、上記の音声種別選択ボタンBT21(BT21-1、BT22-2、BT22-3、BT22-4)に対応する4種に限定されない。例えば、コンテンツ管理サーバ100から芸能人や声優などに絵本を読んでもらうことで作成した読み聞かせ音声もオプションとして提供される場合には、このような音声を選択する音声種別選択ボタンBT21がさらに設けられてよい。
【0030】
前述のように、本実施形態においては、コンテンツ管理サーバ100から提供される音声に加えて、保護者ユーザUp等がコンテンツ管理端末200に録音した音声も読み聞かせに用いることができる。
図4を参照して、保護者ユーザUpが読み聞かせ音声を録音する場合の操作手順例について説明する。
【0031】
保護者ユーザUpは、読み聞かせ音声を録音するにあたり、
図3(A)の音声設定画面における録音指示ボタンBT11を操作する。
録音指示ボタンBT11が操作されたことに応じて、コンテンツ管理端末200は、
図3(A)の音声設定画面にて提示されている絵本に対応する録音ページ選択画面を表示する。
あるいは、録音指示ボタンBT11が操作されたことに応じて、コンテンツ管理端末200は、絵本に対応する画像認識機能を起動させてよい。この場合、コンテンツ管理端末200は、撮像部を起動させ、表示部にて撮像部により撮像して得られる撮像画像を含む撮像画面を表示する。
保護者ユーザUpは、読み聞かせコンテンツがダウンロード済の絵本のうちから読み聞かせ音声の録音対象となる絵本を選び、選らんだ絵本の任意のページが撮像画像に収まるようにする。
コンテンツ管理端末200は、撮像画像に納められた絵本のページを解析して、読み聞かせコンテンツがダウンロード済の絵本のうちのいずれであるのかを特定する。コンテンツ管理端末200は、特定した絵本に対応する録音ページ選択画面を表示する。
【0032】
図4(A)は、録音ページ選択画面の一例を示している。同図の録音ページ選択画面においては、表紙から順に見開きしたページを提示したリストが提示される。提示されたページごとに録音画面移行ボタンBT31が配置されている。このように読み聞かせ音声の録音はページ単位(表紙を含む)で行われる。
保護者ユーザUpは、録音ページ選択画面にて提示されるページのリスト項目のうちから、読み聞かせ音声の録音対象とするページのリスト項目の録音画面移行ボタンBT31を操作する。
【0033】
録音画面移行ボタンBT31が操作されたことに応じて、コンテンツ管理端末200の表示部には録音画面が表示される。
図4(B)は、録音画面移行ボタンBT31の操作に応じて表示された録音画面の一例を示している。同図の録音画面においては、ページ画像エリアAR41、文章エリアAR42及び録音開始ボタンBT41が配置される。
ページ画像エリアAR41は、絵本における対応の見開きページの画像が表示されるエリアである。
文章エリアAR42は、絵本における対応の見開きページにおける文章が表示されるエリアである。
保護者ユーザUpは、ページ画像エリアAR41を見ることで選択したページで間違いないか否かを確認できる。また、保護者ユーザUpは、文章エリアAR42を見て読み聞かせ音声のための文章を読むことができる。
録音開始ボタンBT41は、読み聞かせ音声の録音開始を指示する操作が行われるボタンである。
【0034】
保護者ユーザUpは、録音開始ボタンBT41を操作し、文章エリアAR42にて表示されている文章を読みあげるようにする。録音画面にはプログレスバーが表示されていることで、録音した時間が示されるようになっている。録音開始ボタンBT41は操作された後において録音停止ボタン(図示せず)に変化する。保護者ユーザUpは、文章を読み上げ終わると、録音停止ボタンを操作する。
【0035】
録音停止ボタンが操作されたことに応じて、録音画面は、
図4(C)に示されるように、再生エリアAR43、保存ボタンBT51、BGM選択ボタンBT52が配置された状態に変化する。
再生エリアAR43は、録音した音声を再生する操作が行われるエリアである。保護者ユーザUpは、再生エリアAR43に対する操作を行って録音した音声を確認できる。
保存ボタンBT51は、録音した音声を、読み聞かせにおいて出力させる音声種別の1つとしてコンテンツ管理端末200に保存させる操作が行われるボタンである。
【0036】
BGM選択ボタンBT52は、録音した読み聞かせ音声のBGMを選択する場合に操作されるボタンである。BGM選択ボタンが操作されると、図示は省略するがBGM選択画面が表示される。BGM選択画面においては、BGMのリストが提示される。保護者ユーザUpは、提示されたBGMのリストのうちから1つのリスト項目を選択する操作を行う。コンテンツ管理端末200は、選択されたリスト項目に対応するBGMを、対応のページのBGMとして設定する。このようにBGMが設定された場合には、保護者ユーザUpにより録音された読み聞かせ音声とともに設定されたBGMも再生される。
【0037】
なお、コンテンツ管理端末200は、読み聞かせ音声の音声データの作成機能として、例えば、ページの文章を読み上げる音声を合成することにより読み聞かせ音声の音声データを作成可能とされてもよい。この場合、素材となる音声は、例えば芸能人、声優等の著名人等からサンプリングした音声を用いてもよい。
【0038】
[コンテンツ管理サーバの構成例]
図5を参照して、コンテンツ管理サーバ100の機能構成例に対説明する。同図に示されるコンテンツ管理サーバ100としての機能は、ハードウェアとしてのコンテンツ管理サーバ100において備えられるCPU(Central Processing Unit)がプログラムを実行することにより実現される。
【0039】
同図のコンテンツ管理サーバ100は、通信部101、制御部102、及び記憶部103を備える。
通信部101は、ネットワークNW経由でコンテンツ管理サーバ100と通信を行う。
制御部102は、コンテンツ管理サーバ100における各種の制御を実行する。
記憶部103は、コンテンツ管理サーバ100に対応する各種のデータを記憶する。記憶部103は、コンテンツデータ記憶部131(音声データ記憶部の一例)を備える。コンテンツデータ記憶部131は、絵本ごとに対応する読み聞かせコンテンツデータを記憶する。
【0040】
図6は、コンテンツデータ記憶部131が記憶する読み聞かせコンテンツデータの一例を示している。同図の読み聞かせコンテンツデータは、1つの絵本に対応する。
1つの絵本に対応する読み聞かせコンテンツデータは、対応の絵本を一意に示す絵本IDに対して、対応の絵本のページごとのページ画像データ及び音声データを対応付けた構造である。また、1のページに対応する音声データは、デフォルト音声データを含んで複数の異なる音声種別が格納されてよい。同図においては、ページごとの音声データとして、デフォルト音声データ、副言語音声データ、BGM音声データ、及びオプション音声データが格納された例を示している。
【0041】
デフォルト音声データは、予め用意された読み聞かせ音声の音声データである。
副言語音声データは、予め用意された副言語による読み聞かせ音声の音声データである。
BGM音声データは、デフォルトとして予めBGMが設定されている場合に、当該設定されているBGMを再生するための音声データである。
オプション音声データは、予め用意されたオプションの読み聞かせ音声の音声データである。
【0042】
[コンテンツ管理端末の機能構成例]
図7を参照して、コンテンツ管理端末200の機能構成例について説明する。同図に示されるコンテンツ管理端末200としての機能は、ハードウェアとしてのコンテンツ管理端末200において備えられるCPU、GPU(Graphics Processing Unit)等の演算処理装置がプログラムを実行することにより実現される。
【0043】
同図のコンテンツ管理端末200は、通信部201、操作部202、表示部203、制御部204、及び記憶部205を備える。
通信部201は、コンテンツ管理端末200における通信機能に対応する部位である。通信部201は、ネットワークNW経由でコンテンツ管理サーバ100と通信を行う。また、通信部201は、近距離対応の無線通信により音声出力端末300と通信を行う。
【0044】
操作部202は、コンテンツ管理端末200に備えられる入力デバイスや操作子を有し、入力デバイスや操作子に対して行われた操作を受け付ける。
表示部203は、表示デバイスを有し、制御部204の制御に応じて画像を表示する。表示部203は、指等の操作体による操作を受け付けるタッチパネルとして構成されてよい。
【0045】
制御部204は、コンテンツ管理端末200における各種制御を実行する。制御部204は、画像取得部241、ページ特定部242(紙面特定部の一例)、及び音声出力制御部243を備える。
画像取得部241は、音声出力端末300から送信され、通信部201にて受信される撮像画像を取得する。
【0046】
ページ特定部242は、画像取得部241により取得された撮像画像に基づいて、現在において子供ユーザUcにより開かれている絵本のページを特定する。ページ特定部242は、画像取得部241により取得された撮像画像に含まれる絵本のページ(表紙を含む)が、コンテンツデータ記憶部131に記憶される読み聞かせコンテンツデータごとに対応する絵本のうちのいずれの絵本におけるいずれのページであるのかを特定する。
このようなページ特定部242は、機械学習による学習済みモデルを用いて絵本のページを特定するようにされてよい。このような学習済みモデルは、コンテンツデータ記憶部131が記憶する読み聞かせコンテンツデータごとに対応する絵本のページの画像に絵本IDとページ数とをタグ付けした学習用データを学習器に入力して学習させることで構築できる。
【0047】
図8を参照して、ページ特定部242に用いられる学習済みモデルの構築例について説明する。
1つの絵本に対応する学習用データの例が示されている。
学習器1421には、1つの絵本に対応する学習用データとして、絵本が有する1ページ目から最終のNページ目までのそれぞれに対応する学習用データが用意される。1つのページに対応する学習用データは、同じ対象のページを多様な条件で撮像したn個の画像データ-1~nが用意される。これらの画像データ-1~nは、例えば同じ対象のページについて、照明の明るさ、照明の色、撮像角度、大きさなどの条件を適宜変更して組み合わせて撮像して得られる画像である。これらの画像データ-1~nにはタグとして、対応の絵本を一意に示す絵本IDのタグ(tag1)と、対応のページを示す値のタグ(tag2)とが付加される。
本実施形態においては、例えば同図の絵本単位の学習用データが、コンテンツ管理サーバ100が提供する読み聞かせコンテンツが対応する絵本ごとに用意される。学習器1421には、このように用意された学習用データのセットが入力される。学習器1421が入力された学習用データのセットにより学習を行うことで、学習済みモデル1422が構築される。学習済みモデル1422は、画像取得部241により取得された撮像画像が入力されると、入力された撮像画像に含まれる絵本のページが対応する絵本IDとページ数とを出力する。
【0048】
説明を
図7に戻す。音声出力制御部243は、ページ特定部242により特定された絵本IDとページ数とに対応し、音声出力すべきとして設定されている音声種別に対応する音声データが、音声出力端末300にて音として出力されるように制御する。つまり、音声出力制御部243は、ページ特定部242により特定された絵本IDとページ数とに対応し、音声出力すべきとして設定されている音声種別に対応する音声データをダウンロードデータ記憶部251から読み出す。音声出力制御部243は、読み出した音声データを音声出力端末300に送信する。音声出力端末300は、受信した音声データを再生して落として出力する。
【0049】
記憶部205は、コンテンツ管理端末200に対応する各種の情報を記憶する。記憶部205は、ダウンロードデータ記憶部251(音声データ記憶部の一例)と音声出力設定データ記憶部252とを備える。
ダウンロードデータ記憶部251は、コンテンツ管理サーバ100からダウンロードした絵本ごとの読み聞かせコンテンツデータを記憶する。
ダウンロードデータ記憶部251が記憶する絵本単位の読み聞かせコンテンツデータは、
図6に示した絵本単位の読み聞かせコンテンツデータと同様でよい。そのうえで、ダウンロードデータ記憶部251が記憶する絵本単位の読み聞かせコンテンツデータは、保護者ユーザUp等により読み聞かせ音声の録音が行われている場合には、ページ単位の音声データのうちに、さらに録音データが追加されることになる。
【0050】
音声出力設定データ記憶部252は、音声出力設定データを記憶する。音声出力設定データは、
図3により説明した操作手順によって音声出力端末300から音として出力させるものとして設定された絵本ごとの音声種別を示すデータである。
【0051】
図9は、1つの絵本に対応する音声出力設定データの一例を示している。同図の音声出力設定データは、対応の絵本を示す絵本IDごとに対して、音声出力端末300から出力させるものとして設定された音声データの音声種別を示す情報を対応付けた構造である。
同図の例では、絵本ID「B000001」には、音声種別を示す情報として「デフォルト音声データ」と「BGM音声データ」とが対応付けられている。つまり、絵本ID「B000001」により特定される絵本については、対応の読み聞かせコンテンツにおける音声データのうち、「デフォルト音声データ」と「BGM音声データ」を音声出力端末300から出力すべきことが示されている。
また、絵本ID「B000002」には、音声種別を示す情報として「録音音声データ」が対応付けられている。つまり、絵本ID「B000002」により特定される絵本については、対応の読み聞かせコンテンツにおける音声データのうち、「録音音声データ」を音声出力端末300から出力すべきことが示されている。
【0052】
[音声出力端末300の機能構成例]
図10を参照して、音声出力端末300の機能構成例について説明する。同図に示される音声出力端末300としての機能は、ハードウェアとしての音声出力端末300において備えられるCPUがプログラムを実行することにより実現される。
【0053】
同図の音声出力端末300は、通信部301、撮像部302、音声出力部303、制御部304、及び記憶部305を備える。なお、音声出力端末300は、例えば表示部やインジケータ等を備えてもよい。
【0054】
通信部301は、近距離対応の無線通信によりコンテンツ管理端末200と通信を行う。
撮像部302は、カメラを有し、撮像を行う。
音声出力部303は、制御部304が入力する音声データの音声を出力する。音声出力部303が出力する音声には電子音等も含まれてよい。
制御部304は、音声出力端末300における各種の制御を実行する。
【0055】
記憶部305は、音声出力端末300に対応する各種の情報を記憶する。記憶部305は、音声データ記憶部351を備える。
音声データ記憶部351は、コンテンツ管理端末200から送信された音声データを記憶する。制御部304は、コンテンツ管理端末200から受信した音声データを音声データ記憶部351に記憶させ、音声データ記憶部351に記憶された音声データを読み出して再生し、音声出力部303から音声として出力させる。
【0056】
図11のフローチャートを参照して、音声出力端末300とコンテンツ管理端末200とが、音声出力端末300での読み聞かせ音声の出力に関連して実行する処理手順例について説明する。
【0057】
まず、音声出力端末300の処理手順例について説明する。
ステップS100:音声出力端末300において制御部304は、継続的に撮像部302に撮像を実行させる。
ステップS102:制御部304は、ステップS100により撮像部302が撮像して得られる撮像画像を、通信部301からコンテンツ管理端末200に送信させる。
【0058】
ステップS104:音声出力端末300は、コンテンツ管理端末200から読み聞かせ音声の音声データが送信されたか否かを判定する。読み聞かせ音声の音声データが送信されない場合にはステップS100に処理が戻される。
【0059】
ステップS106:ステップS104にて音声データが受信されたと判定された場合、制御部304は、受信された音声データを音声データ記憶部351に記憶させる。この際、コンテンツ管理端末200から読み聞かせ音声の音声データとともにBGMの音声データが送信された場合には、制御部304は、受信された読み聞かせ音声の音声データとBGMの音声データとを音声データ記憶部351に記憶させる。
【0060】
ステップS108:制御部304は、ステップS106により音声データ記憶部351に記憶させた音声データの音声出力部303による再生出力を開始させる。これにより、読み聞かせ音声が音声出力端末300から出力される。
また、音声データ記憶部351に読み聞かせ音声の音声データとBGMの音声データとが記憶された場合、制御部304は、読み聞かせ音声の音声データとBGMの音声データとを再生出力する。この場合、音声出力端末300からは、BGM付きの読み聞かせ音声が出力される。
ステップS108の処理の後は、ステップS100に処理が戻される。
【0061】
次に、コンテンツ管理端末200の処理手順例について説明する。
ステップS200:コンテンツ管理端末200において、ステップS102により音声出力端末300から送信される撮像画像は、通信部201にて受信される。画像取得部241は、通信部201にて受信された撮像画像を取得する。
【0062】
ステップS202:ページ特定部242は、ステップS200により取得された撮像画像を受け取る。ページ特定部242は、受け取った撮像画像について解析し、撮像画像において含まれている絵本の絵本IDと開かれているページのページ数とを出力する。
【0063】
ステップS204:ページ特定部242は、今回のステップS202により出力された絵本IDとページ数との組み合わせが、前回のステップS202により出力された絵本IDとページ数との組み合わせから変化しているか否かを判定する。
絵本IDとページ数との組み合わせに変化がないと判定された場合にはステップS200に処理が戻される。
【0064】
ステップS206:ステップS204にて絵本IDとページ数との組み合わせに変化が有ったと判定された場合には、子供ユーザUcが読む絵本を代えた、あるいは読んでいる絵本のページをめくったことになる。そこで、音声出力制御部243は、今回のステップS202にて出力された絵本IDとページ数の組み合わせに対応付けられた音声データのうちで、音声出力設定データ記憶部252において出力すべきことが設定されている音声データを、ダウンロードデータ記憶部251から読み出す。
【0065】
ステップS208:音声出力制御部243は、ステップS206により読み出した音声データを音声出力端末300に送信することで、音声出力端末300にて読み聞かせ音声を出力させる。
【0066】
<変形例>
以下、本実施形態の変形例について説明する。
【0067】
[第1変形例:撮像画像の送信について]
本変形例において音声出力端末300は、ネットワークNW経由でコンテンツ管理サーバ100と通信可能に接続される。
本変形例の音声出力端末300は、コンテンツ管理端末200に撮像画像を取得させるにあたり、まず、コンテンツ管理サーバ100に撮像画像をアップロード(送信)してよい。コンテンツ管理サーバ100は、アップロードされた撮像画像を、アップロード元の音声出力端末300に対応付けられているコンテンツ管理端末200に送信することで、コンテンツ管理端末200に撮像画像を取得させてよい。
【0068】
[第2変形例:案内音声について]
読み聞かせコンテンツデータにおける読み聞かせ音声の音声データは、対応のページの文章を読み終わった後に、子供ユーザUcに次のページを開いてもらうことを促す案内音声が含められてよい。このような案内音声は、発話音声であってもよいし、電子音であってもよい。
【0069】
[第3変形例:ページ紙面接触判定]
本変形例のコンテンツ管理端末200は、例えば音声出力端末300により撮像して得られた撮像画像に基づいて、子供ユーザUcと絵本のページの紙面との関係性を判定してよい。具体的に、コンテンツ管理端末200は、子供ユーザUcが絵本のページの紙面に指を触れているか否かを判定してよい。さらに、コンテンツ管理端末200は、子供ユーザUcが絵本のページの紙面に指を触れていると判定した場合には、指が触れられているページの紙面上の位置を特定してよい。このような処理は、音声出力端末300の撮像部302に深度センサの機能を付加することで高い精度で行うことが可能である。
コンテンツ管理端末200の音声出力制御部243は、子供ユーザUcと絵本のページの紙面との関係性についての判定結果に基づいて、例えば子供ユーザUcが指を指している位置に応じた文章の読み聞かせ音声を出力させたり、読み聞かせ音声の再生速度や再生タイミングを変更したりするように制御してよい。
【0070】
[第4変形例:音声出力端末の態様]
音声出力端末300は、ペンダント以外の態様であってよく、例えば子供のおもちゃ(例えば人形、ぬいぐるみ等)に備えられる態様であってもよい。また、音声出力端末300は、例えばメガネ型などとされたウェアラブル端末であってよい。
また、撮像部302が音声出力端末300から分離された構成であってもよい。
【0071】
[第5変形例:メガネ型の音声出力端末]
音声出力端末300としてメガネ型の端末を用いた場合には、メガネ型の音声出力端末300により、子供ユーザUcが絵本を読んでいる際の視線方向を認識し、例えばコンテンツ管理端末200(あるいはコンテンツ管理サーバ100)が、認識された視線方向に基づいて、子供ユーザUcが絵本におけるいずれの位置に注目しているのかを推定してよい。コンテンツ管理端末200の音声出力制御部243は、推定した位置に応じた読み聞かせ音声を音声出力端末300から出力させたり、読み聞かせ音声の再生速度や再生タイミングを変更したりするように制御してよい。
【0072】
[第6変形例:絵本のページ判定について]
本変形例において、コンテンツ管理端末200におけるページ特定部242は、音声出力端末300から送信される撮像画像を対象にOCR(Optical Character Recognition)処理を実行して絵本の開かれたページの文字を認識し、認識した文字に基づいて絵本とページ数とを特定するようにされてよい。この場合、読み聞かせコンテンツデータにおいては、絵本のページごとに対応して、OCR処理により認識した文字と照合するページ内の文章(文字列)の情報を格納する。
【0073】
また、ページ特定部242は、先の実施形態にて説明したように学習済みモデルを用いた撮像画像の解析と、上記のOCRとを併用して、絵本とページ数とを特定してもよい。
【0074】
[第7変形例:読み聞かせコンテンツ利用履歴]
本変形例のコンテンツ提供システムは、子供ユーザUcのコンテンツ利用に関する履歴情報(コンテンツ利用履歴情報)を管理する。コンテンツ利用履歴情報は、コンテンツ管理サーバ100、コンテンツ管理端末200、音声出力端末300のいずれかが記憶するようにされてよい。
コンテンツ利用履歴情報は、子供ユーザUcが読み聞かせ音声を聞きながら利用していた絵本が何であるのか、絵本の利用していた日付及び時間帯、利用中の絵本におけるページごとの滞在時間等を含んでよい。
また、コンテンツ利用履歴情報は、例えば子供ユーザUcが指を触れているページの紙面上の位置や、ページの紙面において視線が向けられた位置などを特定可能とされている場合には、これらの特定された位置に関する履歴情報を含んでよい。
【0075】
[第8変形例:子供ユーザの状況の保護者ユーザへの通知]
本変形例のコンテンツ提供システムは、絵本を利用している子供ユーザUcについての所定の状況を保護者ユーザUpに報知するようにしてよい。保護者ユーザUpへの報知は、コンテンツ管理端末200により行われてよい。
一例として、子供ユーザUcが絵本を読み終わったことが保護者ユーザUpに報知されるようにしてよい。この場合、音声出力端末300は、ページ単位で読み聞かせ音声の音声データの再生出力を完了させるごとに、再生完了通知をコンテンツ管理端末200に送信するようにされてよい。コンテンツ管理端末200は、絵本の最後のページの読み聞かせ音声の音声データの送信に対する再生完了通知を受信すると、所定の態様(音声出力、報知表示、バイブレーション、インジケータの点灯等)により、保護者ユーザUpに向けて絵本の読み聞かせが完了したことを報知してよい。
【0076】
[第7変形例:危険物報知]
例えば音声出力端末300は子供ユーザUcが使用するものであることを考慮して、ページ特定部242が、音声出力端末300から取得した撮像画像において、ハサミ、カッター等の刃物やライター等の火器といった子供にとって危険な物体を検知した場合には、コンテンツ管理端末200により保護者ユーザUpに向けて、子供ユーザUcの付近に危険物が存在することの警告報知を行うようにしてよい。
ページ特定部242は、例えば上記の刃物や火器等の画像に危険物としてのラベルを付した教師データにより学習器を学習させたことにより得られる学習済みモデルを用いて、子供にとって危険な物体を検知してよい。
【0077】
[第8変形例:紙面上の状況に応じた音出力制御]
音声出力端末300により撮像して得られる撮像画像に基づいて、ページ特定部242は学習済みモデルを用いて、例えば子供ユーザUcが絵本の紙面の上に車両のおもちゃや動物のミニチュアなどを置いて遊んでいる状況であるときには、車両種別や動物の種別等を認識可能に構成されてよい。
この場合、音声出力制御部243は、認識された種別の車両の音や認識された種別の動物の鳴き声等に対応する音を音声出力端末300から出力させるようにしてよい。この場合には、読み聞かせコンテンツデータにおいて、車両種別ごとの音声データ、動物の種別ごとの泣き声の音声データ等が用意されてよい。
また、絵本が飛び出す絵本であるような場合には、開かれているページにおいて子供ユーザUcが触れて遊んでいる仕掛けを撮像画像から特定し、特定した仕掛けに応じた読み聞かせ音声が音声出力端末300から出力されるようにしてよい。
【0078】
[第9変形例:システム構成]
本変形例のコンテンツ提供システムは、
図1におけるコンテンツ管理端末200と音声出力端末とを備え、コンテンツ管理サーバ100は省力された構成であってよい。
このような本変形例のコンテンツ提供システムの構成の場合、コンテンツ管理端末200は、例えば読み聞かせアプリケーションをインストールする際に、コンテンツ提供システムのもとで提供可能な絵本に対応する読み聞かせコンテンツデータをダウンロードし、記憶するようにされてよい。つまり、本変形例のコンテンツ管理端末200は、ダウンロードデータ記憶部251(
図7)に代えて、
図5のコンテンツ管理サーバ100が備えるコンテンツデータ記憶部131を備えるようにされてよい。
また、本変形例において、読み聞かせ音声の音声データについては、デフォルトの音声データのように予め用意せずに、保護者ユーザUp等がコンテンツ管理端末200を用いて録音し、コンテンツ管理端末200に記憶させることにより利用可能となるようにされてよい。
【0079】
[第10変形例:システム構成]
本変形例のコンテンツ提供システムの全体的な構成は、
図1と同様でよい。そのうえで、本変形例のコンテンツ管理端末200は、ネイティブアプリケーションとしての読み聞かせアプリケーションがインストールされる代わりに、シンクライアント端末として機能するような構成とされてよい。この場合、コンテンツ管理端末200は、ウェブアプリケーションあるいはPWA(Progressive Web Apps)として読み聞かせアプリケーションが動作するようにされてよい。
このような本変形例において、コンテンツ管理端末200は、絵本ごとに対応する読み聞かせコンテンツデータを、ダウンロードしなくともよく、記憶しなくともよい。この場合、コンテンツ管理端末200は、
図2(B)にて説明したダウンロードの操作に代えて、保護者ユーザUpが利用対象とする読み聞かせコンテンツを登録する操作が可能とされてよい。読み聞かせコンテンツを登録する操作が行われたことに応じて、コンテンツ管理サーバ100は、保護者ユーザUpに対応付けて利用可能な読み聞かせコンテンツの絵本IDを記憶してよい。
また、この場合には、保護者ユーザUpが、コンテンツ管理端末200に表示される
図3(A)、
図3(B)の画面(音声設定画面、音声種別選択画面)に対する操作によって絵本の読み聞かせの際に用いる音声種別の設定を行った場合、設定された内容を示す音声出力設定データを保護者ユーザUpに対応付けてコンテンツ管理サーバ100が記憶するようにされてよい。また、保護者ユーザUpが
図4の画面を操作して録音した読み聞かせ音声も、対応の音声出力設定データに含めるようにしてコンテンツ管理サーバ100が記憶してよい。
また、この場合のコンテンツ管理サーバ100は、
図7の画像取得部241、ページ特定部242、及び音声出力制御部243等としての機能を有してよい。
【0080】
本変形例において、コンテンツ管理端末200は、音声出力端末300から送信された撮像画像をコンテンツ管理サーバ100に転送する。あるいは、音声出力端末300は、コンテンツ管理端末200を経由せずに、コンテンツ管理サーバ100に撮像画像を送信可能とされてもよい。
コンテンツ管理サーバ100は、画像取得部241としての機能により転送された撮像画像を取得し、ページ特定部242としての機能により、取得した撮像画像に含まれる絵本の絵本IDとページ数とを特定する。コンテンツ管理サーバ100は、音声出力制御部243としての機能により、上記のように特定された絵本ID及びページ数に対応する読み聞かせコンテンツデータにおける音声データをコンテンツデータ記憶部131から読み出し、読み出した音声データを、コンテンツ管理端末200に送信する。コンテンツ管理端末200は、送信された音声データを音声出力端末300に転送する。音声出力端末300は、転送された音声データを読み聞かせ音声として音声出力部303から出力させる。
【0081】
[第11変形例:システム構成]
本変形例においてコンテンツ管理端末200は、例えばスマートフォン等ではなく、例えばシングルボードコンピュータ等を用いたデバイス(コンテンツ管理デバイス)であってよい。このようなコンテンツ管理デバイスは、例えば子供向けにおもちゃ箱、玩具、ぬいぐるみなどに内蔵されてよい。
【0082】
[第12変形例:システム構成]
本変形例のコンテンツ提供システムにおいては、音声出力端末300が、読み聞かせコンテンツデータ(
図6)における音声データを記憶するようにされてよい。
この場合、読み聞かせコンテンツのダウンロードは、コンテンツ管理端末200が行ってよい。コンテンツ管理端末200は、ダウンロードした読み聞かせコンテンツに含まれる音声データを絵本IDとページ数との組み合わせに対応付けて音声出力端末300に送信する。音声出力端末300は、受信した音声データを記憶部305に記憶させる。
この場合には、音声出力端末300が送信した撮像画像に基づいて、コンテンツ管理端末200あるいは第10変形例におけるコンテンツ管理サーバ100が絵本IDおよびページ数を推定し、推定した絵本IDおよびページ数を音声出力端末300に送信する。音声出力端末300は、受信した絵本IDとページ数との組み合わせに対応付けられている音声データを記憶部305から読み出し、読み出した音声データを再生して読み聞かせ音声を出力する。
【0083】
[第13変形例:システム構成]
本変形例のコンテンツ提供システムにおいては、音声出力端末300が、
図7の画像取得部241、ページ特定部242、及び音声出力制御部243等を有して構成される。また、この場合の音声出力端末300は、ネイティブアプリケーションまたはウェブアプリケーション等として読み聞かせアプリケーションが動作可能とされ、読み聞かせアプリケーションに対する操作が可能な操作部が設けられてよい。
本変形例の場合、コンテンツ提供システムにおいてコンテンツ管理端末200は省略されてよい。本変形例においては、音声出力端末300が、読み聞かせコンテンツデータをコンテンツ管理サーバ100からダウンロードし、ダウンロードデータとして記憶部305に記憶させてよい。また、絵本ごとの読み聞かせ音声の設定等も音声出力端末300上で動作する読み聞かせアプリケーションに対する操作によって行えるようにされてよい。
本変形例の音声出力端末300は、撮像部302により撮像して得られた撮像画像を画像取得部241としての機能により取得し、ページ特定部242としての機能により、取得した撮像画像に含まれる絵本の絵本IDとページ数とを特定する。音声出力端末300は、音声出力制御部243としての機能により、上記のように特定された絵本ID及びページ数に対応する読み聞かせコンテンツデータにおける音声データを、音声出力部303から出力させる。
【0084】
[第14変形例:媒体について]
本実施形態が対応する紙面媒体は、絵本に限定されない。本実施形態が対応する紙面媒体は、絵本以外の書籍であってもよい。また、本実施形態が対応する紙面媒体は、ポスターやチラシ等であってもよい。
また、先の変形例のようにページ特定部242が画像解析とOCR処理とを併用する場合には、ページ特定部242は、対象の撮像画像にて含まれる紙面における画像と文字との占有率に応じて、ページの特定にあたり画像解析とOCR処理とのいずれを利用するのか、あるいは併用するのかを決定してよい。
【0085】
また、本実施形態が対応する媒体は、紙面によるもの以外であってもよい。例えば風景、美術館の展示物等のように特定の分野に分類される画像であってよい。例えば音声出力端末300が風景や展示物を撮像した撮像画像したことに応じて、当該撮像画像を取得したコンテンツ管理端末200が、撮像画像における風景の場所や展示物を特定し、特定した風景や展示物を説明する音声を音声出力端末300から出力させるようにしてよい。
この場合、音声出力端末300は、風景の撮像画像と風景の場所とを対応付けた学習データ、あるいは展示物の撮像画像と展示物が何であるのかを示すタグとを対応付けた学習データにより学習器を学習させて得られた学習済みモデルを利用して上記のように特定を行ってよい。
【0086】
[第15変形例:音声以外の出力態様]
撮像画像から特定された対象に対応して出力されるコンテンツは音声のほか、例えばプロジェクタにより投影する画像等であってもよい。
【0087】
なお、上述のコンテンツ管理サーバ100、コンテンツ管理端末200、及び音声出力端末300等としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述のコンテンツ管理サーバ100、コンテンツ管理端末200、及び音声出力端末300等としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるHDD、SSD等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0088】
<付記>
(1)本実施形態の一態様は、紙面媒体の紙面ごとに対応付けられ、当該紙面に対応する内容の音声データを記憶する音声データ記憶部と、撮像部により紙面媒体の紙面を撮像して得られた撮像画像を取得する画像取得部と、前記画像取得部により取得された撮像画像により撮像された紙面媒体の紙面が、前記音声データ記憶部に記憶される音声データが対応する紙面媒体の紙面のうちのいずれであるのかを特定する紙面特定部と、前記紙面特定部により特定された紙面媒体の紙面に対応付けられた音声データの音声を音声出力端末から出力させる音声出力制御部とを備えるコンテンツ提供システムである。
【0089】
(2)本実施形態の一態様は、(1)に記載のコンテンツ提供システムであって、前記音声データ記憶部が紙面ごとに対応して記憶する音声データは、対応の紙面において示される文字を音声化した音声データである。
【0090】
(3)本実施形態の一態様は、(2)に記載のコンテンツ提供システムであって、前記音声データ記憶部は、1つの紙面に対応して記憶する音声データとして、予め用意された音声データと、ユーザが録音することにより作成された録音音声データとを記憶可能とされ、前記音声出力制御部は、前記紙面特定部により特定された紙面媒体の紙面に対応付けられた音声データとして、前記予め用意された音声データと前記録音音声データとのうちで音声出力の対象として設定されている音声データを前記音声出力端末から出力させる。
【0091】
(4)本実施形態の一態様は、(1)から(3)のいずれか一項に記載のコンテンツ提供システムであって、前記紙面特定部は、紙面媒体を撮像して得られる媒体撮像画像と前記紙面媒体における紙面を撮像して得られる紙面撮像画像の組み合わせに対して、当該組み合わせに対応する紙面媒体と紙面とを対応付けたに学習データにより学習器を学習させることで得られた学習済みモデルを用いて、紙面媒体の紙面の特定を行う。
【0092】
(5)本実施形態の一態様は、(1)から(4)のいずれか一項に記載のコンテンツ提供システムであって、前記撮像部は前記音声出力端末に備えられ、前記音声出力端末は、前記紙面媒体を利用するユーザが身に付けることが可能とされた態様を有する。
【0093】
(6)本実施形態の一態様は、(1)から(5)のいずれか一項に記載のコンテンツ提供システムであって、前記音声出力端末と、当該音声出力端末と通信可能に接続されるコンテンツ管理端末とを備え、前記音声出力端末は、前記撮像部を備え、当該撮像部により撮像して得られた撮像画像を前記コンテンツ管理端末に送信し、前記コンテンツ管理端末は、前記音声データ記憶部と、前記音声出力端末から送信された撮像画像を取得する前記画像取得部と、前記紙面特定部と、前記紙面特定部により特定された紙面に対応付けられて前記音声データ記憶部に記憶される音声データを前記音声出力端末に送信するようにされた前記音声出力制御部とを備える。
【0094】
(7)本実施形態の一態様は、(6)に記載のコンテンツ提供システムであって、コンテンツ管理サーバをさらに備え、前記コンテンツ管理端末は、前記コンテンツ管理サーバが記憶する音声データのうちからダウンロードした音声データを前記音声データ記憶部に記憶させる。
【0095】
(8)本実施形態の一態様は、コンテンツ提供システムにおけるコンテンツ提供方法であって、撮像部により紙面媒体の紙面を撮像して得られた撮像画像を取得する画像取得ステップと、前記画像取得ステップにより取得された撮像画像により撮像された紙面媒体の紙面が、紙面媒体の紙面ごとに対応付けられ当該紙面に対応する内容の音声データを記憶する音声データ記憶部に記憶される音声データが対応する紙面媒体の紙面のうちのいずれであるのかを特定する紙面特定ステップと、前記紙面特定ステップにより特定された紙面媒体の紙面に対応付けられた音声データの音声を音声出力端末から出力させる音声出力制御ステップとを含むコンテンツ提供方法である。
【符号の説明】
【0096】
100 コンテンツ管理サーバ、101 通信部、102 制御部、103 記憶部、131 コンテンツデータ記憶部、200 コンテンツ管理端末、201 通信部、202 操作部、203 表示部、204 制御部、205 記憶部、241 画像取得部、242 ページ特定部、243 音声出力制御部、251 ダウンロードデータ記憶部、252 音声出力設定データ記憶部、300 音声出力端末、301 通信部、302 撮像部、303 音声出力部、304 制御部、305 記憶部、351 音声データ記憶部、402 撮像部、405 制御部、1421 学習器、1422 モデル