(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】絵本表示システム
(51)【国際特許分類】
G10L 15/22 20060101AFI20221128BHJP
G10L 15/10 20060101ALI20221128BHJP
G10L 13/10 20130101ALI20221128BHJP
G10L 21/003 20130101ALI20221128BHJP
G10L 15/30 20130101ALI20221128BHJP
G06F 3/16 20060101ALI20221128BHJP
G06F 3/0483 20130101ALI20221128BHJP
G06F 16/51 20190101ALI20221128BHJP
【ＦＩ】
G10L15/22 460Z
G10L15/10 200W
G10L13/10 114
G10L21/003
G10L15/30
G06F3/16 650
G06F3/0483
G06F16/51
【請求項の数】
3
(21)【出願番号】P 2018210793
(22)【出願日】2018-11-08
(65)【公開番号】P2020076892
(43)【公開日】2020-05-21
【審査請求日】2021-07-27
(73)【特許権者】
【識別番号】000220262
【氏名又は名称】東京瓦斯株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】新田 友希
(72)【発明者】
【氏名】冨田 岳陽
(72)【発明者】
【氏名】清石 彩華
(72)【発明者】
【氏名】坂元 賢太郎
【審査官】岩田 淳
(56)【参考文献】
【文献】特表２０１６－５１１８３７（ＪＰ，Ａ）
【文献】特開２００６－１７８３３３（ＪＰ，Ａ）
【文献】特開２０１１－２４８６８８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０１４５２４０（ＵＳ，Ａ１）
【文献】川合 康央 Yasuo Kawai，幼児の言語獲得に寄与するディジタル絵本の試作 Development of digital picture books for language acquisition in infant，情報処理学会 シンポジウム 情報教育シンポジウム ２０１２，日本，情報処理学会，2012年08月13日，pp.161-168
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １３／００－９９／００
Ａ６３Ｈ １／００－３７／００
Ｇ０６Ｆ ３／０１
３／０４８－３／０４８９５
３／１６
１６／００－１６／９５８
Ｇ０９Ｂ １／００－ ９／５６
１７／００－１９／２６
(57)【特許請求の範囲】
【請求項1】
読み手の発話音声を取得する音声取得手段と前記読み手の発話音声の意味を把握する把握手段と、
前記把握手段が把握した前記意味に応じた画像を取得する画像取得手段と、
前記意味に応じて取得した前記画像を配置し、絵本とする配置手段と、
を有し、
前記画像取得手段は、前記読み手の発話音声の中に、予め登録され前記画像を特定する文言が含まれるか否かを調べ、当該文言が含まれるときに、当該文言に対応する画像を取得し、
前記配置手段は、前記読み手の発話音声の中に、予め登録され前記画像取得手段が取得した前記画像の特徴を表す特徴情報が含まれる場合は、当該画像に対し当該特徴に合わせる処理を行い、
前記文言と前記特徴情報とは、前記絵本のページを示すページ数に対応付けて登録されており、
前記配置手段は、背景の画像と前景の画像とを区別して配置し、
前記画像取得手段が、新たな背景の画像を取得したときは、当該新たな背景の画像に対応づいているページ数のページとして扱うことを特徴とする絵本表示システム。
【請求項2】
前記把握手段は、聞き手の発話音声の意味をさらに把握し、前記画像取得手段は、前記把握手段が把握した前記聞き手の発話音声の意味に応じた画像を取得することを特徴とする請求項１に記載の絵本表示システム。
【請求項3】
前記読み手の発話音声と聞き手の発話音声とを分離する分離手段をさらに備えることを特徴とする請求項１に記載の絵本表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、絵本表示システム、プログラムに関する。
【背景技術】
【0002】
従来技術として、例えば、テレビに表示されたテキスト情報を読み手が読むと、テレビに絵本のページが表示される絵本表示装置が存在する。
【0003】
特許文献１には、ページ番号とページ画像と後続するページのページ番号とが対応付けて記憶するテキスト情報記憶手段と、テキスト情報とページ画像を所定の表示手段に表示させる表示画像制御部と、マイクロフォン部によって得られた音声情報を所定の出力手段に出力させる出力音声制御部と、得られた音声情報を分析して、音声情報の特徴を判別し、表示対象のページ番号に対応付けられた後続ページ番号において、特徴判別部の判別結果の特徴に対応付けられたページ番号を、後続ページ番号として特定する分岐処理部と、特定された後続ページ番号を次の表示対象のページ番号として特定する震度制御部とを有する電子絵本システムが記載されている。
また、特許文献２には、予め絵本となる画像および文章などを書き込む記録媒体と、この記録媒体から読み出した背景用画像データを格納する背景用メモリおよび動画用画像データを格納する動画用メモリと、これら背景用メモリおよび動画用メモリから読み出した背景データおよび動画データを合成して絵本にする合成部とを備え、この合成部が合成した画像データを絵本として表示するように構成する電子絵本表示装置が記載されている。
また、特許文献２には、予め絵本となる画像および文章などを書き込む記録媒体と、この記録媒体から読み出した背景用画像データを格納する背景用メモリおよび動画用画像データを格納する動画用メモリと、これら背景用メモリおよび動画用メモリから読み出した背景データおよび動画データを合成して絵本にする合成部とを備え、この合成部が合成した画像データを絵本として表示するように構成する電子絵本表示装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００９－１２２４９８号公報
【文献】特開平５－１２０４００号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、従来は、絵本のストーリーは、予め用意されたものであり、読み手が自由に創作することはできない。また予め用意されたストーリーを読み手が読む場合も、絵の表示の切り換えは、読み手がコントローラ等を使用して進行操作をする必要がある。
本発明の目的は、読み手の話の内容に基づいて、聞き手の携帯端末等にリアルタイムで読み手の発話内容に応じた絵やテキスト等の表示画像が表示される表示システム等を提供することを目的とする。
本発明の目的は、読み手の話の内容に基づいて、聞き手の携帯端末等にリアルタイムで読み手の発話内容に応じた絵やテキスト等の表示画像が表示される表示システム等を提供することを目的とする。
【課題を解決するための手段】
【0007】
かくして本発明によれば、読み手の発話音声を取得する音声取得手段と、読み手の発話音声の意味を把握する把握手段と、把握手段が把握した意味に応じた画像を取得する画像取得手段と、意味に応じて取得した画像を配置し、絵本とする配置手段と、を有し、画像取得手段は、読み手の発話音声の中に、予め登録され画像を特定する文言が含まれるか否かを調べ、文言が含まれるときに、文言に対応する画像を取得し、配置手段は、読み手の発話音声の中に、予め登録され画像取得手段が取得した画像の特徴を表す特徴情報が含まれる場合は、画像に対し特徴に合わせる処理を行い、文言と特徴情報とは、絵本のページを示すページ数に対応付けて登録されており、配置手段は、背景の画像と前景の画像とを区別して配置し、画像取得手段が、新たな背景の画像を取得したときは、当該新たな背景の画像に対応づいているページ数のページとして扱うことを特徴とする絵本表示システムが提供される。
ここで、把握手段は、聞き手の発話音声の意味をさらに把握し、画像取得手段は、把握手段が把握した聞き手の発話音声の意味に応じた画像を取得するようにすることができる。この場合、読み手の発話音声のみならず聞き手の発話音声を基に絵本を作成することができる。
また、読み手の発話音声と聞き手の発話音声とを分離する分離手段をさらに備えるようにすることができる。この場合、読み手の発話音声を基に絵本を作成することができる。
ここで、把握手段は、聞き手の発話音声の意味をさらに把握し、画像取得手段は、把握手段が把握した聞き手の発話音声の意味に応じた画像を取得するようにすることができる。この場合、読み手の発話音声のみならず聞き手の発話音声を基に絵本を作成することができる。
また、読み手の発話音声と聞き手の発話音声とを分離する分離手段をさらに備えるようにすることができる。この場合、読み手の発話音声を基に絵本を作成することができる。
【発明の効果】
【0009】
本発明によれば、読み手の話の内容に基づいて、聞き手の携帯端末等にリアルタイムで読み手の発話内容に応じた絵やテキスト等の表示画像が表示される表示システム等を提供することができる。
【図面の簡単な説明】
【0010】
【図1】本実施の形態における表示システムの構成例を示す図である。
【図2】表示システムの概略動作の例について示した図である。
【図3】第１の実施形態における表示システムの機能構成例を示したブロック図である。
【図4】第１の実施形態における表示システムの動作の例について説明したフローチャートである。
【図5】分離部で読み手の発話音声と聞き手の発話音声とを分離する方法について示した図である。
【図6】（ａ）～（ｂ）は、第１の実施形態で用いられる記憶部のデータ構造を示した図である。
【図7】（ａ）～（ｃ）は、配置部が、画像を配置し、絵本とする処理について示した図である。
【図8】第２の実施形態における表示システムの機能構成例を示したブロック図である。
【図9】第２の実施形態の表示システムの動作の例について説明したフローチャートである。
【図10】第３の実施形態における表示システムの機能構成例を示したブロック図である。
【図11】第３の実施形態の表示システムの動作の例について説明したフローチャートである。
【図12】第４の実施形態の表示システムの動作の例について説明したフローチャートである。
【図13】第４の実施形態で用いられる記憶部のデータ構造を示した図である。
【図14】（ａ）～（ｂ）は、文章２行目以降に作成される絵本の例を示した図である。
【図15】第５の実施形態における表示システムの機能構成例を示したブロック図である。
【図16】第５の実施形態の表示システムの動作の例について説明したフローチャートである。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0012】
＜表示システム１全体の説明＞
図１は、本実施の形態における表示システム１の構成例を示す図である。
図示するように本実施の形態の表示システム１は、携帯端末２０ａ、２０ｂと、管理サーバ４０とが、ネットワーク７０、ネットワーク８０、アクセスポイント９０を介して接続されることにより構成されている。なお以後、携帯端末２０ａと携帯端末２０ｂとを区別しない場合には、単に「携帯端末２０」と言うことがある。
図１は、本実施の形態における表示システム１の構成例を示す図である。
図示するように本実施の形態の表示システム１は、携帯端末２０ａ、２０ｂと、管理サーバ４０とが、ネットワーク７０、ネットワーク８０、アクセスポイント９０を介して接続されることにより構成されている。なお以後、携帯端末２０ａと携帯端末２０ｂとを区別しない場合には、単に「携帯端末２０」と言うことがある。
【0013】
携帯端末２０は、例えば、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のモバイル端末である。携帯端末２０ａ、２０ｂは、無線通信を行うためにアクセスポイント９０に接続する。そして、携帯端末２０ａ、２０ｂは、アクセスポイント９０を介して、ネットワーク７０に接続する。なお、詳しくは後述するが、携帯端末２０ａは、読み聞かせを行う際に、読み手が所持する携帯端末であり、携帯端末２０ｂは、聞き手が所持する携帯端末である。
【0014】
管理サーバ４０は、表示システム１の全体の管理をするサーバコンピュータである。詳しくは後述するが、例えば、管理サーバ４０は、読み手の所持する携帯端末２０ａから、絵本等の文章を読む際の発話音声を取得する。そして、発話音声の内容に基づき画像等を取得し、絵本等の表示画像を作成する。そして、絵本等の表示画像の情報を聞き手の携帯端末２０ｂに送信する。
【0015】
携帯端末２０および管理サーバ４０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリを備える。ここで、ＣＰＵは、ＯＳ（基本ソフトウェア）やアプリ（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域である。さらに、携帯端末２０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、ビデオメモリやディスプレイ等からなる表示機構と、入力ボタン、タッチパネル、キーボード等の入力機構とを備える。そして、携帯端末２０は、音声の出力を行うスピーカと、音声の入力を行うマイクロフォンとを備える。また、管理サーバ４０は、補助記憶装置として、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を備える。
【0016】
ネットワーク７０は、携帯端末２０および管理サーバ４０の情報通信に用いられる通信手段であり、例えば、インターネットである。
ネットワーク８０も、ネットワーク７０と同様に、携帯端末２０および管理サーバ４０の間の情報通信に用いられる通信手段であり、例えば、ＬＡＮ（Local Area Network）である。
ネットワーク８０も、ネットワーク７０と同様に、携帯端末２０および管理サーバ４０の間の情報通信に用いられる通信手段であり、例えば、ＬＡＮ（Local Area Network）である。
【0017】
アクセスポイント９０は、無線通信回線を利用して無線通信を行う機器である。アクセスポイント９０は、携帯端末２０や管理サーバ４０とネットワーク７０やネットワーク８０との間の情報の送受信を媒介する。
無線通信回線の種類としては、携帯電話回線、ＰＨＳ（Personal Handy-phone System）回線、Ｗｉ－Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の各回線が使用可能である。
無線通信回線の種類としては、携帯電話回線、ＰＨＳ（Personal Handy-phone System）回線、Ｗｉ－Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の各回線が使用可能である。
【0018】
＜表示システム１の動作の概略説明＞
図２は、表示システム１の概略動作の例について示した図である。
まず、携帯端末２０ａを所持する読み手が、本システムに使用される専用アプリを起動し、携帯端末２０ａのマイクロフォンに向け、絵本等の文章を話し、発話音声を入力する（１Ａ）。マイクロフォンは、発話音声を、発話音声の音圧に応じた電気信号に変換する。そして、携帯端末２０ａでは、音声信号をいったん増幅する。そして、予め定められたサンプリング周波数にて、サンプリングし、デジタル化を行い、発話音声の情報を作成する。なお、聞き手は、読み手の側におり、聞き手の発話音声を聞くことができる。また、例えば、読み手は、親、祖父母であり、聞き手は、子供である。
図２は、表示システム１の概略動作の例について示した図である。
まず、携帯端末２０ａを所持する読み手が、本システムに使用される専用アプリを起動し、携帯端末２０ａのマイクロフォンに向け、絵本等の文章を話し、発話音声を入力する（１Ａ）。マイクロフォンは、発話音声を、発話音声の音圧に応じた電気信号に変換する。そして、携帯端末２０ａでは、音声信号をいったん増幅する。そして、予め定められたサンプリング周波数にて、サンプリングし、デジタル化を行い、発話音声の情報を作成する。なお、聞き手は、読み手の側におり、聞き手の発話音声を聞くことができる。また、例えば、読み手は、親、祖父母であり、聞き手は、子供である。
【0019】
次に、携帯端末２０ａは、この発話音声の情報を、送信情報として管理サーバ４０に対し送信する（１Ｂ）。送信情報は、アクセスポイント９０、ネットワーク７０、ネットワーク８０を介し、管理サーバ４０に送られる。
管理サーバ４０では、受け取った発話音声の情報から、発話音声の意味を把握し、把握した意味を現す表示要素をデータベースから取得する（１Ｃ）。発話音声の意味は、音声認識により把握することができる。またここで、「表示要素」は、把握した意味に対応し、携帯端末２０ｂで表示を行う表示画像の個々の要素である。具体的には、「表示要素」は、画像やテキスト等であり、例えば、把握した意味が「熊」であった場合、画像としては、熊の画像が「表示要素」となる。なお、画像は、静止画であるか動画であるかを問わない。またテキストとしては、「熊」、「bear」などの単語が「表示要素」となる。なお、このテキストは、単語でもよいが、複数の単語から構成されているセンテンスでもよい。
さらに、管理サーバ４０では、データベースから取得した画像を配置し、聞き手が閲覧する絵本等の表示画像を作成する（１Ｄ）。
そして、管理サーバ４０は、作成した表示画像の情報を、送信情報として聞き手の所持する携帯端末２０ｂに対し送信する（１Ｅ）。表示画像の情報は、ネットワーク８０、ネットワーク７０、アクセスポイント９０を介し、携帯端末２０ｂに送られる。
管理サーバ４０では、受け取った発話音声の情報から、発話音声の意味を把握し、把握した意味を現す表示要素をデータベースから取得する（１Ｃ）。発話音声の意味は、音声認識により把握することができる。またここで、「表示要素」は、把握した意味に対応し、携帯端末２０ｂで表示を行う表示画像の個々の要素である。具体的には、「表示要素」は、画像やテキスト等であり、例えば、把握した意味が「熊」であった場合、画像としては、熊の画像が「表示要素」となる。なお、画像は、静止画であるか動画であるかを問わない。またテキストとしては、「熊」、「bear」などの単語が「表示要素」となる。なお、このテキストは、単語でもよいが、複数の単語から構成されているセンテンスでもよい。
さらに、管理サーバ４０では、データベースから取得した画像を配置し、聞き手が閲覧する絵本等の表示画像を作成する（１Ｄ）。
そして、管理サーバ４０は、作成した表示画像の情報を、送信情報として聞き手の所持する携帯端末２０ｂに対し送信する（１Ｅ）。表示画像の情報は、ネットワーク８０、ネットワーク７０、アクセスポイント９０を介し、携帯端末２０ｂに送られる。
【0020】
携帯端末２０ｂでは、受け取った表示画像の情報を基に、表示機構に表示画像が表示される（１Ｆ）。そして、聞き手が、読み手の発話音声を聞きつつ、表示された表示画像を見ることで、読み聞かせを行うことができる。
【0021】
次に、本実施の形態の表示システム１の詳細な機能構成および動作について説明する。
【0022】
＜表示システム１の機能構成の説明＞
［第１の実施形態］
ここでは、まず、表示システム１の機能構成の第１の実施形態について説明を行う。第１の実施形態の表示システム１では、管理サーバ４０が、読み手の発話音声の意味に応じた画像を取得し、取得した画像を配置して、表示画像として絵本を作成する。そして、聞き手は、携帯端末２０ｂで、表示画像である絵本を閲覧する。即ち、この場合、表示システム１は、絵本表示システムとして機能する。
図３は、第１の実施形態における表示システム１の機能構成例を示したブロック図である。
なおここでは、表示システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
表示システム１において、携帯端末２０ａと携帯端末２０ｂとは、同様の機能構成を有し、送信情報の送受信を行う送受信部２１と、画像の表示を行う表示部２２と、情報を入力する入力部２３と、発話音声を取得する音声取得部２４とを備える。
［第１の実施形態］
ここでは、まず、表示システム１の機能構成の第１の実施形態について説明を行う。第１の実施形態の表示システム１では、管理サーバ４０が、読み手の発話音声の意味に応じた画像を取得し、取得した画像を配置して、表示画像として絵本を作成する。そして、聞き手は、携帯端末２０ｂで、表示画像である絵本を閲覧する。即ち、この場合、表示システム１は、絵本表示システムとして機能する。
図３は、第１の実施形態における表示システム１の機能構成例を示したブロック図である。
なおここでは、表示システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
表示システム１において、携帯端末２０ａと携帯端末２０ｂとは、同様の機能構成を有し、送信情報の送受信を行う送受信部２１と、画像の表示を行う表示部２２と、情報を入力する入力部２３と、発話音声を取得する音声取得部２４とを備える。
【0023】
送受信部２１は、発話音声の情報や絵本の情報などの送信情報の送受信を行う。送受信部２１は、例えば、通信Ｉ／Ｆであり、アクセスポイント９０、ネットワーク７０およびネットワーク８０を介し、管理サーバ４０と情報の送受信を行う。
【0024】
表示部２２は、絵本などの画像の表示を行う。表示部２２は、例えば、タッチパネルである。この場合、表示部２２は、各種情報が表示されるディスプレイと、指やスタイラスペン等で接触された位置を検出する位置検出シートとを備える。接触された位置を検出する手段としては、接触による圧力をもとに検出する抵抗膜方式や、接触した物の静電気をもとに検出する静電容量方式など、どのようなものが用いられてもよい。
【0025】
入力部２３は、絵本の読み手や聞き手が、所定の操作を行うための操作機構である。
例えば、上述したタッチパネルである。この場合、タッチパネルは、表示部２２および入力部２３の双方の機能を有する。つまり、絵本などの画像を表示するとともに、表示された画面に対し、タッチを行うことで、専用アプリの起動・終了や専用アプリに対する操作を行うことができる。なお、これに限られるものではなく、入力部２３は、キーボードやマウス等で構成されていてもよい。
例えば、上述したタッチパネルである。この場合、タッチパネルは、表示部２２および入力部２３の双方の機能を有する。つまり、絵本などの画像を表示するとともに、表示された画面に対し、タッチを行うことで、専用アプリの起動・終了や専用アプリに対する操作を行うことができる。なお、これに限られるものではなく、入力部２３は、キーボードやマウス等で構成されていてもよい。
【0026】
音声取得部２４は、発話音声を取得する。音声取得部２４は、例えば、マイクロフォンである。マイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いてよい。また、マイクロフォンとして、無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンであることが好ましい。
【0027】
管理サーバ４０は、外部と通信を行う送受信部４１と、読み手の発話音声と聞き手の発話音声とを分離する分離部４２と、発話音声の意味を把握する把握部４３と、把握した意味に応じた画像を取得する画像取得部４４と、画像を記憶する記憶部４５と、画像を配置して絵本とする配置部４６とを有する。
【0028】
送受信部４１は、携帯端末２０と通信を行い、所定の情報のやりとりを行う。送受信部４１は、音声取得手段の一例であり、携帯端末２０ａから送られた読み手の発話音声を送信情報として取得する。また、送受信部４１は、出力手段の一例であり、絵本等の表示画像の情報を聞き手の携帯端末２０ｂに送る。
分離部４２は、分離手段の一例であり、読み手の発話音声と聞き手の発話音声とを分離する。これらの分離を行う方法は、後述する。
分離部４２は、分離手段の一例であり、読み手の発話音声と聞き手の発話音声とを分離する。これらの分離を行う方法は、後述する。
【0029】
把握部４３は、把握手段の一例であり、読み手の発話音声の意味を把握する。詳しくは、後述するが、把握部４３は、発話音声の中に、予め登録された文言が含まれているか否かを判断し、含まれていた場合は、この文言の意味を発話音声の意味の１つとする。
画像取得部４４は、要素取得手段の一例および画像取得手段の一例であり、把握部４３が把握した意味を現す表示要素を取得する。ここでは、表示要素として、把握部４３が把握した意味に応じた画像を取得する。
画像取得部４４は、要素取得手段の一例および画像取得手段の一例であり、把握部４３が把握した意味を現す表示要素を取得する。ここでは、表示要素として、把握部４３が把握した意味に応じた画像を取得する。
【0030】
記憶部４５は、上記意味と関連付けて画像取得部４４が取得する画像を記憶する。また、記憶部４５は、上記意味と関連付けて画像に対して行う処理の内容について記憶する。この処理の内容については、後述する。
配置部４６は、配置手段の一例であり、取得した表示要素を配置し、聞き手が閲覧する表示画像とする。ここでは、配置部４６は、把握した意味に応じて取得した画像を配置し、絵本とする。つまり、配置部４６は、画像取得部４４が取得した画像に対し、把握した意味に応じた所定の処理を行い、処理が行われた画像を配置して、絵本の絵を構成する。詳しくは、後述するが、絵本の絵は、背景に対し前景を重ね合わせることで行われる。
配置部４６は、配置手段の一例であり、取得した表示要素を配置し、聞き手が閲覧する表示画像とする。ここでは、配置部４６は、把握した意味に応じて取得した画像を配置し、絵本とする。つまり、配置部４６は、画像取得部４４が取得した画像に対し、把握した意味に応じた所定の処理を行い、処理が行われた画像を配置して、絵本の絵を構成する。詳しくは、後述するが、絵本の絵は、背景に対し前景を重ね合わせることで行われる。
【0031】
送受信部４１は、例えば、通信Ｉ／Ｆである。また、分離部４２、把握部４３、画像取得部４４、配置部４６の各機能は、例えば、ＣＰＵにより実現することができる。さらに、記憶部４５は、例えば、ＨＤＤやＳＳＤ等の補助記憶装置を利用することで構築されたデータベースである。
【0032】
＜表示システム１の動作の説明＞
次に、第１の実施形態の表示システム１の動作について、より詳細に説明を行う。
図４は、第１の実施形態における表示システム１の動作の例について説明したフローチャートである。
まず、絵本の読み手が、携帯端末２０ａの入力部２３を使用して専用アプリを操作し、発話音声を入力する。この発話音声は、音声取得部２４が取得する（ステップ１０１）。
次に、読み手の携帯端末２０ａの送受信部２１が、管理サーバ４０に対し、発話音声の情報を、送信情報として送信する（ステップ１０２）。
次に、第１の実施形態の表示システム１の動作について、より詳細に説明を行う。
図４は、第１の実施形態における表示システム１の動作の例について説明したフローチャートである。
まず、絵本の読み手が、携帯端末２０ａの入力部２３を使用して専用アプリを操作し、発話音声を入力する。この発話音声は、音声取得部２４が取得する（ステップ１０１）。
次に、読み手の携帯端末２０ａの送受信部２１が、管理サーバ４０に対し、発話音声の情報を、送信情報として送信する（ステップ１０２）。
【0033】
管理サーバ４０では、送受信部４１が、発話音声の情報を受信する（ステップ１０３）。これは、いったん記憶部４５にて、記憶される。
次に、管理サーバ４０の分離部４２が、読み手の発話音声と聞き手の発話音声とを分離する（ステップ１０４）。つまり、絵本の読み聞かせをする際は、読み手の発話に対し、種々の反応を示すことが多い。例えば、読み手に絵本の内容について質問をしたり、絵本の内容に対する感想として、例えば、「すごい！」、「こわい！」などの音声を発することがある。本実施の形態では、分離部４２は、読み手の発話音声だけを抽出するために、読み手の発話音声と聞き手の発話音声とを分離する。
次に、管理サーバ４０の分離部４２が、読み手の発話音声と聞き手の発話音声とを分離する（ステップ１０４）。つまり、絵本の読み聞かせをする際は、読み手の発話に対し、種々の反応を示すことが多い。例えば、読み手に絵本の内容について質問をしたり、絵本の内容に対する感想として、例えば、「すごい！」、「こわい！」などの音声を発することがある。本実施の形態では、分離部４２は、読み手の発話音声だけを抽出するために、読み手の発話音声と聞き手の発話音声とを分離する。
【0034】
図５は、分離部４２で読み手の発話音声と聞き手の発話音声とを分離する方法について示した図である。
ここで、縦軸は、聞き手の発話音声の音圧を１としたときの、読み手の発話音声の音圧を示している。この例では、聞き手の発話音声の音圧と読み手の発話音声の音圧との比は、４となっている。つまり、読み手は、携帯端末２０ａに向かい発話を行い、携帯端末２０ａと発声部位である口との距離は、非常に近い。対して、聞き手は、読み手のそばにいるものの、携帯端末２０ａに対して、比較的遠い位置にいる。そのため、この距離差に起因して、音圧に、この例では、４倍の差異が生じる。よって、音圧に閾値を設け、分離部４２は、この閾値より大きい音圧が検出された場合は、読み手の発話音声と判断し、この閾値以下の音圧が検出された場合は、聞き手の発話音声と判断することができる。図示する例では、音圧として、２を閾値としている。
ここで、縦軸は、聞き手の発話音声の音圧を１としたときの、読み手の発話音声の音圧を示している。この例では、聞き手の発話音声の音圧と読み手の発話音声の音圧との比は、４となっている。つまり、読み手は、携帯端末２０ａに向かい発話を行い、携帯端末２０ａと発声部位である口との距離は、非常に近い。対して、聞き手は、読み手のそばにいるものの、携帯端末２０ａに対して、比較的遠い位置にいる。そのため、この距離差に起因して、音圧に、この例では、４倍の差異が生じる。よって、音圧に閾値を設け、分離部４２は、この閾値より大きい音圧が検出された場合は、読み手の発話音声と判断し、この閾値以下の音圧が検出された場合は、聞き手の発話音声と判断することができる。図示する例では、音圧として、２を閾値としている。
【0035】
図４に戻り、次に、把握部４３が、分離部４２で分離された読み手の発話音声の意味を把握する（ステップ１０５）。具体的には、把握部４３は、既知の音声認識技術を使用し、音声を文字列に変換する。既知の音声認識技術は、例えば、隠れマルコフモデル（Hidden Markov Model）を用いた統計的手法や、動的時間伸縮法を用いることができる。
そして、把握部４３は、変換された文字列の中に、予め登録され画像を特定する文言が含まれるか否かを調べる（ステップ１０６）。この文言は、単語でもよく、複数の単語から構成されているセンテンスでもよい。
その結果、含まれない場合（ステップ１０６でＮｏ）、ステップ１０１に戻る。
対して、含まれる場合（ステップ１０６でＹｅｓ）、画像取得部４４は、記憶部４５から、この文言に対応する画像を取得する（ステップ１０７）。
次に、配置部４６は、読み手の発話音声の中に、予め登録され画像取得部４４が取得した画像の特徴を表す特徴情報が含まれるか否かを調べる（ステップ１０８）。
その結果、含まれない場合（ステップ１０８でＮｏ）、ステップ１１０に進む。
対して、含まれる場合（ステップ１０８でＹｅｓ）、配置部４６は、この画像に対しこの特徴に合わせる処理を行う（ステップ１０９）。
そして、把握部４３は、変換された文字列の中に、予め登録され画像を特定する文言が含まれるか否かを調べる（ステップ１０６）。この文言は、単語でもよく、複数の単語から構成されているセンテンスでもよい。
その結果、含まれない場合（ステップ１０６でＮｏ）、ステップ１０１に戻る。
対して、含まれる場合（ステップ１０６でＹｅｓ）、画像取得部４４は、記憶部４５から、この文言に対応する画像を取得する（ステップ１０７）。
次に、配置部４６は、読み手の発話音声の中に、予め登録され画像取得部４４が取得した画像の特徴を表す特徴情報が含まれるか否かを調べる（ステップ１０８）。
その結果、含まれない場合（ステップ１０８でＮｏ）、ステップ１１０に進む。
対して、含まれる場合（ステップ１０８でＹｅｓ）、配置部４６は、この画像に対しこの特徴に合わせる処理を行う（ステップ１０９）。
【0036】
図６（ａ）～（ｂ）は、第１の実施形態で用いられる記憶部４５のデータ構造を示した図である。
図示するように、記憶部４５に記憶されるデータのデータ構造は、図６（ａ）に示す画像情報に対するデータ構造と、図６（ｂ）に示す特徴情報に対するデータ構造の２種類が存在する。ここで「特徴情報」は、絵本に登場するものを特徴付ける情報である。
図６（ａ）に示す画像情報に対するデータ構造は、図４のステップ１０６～ステップ１０７で使用される。このデータ構造は、Ｎｏ．文言、属性、画像の４つからなる。このうち、「Ｎｏ．」は、各文言毎に付与される番号である。また、「文言」は、ステップ１０６で述べた予め登録された文言である。さらに、「属性」は、画像の属性であり、背景であるか前景であるかの何れかを示す。そして、「画像」は、画像のデータが格納されるファイルのファイル名を示す。
図示するように、記憶部４５に記憶されるデータのデータ構造は、図６（ａ）に示す画像情報に対するデータ構造と、図６（ｂ）に示す特徴情報に対するデータ構造の２種類が存在する。ここで「特徴情報」は、絵本に登場するものを特徴付ける情報である。
図６（ａ）に示す画像情報に対するデータ構造は、図４のステップ１０６～ステップ１０７で使用される。このデータ構造は、Ｎｏ．文言、属性、画像の４つからなる。このうち、「Ｎｏ．」は、各文言毎に付与される番号である。また、「文言」は、ステップ１０６で述べた予め登録された文言である。さらに、「属性」は、画像の属性であり、背景であるか前景であるかの何れかを示す。そして、「画像」は、画像のデータが格納されるファイルのファイル名を示す。
【0037】
また、図６（ｂ）に示す特徴情報に対するデータ構造は、図４のステップ１０８～ステップ１０９で使用される。このデータ構造は、Ｎｏ．文言、処理の３つからなる。このうち、「Ｎｏ．」は、各文言毎に付与される番号である。また、「文言」は、ステップ１０６で述べた予め登録された文言である。さらに、「処理」は、画像に対して行う処理の内容を示す。
【0038】
図４のステップ１０６において、把握部４３は、変換された文字列の中に、図６（ａ）に挙げた文言が存在するか否かを調べる。そして、存在した場合、画像取得部４４は、ステップ１０７において、この文言に対応する画像を取得する。図６（ａ）で図示した例は、例えば、文言として、「森」、「空」等が登録される。そして、森を表す画像として、「□×◇．ｊｐｇ」のファイル名で示す画像のデータが用意され、空を表す画像として、「○×△．ｊｐｇ」のファイル名で示す画像のデータが用意される。
【0039】
また、図４のステップ１０８において、配置部４６は、変換された文字列の中に、図６（ｂ）に挙げた文言が存在するか否かを調べる。そして、存在した場合、配置部４６は、ステップ１０９において、この画像に対し、この特徴に合わせる処理を行う。図６（ｂ）で図示した例は、例えば、文言として、「大きい」、「小さい」等が登録される。そして、文言として「大きい」が存在したときは、対応する画像を拡大する。対して、文言として「小さい」が存在したときは、対応する画像を縮小する。また、例えば、「３匹」などの「数字＋匹（ひき）」の組み合わせの場合は、動物等の画像の数を３匹になるように増減する。さらに、文言として、例えば、「走る」が存在したときは、対応する画像を速く動かし、走る様を表す。またさらに、文言として、例えば、「青い」が存在したときは、対応する画像を青色に着色する。
【0040】
再び図４に戻り、次に、配置部４６は、画像を配置し、絵本とする（ステップ１１０）。
図７（ａ）～（ｃ）は、配置部４６が、画像を配置し、絵本とする処理について示した図である。なお、ここでは、読み手が、以下の文章を発話した場合を例に取り説明を行う。
――――――――――――――――――――――――――――――――――――――――
読み手：「深い深い森の中に、熊さんがいました。熊さんは、３匹いました。」
――――――――――――――――――――――――――――――――――――――――
図７（ａ）～（ｃ）は、配置部４６が、画像を配置し、絵本とする処理について示した図である。なお、ここでは、読み手が、以下の文章を発話した場合を例に取り説明を行う。
――――――――――――――――――――――――――――――――――――――――
読み手：「深い深い森の中に、熊さんがいました。熊さんは、３匹いました。」
――――――――――――――――――――――――――――――――――――――――
【0041】
このうち、図７（ａ）は、読み手の発話音声の中に、「森」の文言が存在した場合に、配置部４６が森に対応する画像Ｇｍを配置した状態を示している。「森」の文言は、図６（ａ）に示すＮｏ．１００１の「森」の文言に合致するため、画像取得部４４は、森の画像Ｇｍを取得し、配置部４６が森の画像Ｇｍを配置する。これは、読み手が、「深い深い森の中に、」の発話をした場合が該当する。また、配置部４６は、画像を配置するときに、図６（ａ）で示した属性を考慮する。即ち、属性には、背景と前景があり、配置部４６は、背景の画像と前景の画像とを区別して配置する。この場合、「森」の文言の属性は、背景であるため、配置部４６は、森の画像Ｇｍを背景として配置する。
【0042】
次に、図７（ｂ）は、読み手の発話音声の中に、「熊」の文言が存在した場合に、配置部４６が熊に対応する画像Ｇｋを配置した状態を示している。「熊」の文言は、図６（ａ）に示すＮｏ．１００６の「熊」の文言に合致するため、画像取得部４４は、熊の画像Ｇｋを取得し、配置部４６が熊の画像Ｇｋを配置する。これは、読み手が、「深い深い森の中に、」の後に、「熊さんがいました。」の発話をした場合が該当する。このとき、上述した場合と同様に、配置部４６は、画像を配置するときに、図６（ａ）で示した属性を考慮する。この場合、「熊」の文言の属性は、前景であるため、配置部４６は、熊の画像Ｇｋを前景として配置する。具体的には、背景の森の画像Ｇｍを隠すようにして、熊の画像Ｇｋを重畳させて配置する。
【0043】
さらに、図７（ｃ）は、読み手の発話音声の中に、「３匹」の文言が存在した場合に、配置部４６がこれに対応する画像を配置した状態を示している。この場合、「３匹」の文言は、図６（ｂ）に示すＮｏ．５００４の「数字＋匹（ひき）」の文言に合致するため、配置部４６は、熊の画像Ｇｋを３匹になるように増加させ、３匹となった熊の画像Ｇｋを配置する。これは、例えば、読み手が、「深い深い森の中に、熊さんがいました。」の後に、「熊さんは、３匹いました。」等の発話をした場合が該当する。
【0044】
図４に戻り、送受信部４１は、配置部４６が作成した絵本の情報を、聞き手の携帯端末２０ｂに送信する（ステップ１１１）。本実施の形態では、図７（ａ）～（ｃ）に示した絵本の各画像が、順次送られる。
絵本の情報は、携帯端末２０ｂの送受信部２１が受信し（ステップ１１２）、表示部２２にて、絵本が表示される（ステップ１１３）。この場合、聞き手は、読み手の音声として、「深い深い森の中に、熊さんがいました。熊さんは、３匹いました。」を聞きつつ、これに合わせて、図７（ａ）～（ｃ）の画像を順次見ることになり、絵本の読み聞かせをすることができる。
絵本の情報は、携帯端末２０ｂの送受信部２１が受信し（ステップ１１２）、表示部２２にて、絵本が表示される（ステップ１１３）。この場合、聞き手は、読み手の音声として、「深い深い森の中に、熊さんがいました。熊さんは、３匹いました。」を聞きつつ、これに合わせて、図７（ａ）～（ｃ）の画像を順次見ることになり、絵本の読み聞かせをすることができる。
【0045】
なお、画像取得部４４が、新たな背景の画像を取得したときは、絵本における新しいページとして扱うことができる。つまり、背景が新しくなったときは、今までのページとは、異なる場面であり、新たなページであるとみなすことができる。よって、配置部４６は、新しいページを用意し、新たな背景上に前景の画像を配置する。即ち、これによりページめくりをすることができる。
【0046】
［第２の実施形態］
次に、第２の実施形態について説明を行う。第２の実施形態では、読み手の発話音声だけでなく、聞き手の発話音声を加えて、絵本の作成を行う。
図８は、第２の実施形態における表示システム１の機能構成例を示したブロック図である。
この表示システム１において、携帯端末２０ａおよび携帯端末２０ｂとは、図３に示した第１の実施形態における表示システム１と同様の機能構成を有し、送信情報の送受信を行う送受信部２１と、画像の表示を行う表示部２２と、情報を入力する入力部２３と、発話音声を取得する音声取得部２４とを備える。
一方、管理サーバ４０は、分離部４２が存在しないことを除き、第１の実施形態と同様の機能構成を有する。即ち、送受信部４１と、把握部４３と、画像取得部４４と、記憶部４５と、配置部４６とを有する。
携帯端末２０ａ、携帯端末２０ｂおよび管理サーバ４０の各機能部は、第１の実施形態と同様の動作を行う。
次に、第２の実施形態について説明を行う。第２の実施形態では、読み手の発話音声だけでなく、聞き手の発話音声を加えて、絵本の作成を行う。
図８は、第２の実施形態における表示システム１の機能構成例を示したブロック図である。
この表示システム１において、携帯端末２０ａおよび携帯端末２０ｂとは、図３に示した第１の実施形態における表示システム１と同様の機能構成を有し、送信情報の送受信を行う送受信部２１と、画像の表示を行う表示部２２と、情報を入力する入力部２３と、発話音声を取得する音声取得部２４とを備える。
一方、管理サーバ４０は、分離部４２が存在しないことを除き、第１の実施形態と同様の機能構成を有する。即ち、送受信部４１と、把握部４３と、画像取得部４４と、記憶部４５と、配置部４６とを有する。
携帯端末２０ａ、携帯端末２０ｂおよび管理サーバ４０の各機能部は、第１の実施形態と同様の動作を行う。
【0047】
図９は、第２の実施形態の表示システム１の動作の例について説明したフローチャートである。
図９に示したフローチャートのステップ２０１～ステップ２１２は、図４に示したフローチャートのステップ１０１～ステップ１０３、ステップ１０５～ステップ１１３と同様である。即ち、ステップ１０４がないことを除き同様である。よって、第２の実施形態では、読み手の発話音声と聞き手の発話音声との分離を行わない。そして、双方の発話音声についてステップ２０４以降の処理を行うため、読み手の発話音声の意味のみならず、聞き手の発話音声の意味についても把握し、絵本の作成に反映させる。なお、図５で示したように、聞き手の発話音声の音圧は、小さいため、聞き手の発話音声は、携帯端末２０ａではなく、携帯端末２０ｂで取得するようにしてもよい。この場合、携帯端末２０ｂは、聞き手が所持しており、携帯端末２０ａよりも、より近い距離に存在するため、より大きい音圧で発話音声を取得することができる。
図９に示したフローチャートのステップ２０１～ステップ２１２は、図４に示したフローチャートのステップ１０１～ステップ１０３、ステップ１０５～ステップ１１３と同様である。即ち、ステップ１０４がないことを除き同様である。よって、第２の実施形態では、読み手の発話音声と聞き手の発話音声との分離を行わない。そして、双方の発話音声についてステップ２０４以降の処理を行うため、読み手の発話音声の意味のみならず、聞き手の発話音声の意味についても把握し、絵本の作成に反映させる。なお、図５で示したように、聞き手の発話音声の音圧は、小さいため、聞き手の発話音声は、携帯端末２０ａではなく、携帯端末２０ｂで取得するようにしてもよい。この場合、携帯端末２０ｂは、聞き手が所持しており、携帯端末２０ａよりも、より近い距離に存在するため、より大きい音圧で発話音声を取得することができる。
【0048】
第２の実施形態では、把握部４３は、読み手の発話音声だけでなく、さらに聞き手の発話音声の意味を把握し、画像取得部４４は、把握部４３が把握した聞き手の発話音声の意味に応じた画像を取得する。さらに、配置部４６は、画像取得部４４が、取得した画像を配置して絵本を作成する。
【0049】
この具体例を、再び図７（ａ）～（ｃ）を用いて説明する。この場合、読み手と聞き手との間に、次のような会話があった場合が該当する。
――――――――――――――――――――――――――――――――――――――――
読み手：「深い深い森の中に、熊さんがいました。」
聞き手：「何匹いるの？」
読み手：「３匹。」
――――――――――――――――――――――――――――――――――――――――
――――――――――――――――――――――――――――――――――――――――
読み手：「深い深い森の中に、熊さんがいました。」
聞き手：「何匹いるの？」
読み手：「３匹。」
――――――――――――――――――――――――――――――――――――――――
【0050】
この場合、読み手の「深い深い森の中に、熊さんがいました。」の発話音声により、配置部４６は、図７（ａ）～（ｃ）に示す画像を配置する点は、第１の実施形態と同様である。
一方、第２の実施形態では、把握部４３は、聞き手の発話音声の意味として、聞き手の「何匹いるの？」により、熊の数を質問していることを把握する。そして、次の読み手の「３匹。」がその回答であるとして、配置部４６は、熊の画像を３匹になるように増加させ、３匹となった熊の画像を配置する。その結果、図７（ｃ）に示すような画像となる。
第２の実施形態の場合、読み手の発話音声のみならず、聞き手の発話音声を反映させて、絵本を作成することができる。
一方、第２の実施形態では、把握部４３は、聞き手の発話音声の意味として、聞き手の「何匹いるの？」により、熊の数を質問していることを把握する。そして、次の読み手の「３匹。」がその回答であるとして、配置部４６は、熊の画像を３匹になるように増加させ、３匹となった熊の画像を配置する。その結果、図７（ｃ）に示すような画像となる。
第２の実施形態の場合、読み手の発話音声のみならず、聞き手の発話音声を反映させて、絵本を作成することができる。
【0051】
［第３の実施形態］
次に、第３の実施形態について説明を行う。第３の実施形態では、絵本の中に登場するキャラクタが発話するときは、この発話音声を、聞き手の携帯端末２０ｂで実際の音声として、出力するものである。
図１０は、第３の実施形態における表示システム１の機能構成例を示したブロック図である。
この表示システム１において、管理サーバ４０は、第１の実施形態と同様の機能構成を有する。即ち、送受信部４１と、分離部４２と、把握部４３と、画像取得部４４と、記憶部４５と、配置部４６とを有する。
一方、携帯端末２０ａおよび携帯端末２０ｂとは、第１の実施形態に対し、音声出力部２５が加わる点で異なる。
次に、第３の実施形態について説明を行う。第３の実施形態では、絵本の中に登場するキャラクタが発話するときは、この発話音声を、聞き手の携帯端末２０ｂで実際の音声として、出力するものである。
図１０は、第３の実施形態における表示システム１の機能構成例を示したブロック図である。
この表示システム１において、管理サーバ４０は、第１の実施形態と同様の機能構成を有する。即ち、送受信部４１と、分離部４２と、把握部４３と、画像取得部４４と、記憶部４５と、配置部４６とを有する。
一方、携帯端末２０ａおよび携帯端末２０ｂとは、第１の実施形態に対し、音声出力部２５が加わる点で異なる。
【0052】
音声出力部２５は、管理サーバ４０から送られ、表示画像の中に登場するキャラクタの発話音声を出力する。表示画像が絵本の場合、「キャラクタ」は、絵本の中に絵として登場するものである。キャラクタは、特に限られるものではなく、現実に存在するキャラクタでもよく、現実に存在しないキャラクタでもよい。また、現実に存在するキャラクタであっても、人や動物などのように実際に音声等を発する能力がある場合に限られるものではなく、この能力がないキャラクタに発話させてもよい。この例としては、昆虫、木・花等の植物、太陽・月などの天体、おもちゃ等が挙げられる。また、現実に存在しないキャラクタとしては、例えば、妖精、恐竜、怪物、神様、幽霊等が挙げられる。
【0053】
図１１は、第３の実施形態の表示システム１の動作の例について説明したフローチャートである。
図１１に示したフローチャートのステップ３０１～ステップ３１３は、図４に示したフローチャートのステップ１０１～ステップ１１３と同様である。そして、新たにステップ３１４が加わる。ステップ３１４では、上述したように、絵本の中に登場するキャラクタの発話音声を出力する。
図１１に示したフローチャートのステップ３０１～ステップ３１３は、図４に示したフローチャートのステップ１０１～ステップ１１３と同様である。そして、新たにステップ３１４が加わる。ステップ３１４では、上述したように、絵本の中に登場するキャラクタの発話音声を出力する。
【0054】
この場合、読み手は、例えば、以下のような文章を発話する。
――――――――――――――――――――――――――――――――――――――――
読み手：「走りながら熊さんはこう言いました。まて～！」
――――――――――――――――――――――――――――――――――――――――
――――――――――――――――――――――――――――――――――――――――
読み手：「走りながら熊さんはこう言いました。まて～！」
――――――――――――――――――――――――――――――――――――――――
【0055】
この場合、把握部４３は、読み手の発話音声の意味として、「熊さんはこう言いました。」により、絵本の中に登場するキャラクタの発話であることを把握する。この場合、キャラクタは、熊である。そして、送受信部４１は、絵本の情報として、熊の発話音声をさらに聞き手の携帯端末２０ｂに送る。その結果、ステップ３１４で述べたように、携帯端末２０ｂでは、絵本の中に登場する熊の発話音声が出力される。具体的には、聞き手は、以下のような音声を聞く。
――――――――――――――――――――――――――――――――――――――――
読み手：「走りながら熊さんはこう言いました。まて～！」
携帯端末２０ｂ：「まて～！」
――――――――――――――――――――――――――――――――――――――――
――――――――――――――――――――――――――――――――――――――――
読み手：「走りながら熊さんはこう言いました。まて～！」
携帯端末２０ｂ：「まて～！」
――――――――――――――――――――――――――――――――――――――――
【0056】
このとき、携帯端末２０ｂで出力される発話音声は、予め用意していたものでもよく、合成音声であってもよい。また、読み手の発話音声を加工したものであってもよい。そして、この発話音声は、キャラクタのイメージに合致した声質で出力することが好ましい。例えば、熊の場合は、低い音声で出力する。また、妖精の場合は、高い音声で出力する。この場合、携帯端末２０ｂで出力される発話音声を、読み手の発話音声を加工したものとする場合、元の発話音声に対し、周波数変換等を行うことで実現できる。
第３の実施形態の場合、聞き手は、携帯端末２０ｂから、キャラクタの発話音声を聞くことができ、臨場感がより向上する。
第３の実施形態の場合、聞き手は、携帯端末２０ｂから、キャラクタの発話音声を聞くことができ、臨場感がより向上する。
【0057】
［第４の実施形態］
次に、第４の実施形態について説明を行う。第４の実施形態では、読み手は、予め定められた音声を読むことで発話を行う。つまり、絵本のストーリーは、読み手の創作や実物の本を読む等でもよいが、携帯端末２０ａに表示し、これを読み、発話するようにすれば、読み手の負担を軽減することができる。この場合、絵本のストーリーは、管理サーバ４０に用意されている。
次に、第４の実施形態について説明を行う。第４の実施形態では、読み手は、予め定められた音声を読むことで発話を行う。つまり、絵本のストーリーは、読み手の創作や実物の本を読む等でもよいが、携帯端末２０ａに表示し、これを読み、発話するようにすれば、読み手の負担を軽減することができる。この場合、絵本のストーリーは、管理サーバ４０に用意されている。
【0058】
第４の実施形態における表示システム１の機能構成例を示すブロック図は、図３に示した第１の実施形態と同様であるので、ここでは説明を省略する。
【0059】
図１２は、第４の実施形態の表示システム１の動作の例について説明したフローチャートである。
まず、絵本の読み手が、携帯端末２０ａの入力部２３を使用して専用アプリを操作し、読み聞かせをする絵本を選択する（ステップ４０１）。これは、専用アプリが、管理サーバ４０に保存されている絵本の一覧を表示し、この一覧から選択することで行うことができる。
次に、管理サーバ４０の送受信部４１が、絵本の文章であり、予め用意され、読み手が読む文章を読み手の携帯端末２０ａに対し出力する（ステップ４０２）。これにより、携帯端末２０ａの表示部２２には、この文章が表示され、読み手は、これを絵本の文章として読む。
まず、絵本の読み手が、携帯端末２０ａの入力部２３を使用して専用アプリを操作し、読み聞かせをする絵本を選択する（ステップ４０１）。これは、専用アプリが、管理サーバ４０に保存されている絵本の一覧を表示し、この一覧から選択することで行うことができる。
次に、管理サーバ４０の送受信部４１が、絵本の文章であり、予め用意され、読み手が読む文章を読み手の携帯端末２０ａに対し出力する（ステップ４０２）。これにより、携帯端末２０ａの表示部２２には、この文章が表示され、読み手は、これを絵本の文章として読む。
【0060】
以下のステップ４０３～ステップ４１５は、第１の実施形態で説明した図４のステップ１０１～ステップ１１３と同様である。
【0061】
図１３は、第４の実施形態で用いられる記憶部４５のデータ構造を示した図である。
図示するデータ構造は、Ｎｏ．ページ、文言、属性、画像、処理の６つからなる。このうち、「Ｎｏ．」、「文言」、「属性」、「画像」、「処理」は、第１の実施形態において、図６で説明した場合と同様である。また、「ページ」は、絵本のページ数を表す。
このデータ構造が用意される絵本のストーリーは、例えば、下記に示すような場合である。
――――――――――――――――――――――――――――――――――――――――
読み手：「深い深い森の中に、熊さんがいました。熊さんは、３匹いました。」
読み手：「そこに、少女が１人現れました。少女は驚き、逃げだしました。」
読み手：「そして、熊さんも少女を追って走りだしました。」
読み手：「走りながら熊さんはこう言いました。まて～！」
読み手：「町に逃げ戻った少女は、助けを求めました。」
――――――――――――――――――――――――――――――――――――――――
図示するデータ構造は、Ｎｏ．ページ、文言、属性、画像、処理の６つからなる。このうち、「Ｎｏ．」、「文言」、「属性」、「画像」、「処理」は、第１の実施形態において、図６で説明した場合と同様である。また、「ページ」は、絵本のページ数を表す。
このデータ構造が用意される絵本のストーリーは、例えば、下記に示すような場合である。
――――――――――――――――――――――――――――――――――――――――
読み手：「深い深い森の中に、熊さんがいました。熊さんは、３匹いました。」
読み手：「そこに、少女が１人現れました。少女は驚き、逃げだしました。」
読み手：「そして、熊さんも少女を追って走りだしました。」
読み手：「走りながら熊さんはこう言いました。まて～！」
読み手：「町に逃げ戻った少女は、助けを求めました。」
――――――――――――――――――――――――――――――――――――――――
【0062】
この場合、読み手の発話内容は、決まっており、把握部４３は、画像を特定する文言として、発話音声の中に、図１３に示した文言が登場するか否かを調べる。そして、その文言が登場したときに、画像取得部４４は、ステップ４０９において、この文言に対応する画像を取得する。また、配置部４６は、変換された文字列の中に、図１３に示した文言が登場するか否かを調べる。そして、その文言が登場したときに、配置部４６は、ステップ４１１において、この画像に対し、この特徴に合わせる処理を行う。
【0063】
上述した文章の場合、図１３において、Ｎｏ．７００１～Ｎｏ．７００９で示す箇所に対応する。
ここでは、まず、図７（ａ）～（ｃ）に挙げた絵本が作成される。具体的には、図７（ａ）～（ｃ）で説明したように、文章１行目の「深い深い森の中に、熊さんがいました。熊さんは、３匹いました。」により、Ｎｏ．７００１～Ｎｏ．７００３が参照され、図７（ａ）～（ｃ）の絵本が作成される。即ち、配置部４６は、「森」の文言により、背景として森の画像を配置する（図７（ａ））。さらに、配置部４６は、「熊」の文言により、前景として熊の画像を配置する（図７（ｂ））。そして、配置部４６は、「３匹」の文言により、熊を３匹に増加させる（図７（ｃ））。
ここでは、まず、図７（ａ）～（ｃ）に挙げた絵本が作成される。具体的には、図７（ａ）～（ｃ）で説明したように、文章１行目の「深い深い森の中に、熊さんがいました。熊さんは、３匹いました。」により、Ｎｏ．７００１～Ｎｏ．７００３が参照され、図７（ａ）～（ｃ）の絵本が作成される。即ち、配置部４６は、「森」の文言により、背景として森の画像を配置する（図７（ａ））。さらに、配置部４６は、「熊」の文言により、前景として熊の画像を配置する（図７（ｂ））。そして、配置部４６は、「３匹」の文言により、熊を３匹に増加させる（図７（ｃ））。
【0064】
図１４（ａ）～（ｂ）は、文章２行目以降に作成される絵本の例を示した図である。
この場合、文章２行目の「そこに、少女が１人現れました。少女は驚き、逃げだしました。」により、Ｎｏ．７００４～Ｎｏ．７００５が参照され、図１４（ａ）の絵本が作成される。そして、矢印Ｙｓで示した方向に少女が速く移動する。即ち、配置部４６は、「少女」の文言により、前景として少女の画像を配置する。そして、「逃げだしました」の文言により、逃げだす様子を表すように、矢印Ｙｓで示した方向に少女を速く移動させる。
次に、文章３行目の「そして、熊さんも少女を追って走りだしました。」により、Ｎｏ．７００６が参照され、矢印Ｙｋで示した方向に熊が速く移動する。即ち、配置部４６は、「走り出しました」の文言により、少女を追いかける様子を表すように、矢印Ｙｋで示した方向に熊を速く移動させる。
この場合、文章２行目の「そこに、少女が１人現れました。少女は驚き、逃げだしました。」により、Ｎｏ．７００４～Ｎｏ．７００５が参照され、図１４（ａ）の絵本が作成される。そして、矢印Ｙｓで示した方向に少女が速く移動する。即ち、配置部４６は、「少女」の文言により、前景として少女の画像を配置する。そして、「逃げだしました」の文言により、逃げだす様子を表すように、矢印Ｙｓで示した方向に少女を速く移動させる。
次に、文章３行目の「そして、熊さんも少女を追って走りだしました。」により、Ｎｏ．７００６が参照され、矢印Ｙｋで示した方向に熊が速く移動する。即ち、配置部４６は、「走り出しました」の文言により、少女を追いかける様子を表すように、矢印Ｙｋで示した方向に熊を速く移動させる。
【0065】
さらに、文章４行目の「走りながら熊さんはこう言いました。まて～！」により、Ｎｏ．７００７が参照され、第３の実施形態で説明したように、聞き手の携帯端末２０ｂに、「まて～！」という熊の発話音声が出力される。
そして、文章５行目の「町に逃げ戻った少女は、助けを求めました。」により、Ｎｏ．７００８～Ｎｏ．７００９が参照され、図１４（ｂ）の絵本が作成される。即ち、配置部４６は、「町」の文言により、背景として町の画像を配置する。なお、この場合、ページ数が１から２に変化するため、ページめくりがされた状態となる。そして、配置部４６は、「少女」の文言により、前景として少女の画像を配置する。
第４の実施形態の場合、読み手は、携帯端末２０ａに表示される文章を読み上げるだけで、読み聞かせを行うことができ、読み手の負担を軽減することができる。
そして、文章５行目の「町に逃げ戻った少女は、助けを求めました。」により、Ｎｏ．７００８～Ｎｏ．７００９が参照され、図１４（ｂ）の絵本が作成される。即ち、配置部４６は、「町」の文言により、背景として町の画像を配置する。なお、この場合、ページ数が１から２に変化するため、ページめくりがされた状態となる。そして、配置部４６は、「少女」の文言により、前景として少女の画像を配置する。
第４の実施形態の場合、読み手は、携帯端末２０ａに表示される文章を読み上げるだけで、読み聞かせを行うことができ、読み手の負担を軽減することができる。
【0066】
［第５の実施形態］
次に、第５の実施形態について説明を行う。第５の実施形態の表示システム１では、管理サーバ４０は、読み手の発話音声の意味に応じたテキストを取得し、取得したテキストを配置し、表示画像として文章にする。そして、聞き手は、携帯端末２０ｂで、表示画像として文章を閲覧する。
図１５は、第５の実施形態における表示システム１の機能構成例を示したブロック図である。
この表示システム１において、携帯端末２０ａおよび携帯端末２０ｂとは、図３に示した第１の実施形態における表示システム１と同様の機能構成を有する。即ち、携帯端末２０ａおよび携帯端末２０ｂは、送信情報の送受信を行う送受信部２１と、画像の表示を行う表示部２２と、情報を入力する入力部２３と、発話音声を取得する音声取得部２４とを備える。これらの各機能部は、第１の実施形態と同様の動作を行う。
一方、管理サーバ４０は、第１の実施形態に比較して、画像取得部４４の代わりにテキスト取得部４７が入る。また、第１の実施形態に比較して、把握部４３、画像取得部４４および記憶部４５の動作が異なる。よって、以下、この事項を中心に説明を行う。
次に、第５の実施形態について説明を行う。第５の実施形態の表示システム１では、管理サーバ４０は、読み手の発話音声の意味に応じたテキストを取得し、取得したテキストを配置し、表示画像として文章にする。そして、聞き手は、携帯端末２０ｂで、表示画像として文章を閲覧する。
図１５は、第５の実施形態における表示システム１の機能構成例を示したブロック図である。
この表示システム１において、携帯端末２０ａおよび携帯端末２０ｂとは、図３に示した第１の実施形態における表示システム１と同様の機能構成を有する。即ち、携帯端末２０ａおよび携帯端末２０ｂは、送信情報の送受信を行う送受信部２１と、画像の表示を行う表示部２２と、情報を入力する入力部２３と、発話音声を取得する音声取得部２４とを備える。これらの各機能部は、第１の実施形態と同様の動作を行う。
一方、管理サーバ４０は、第１の実施形態に比較して、画像取得部４４の代わりにテキスト取得部４７が入る。また、第１の実施形態に比較して、把握部４３、画像取得部４４および記憶部４５の動作が異なる。よって、以下、この事項を中心に説明を行う。
【0067】
把握部４３は、読み手の発話音声の意味を把握する。この場合、音声認識等の手法により、読み手の発話音声の意味の全てを把握することが好ましい。
テキスト取得部４７は、要素取得手段の一例であり、把握部４３が把握した意味を現す表示要素を取得する。ここでは、表示要素として、把握部４３が把握した意味に応じたテキストを取得する。
テキスト取得部４７は、要素取得手段の一例であり、把握部４３が把握した意味を現す表示要素を取得する。ここでは、表示要素として、把握部４３が把握した意味に応じたテキストを取得する。
【0068】
記憶部４５は、上記意味と関連付けて画像取得部４４が取得するテキストを記憶する。
配置部４６は、把握した意味に応じて取得したテキストを配置し、表示情報とする。つまり、配置部４６は、画像取得部４４が取得したテキストを配置して、文章を構成する。配置部４６は、例えば、縦書き、横書き、改行等を考慮してテキストの配置を行い、文章とすることが好ましい。
配置部４６は、把握した意味に応じて取得したテキストを配置し、表示情報とする。つまり、配置部４６は、画像取得部４４が取得したテキストを配置して、文章を構成する。配置部４６は、例えば、縦書き、横書き、改行等を考慮してテキストの配置を行い、文章とすることが好ましい。
【0069】
図１６は、第５の実施形態の表示システム１の動作の例について説明したフローチャートである。
図１６に示したフローチャートのステップ５０１～ステップ５０５は、図４に示したフローチャートのステップ１０１～ステップ１０５と同様である。
ステップ５０６以降は、配置部４６は、テキストを配置し、文章とする（ステップ５０６）。
そして、送受信部４１は、配置部４６が作成した文章の情報を、聞き手の携帯端末２０ｂに送信する（ステップ５０７）。
文章の情報は、携帯端末２０ｂの送受信部２１が受信し（ステップ５０８）、表示部２２にて、文章が表示される（ステップ５０９）。この場合も、文章の読み聞かせをすることができる。
図１６に示したフローチャートのステップ５０１～ステップ５０５は、図４に示したフローチャートのステップ１０１～ステップ１０５と同様である。
ステップ５０６以降は、配置部４６は、テキストを配置し、文章とする（ステップ５０６）。
そして、送受信部４１は、配置部４６が作成した文章の情報を、聞き手の携帯端末２０ｂに送信する（ステップ５０７）。
文章の情報は、携帯端末２０ｂの送受信部２１が受信し（ステップ５０８）、表示部２２にて、文章が表示される（ステップ５０９）。この場合も、文章の読み聞かせをすることができる。
【0070】
以上詳述した表示システム１によれば、第１の実施形態～第４の実施形態では、把握部４３が、読み手の発話音声の意味を把握し、配置部４６が、これに応じた絵を配置し、絵本を作成する。これにより、読み手が自由に話し、ストーリーを創作するような場合でも絵本が作成される。また、読み手は、コントローラのボタン等を押すような作業は必要なく、絵本の絵の変更、ページめくりなどが、いわば自動的に行われ、ストーリーが進行するため、読み手の負担が軽減される。またその結果、絵本となる読み手の話の内容に基づいて、聞き手の携帯端末等にリアルタイムで絵本の絵が表示されるので、聞き手は、読み手の発話音声を聞きながら、携帯端末等で臨場感あふれる絵本を楽しむことができる。また、第５の実施形態では、把握部４３が、読み手の発話音声の意味を把握し、配置部４６が、これに応じたテキストを配置し、文章を作成する。これにより、文章を基に読み聞かせを行うことができる。
また、それぞれが、携帯端末２０を使用することで、読み聞かせを行う場所などの制限が緩和され、読み手や聞き手が、好きな場所で読み聞かせを行うことができる。さらに、それぞれが携行可能な携帯端末２０を所持することで、利便性が向上する。
また、それぞれが、携帯端末２０を使用することで、読み聞かせを行う場所などの制限が緩和され、読み手や聞き手が、好きな場所で読み聞かせを行うことができる。さらに、それぞれが携行可能な携帯端末２０を所持することで、利便性が向上する。
【0071】
また、以上詳述した形態では、表示システム１は、携帯端末２０および管理サーバ４０が、ネットワーク７０、ネットワーク８０、アクセスポイント９０を介して接続されることにより構成されていたが、管理サーバ４０だけでも表示システムであるとして捉えることができる。また、管理サーバ４０で行う処理は、携帯端末２０でも同様のことができる。よってこの場合は、携帯端末２０を表示システムとして捉えることもできる。
【0072】
さらに、上述した例では、携帯端末２０を使用する例を示したが、これに限られるものではない。例えば、携帯端末２０の代わりに、デスクトップコンピュータやテレビを使用することもできる。
またさらに、上述した例では、読み手と聞き手とは、そばにいる場合について説明を行ったが、これに限られるものではなく、読み手と聞き手とが離れていてもよい。この場合、読み手の発話音声は、聞き手には直接届かない。そのため、読み手の発話音声は、携帯端末２０ａから管理サーバ４０を介して聞き手の携帯端末２０ｂに送られ、携帯端末２０ｂに備えられたスピーカ等から出力する。これにより、読み手の発話音声を、聞き手が聞くことができる。またこのとき、携帯端末２０ｂにおいて、絵本や文章の表示のみならず、携帯端末２０ａで撮影した読み手の映像を併せて表示するようにしてもよい。さらに、携帯端末２０ａにおいて、携帯端末２０ｂで取得した聞き手の映像や、発話音声を出力するようにしてもよい。なおこの場合、読み手と聞き手の発話音声は、それぞれの携帯端末２０ａ、２０ｂだけで取得されるため、読み手の発話音声と聞き手の発話音声とを分離する分離部４２は、不要になる場合がある。
またさらに、上述した例では、読み手と聞き手とは、そばにいる場合について説明を行ったが、これに限られるものではなく、読み手と聞き手とが離れていてもよい。この場合、読み手の発話音声は、聞き手には直接届かない。そのため、読み手の発話音声は、携帯端末２０ａから管理サーバ４０を介して聞き手の携帯端末２０ｂに送られ、携帯端末２０ｂに備えられたスピーカ等から出力する。これにより、読み手の発話音声を、聞き手が聞くことができる。またこのとき、携帯端末２０ｂにおいて、絵本や文章の表示のみならず、携帯端末２０ａで撮影した読み手の映像を併せて表示するようにしてもよい。さらに、携帯端末２０ａにおいて、携帯端末２０ｂで取得した聞き手の映像や、発話音声を出力するようにしてもよい。なおこの場合、読み手と聞き手の発話音声は、それぞれの携帯端末２０ａ、２０ｂだけで取得されるため、読み手の発話音声と聞き手の発話音声とを分離する分離部４２は、不要になる場合がある。
【0073】
＜プログラムの説明＞
ここで、以上説明を行った本実施の形態における管理サーバ４０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。そして、この処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、管理サーバ４０に設けられたコンピュータ内部の図示しないＣＰＵが、上述した各機能を実現するプログラムを実行し、これらの各機能を実現させる。
ここで、以上説明を行った本実施の形態における管理サーバ４０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。そして、この処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、管理サーバ４０に設けられたコンピュータ内部の図示しないＣＰＵが、上述した各機能を実現するプログラムを実行し、これらの各機能を実現させる。
【0074】
よって、本実施の形態で、管理サーバ４０が行う処理は、コンピュータに、読み手の発話音声を取得する音声取得機能と、読み手の発話音声の意味を把握する把握機能と、把握機能が把握した意味を現す表示要素を取得する要素取得機能と、取得した表示要素を配置し、聞き手が閲覧する表示情報とする配置機能と、を実現させるためのプログラムとして捉えることもできる。
また、本実施の形態で、管理サーバ４０が行う処理は、コンピュータに、読み手の発話音声を取得する音声取得機能と、読み手の発話音声の意味を把握する把握機能と、把握機能が把握した意味に応じた画像を取得する画像取得機能と、意味に応じて取得した画像を配置し、絵本とする配置機能と、を実現させるためのプログラムとして捉えることもできる。
また、本実施の形態で、管理サーバ４０が行う処理は、コンピュータに、読み手の発話音声を取得する音声取得機能と、読み手の発話音声の意味を把握する把握機能と、把握機能が把握した意味に応じた画像を取得する画像取得機能と、意味に応じて取得した画像を配置し、絵本とする配置機能と、を実現させるためのプログラムとして捉えることもできる。
【0075】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろんＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。
【0076】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0077】
１…表示システム、２０、２０ａ、２０ｂ…携帯端末、４０…管理サーバ、４１…送受信部、４２…分離部、４３…把握部、４４…画像取得部、４５…記憶部、４６…配置部、４７…テキスト取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
