ホーム > 特許ランキング > カシオ計算機株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024148186
(43)【公開日】2024-10-18
(54)【発明の名称】表示方法、電子絵本システム及び情報処理装置
(51)【国際特許分類】
G10H 1/00 20060101AFI20241010BHJP
G10G 3/04 20060101ALI20241010BHJP
G10G 1/00 20060101ALI20241010BHJP
G09B 15/00 20060101ALI20241010BHJP
【ＦＩ】
G10H1/00 Z
G10G3/04
G10G1/00
G09B15/00 Z
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023061062
(22)【出願日】2023-04-05
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】金子 優太
【テーマコード（参考）】
5D182
5D478
【Ｆターム（参考）】
5D182AA12
5D182AA24
5D182AB03
5D182AD03
5D478FF02
5D478FF12
5D478FF22
5D478KK02
5D478KK12
(57)【要約】
【課題】ユーザが飽きずに楽しみながら課題に取り組めるようにする。
【解決手段】電子絵本システムによれば、情報処理装置の制御部は、電子絵本の複数のシーンごとに、アニメーションを含むシーン画像及びユーザがクリアすべき課題曲の楽譜を表示部に表示させ、電子楽器からユーザが課題をクリアしたことが通知されると、次のシーンに移行し、次のシーンのアニメーションを含むシーン画像及び楽譜を表示部に表示させる。
【選択図】図４
【解決手段】電子絵本システムによれば、情報処理装置の制御部は、電子絵本の複数のシーンごとに、アニメーションを含むシーン画像及びユーザがクリアすべき課題曲の楽譜を表示部に表示させ、電子楽器からユーザが課題をクリアしたことが通知されると、次のシーンに移行し、次のシーンのアニメーションを含むシーン画像及び楽譜を表示部に表示させる。
【選択図】図４
【特許請求の範囲】
【請求項1】
情報処理装置と電子機器とがデータ送受信可能に接続され、前記情報処理装置が複数のシーンを有する電子絵本を表示部に表示する電子絵本システムにおける表示方法であって、
前記情報処理装置は、前記複数のシーンのうちの最終シーンを除く少なくとも２つ以上のシーンに、
互いに異なる次のシーンにそれぞれ移行可能な複数の対象を含むシーン画像を前記表示部に表示させ、
前記表示部に表示された、前記電子機器の操作課題をクリアした場合、ユーザが前記複数の対象の中から選択した１つに応じた次のシーンのシーン画像を前記表示部に表示させる、
表示方法。
前記情報処理装置は、前記複数のシーンのうちの最終シーンを除く少なくとも２つ以上のシーンに、
互いに異なる次のシーンにそれぞれ移行可能な複数の対象を含むシーン画像を前記表示部に表示させ、
前記表示部に表示された、前記電子機器の操作課題をクリアした場合、ユーザが前記複数の対象の中から選択した１つに応じた次のシーンのシーン画像を前記表示部に表示させる、
表示方法。
【請求項2】
前記情報処理装置は、
前記電子機器からユーザが前記操作課題をクリアしたことが通知されると、前記次のシーンのシーン画像として、その前のシーンで選択された前記対象に関連するシーン画像を前記表示部に表示させる、
請求項１に記載の表示方法。
前記電子機器からユーザが前記操作課題をクリアしたことが通知されると、前記次のシーンのシーン画像として、その前のシーンで選択された前記対象に関連するシーン画像を前記表示部に表示させる、
請求項１に記載の表示方法。
【請求項3】
前記複数の対象は、複数のキャラクタの夫々に付与された複数のマークである、請求項１に記載の表示方法。
【請求項4】
前記電子機器は、電子楽器であり、
前記操作課題は、前記電子楽器において演奏すべき課題曲であり、
前記情報処理装置は、前記操作課題を楽譜として前記表示部に表示させる、請求項１に記載の表示方法。
前記操作課題は、前記電子楽器において演奏すべき課題曲であり、
前記情報処理装置は、前記操作課題を楽譜として前記表示部に表示させる、請求項１に記載の表示方法。
【請求項5】
前記電子機器は、電子楽器であり、前記ユーザが操作した操作子に基づいて、前記複数の対象のうち選択された対象を特定し、特定した前記対象に関する情報を前記情報処理装置に送信する、請求項１に記載の表示方法。
【請求項6】
前記電子機器は、電子楽器であり、
前記情報処理装置における前記シーン画像におけるアニメーションの表示に合わせて、前記アニメーションに対応する音声を出力する、請求項１に記載の表示方法。
前記情報処理装置における前記シーン画像におけるアニメーションの表示に合わせて、前記アニメーションに対応する音声を出力する、請求項１に記載の表示方法。
【請求項7】
前記情報処理装置は、
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像を含む映像を作成し、作成した前記映像として前記一連のシーン画像を時系列の順に前記表示部に表示させる、請求項１に記載の表示方法。
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像を含む映像を作成し、作成した前記映像として前記一連のシーン画像を時系列の順に前記表示部に表示させる、請求項１に記載の表示方法。
【請求項8】
前記情報処理装置は、
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像及び前記操作課題を含む映像を作成し、作成した前記映像として前記一連のシーン画像及び前記操作課題を時系列の順に前記表示部に表示させる、請求項１に記載の表示方法。
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像及び前記操作課題を含む映像を作成し、作成した前記映像として前記一連のシーン画像及び前記操作課題を時系列の順に前記表示部に表示させる、請求項１に記載の表示方法。
【請求項9】
前記電子機器は、電子楽器であり、
前記情報処理装置は、前記操作課題としての楽譜を前記表示部に表示させ、
前記電子楽器は、ユーザによる前記操作課題の結果としての演奏を録音し、前記映像における前記楽譜の表示に合わせて、前記録音した前記演奏を再生する、請求項８に記載の表示方法。
前記情報処理装置は、前記操作課題としての楽譜を前記表示部に表示させ、
前記電子楽器は、ユーザによる前記操作課題の結果としての演奏を録音し、前記映像における前記楽譜の表示に合わせて、前記録音した前記演奏を再生する、請求項８に記載の表示方法。
【請求項10】
情報処理装置と、電子機器とがデータ送受信可能に接続され、前記情報処理装置が複数のシーンを有する電子絵本を表示部に表示する電子絵本システムであって、
前記情報処理装置は、前記複数のシーンのうちの最終シーンを除く少なくとも２つ以上のシーンに、
互いに異なる次のシーンにそれぞれ移行可能な複数の対象を含むシーン画像を前記表示部に表示させ、
前記表示部に表示された、前記電子機器の操作課題をクリアした場合、ユーザが前記複数の対象の中から選択した１つに応じた次のシーンのシーン画像を前記表示部に表示させる、
電子絵本システム。
前記情報処理装置は、前記複数のシーンのうちの最終シーンを除く少なくとも２つ以上のシーンに、
互いに異なる次のシーンにそれぞれ移行可能な複数の対象を含むシーン画像を前記表示部に表示させ、
前記表示部に表示された、前記電子機器の操作課題をクリアした場合、ユーザが前記複数の対象の中から選択した１つに応じた次のシーンのシーン画像を前記表示部に表示させる、
電子絵本システム。
【請求項11】
前記情報処理装置は、
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像を含む映像を作成し、作成した前記映像として前記一連のシーン画像を時系列の順に前記表示部に表示させる、請求項１０に記載の電子絵本システム。
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像を含む映像を作成し、作成した前記映像として前記一連のシーン画像を時系列の順に前記表示部に表示させる、請求項１０に記載の電子絵本システム。
【請求項12】
前記情報処理装置は、
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像及び前記操作課題を含む映像を作成し、作成した前記映像として前記一連のシーン画像及び前記操作課題を時系列の順に前記表示部に表示させる、請求項１０に記載の電子絵本システム。
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像及び前記操作課題を含む映像を作成し、作成した前記映像として前記一連のシーン画像及び前記操作課題を時系列の順に前記表示部に表示させる、請求項１０に記載の電子絵本システム。
【請求項13】
前記電子機器は、電子楽器であり、
前記情報処理装置は、前記操作課題としての楽譜を前記表示部に表示させ、
前記電子楽器は、ユーザによる前記操作課題の結果としての演奏を録音し、前記映像における前記楽譜の表示に合わせて、前記録音した演奏を再生する、請求項１２に記載の電子絵本システム。
前記情報処理装置は、前記操作課題としての楽譜を前記表示部に表示させ、
前記電子楽器は、ユーザによる前記操作課題の結果としての演奏を録音し、前記映像における前記楽譜の表示に合わせて、前記録音した演奏を再生する、請求項１２に記載の電子絵本システム。
【請求項14】
複数のシーンを有する電子絵本を表示部に表示させる制御部を備える情報処理装置であって、
前記制御部は、前記複数のシーンのうちの最終シーンを除く少なくとも２つ以上のシーンに、
互いに異なる次のシーンにそれぞれ移行可能な複数の対象を含むシーン画像を前記表示部に表示させ、
前記表示部に表示された電子機器の操作課題をクリアしたことを前記電子機器から通知された場合、ユーザが前記複数の対象の中から選択した１つに応じた次のシーンのシーン画像を前記表示部に表示させる、
情報処理装置。
前記制御部は、前記複数のシーンのうちの最終シーンを除く少なくとも２つ以上のシーンに、
互いに異なる次のシーンにそれぞれ移行可能な複数の対象を含むシーン画像を前記表示部に表示させ、
前記表示部に表示された電子機器の操作課題をクリアしたことを前記電子機器から通知された場合、ユーザが前記複数の対象の中から選択した１つに応じた次のシーンのシーン画像を前記表示部に表示させる、
情報処理装置。
【請求項15】
前記制御部は、
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像を含む映像を作成し、作成した前記映像として前記一連のシーン画像を時系列の順に前記表示部に表示させる、請求項１４に記載の情報処理装置。
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像を含む映像を作成し、作成した前記映像として前記一連のシーン画像を時系列の順に前記表示部に表示させる、請求項１４に記載の情報処理装置。
【請求項16】
前記制御部は、
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像及び前記操作課題を含む映像を作成し、作成した前記映像として前記一連のシーン画像及び前記操作課題を時系列の順に前記表示部に表示させる、請求項１４に記載の情報処理装置。
前記ユーザが前記操作課題のうちの最終課題をクリアしたことを認識すると、前記表示された一連の前記シーン画像及び前記操作課題を含む映像を作成し、作成した前記映像として前記一連のシーン画像及び前記操作課題を時系列の順に前記表示部に表示させる、請求項１４に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示方法、電子絵本システム及び情報処理装置に関する。
【背景技術】
【0002】
従来、楽曲データの時間進行に従って変化する音楽再生の再生位置に対応して、キャラクタの表示位置を進行させ、ユーザ操作によりキャラクタの表示位置が音楽再生の現在の再生位置とは異なる再生位置に対応する表示位置に移動させられたときに、その表示位置から時間進行を継続させるシステムが知られている（例えば、特許文献１参照）。このシステムでは、例えば、自動車キャラクタ、電車キャラクタ、船キャラクタ、飛行機キャラクタをそれぞれオルガン、ギター、フルート、ピアノの音色に対応させており、ユーザが楽しみながら音楽再生を制御できるようになっている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００４－２８７１４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載のシステムは、予めダウンロードされた楽曲データを再生するものであり、ユーザが演奏の課題に飽きずに楽しみながら取り組めるようにはなっていない。また、楽器の演奏に限らず、例えば、英会話やドリルなどの課題についても、ユーザが飽きずに何度も取り組みたくなるような仕組みが必要である。
【0005】
本発明は、上記の問題に鑑みてなされたものであり、ユーザが飽きずに楽しみながら課題に取り組めるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の表示方法は、
情報処理装置と電子機器とがデータ送受信可能に接続され、前記情報処理装置が複数のシーンを有する電子絵本を表示部に表示する電子絵本システムにおける表示方法であって、
前記情報処理装置は、前記複数のシーンのうちの最終シーンを除く少なくとも２つ以上のシーンに、
互いに異なる次のシーンにそれぞれ移行可能な複数の対象を含むシーン画像を前記表示部に表示させ、
前記表示部に表示された、前記電子機器の操作課題をクリアした場合、ユーザが前記複数の対象の中から選択した１つに応じた次のシーンのシーン画像を前記表示部に表示させる。
情報処理装置と電子機器とがデータ送受信可能に接続され、前記情報処理装置が複数のシーンを有する電子絵本を表示部に表示する電子絵本システムにおける表示方法であって、
前記情報処理装置は、前記複数のシーンのうちの最終シーンを除く少なくとも２つ以上のシーンに、
互いに異なる次のシーンにそれぞれ移行可能な複数の対象を含むシーン画像を前記表示部に表示させ、
前記表示部に表示された、前記電子機器の操作課題をクリアした場合、ユーザが前記複数の対象の中から選択した１つに応じた次のシーンのシーン画像を前記表示部に表示させる。
【発明の効果】
【0007】
本発明によれば、ユーザが飽きずに楽しみながら課題に取り組めるようになる。
【図面の簡単な説明】
【0008】
【図1】電子絵本システムの全体構成例を示す図である。
【図2】電子楽器の鍵盤の構成例を示す図である。
【図3】情報処理装置と電子楽器との間で実行される処理の流れを示すシーケンス図である。
【図4】電子絵本の表示遷移の一例を示す図である。
【発明を実施するための形態】
【0009】
以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されている。そのため、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。
【0010】
［電子絵本システム１００の構成］
図１は、本発明に係る電子絵本システム１００の全体構成例を示す図である。
図１に示すように、電子絵本システム１００は、情報処理装置１と、電子楽器２と、を備えて構成されている。情報処理装置１と電子楽器２は、無線又は有線によりデータ送受信可能に通信接続されている。
図１は、本発明に係る電子絵本システム１００の全体構成例を示す図である。
図１に示すように、電子絵本システム１００は、情報処理装置１と、電子楽器２と、を備えて構成されている。情報処理装置１と電子楽器２は、無線又は有線によりデータ送受信可能に通信接続されている。
【0011】
［情報処理装置１の構成］
情報処理装置１は、ユーザが演奏すべき課題曲の楽譜を含む電子絵本を提供する端末装置である。本実施形態では、ユーザとして比較的年齢の低い電子楽器２の入門者を対象とした場合を例にとり説明するが、これに限定されるものではない。
情報処理装置１は、ユーザが演奏すべき課題曲の楽譜を含む電子絵本を提供する端末装置である。本実施形態では、ユーザとして比較的年齢の低い電子楽器２の入門者を対象とした場合を例にとり説明するが、これに限定されるものではない。
【0012】
情報処理装置１は、図１に示すように、制御部１１、記憶部１２、入力部１３、表示部１４、通信部１５、及び出力部１６等を備えて構成され、各部はバス１７により接続されている。情報処理装置１としては、例えば、タブレットＰＣ（Personal Computer）、ノートＰＣ、スマートフォン等が適用可能である。
【0013】
制御部１１は、少なくとも１つのプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、情報処理装置１の各部を制御するコンピュータである。具体的には、制御部１１のＣＰＵは、記憶部１２に記憶されているシステムプログラムや各種アプリケーションプログラムの中から指定されたプログラムを読み出してＲＡＭに展開し、展開されたプログラムとの協働により各種処理を実行する。
例えば、入力部１３の操作により、記憶部１２に記憶されている電子絵本アプリ１２１の起動が指示されると、制御部１１のＣＰＵは、図３の情報処理装置１側の処理を実行する。
例えば、入力部１３の操作により、記憶部１２に記憶されている電子絵本アプリ１２１の起動が指示されると、制御部１１のＣＰＵは、図３の情報処理装置１側の処理を実行する。
【0014】
記憶部１２は、不揮発性の半導体メモリやＨＤＤ（Hard Disk Drive）等により構成されている。記憶部１２は、情報処理装置１のシステムプログラムや各種アプリケーションプログラム、プログラムの実行に必要なデータを記憶する。記憶部１２は、情報処理装置１に内蔵されたものに限られず、外付けＨＤＤ、ＵＳＢメモリ等の情報処理装置１に対して着脱可能な外部記録媒体を含んでもよい。
【0015】
本実施形態において、記憶部１２には、制御部１１が図３に示す情報処理装置１側の処理を実行するための電子絵本アプリ１２１が記憶されている。
【0016】
また、記憶部１２には、電子絵本アプリ１２１で提供される電子絵本で表示可能な各画像（シーン画像）情報が、画像を識別するための画像ＩＤに対応付けて記憶されている。ここで、本実施形態における電子絵本の画像情報は、計ｐ個のシーンの画像情報である。ここで、ｐ個のシーンは、電子絵本として、後述する図４に示すように、画像１４１と、画像１４１に続く複数の画像１４２の各シーンと、を含む。このように最終シーンを除くシーンは、後述するように、次のシーンとして複数の選択肢があるため、いずれのシーンを選択しても、開始のシーンから最終のシーンまで計ｍ個（１～ｍ番目、ｐ＞ｍ＞１）のシーンで完結するよう設定されている。例えば、最初のシーンを１番目としてｋ番目（ｋ≦ｍ）のシーンの画像ＩＤには、データ情報領域における複数の桁の領域に、ｋ番目のシーンに対応する画像であることを示す情報が含まれる等、ｍ個のシーンで１シリーズとなっている複数のシーンにおける何番目のシーンの画像であるかを示す情報が記述されている。
【0017】
また、記憶部１２には、電子絵本で表示される複数のマーク（例えば、図４のＭ１～Ｍ４参照）が、マークを識別するためのマークＩＤに対応付けて記憶されている。
【0018】
また、記憶部１２には、画像ＩＤ及びその画像において表示される各マークのマークＩＤに対応付けて、その画像ＩＤの画像においてそのマークＩＤのマークが付与されているキャラクタの情報（データ）が記憶されている。
【0019】
また、記憶部１２には、画像ＩＤ及びその画像において表示される各マークのマークＩＤに対応付けて、その画像ＩＤの画像においてそのマークＩＤのマークが選択された場合に、シーン画像内で再生（表示）されるアニメーションの画像及びそのアニメーションを再生するタイミングを示すタイミング情報が対応付けて記憶されている。アニメーションとしては、画像ＩＤ及びマークＩＤの組み合わせごとにストーリーが異なるもの（例えば、その画像ＩＤの画像上でそのマークＩＤのマークが付与されているキャラクタに関するストーリーのアニメーション）が記憶されている。タイミング情報は、例えば、「電子楽器２から再生指示を受信してから〇秒後に再生を開始する」等、電子楽器２からの再生指示を基準として定められている。
【0020】
また、記憶部１２には、画像ＩＤ及びその画像において表示される各マークのマークＩＤに対応付けて、その画像ＩＤの画像においてそのマークＩＤのマークが選択された場合に表示するストーリー文章情報（データ）及び楽譜情報（データ）が記憶されている。ストーリー文章情報は、その画像ＩＤの画像においてそのマークＩＤのマークが選択された場合に再生されるアニメーションのストーリーに対応する文章の情報である。楽譜情報は、ユーザが演奏すべき課題曲の楽譜の情報であり、画像ＩＤ及びマークＩＤの組み合わせごとに異なる。課題曲は、１番目のシーンからｍ番目のシーンに行くほど演奏が難しい課題曲が記憶されている。
【0021】
また、記憶部１２には、画像ＩＤ及びその画像において表示される各マークのマークＩＤに対応付けて、その画像ＩＤの画像においてそのマークＩＤのマークが選択された場合に次のシーンに表示する画像（シーン画像）の画像ＩＤが記憶されている。記憶部１２には、次のシーンに表示される画像が、画像上で選択されたマークが付与されているキャラクタ、すなわち、ユーザにより選択されたキャラクタに関連する画像となるように、画像ＩＤ及びマークＩＤと次のシーンに表示する画像の画像ＩＤとが対応付けられている。ただしｍ番目の最終シーンでは次のシーンがないので、ｍ番目の画像ＩＤには、次のシーンに表示する画像の画像ＩＤとが対応付けがされていない。
【0022】
入力部１３は、押しボタンスイッチや表示部１４に取り付けられたタッチパネル等で構成されている。入力部１３は、ユーザによる押しボタンスイッチの操作や画面上のタッチ操作を検出し、操作信号を制御部１１に出力する。
【0023】
表示部１４は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等で構成され、制御部１１から指示された表示情報に従い各種表示を行う。
【0024】
通信部１５は、電子楽器２を始めとする外部機器との間で通信を行うための有線ユニットや無線ユニットを備え、外部機器とデータ送受信を行う。
【0025】
出力部１６は、音源部、Ｄ／Ａコンバータ、増幅器、スピーカ等を備え、制御部１１からの指示に基づいて、音声を出力する。
【0026】
［電子楽器２］
電子楽器２は、例えば、鍵盤楽器である。
電子楽器２は、図１に示すように、制御部２１、記憶部２２、鍵盤２３、入力部２４、表示部２５、通信部２６、出力部２７等を備えて構成され、各部はバス２８により接続されている。
電子楽器２は、例えば、鍵盤楽器である。
電子楽器２は、図１に示すように、制御部２１、記憶部２２、鍵盤２３、入力部２４、表示部２５、通信部２６、出力部２７等を備えて構成され、各部はバス２８により接続されている。
【0027】
制御部２１は、ＣＰＵ、ＤＳＰ（Digital Signal Processor）といった少なくとも１つのプロセッサ及びＲＡＭ等を備えて構成され、電子楽器２の各部を制御するコンピュータである。具体的には、制御部２１のＣＰＵは、記憶部２２に記憶されているシステムプログラムや各種プログラムの中から指定されたプログラムを読み出してＲＡＭに展開し、展開されたプログラムとの協働で、各種処理を実行する。
例えば、通信部２６を介して情報処理装置１から電子絵本アプリ２２１の起動が指示されると、制御部２１のＣＰＵは、図３の電子楽器２側の処理を実行する。
例えば、通信部２６を介して情報処理装置１から電子絵本アプリ２２１の起動が指示されると、制御部２１のＣＰＵは、図３の電子楽器２側の処理を実行する。
【0028】
記憶部２２は、不揮発性の半導体メモリやＨＤＤ（Hard Disk Drive）等により構成されている。記憶部２２は、電子楽器２のシステムプログラムや各種プログラム、プログラムの実行に必要なデータを記憶している。記憶部２２は、電子楽器２に内蔵されたものに限られず、外付けＨＤＤ、ＵＳＢメモリ等の電子楽器２に対して着脱可能な外部記録媒体を含んでもよい。
【0029】
本実施形態において、記憶部２２には、電子絵本で表示可能な各画像の画像ＩＤ及びその画像において選択可能な各マークのマークＩＤに対応付けて、画像ＩＤで識別される画像においてマークＩＤで識別されるマークが選択された場合に出力される音声データ（効果音など）が記憶されている。また、各音声データには、音声データの出力を開始するタイミングを示すタイミング情報が対応付けて記憶されている。タイミング情報は、例えば、「情報処理装置１に再生指示を送信してから△秒後」等、情報処理装置１への再生指示を基準として定められている。このタイミングで音声データの出力を開始した場合、情報処理装置１でのアニメーション表示と同期して音声を出力することが可能である。
【0030】
また、記憶部２２には、電子絵本で表示可能な各画像の画像ＩＤ及びその画像において選択可能な各マークのマークＩＤに対応付けて、画像ＩＤで識別される画像においてマークＩＤで識別されるマークが選択された場合に情報処理装置１において表示される楽譜に対応する演奏の正解データが記憶されている。正解データは、押鍵／離鍵する鍵の音高やタイミングを示す情報である。
【0031】
鍵盤２３は、複数の鍵（操作子）、及び押鍵／離鍵された鍵を検出する検出部等を備え、ユーザにより押鍵／離鍵された鍵の音高やタイミングの情報を制御部２１に出力する。
本実施形態において、鍵盤２３の一部又は全部の鍵には、電子絵本に表示される複数のマークのいずれかが割り当てられている。鍵盤２３においてマークが割り当てられている鍵には、図２に示すように、どのマークに割り当てられているのかを示す割り当て情報２３ａが対応付けられている。例えば、図２に示す例では、低い「ドレミ」には大きいドットパターンの星のマーク、低い「ファソラシ」には小さいドットパターンの星のマーク、高い「ドレミ」には白い星のマーク、高い「ファソラシ」にはハッチングのついた星のマークが割り当てられていることを示している。
本実施形態において、鍵盤２３の一部又は全部の鍵には、電子絵本に表示される複数のマークのいずれかが割り当てられている。鍵盤２３においてマークが割り当てられている鍵には、図２に示すように、どのマークに割り当てられているのかを示す割り当て情報２３ａが対応付けられている。例えば、図２に示す例では、低い「ドレミ」には大きいドットパターンの星のマーク、低い「ファソラシ」には小さいドットパターンの星のマーク、高い「ドレミ」には白い星のマーク、高い「ファソラシ」にはハッチングのついた星のマークが割り当てられていることを示している。
【0032】
入力部２４は、押しボタンスイッチや表示部２５に取り付けられたタッチパネル等で構成されている。入力部２４は、ユーザによる押しボタンスイッチの操作や画面上のタッチ操作を検出し、操作信号を制御部２１に出力する。
【0033】
表示部２５は、ＬＣＤ（Liquid Crystal Display）等で構成され、制御部２１から指示された表示情報に従い各種表示を行う。
【0034】
通信部２６は、情報処理装置１を始めとする外部機器との間で通信を行うための有線ユニットや無線ユニットを備え、外部機器とデータ送受信を行う。
【0035】
出力部２７は、音源部、Ｄ／Ａコンバータ、増幅器、スピーカ等を備える。出力部２７は、制御部２１からの指示に従って、音源部により、音源部に備えられた波形ＲＯＭに予め記憶された波形データを読み出すか又は波形データを生成して、波形データに基づく楽器音をＤ／Ａコンバータ、増幅器を介してスピーカから出力する。
【0036】
［電子絵本システム１００の動作］
次に、図３を参照して電子絵本システム１００の動作について説明する。
情報処理装置１において、入力部１３により電子絵本アプリ１２１の起動が指示されると、制御部１１は、電子絵本アプリ１２１を起動して、通信部１５により電子楽器２に電子絵本アプリ２２１の起動を指示し、図３に示す情報処理装置１側の処理を開始する。
電子楽器２において、通信部２６により情報処理装置１からの電子絵本アプリ２２１の起動指示を受信すると、制御部２１は、電子絵本アプリ２２１を起動して図３に示す電子楽器２側の処理を開始する。
次に、図３を参照して電子絵本システム１００の動作について説明する。
情報処理装置１において、入力部１３により電子絵本アプリ１２１の起動が指示されると、制御部１１は、電子絵本アプリ１２１を起動して、通信部１５により電子楽器２に電子絵本アプリ２２１の起動を指示し、図３に示す情報処理装置１側の処理を開始する。
電子楽器２において、通信部２６により情報処理装置１からの電子絵本アプリ２２１の起動指示を受信すると、制御部２１は、電子絵本アプリ２２１を起動して図３に示す電子楽器２側の処理を開始する。
【0037】
図３に示す処理では、情報処理装置１は、ユーザが電子楽器２で演奏すべき課題曲を含む電子絵本（画像）を表示部１４に表示する。この電子絵本は、上述のようにｍ個のシーンにより構成される。最終シーンを除く各シーンにおいては、異なるマーク（対象）が付与された複数（ここでは４つ）のキャラクタが表示され、ユーザによるマーク（キャラクタ）の選択によって、そのシーン画像中のアニメーションのストーリー及び課題の内容が変化するようになっている。また、次のシーンには、選択されたマークが付与されたキャラクタに関連するシーン画像が表示されるようになっている。
以下、図３に示す情報処理装置１と電子楽器２の処理について説明する。
以下、図３に示す情報処理装置１と電子楽器２の処理について説明する。
【0038】
まず、情報処理装置１の制御部１１は、変数ｎに“１”を設定する（ステップＳ１）。
次いで、制御部１１は、電子絵本のｎ番目のシーンの画像（シーン画像）を表示部１４に表示させる（ステップＳ２）。
図４の画像１４１は、ステップＳ２において表示部１４に表示される画像の一例を示している。より詳細には、画像１４１は、１番目のシーンの画像を示している。図４に示すように、１番目のシーンの画像１４１には、リンゴの木、おじいさんとおばあさん、犬、水車小屋がキャラクタとして表示されている。それぞれのキャラクタには、異なるマークが付与されている。例えば、リンゴの木には、大きいドットパターンの星のマークＭ１が付与されている。おじいさんとおばあさんには、小さいドットパターンの星のマークＭ２が付与されている。犬には、白い星のマークＭ３が付与されている。水車小屋には、ハッチングのついた星のマークＭ４が付与されている。また、画像１４１に表示される複数のマークは、図４に示す星印に限らず、他の形状のマークに統一してもよいし、上述のように、色やドットパターン等で個別に認識させる代わりに、互いに異なる形状のマークでもよい。この場合も、図２に示す割り当て情報２３ａの表示が図４に示すマーク表示に視覚的に対応付けられている。
ユーザは、鍵盤２３において、情報処理装置１の表示部１４に表示された画像１４１に含まれるマークのうち、選択したいマーク（選択したいキャラクタに付与されているマーク）に割り当てられている鍵を押鍵する。すなわち、ユーザは、選択したいマークに割り当てられている鍵を押鍵することで、表示部１４に表示されたマークのうちいずれかを選択する。
次いで、制御部１１は、電子絵本のｎ番目のシーンの画像（シーン画像）を表示部１４に表示させる（ステップＳ２）。
図４の画像１４１は、ステップＳ２において表示部１４に表示される画像の一例を示している。より詳細には、画像１４１は、１番目のシーンの画像を示している。図４に示すように、１番目のシーンの画像１４１には、リンゴの木、おじいさんとおばあさん、犬、水車小屋がキャラクタとして表示されている。それぞれのキャラクタには、異なるマークが付与されている。例えば、リンゴの木には、大きいドットパターンの星のマークＭ１が付与されている。おじいさんとおばあさんには、小さいドットパターンの星のマークＭ２が付与されている。犬には、白い星のマークＭ３が付与されている。水車小屋には、ハッチングのついた星のマークＭ４が付与されている。また、画像１４１に表示される複数のマークは、図４に示す星印に限らず、他の形状のマークに統一してもよいし、上述のように、色やドットパターン等で個別に認識させる代わりに、互いに異なる形状のマークでもよい。この場合も、図２に示す割り当て情報２３ａの表示が図４に示すマーク表示に視覚的に対応付けられている。
ユーザは、鍵盤２３において、情報処理装置１の表示部１４に表示された画像１４１に含まれるマークのうち、選択したいマーク（選択したいキャラクタに付与されているマーク）に割り当てられている鍵を押鍵する。すなわち、ユーザは、選択したいマークに割り当てられている鍵を押鍵することで、表示部１４に表示されたマークのうちいずれかを選択する。
【0039】
次いで、制御部１１は、現在表示されているシーンの画像を識別するための画像ＩＤを通信部１５により電子楽器２に送信する（ステップＳ３）。
【0040】
電子楽器２において、通信部２６により情報処理装置１から画像ＩＤを受信すると、制御部２１は、記憶部２２から画像ＩＤに対応する音声データを取得する（ステップＳ４）。
ここで、上述のように、記憶部２２においては、画像ＩＤに対応する音声データがマークＩＤごとに複数記憶されている。制御部２１は、ステップＳ４において、画像ＩＤに対応する全ての音声データを取得する（読み出す）。また、記憶部２２において、画像ＩＤに対応付けて記憶されている各音声データには、さらに、その音声データを出力するタイミングを示すタイミング情報が対応付けて記憶されている。制御部２１は、取得した音声データに対応するタイミング情報を併せて取得する（読み出す）。
ここで、上述のように、記憶部２２においては、画像ＩＤに対応する音声データがマークＩＤごとに複数記憶されている。制御部２１は、ステップＳ４において、画像ＩＤに対応する全ての音声データを取得する（読み出す）。また、記憶部２２において、画像ＩＤに対応付けて記憶されている各音声データには、さらに、その音声データを出力するタイミングを示すタイミング情報が対応付けて記憶されている。制御部２１は、取得した音声データに対応するタイミング情報を併せて取得する（読み出す）。
【0041】
なお、本実施形態では、電子楽器２は、画像ＩＤに応じた音声データを記憶部２２から取得することとするが、音声データの取得方法はこれに限定されない。例えば、電子楽器２の制御部２１は、音声データを、画像ＩＤ及びマークＩＤに対応付けられた音声データが記憶されたサーバ（例えば、電子絵本アプリ１２１、２２１を提供する会社のサーバ等）から通信部２６によりインターネット等の通信ネットワークを介して取得することとしてもよい。この場合においても、制御部２１は、取得した音声データに対応するタイミング情報をサーバから併せて取得する。
【0042】
次いで、制御部２１は、鍵盤２３のいずれかの鍵が押鍵されたか否かを判断する（ステップＳ５）。
鍵盤２３のいずれかの鍵が押鍵されていないと判断した場合（ステップＳ５；ＮＯ）、制御部２１は、ステップＳ５に戻る。
鍵盤２３のいずれかの鍵が押鍵されていないと判断した場合（ステップＳ５；ＮＯ）、制御部２１は、ステップＳ５に戻る。
【0043】
鍵盤２３のいずれかの鍵が押鍵されたと判断した場合（ステップＳ５；ＹＥＳ）、制御部２１は、押鍵された鍵に対応するマークのマークＩＤを通信部２６により情報処理装置１に送信するとともに、アニメーションの再生指示を情報処理装置１に送信する（ステップＳ６）。
【0044】
情報処理装置１において、通信部１５によりマークＩＤ及びアニメーションの再生指示が受信されると、制御部１１は、予め定められたタイミングで、ユーザにより選択されたマークに応じたアニメーションを再生する（ステップＳ７）。
すなわち、制御部１１は、表示されている画像の画像ＩＤ及び受信したマークＩＤに対応するアニメーション及びタイミング情報を記憶部１２から読み出し、タイミング情報により定められたタイミングで、読み出したアニメーションを再生（表示部１４に表示）する。このタイミングによる表示開始遅延時間は、想定された世代のユーザの、押鍵するために鍵盤２３に向けられた視線を表示部１４に向けるのにかかる想定時間より長く設定されている。
すなわち、制御部１１は、表示されている画像の画像ＩＤ及び受信したマークＩＤに対応するアニメーション及びタイミング情報を記憶部１２から読み出し、タイミング情報により定められたタイミングで、読み出したアニメーションを再生（表示部１４に表示）する。このタイミングによる表示開始遅延時間は、想定された世代のユーザの、押鍵するために鍵盤２３に向けられた視線を表示部１４に向けるのにかかる想定時間より長く設定されている。
【0045】
電子楽器２においては、制御部２１は、予め定められたタイミングで、押鍵された鍵に対応するマークに応じた音声を出力部２７により出力させる（ステップＳ８）。
すなわち、制御部２１は、ステップＳ４で取得した音声データのうち、押鍵された鍵に対応するマークのマークＩＤに対応する音声データに基づく音声を、タイミング情報により定められたタイミングで出力する。
ここで、情報処理装置１においてタイミング情報に応じてアニメーションを再生し、電子楽器２においてタイミング情報に応じて音声を出力することで、アニメーションの表示と音声とを同期させることができる。
なお、制御部２１は、使用した音声データを変数ｎの値（シーンを識別するための番号）に対応付けて一時的に記憶する。
すなわち、制御部２１は、ステップＳ４で取得した音声データのうち、押鍵された鍵に対応するマークのマークＩＤに対応する音声データに基づく音声を、タイミング情報により定められたタイミングで出力する。
ここで、情報処理装置１においてタイミング情報に応じてアニメーションを再生し、電子楽器２においてタイミング情報に応じて音声を出力することで、アニメーションの表示と音声とを同期させることができる。
なお、制御部２１は、使用した音声データを変数ｎの値（シーンを識別するための番号）に対応付けて一時的に記憶する。
【0046】
例えば、図４に示す画像１４１において、リンゴの木に付与されたマークＭ１が選択された場合、ステップＳ７～Ｓ８では、木が揺れる効果音とともに、リンゴが落ちてくるアニメーションが再生される。おじいさんとおばあさんに付与されたマークＭ２が選択された場合、ステップＳ７～Ｓ８では、足音の効果音とともに、おじいさんとおばあさんが家に向かうアニメーションが再生される。
【0047】
アニメーションの再生が終了すると、情報処理装置１の制御部１１は、マークを非表示にし、ストーリー文章と課題となる楽譜を表示部１４に表示されているシーン画像上に表示させる（ステップＳ９）。
ステップＳ９において、制御部１１は、画像上に表示されていたマークを非表示にした後、表示されている画像の画像ＩＤ及び受信したマークＩＤに対応付けられているストーリー文章情報及び楽譜情報を記憶部１２から読み出し、表示部１４の画像上にストーリー文章及び楽譜を表示させる。なお、マークが非表示になることで選択無効となるため、ユーザが、誤ってすでに視聴したストーリーを繰り返し進行しなくて済む。
ステップＳ９において、制御部１１は、画像上に表示されていたマークを非表示にした後、表示されている画像の画像ＩＤ及び受信したマークＩＤに対応付けられているストーリー文章情報及び楽譜情報を記憶部１２から読み出し、表示部１４の画像上にストーリー文章及び楽譜を表示させる。なお、マークが非表示になることで選択無効となるため、ユーザが、誤ってすでに視聴したストーリーを繰り返し進行しなくて済む。
【0048】
次いで、制御部１１は、通信部１５により電子楽器２に演奏モードであることを通知する（ステップＳ１０）。
電子楽器２において、通信部２６により演奏モードであることの通知を受信すると、制御部２１は、出力部２７にピアノの音色をセットさせ（ステップＳ１１）、鍵盤２３の演奏操作による演奏の録音を開始する（ステップＳ１２）。すなわち、鍵盤２３から入力される押鍵／離鍵の情報（演奏操作情報）を記憶部２２に記録させる処理を開始する。そして、ユーザによる鍵盤２３のいずれかの鍵の押鍵を待機する（ステップＳ１３）。
電子楽器２において、通信部２６により演奏モードであることの通知を受信すると、制御部２１は、出力部２７にピアノの音色をセットさせ（ステップＳ１１）、鍵盤２３の演奏操作による演奏の録音を開始する（ステップＳ１２）。すなわち、鍵盤２３から入力される押鍵／離鍵の情報（演奏操作情報）を記憶部２２に記録させる処理を開始する。そして、ユーザによる鍵盤２３のいずれかの鍵の押鍵を待機する（ステップＳ１３）。
【0049】
鍵盤２３のいずれかの鍵が押鍵されると、すなわち、ユーザにより演奏が行われると（ステップＳ１３；ＹＥＳ）、制御部２１は、押鍵された鍵に応じた音高のピアノ音を出力部２７により出力させる（ステップＳ１４）。
次いで、制御部２１は、記憶部２２に記憶されている正解データと鍵盤２３から入力される演奏操作情報を比較して、正しく音符が弾けたか否かを判断する（ステップＳ１５）。
正しく音符が弾けていないと判断した場合（ステップＳ１５；ＮＯ）、制御部２１は、ステップＳ１３に戻る。
正しく音符が弾けたと判断した場合（ステップＳ１５；ＹＥＳ）、制御部２１は、最後の音符までの演奏が終了したか否かを判断する（ステップＳ１６）。
最後の音符までの演奏が終了していないと判断した場合（ステップＳ１６；ＮＯ）、制御部２１は、ステップＳ１３に戻る。
最後の音符までの演奏が終了したと判断した場合（ステップＳ１６；ＹＥＳ）、制御部２１は、録音を停止する（ステップＳ１７）。そして、制御部２１は、通信部２６により情報処理装置１にユーザが課題をクリアしたことを通知する（ステップＳ１８）。
次いで、制御部２１は、記憶部２２に記憶されている正解データと鍵盤２３から入力される演奏操作情報を比較して、正しく音符が弾けたか否かを判断する（ステップＳ１５）。
正しく音符が弾けていないと判断した場合（ステップＳ１５；ＮＯ）、制御部２１は、ステップＳ１３に戻る。
正しく音符が弾けたと判断した場合（ステップＳ１５；ＹＥＳ）、制御部２１は、最後の音符までの演奏が終了したか否かを判断する（ステップＳ１６）。
最後の音符までの演奏が終了していないと判断した場合（ステップＳ１６；ＮＯ）、制御部２１は、ステップＳ１３に戻る。
最後の音符までの演奏が終了したと判断した場合（ステップＳ１６；ＹＥＳ）、制御部２１は、録音を停止する（ステップＳ１７）。そして、制御部２１は、通信部２６により情報処理装置１にユーザが課題をクリアしたことを通知する（ステップＳ１８）。
【0050】
情報処理装置１の制御部１１は、通信部１５を介して電子楽器２からユーザが課題をクリアしたことが通知されると、変数ｎがｍ（電子絵本の各シリーズの全シーン数）－１に到達したか否かを判断する（ステップＳ１９）。
変数ｎが（ｍ－１）に到達していないと判断した場合（ステップＳ１９；ＮＯ）、制御部１１は、変数ｎをインクリメントし（ステップＳ２０）、ｎ番目のシーンとして表示する画像を決定し（ステップＳ２１）、ステップＳ２に戻る。
ステップＳ２１において、制御部１１は、記憶部１２を参照し、現在表示されている画像の画像ＩＤ及びこの画像から選択されたマークのマークＩＤの組み合わせに対応付けられている次のシーンに表示する画像を、ｎ番目のシーンとして表示する画像として決定する。すなわち、ｎ番目（２番目以降）のシーンの画像として、その直前のシーンにおいてユーザにより選択されたマークが付与されているキャラクタに関連する画像が決定される。そして、直前のシーンにおいてユーザにより選択されたマークが付与されているキャラクタに関連する画像が次のシーンの画像として表示部１４に表示され、表示された画像から選択されたマークに対応するアニメーションの再生、ストーリー文章及び楽譜の表示が行われる。
変数ｎが（ｍ－１）に到達していないと判断した場合（ステップＳ１９；ＮＯ）、制御部１１は、変数ｎをインクリメントし（ステップＳ２０）、ｎ番目のシーンとして表示する画像を決定し（ステップＳ２１）、ステップＳ２に戻る。
ステップＳ２１において、制御部１１は、記憶部１２を参照し、現在表示されている画像の画像ＩＤ及びこの画像から選択されたマークのマークＩＤの組み合わせに対応付けられている次のシーンに表示する画像を、ｎ番目のシーンとして表示する画像として決定する。すなわち、ｎ番目（２番目以降）のシーンの画像として、その直前のシーンにおいてユーザにより選択されたマークが付与されているキャラクタに関連する画像が決定される。そして、直前のシーンにおいてユーザにより選択されたマークが付与されているキャラクタに関連する画像が次のシーンの画像として表示部１４に表示され、表示された画像から選択されたマークに対応するアニメーションの再生、ストーリー文章及び楽譜の表示が行われる。
【0051】
例えば、図４に示すように、画像１４１においてリンゴの木に付与されたマークＭ１が選択された場合、すなわち、リンゴの木が選択された場合、次のシーンの画像１４２として、リンゴの木（リンゴ）に関連する画像が表示される。例えば、図４に示すように、犬がリンゴをくわえている画像が表示される。表示された次のシーンの画像１４２においても、表示されている各キャラクタにマークＭ１～Ｍ４が表示されており、この中から選択された（対応する鍵が押鍵された）マーク（すなわち、選択されたマークが付与されているキャラクタ）に応じて、ストーリーが異なるアニメーションの再生、そのストーリー文章及び内容が異なる楽譜の表示が行われる。すなわち、ユーザが選択したキャラクタに応じて、電子絵本として表示されるストーリー及び楽譜が変化する。
【0052】
また、例えば、図４に示すように、画像１４１においておじいさんとおばあさんに付与されたマークＭ２が選択された場合、次のシーンの画像１４３として、おじいさんとおばあさんに関連する画像が表示される。例えば、図４に示すように、おじいさんとおばあさんが家の中に入った画像が表示される。表示された次のシーンの画像１４３においても、表示されている各キャラクタにマークＭ１～Ｍ４が表示されており、この中から選択された（対応する鍵が押鍵された）マーク（すなわち、選択されたマークが付与されているキャラクタ）に応じて、ストーリーが異なるアニメーションの再生、ストーリー文章及び内容が異なる楽譜の表示が行われる。すなわち、リンゴの木であったり、おじいさんとおばあさんであったり、ユーザが選択したキャラクタの変化に応じて、電子絵本として表示されるストーリーの進行の変化及び楽譜の変化がもたらされる。
【0053】
このように、電子絵本システム１００では、電子絵本のシーンごとに、異なるアニメーション、ひいては異なるシーン画像内容及び異なる課題が表示されるため、ユーザはストーリーの続きが気になり、飽きずに楽しみながら次々に課題に取り組むことができる。また、各シーンにおけるユーザによる異なる選択によって、その後に表示されるシーンで繋がるストーリーや楽譜が異なるので、複数種のストーリー展開が可能となり、ユーザは、最終シーンまで終了した後も何度も繰り返しまだ知らないストーリーを求めて電子絵本を閲覧したくなり、飽きずに楽しみながら課題に取り組むことができる。ｍ個の連続するシーン画像において、マークが各ｑ個あると、ｑの（ｍ－１）乗通りのシーンのパターンがあるので、このような効果は、２つ以上のパターンがあればよく、連続するシーン画像の数が２個以上であり、マークが２個以上あれば奏し得る。
【0054】
ステップＳ１９において変数ｎが（ｍ－１）に到達したと判断した場合（ステップＳ１９；ＹＥＳ）、すなわち、ユーザが最終のシーンの１つ前のシーンにおいて、最終課題をクリアしたと認識した場合、制御部１１は、ステップＳ２２に移行する。ステップＳ２２では、制御部１１は、最終シーンであるｍ番目のシーン画像を表示部１４に表示させる（ステップＳ２２）。その後、制御部１１は、表示部１４に、今回表示した電子絵本の動画にユーザの演奏を含めるか否かを問い合わせる画面を表示し、ユーザの演奏を含めることが指示されたか否かを判断する（ステップＳ２３）。
ここで、ユーザは、情報処理装置１に表示された電子絵本のみを閲覧したい場合には、入力部１３の操作により演奏を含めないことを指示する。情報処理装置１に表示された電子絵本とともに自分の演奏を振り返りたい場合は、入力部１３の操作により演奏を含めることを指示する。
ここで、ユーザは、情報処理装置１に表示された電子絵本のみを閲覧したい場合には、入力部１３の操作により演奏を含めないことを指示する。情報処理装置１に表示された電子絵本とともに自分の演奏を振り返りたい場合は、入力部１３の操作により演奏を含めることを指示する。
【0055】
動画にユーザの演奏を含めることが指示されたと判断した場合（ステップＳ２３；ＹＥＳ）、制御部１１は、楽譜を含めた動画を作成する（ステップＳ２４）。
ステップＳ２４において、制御部１１は、１番目～ｍ番目のシーンのそれぞれの、選択されたマークに応じて再生されたアニメーションを含むシーン画像、ストーリー文章及び楽譜が合成された画像、を時系列の順につなげて一連の動画（映像）を作成する。ストーリー文章及び楽譜が表示された画像の表示時間については、例えば、ステップＳ１０で演奏モードであることを電子楽器２に通知してから課題をクリアしたことが通知されるまでの時間を計測しておき、計測された時間に基づいて決定する。また、作成した動画における各シーン画像の切り替え時間、各シーンのアニメーションの再生開始時間及び楽譜の表示開始時間を動画の再生開始からの経過時間で取得して、タイミング情報を生成する。
ステップＳ２４において、制御部１１は、１番目～ｍ番目のシーンのそれぞれの、選択されたマークに応じて再生されたアニメーションを含むシーン画像、ストーリー文章及び楽譜が合成された画像、を時系列の順につなげて一連の動画（映像）を作成する。ストーリー文章及び楽譜が表示された画像の表示時間については、例えば、ステップＳ１０で演奏モードであることを電子楽器２に通知してから課題をクリアしたことが通知されるまでの時間を計測しておき、計測された時間に基づいて決定する。また、作成した動画における各シーン画像の切り替え時間、各シーンのアニメーションの再生開始時間及び楽譜の表示開始時間を動画の再生開始からの経過時間で取得して、タイミング情報を生成する。
【0056】
動画にユーザの演奏を含めないことが指示されたと判断した場合（ステップＳ２３；ＮＯ）、制御部１１は、楽譜を含まない動画を作成する（ステップＳ２５）。
ステップＳ２５において、制御部１１は、１番目～ｍ番目のシーンのそれぞれの、選択されたマークに応じて再生されたアニメーションを含むシーン画像、ストーリー文章が合成された画像、を時系列の順につなげて一連の動画（映像）を作成する。また、作成した動画における各シーン画像の切り替え時間、各シーンのアニメーションの再生開始時間を動画の再生開始からの経過時間で取得して、タイミング情報を生成する。
ステップＳ２５において、制御部１１は、１番目～ｍ番目のシーンのそれぞれの、選択されたマークに応じて再生されたアニメーションを含むシーン画像、ストーリー文章が合成された画像、を時系列の順につなげて一連の動画（映像）を作成する。また、作成した動画における各シーン画像の切り替え時間、各シーンのアニメーションの再生開始時間を動画の再生開始からの経過時間で取得して、タイミング情報を生成する。
【0057】
次いで、制御部１１は、通信部１５により電子楽器２に動画再生開始及びタイミング情報を通知する（ステップＳ２６）。そして、制御部１１は、アニメーションを含む一連のシーン画像の動画再生（動画の表示部１４への表示）を開始する（ステップＳ２７）。
【0058】
電子楽器２の制御部２１は、通信部２６により情報処理装置１から動画再生開始及びタイミング情報を受信すると、タイミング情報で指定されたタイミングに基づいて、各シーンのシーン画像或いはアニメーションに応じた音声や録音された演奏を出力部２７により再生する（ステップＳ２８）。
ここで、情報処理装置１においてタイミング情報に応じてアニメーションを含む一連のシーン画像を再生し、電子楽器２においてタイミング情報に応じて音声や演奏を再生することで、一連のシーン画像の表示と音声を同期させることができる。
ここで、情報処理装置１においてタイミング情報に応じてアニメーションを含む一連のシーン画像を再生し、電子楽器２においてタイミング情報に応じて音声や演奏を再生することで、一連のシーン画像の表示と音声を同期させることができる。
【0059】
このように、ユーザが動画に自分の演奏を含めないことを指示した場合には、各シーンにおけるユーザによるマーク（キャラクタ）の選択に応じて表示・再生された電子絵本のみの動画が再生される。よって、ユーザは、演奏レッスン時に表示された電子絵本のストーリーの展開を演奏に注力したためあまり覚えていなくても楽しむことができる。また、ユーザが自分の演奏を動画に含めることを指示した場合には、各シーンにおけるユーザによるマーク（キャラクタ）の選択に応じて表示・再生された電子絵本及び各シーンにおけるユーザによる課題曲の演奏を含む動画が再生されるので、ユーザは、演奏レッスン時に表示された電子絵本のストーリー展開を楽しむことができるとともに、自分の演奏を振り返ることができる。
【0060】
以上説明したように、電子絵本システム１００によれば、情報処理装置１の制御部１１は、電子絵本の複数のシーンごとに、アニメーションを含むシーン画像及びユーザがクリアすべき課題曲の楽譜を表示部１４に表示させ、電子機器としての電子楽器２からユーザが課題をクリアしたことが通知されると、次のシーンに移行し、次のシーンのアニメーションを含むシーン画像及び楽譜を表示部１４に表示させる。
したがって、電子絵本のシーンごとに新しい別のシーン画像及び新しい別の課題が表示されるので、ユーザは、次々と展開されるシーンを楽しみながら飽きずに次々に課題に取り組むことができる。
したがって、電子絵本のシーンごとに新しい別のシーン画像及び新しい別の課題が表示されるので、ユーザは、次々と展開されるシーンを楽しみながら飽きずに次々に課題に取り組むことができる。
【0061】
例えば、情報処理装置１の制御部１１は、最終シーンを除く複数のシーンごとに、選択可能な複数のマークが付与された複数のキャラクタが表示されたシーン画像を表示部１４に表示させ、電子楽器２においていずれかのマークが選択されると、制御部１１は、選択されたマーク（キャラクタ）を異ならせることによってストーリーが異なるアニメーション及び内容が異なる課題を表示部１４に表示させる。また、電子楽器２からユーザが課題をクリアしたことが通知されると、制御部１１は、次のシーンに移行し、次のシーンのシーン画像として、その前のシーンで選択されたマークに関連する、すなわち選択されたマークに付与されたキャラクタに関連するシーン画像を表示部１４に表示させる。
したがって、各シーンにおけるユーザによる選択を変えることによって、その後に表示されるアニメーションを含むシーン画像や課題が変化するので、ユーザは、何度も繰り返し電子絵本を閲覧したくなり、飽きずに楽しみながら課題に取り組むことができる。
したがって、各シーンにおけるユーザによる選択を変えることによって、その後に表示されるアニメーションを含むシーン画像や課題が変化するので、ユーザは、何度も繰り返し電子絵本を閲覧したくなり、飽きずに楽しみながら課題に取り組むことができる。
【0062】
また、電子楽器２は、鍵盤２３においてユーザが操作した操作子に基づいて、複数のマークのうち選択されたマークを特定し、特定したマークのマークＩＤに関する情報を情報処理装置１に送信する。したがって、ユーザは、電子楽器２を用いて電子絵本におけるマークの選択を行うことができる。
【0063】
また、電子楽器２は、情報処理装置１におけるアニメーションの表示に同期して、アニメーションに対応する音声を出力する。したがって、ユーザは、臨場感のあるアニメーションを楽しむことができる。
【0064】
また、情報処理装置１の制御部１１は、ユーザが複数のシーンにおける最終シーンの１つ前のシーンの最終課題をクリアしたことを認識すると、最終シーンの画像を表示部１４に表示させ、表示されたアニメーションを含む一連のシーン画像及び課題を含む動画を作成し、作成した動画を表示部１４に表示させる。したがって、ユーザは、電子絵本のストーリー展開を一連の流れで再生されるためより理解しやすくなってあらためて楽しむことができるとともに、達成感を得ることができる。
【0065】
また、電子楽器２は、ユーザによる課題曲の演奏を録音し、動画における課題曲となる楽譜の表示に同期して、録音した課題曲の演奏を再生する。したがって、ユーザは、電子絵本のストーリー展開をゆっくり楽しむことができるとともに、自分の演奏を振り返ることができる。
【0066】
なお、上記実施形態における記述内容は、本発明に係る表示方法、電子絵本システム及び情報処理装置の好適な一例であり、これに限定されるものではない。
【0067】
例えば、上記実施形態では、本発明の電子機器が電子楽器である場合を例にとり説明したが、ユーザが課題に取り組む（処理する）ことができる電子機器であれば、特に限定されない。また、上記実施形態では、課題が楽器の演奏である場合を例にとり説明したが、課題は楽器の演奏に限定されず、例えば、英会話やドリルのようなものであってもよい。
【0068】
また、上記実施形態では、アニメーションを含むシーン画像における音声を電子楽器２から出力することとしたが、情報処理装置１の出力部１６により出力することとしてもよい。
【0069】
また、上記実施形態では、電子楽器が鍵盤楽器である場合を例にとり説明したが、鍵盤楽器に限らず、例えばエレキギター、ＭＩＤＩバイオリン等他の電子楽器としてもよい。
【0070】
また、最終課題をクリアした場合に作成される動画は、保存できる構成としてもよい。例えば、ユーザが課題曲を演奏した際の各シーンの録音データを電子楽器２（電子機器）から情報処理装置１に送信することとしてもよい。そして、情報処理装置１において、制御部１１は、作成した動画の各シーンの楽譜を再生する際に電子楽器２から受信した録音データが再生されるように、動画と録音データを対応付けて記憶部１２に保存することとしてもよい。このようにすれば、ユーザが演奏した内容を、電子絵本のストーリーとともに思い出として残し、後日視聴することができる。
【0071】
また、上記実施形態では、ユーザが、鍵盤２３において、情報処理装置１の表示部１４に表示された画像１４１に含まれるマークのうち、選択したいマークに割り当てられている鍵を押鍵したが、代わりに、表示部１４に表示されているマークに対応するタッチパネルの部位をタッチ操作することによって選択してもよい。この場合、タッチパネルへのタッチから表示部１４への表示開始までの表示開始遅延時間を、押鍵から表示部１４への表示開始までの表示開始遅延時間よりも短くしてもよい。
【0072】
また、上記実施形態では、ユーザが選択を変えることによって、その後に表示されるシーンで展開されるストーリーを変えることができるが、ｍ番目の最終シーンは、互いに異なるエンディング内容であっても、１つの同じエンディング内容であってもよい。
【0073】
また、上記実施形態では、情報処理装置１の表示部１４によって、アニメーションを含むシーン画像及びユーザがクリアすべき演奏課題を表示していたが、代わりに別のモニタ（例えばプロジェクタ）が表示してもよい。この場合、情報処理装置１は、別のモニタにアニメーションを含むシーン画像及びユーザがクリアすべき課題の画像となる情報を送信すればよい。
【0074】
また、上記実施形態では、各シーン画像内でアニメーションが表示されていたが、アニメーションの代わりに静止画像としてステップＳ２におけるシーン画像が引き続き表示され続けるよう設定してもよい。この場合、ステップＳ６が省略され、ステップＳ７において、アニメーションの再生の代わりにステップＳ２におけるシーン画像が引き続き表示されるため、ステップＳ７中のシーン画像と、ステップＳ８における音声データの出力を同期させる必要はない。
【0075】
また、上記実施形態では、ステップＳ１５において、電子楽器２の制御部１２が、正しく音符が弾けたか否かを判断したが、代わりに電子楽器２が出力した音データを情報処理装置１が受信し、情報処理装置１の制御部１１が正しく音符が弾けたか否かを判断してもよい。
この場合、情報処理装置１の制御部１１が正しく音符が弾けていないと判断した場合（ステップＳ１５；ＮＯ）、制御部１１は、その旨を電子楽器2に送信し、ステップＳ１３に戻し、正しく音符が弾けたと判断した場合（ステップＳ１５；ＹＥＳ）、最後の音符までの演奏が終了したか否かを判断する（ステップＳ１６）。情報処理装置１の制御部１１が、最後の音符までの演奏が終了したと判断した場合（ステップＳ１６；ＹＥＳ）、電子楽器２にその旨を送信し、制御部２１は、録音を停止し（ステップＳ１７）、制御部１１が最後の音符までの演奏が終了していないと判断した場合（ステップＳ１６；ＮＯ）、その旨を電子楽器２に送信し、制御部２１は、ステップＳ１３に戻らせる。
この場合、情報処理装置１の制御部１１が正しく音符が弾けていないと判断した場合（ステップＳ１５；ＮＯ）、制御部１１は、その旨を電子楽器2に送信し、ステップＳ１３に戻し、正しく音符が弾けたと判断した場合（ステップＳ１５；ＹＥＳ）、最後の音符までの演奏が終了したか否かを判断する（ステップＳ１６）。情報処理装置１の制御部１１が、最後の音符までの演奏が終了したと判断した場合（ステップＳ１６；ＹＥＳ）、電子楽器２にその旨を送信し、制御部２１は、録音を停止し（ステップＳ１７）、制御部１１が最後の音符までの演奏が終了していないと判断した場合（ステップＳ１６；ＮＯ）、その旨を電子楽器２に送信し、制御部２１は、ステップＳ１３に戻らせる。
【0076】
また、上記実施形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＲＯＭ等の半導体メモリを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＨＤＤ、ＳＳＤや、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
【0077】
その他、電子絵本システム１００の情報処理装置１及び電子機器２の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【0078】
以上に本発明の実施形態を説明したが、本発明の技術的範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載に基づいて定められる。更に、特許請求の範囲の記載から本発明の本質とは関係のない変更を加えた均等な範囲も本発明の技術的範囲に含む。
【符号の説明】
【0079】
１００ 電子絵本システム
１ 情報処理装置
１１ 制御部
１２ 記憶部
１２１ 電子絵本アプリ
１３ 入力部
１４ 表示部
１５ 通信部
１６ 出力部
１７ バス
２ 電子楽器
２１ 制御部
２２ 記憶部
２２１ 電子絵本アプリ
２３ 鍵盤
２４ 入力部
２５ 表示部
２６ 通信部
２７ 出力部
２８ バス
１ 情報処理装置
１１ 制御部
１２ 記憶部
１２１ 電子絵本アプリ
１３ 入力部
１４ 表示部
１５ 通信部
１６ 出力部
１７ バス
２ 電子楽器
２１ 制御部
２２ 記憶部
２２１ 電子絵本アプリ
２３ 鍵盤
２４ 入力部
２５ 表示部
２６ 通信部
２７ 出力部
２８ バス
【図1】
【図2】
【図3】
【図4】