(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023096015
(43)【公開日】2023-07-06
(54)【発明の名称】音声情報置き換えシステム及びプログラム
(51)【国際特許分類】
G10L 19/00 20130101AFI20230629BHJP
【ＦＩ】
G10L19/00 312Z
【審査請求】有
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2023080619
(22)【出願日】2023-05-16
(62)【分割の表示】P 2019183814の分割
【原出願日】2019-10-04
(71)【出願人】
【識別番号】000220262
【氏名又は名称】東京瓦斯株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】榎本 奈津子
(72)【発明者】
【氏名】長谷川 昌美
(72)【発明者】
【氏名】田中 彩乃
(57)【要約】
【課題】元音声のスピードを考慮せずに音声の録音を可能にする。
【解決手段】音声情報置き換えシステムは、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、音声情報ファイルに含まれる元音声を再生する再生手段と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段とを備え、音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、ボタンの操作が検知されるまでに録音された音により、置き換えが可能な領域に対応する元音声の全体を置き換える。
【選択図】図２１
【解決手段】音声情報置き換えシステムは、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、音声情報ファイルに含まれる元音声を再生する再生手段と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段とを備え、音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、ボタンの操作が検知されるまでに録音された音により、置き換えが可能な領域に対応する元音声の全体を置き換える。
【選択図】図２１
【特許請求の範囲】
【請求項1】
ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、
前記音声情報ファイルに含まれる元音声を再生する再生手段と、
元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、
を備え、
音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、当該ボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、音声情報置き換えシステム。
前記音声情報ファイルに含まれる元音声を再生する再生手段と、
元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、
を備え、
音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、当該ボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、音声情報置き換えシステム。
【請求項2】
コンピュータに、
ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、
前記音声情報ファイルに含まれる元音声を再生する機能と、
元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、
を実現させるためのプログラムであり、
音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、当該ボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、プログラム。
ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、
前記音声情報ファイルに含まれる元音声を再生する機能と、
元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、
を実現させるためのプログラムであり、
音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、当該ボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声情報置き換えシステム及びプログラムに関する。
【背景技術】
【0002】
従来、映画などの物語の画面に合わせて台詞や音楽などを録音するアフターレコーディング（いわゆるアフレコ）技術が存在する。
例えば特許文献１には、物語との一体感を楽しみながら、声優を純粋に体験するための装置の例が記載されている。この装置には、プレーヤが選択した配役以外の音声を再生する機能と、プレーヤが選択した配役が発声するタイミングで、プレーヤが選択した配役の台詞に対応するテロップだけを表示する機能とが設けられている。このため、プレーヤは、テロップに合わせて発声するだけで、アフレコを体験できる。なお、表示画面には、アニメ、ドラマ等の動画が表示されるので、プレーヤは、物語との一体感を楽しむことができる。
例えば特許文献１には、物語との一体感を楽しみながら、声優を純粋に体験するための装置の例が記載されている。この装置には、プレーヤが選択した配役以外の音声を再生する機能と、プレーヤが選択した配役が発声するタイミングで、プレーヤが選択した配役の台詞に対応するテロップだけを表示する機能とが設けられている。このため、プレーヤは、テロップに合わせて発声するだけで、アフレコを体験できる。なお、表示画面には、アニメ、ドラマ等の動画が表示されるので、プレーヤは、物語との一体感を楽しむことができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－３４６２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
前述の装置は、プレーヤが選択した配役とプレーヤが選択していない配役を区別し、それぞれについて台詞の再生とテロップの出力を制御する。このため、プレーヤが選択した配役の台詞をプレーヤが発声しなければ、該当箇所の台詞は欠落した状態になる。
アフレコの技術は、昔話などを録音したオーディオブックにも応用されている。オーディオブックは、子供の年齢に応じて様々な楽しみ方ができる。例えば小さい子供が、興味のある台詞や音を再生音に合わせて発声する様子は微笑ましく、録音された子供の声は親子の楽しい思い出になる。また、少し大きくなった子供であれば、わざと台詞を変えて発声する様子を成長の記録として残すことができる。このように子供の音声の録音は、家族の思い出であると同時に、子供の成長の記録ともなる。
アフレコの技術は、昔話などを録音したオーディオブックにも応用されている。オーディオブックは、子供の年齢に応じて様々な楽しみ方ができる。例えば小さい子供が、興味のある台詞や音を再生音に合わせて発声する様子は微笑ましく、録音された子供の声は親子の楽しい思い出になる。また、少し大きくなった子供であれば、わざと台詞を変えて発声する様子を成長の記録として残すことができる。このように子供の音声の録音は、家族の思い出であると同時に、子供の成長の記録ともなる。
【0005】
ところで、知育教材としてのオーディオブックには、声の録音を指示するボタンは用意されていても、録音の開始後に録音操作を取り消すボタンや録音操作の取り消し時に取り消し前までに録音された音を自動的に削除する機能等は設けられていない。このため、ユーザは、事後的に編集画面を開いて不要な録音を探し出し、不要な録音を削除する必要がある。また、不要な録音が保存されたままであると、目的とする録音を探し出す妨げにもなり、音声を置き換える作業全体の効率性を低下させる一因になる。
また、オーディオブックには、置き換え可能な台詞をユーザに通知する機能は設けられているが、置き換え可能な領域のオーディオブックの中での位置関係や置き換えられた領域の数等をユーザが確認できる仕組みが存在しない。このため、置き換え用の音声が録音されていない領域を調べるのは容易でない。結果的に、ユーザによる音声を置き換える作業全体の効率性を高める仕組みが求められる。
また、オーディオブックには、置き換え可能な台詞をユーザに通知する機能は設けられているが、置き換え可能な領域のオーディオブックの中での位置関係や置き換えられた領域の数等をユーザが確認できる仕組みが存在しない。このため、置き換え用の音声が録音されていない領域を調べるのは容易でない。結果的に、ユーザによる音声を置き換える作業全体の効率性を高める仕組みが求められる。
【0006】
本発明は、元音声のスピードを考慮せずに音声を録音できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
請求項１に記載の発明は、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、前記音声情報ファイルに含まれる元音声を再生する再生手段と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、を備え、音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、当該ボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、音声情報置き換えシステムである。
請求項２に記載の発明は、コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、前記音声情報ファイルに含まれる元音声を再生する機能と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、を実現させるためのプログラムであり、音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、当該ボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、プログラムである。
請求項２に記載の発明は、コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、前記音声情報ファイルに含まれる元音声を再生する機能と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、を実現させるためのプログラムであり、音声の録音中に録音の終了を指示するボタンの操作が検知された場合には、当該ボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、プログラムである。
【発明の効果】
【0008】
請求項１記載の発明によれば、元音声のスピードを考慮せずに音声を録音できる。
請求項２記載の発明によれば、元音声のスピードを考慮せずに音声を録音できる。
請求項２記載の発明によれば、元音声のスピードを考慮せずに音声を録音できる。
【図面の簡単な説明】
【0009】
【図1】実施の形態で想定するネットワークシステムの概要を説明する図である。
【図2】実施の形態で使用する端末の構成例を示す図である。
【図3】端末を構成する制御ユニットの機能構成を説明する図である。
【図4】ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。
【図5】オーディオブックを選択する時点Ｔ１とオーディオブックの再生の指示を受け付ける時点Ｔ２の画面の例を説明する図である。
【図6】置き換え等が可能でない領域が再生されている時点Ｔ３と置き換え等が可能な領域が再生されている時点Ｔ４の画面の例を説明する図である。
【図7】置き換えの指示を受け付けた場合に表示される画面の例を説明する図である。
【図8】置き換えの指示を受け付けた場合に表示される画面の他の例を説明する図である。
【図9】音の追加が可能な領域部分で表示される画面の例を説明する図である。
【図10】音の追加の指示を受け付けた場合に表示される画面の例を説明する図である。
【図11】置き換え等が可能な領域とユーザが実際に置き換え等を指示した領域との関係を説明する図である。（Ａ）はオーディオブック内に予め定められている置き換え等が可能な領域の配置を示し、（Ｂ）はユーザが実際に置き換え等を指示した領域を示す。
【図12】置き換えが可能な領域を含むオーディオブックの再生が開始された直後の画面の表示例を説明する図である。
【図13】置き換えが可能な領域の一部に既に録音があるオーディオブックの再生が選択された場合の画面の表示例を説明する図である。
【図14】先頭から５番目の吹き出しが人差し指でタップされる様子を説明する図である。
【図15】置き換えが可能な領域の再生が開始された直後の画面の表示例を説明する図である。
【図16】置き換えが可能な領域の再生中にスキップボタンが操作される様子を説明する図である。
【図17】スキップボタンの操作後の画面の表示例を説明する図である。
【図18】置き換えが可能な領域の再生中に録音ボタンが操作される様子を説明する図である。
【図19】録音ボタンの操作後に表示される画面の表示例を説明する図である。
【図20】録音中にスキップボタンが操作される様子を説明する図である。
【図21】録音ボタンが操作されてから予め定めた時間が経過した後の画面の表示例を説明する図である。
【図22】停止ボタンの操作後に表示される画面の表示例を説明する図である。
【図23】オーディオブックの再生が終了した時点でユーザが録音を行った領域が１つでも存在する場合に自動的に表示される画面の例を説明する図である。
【図24】作成されたオリジナルのオーディオブックを保存する領域をユーザが指定する場合に用いられる画面の例を説明する図である。
【図25】作成されたオーディオブックの保存の終了後等に表示される画面の表示例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施の形態を説明する。
【0011】
＜実施の形態＞
＜システムの全体構成＞
図１は、実施の形態で想定するネットワークシステム１の概要を説明する図である。
図１に示すネットワークシステム１は、インターネット１０に接続されたオーディオファイル管理サーバ２０と、ユーザが操作する端末３０とで構成されている。
本実施の形態におけるオーディオファイル管理サーバ２０は、本等を朗読する音声をデータとして記録したファイル（以下「オーディオファイル」という）を配信用に管理するサーバである。オーディオファイル管理サーバ２０は、コンピュータを基本構成とする。図１の場合、オーディオファイル管理サーバ２０は１台であるが、複数台の装置が協働してオーディオファイル管理サーバ２０として動作してもよい。
＜システムの全体構成＞
図１は、実施の形態で想定するネットワークシステム１の概要を説明する図である。
図１に示すネットワークシステム１は、インターネット１０に接続されたオーディオファイル管理サーバ２０と、ユーザが操作する端末３０とで構成されている。
本実施の形態におけるオーディオファイル管理サーバ２０は、本等を朗読する音声をデータとして記録したファイル（以下「オーディオファイル」という）を配信用に管理するサーバである。オーディオファイル管理サーバ２０は、コンピュータを基本構成とする。図１の場合、オーディオファイル管理サーバ２０は１台であるが、複数台の装置が協働してオーディオファイル管理サーバ２０として動作してもよい。
【0012】
本実施の形態では、ユーザとの間で取引の単位となるオーディオファイルを総称してオーディオブックともいう。オーディオブックは、１つのオーディオファイルで構成される場合もあれば、複数のオーディオファイルで構成される場合もある。
本実施の形態では、登場人物の台詞等で話が展開されるオーディオブックの類を音物語という。音物語には、例えば昔話や童話がある。
また、オーディオファイル管理サーバ２０が配信するオーディオブックには、ユーザが自由に音を挿入することが可能な領域部分、又は、元の音と置き換えが可能な領域部分を示す情報が付属されているものとする。
ここでのオーディオブックは、音声情報ファイルの一例である。また、本実施の形態の場合、音を挿入することが可能な領域と音の置き換えが可能な領域とを区別して説明するが、音を挿入する処理は、無音の領域を有音の領域に置き換える処理である。このため、音を挿入することが可能な領域は、広義には、音の置き換えが可能な領域の一例である。
本実施の形態では、登場人物の台詞等で話が展開されるオーディオブックの類を音物語という。音物語には、例えば昔話や童話がある。
また、オーディオファイル管理サーバ２０が配信するオーディオブックには、ユーザが自由に音を挿入することが可能な領域部分、又は、元の音と置き換えが可能な領域部分を示す情報が付属されているものとする。
ここでのオーディオブックは、音声情報ファイルの一例である。また、本実施の形態の場合、音を挿入することが可能な領域と音の置き換えが可能な領域とを区別して説明するが、音を挿入する処理は、無音の領域を有音の領域に置き換える処理である。このため、音を挿入することが可能な領域は、広義には、音の置き換えが可能な領域の一例である。
【0013】
挿入が可能な領域部分又は置き換えが可能な領域部分が定められているオーディオブックは、編集が可能な音物語のファイルの一例である。以下では、ユーザによる音の挿入や音の置き換えの前のファイルに収録されている音声を元の音声又は元音声という。
どの領域部分を挿入が可能な領域部分とするか、又は、置き換えが可能な領域部分とするかは、オーディオブックを配信する側が事前に定めている。ここでの領域部分の多くは台詞である。もっとも、ユーザによる音の挿入や置き換えが可能な領域部分は、オーディオブックに現れる台詞の全てである必要はなく、特定の登場人物の台詞に限定される必要もない。また、ユーザによる音の挿入や置き換えが可能な領域部分は、ナレーションの一部分でもよい。
どの領域部分を挿入が可能な領域部分とするか、又は、置き換えが可能な領域部分とするかは、オーディオブックを配信する側が事前に定めている。ここでの領域部分の多くは台詞である。もっとも、ユーザによる音の挿入や置き換えが可能な領域部分は、オーディオブックに現れる台詞の全てである必要はなく、特定の登場人物の台詞に限定される必要もない。また、ユーザによる音の挿入や置き換えが可能な領域部分は、ナレーションの一部分でもよい。
【0014】
本実施の形態における端末３０は、オーディオブックをダウンロードするユーザが主に操作するスマートフォン、タブレット端末、オーディオプレーヤ、ノートパソコン等である。
端末３０には、インターネット１０を介してオーディオファイル管理サーバ２０にアクセスし、前述したオーディオブックをダウンロードすることが可能な機能が設けられている。もっとも、オーディオファイル管理サーバ２０との接続は、他の機器を介して実現されてもよい。本実施の形態の場合、端末３０は、音声情報置き換えシステムの一例である。
端末３０には、インターネット１０を介してオーディオファイル管理サーバ２０にアクセスし、前述したオーディオブックをダウンロードすることが可能な機能が設けられている。もっとも、オーディオファイル管理サーバ２０との接続は、他の機器を介して実現されてもよい。本実施の形態の場合、端末３０は、音声情報置き換えシステムの一例である。
【0015】
＜端末３０の構成＞
図２は、実施の形態で使用する端末３０の構成例を示す図である。
本実施の形態における端末３０は、装置全体の動作を制御する制御ユニット３０１と、データを記録する不揮発性の記憶ユニット３０２と、ユーザインタフェース画面等の表示に用いられる表示ユニット３０３と、ユーザの操作を受け付ける操作受付ユニット３０４と、電気信号を音として再生するスピーカ３０５と、音を電気信号に変換するマイク３０６と、通信インタフェース（＝通信ＩＦ）３０７とを有している。
図２は、実施の形態で使用する端末３０の構成例を示す図である。
本実施の形態における端末３０は、装置全体の動作を制御する制御ユニット３０１と、データを記録する不揮発性の記憶ユニット３０２と、ユーザインタフェース画面等の表示に用いられる表示ユニット３０３と、ユーザの操作を受け付ける操作受付ユニット３０４と、電気信号を音として再生するスピーカ３０５と、音を電気信号に変換するマイク３０６と、通信インタフェース（＝通信ＩＦ）３０７とを有している。
【0016】
本実施の形態における制御ユニット３０１は、ＣＰＵ（＝Central Processing Unit）３１１と、ファームウェア等が記録されたＲＯＭ（＝Read Only Memory）３１２と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）３１３とを有している。
制御ユニット３０１は、いわゆるコンピュータとして機能する。なお、ＲＯＭ３１２は、不揮発性の書き換え可能な半導体メモリである。
記憶ユニット３０２は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット３０２には、例えばオーディオブックのデータやマイク３０６で収録された音のデータ等が保存される。
制御ユニット３０１は、いわゆるコンピュータとして機能する。なお、ＲＯＭ３１２は、不揮発性の書き換え可能な半導体メモリである。
記憶ユニット３０２は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット３０２には、例えばオーディオブックのデータやマイク３０６で収録された音のデータ等が保存される。
【0017】
表示ユニット３０３は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。表示ユニット３０３には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット３０４は、例えば表示ユニット３０３の表面に配置されるタッチセンサ、筐体に配置されるスイッチ、ボタンで構成される。
通信インタフェース３０７は、例えば無線ＬＡＮ（＝Local Area Network）、ブルートゥース（登録商標）、移動通信規格に準拠した無線装置である。
因みに、制御ユニット３０１と各ユニット等とは、バス３０８や不図示の信号線を通じて接続されている。
なお、不図示であるが、端末３０には、位置情報を取得するＧＰＳ（＝Global Positioning System）センサ、地磁気センサ、加速度センサ、動画像や静止画像を撮像するカメラ等が実装されている。ここでの位置情報は、音が収録された場所の記録にも使用される。
操作受付ユニット３０４は、例えば表示ユニット３０３の表面に配置されるタッチセンサ、筐体に配置されるスイッチ、ボタンで構成される。
通信インタフェース３０７は、例えば無線ＬＡＮ（＝Local Area Network）、ブルートゥース（登録商標）、移動通信規格に準拠した無線装置である。
因みに、制御ユニット３０１と各ユニット等とは、バス３０８や不図示の信号線を通じて接続されている。
なお、不図示であるが、端末３０には、位置情報を取得するＧＰＳ（＝Global Positioning System）センサ、地磁気センサ、加速度センサ、動画像や静止画像を撮像するカメラ等が実装されている。ここでの位置情報は、音が収録された場所の記録にも使用される。
【0018】
＜端末３０の機能構成＞
図３は、端末３０を構成する制御ユニット３０１の機能構成を説明する図である。
図３に示す機能モジュールは、ＣＰＵ３１１（図２参照）によるプログラムの実行を通じて実現される。なお、図３に示す機能モジュールは、制御ユニット３０１が実行するプログラムの一例である。
図３は、端末３０を構成する制御ユニット３０１の機能構成を説明する図である。
図３に示す機能モジュールは、ＣＰＵ３１１（図２参照）によるプログラムの実行を通じて実現される。なお、図３に示す機能モジュールは、制御ユニット３０１が実行するプログラムの一例である。
【0019】
図３に示すプログラムの１つには、オーディオファイル管理サーバ２０（図１参照）からオーディオブックを取得するオーディオブック取得モジュール３２１がある。取得の対象であるオーディオブックは、端末３０（図１参照）の操作画面を通じてユーザが指定する。なお、オーディオブックは、オーディオファイル管理サーバ２０から取得する以外に、記憶ユニット３０２（図２参照）から取得する場合もある。オーディオブック取得モジュール３２１は、取得手段の一例である。
【0020】
図３に示すプログラムの１つには、オーディオブックを再生するオーディオブック再生モジュール３２２がある。
本実施の形態の場合、オーディオブック再生モジュール３２２によるオーディオブックの再生には、元音声の再生と編集済みのオーディオブックの再生との２種類があり、各再生に応じたボタンが表示ユニット３０３（図２参照）に表示される。オーディオブック再生モジュール３２２は、再生手段の一例である。
本実施の形態の場合、オーディオブック再生モジュール３２２によるオーディオブックの再生には、元音声の再生と編集済みのオーディオブックの再生との２種類があり、各再生に応じたボタンが表示ユニット３０３（図２参照）に表示される。オーディオブック再生モジュール３２２は、再生手段の一例である。
【0021】
図３に示すプログラムの１つには、オーディオブックのうちユーザが収集した音による置き換えが可能な又は挿入が可能な領域部分をユーザに提示する置き換え可能領域等提示モジュール３２３がある。
ここでの置き換え可能領域等提示モジュール３２３は、表示ユニット３０３（図２参照）に表示される台詞等の表示の態様を、置き換えが可能な台詞等と置き換えできない台詞等とで区別する。
例えば置き換えできない台詞等は、基準とする太さとサイズで表示されるのに対し、置き換えが可能な台詞等については太字で表示される。また例えば置き換えできない台詞等は黒色の文字で表示されるのに対し、置き換えが可能な台詞等については赤色の文字で表示される。また例えば置き換えできない台詞等にはマークが付かないのに対し、置き換えが可能な台詞等には特徴的なマークが追加的に表示される。
また、置き換え可能領域等提示モジュール３２３は、ユーザが収集した音の挿入が可能とされている領域部分で、その旨を示すマーク等を表示ユニット３０３に表示する。
また、置き換え可能な領域部分や挿入が可能な領域部分の提示は、予め定めた特定の音の出力によってもよい。例えばブザー等で該当位置を知らせてもよい。
ここでの置き換え可能領域等提示モジュール３２３は、表示ユニット３０３（図２参照）に表示される台詞等の表示の態様を、置き換えが可能な台詞等と置き換えできない台詞等とで区別する。
例えば置き換えできない台詞等は、基準とする太さとサイズで表示されるのに対し、置き換えが可能な台詞等については太字で表示される。また例えば置き換えできない台詞等は黒色の文字で表示されるのに対し、置き換えが可能な台詞等については赤色の文字で表示される。また例えば置き換えできない台詞等にはマークが付かないのに対し、置き換えが可能な台詞等には特徴的なマークが追加的に表示される。
また、置き換え可能領域等提示モジュール３２３は、ユーザが収集した音の挿入が可能とされている領域部分で、その旨を示すマーク等を表示ユニット３０３に表示する。
また、置き換え可能な領域部分や挿入が可能な領域部分の提示は、予め定めた特定の音の出力によってもよい。例えばブザー等で該当位置を知らせてもよい。
【0022】
図３に示すプログラムの１つには、ユーザによる置き換え指示を受け付ける置き換え指示受付モジュール３２４がある。
本実施の形態の場合、置き換えの指示には、録音ボタンの操作を使用する。置き換え指示を受け付けた場合、元音声の出力は停止され、音声等の録音や事前に収録された音素材の選択が可能な状態になる。録音ボタンは第２のボタンの一例である。
なお、その場で音声等を録音する場合と音素材を選択的に指定する場合とで別々のボタンを用意してもよいし、録音ボタンを１回タップするか２回タップするかで操作を切り替えられるようにしてもよい。音素材を選択的に指定する場合には、選択の指示を受け付けるまで、オーディオブックの再生も停止される。なお、録音の停止には、停止ボタンの操作を使用する。停止ボタンは、第３のボタンの一例である。もっとも、置き換えの対象になった台詞の元音声での再生時間の終了後に自動的に録音を停止する仕組みとすることも可能である。
本実施の形態の場合、置き換えの指示には、録音ボタンの操作を使用する。置き換え指示を受け付けた場合、元音声の出力は停止され、音声等の録音や事前に収録された音素材の選択が可能な状態になる。録音ボタンは第２のボタンの一例である。
なお、その場で音声等を録音する場合と音素材を選択的に指定する場合とで別々のボタンを用意してもよいし、録音ボタンを１回タップするか２回タップするかで操作を切り替えられるようにしてもよい。音素材を選択的に指定する場合には、選択の指示を受け付けるまで、オーディオブックの再生も停止される。なお、録音の停止には、停止ボタンの操作を使用する。停止ボタンは、第３のボタンの一例である。もっとも、置き換えの対象になった台詞の元音声での再生時間の終了後に自動的に録音を停止する仕組みとすることも可能である。
【0023】
図３に示すプログラムの１つには、ユーザによる音素材の挿入指示を受け付ける音素材挿入受付モジュール３２５がある。
本実施の形態の場合、音素材の挿入指示にも、録音ボタンの操作を使用する。音素材の挿入指示を受け付けた場合も、音声等の録音や事前に収録された音素材の選択が可能な状態になる。
音素材の挿入についても、その場で音声等を録音する場合と音素材を選択的に指示する場合とがある。操作の仕方は、置き換え指示の場合と同様である。
以下では、音素材の置き換えと挿入を総称する場合、「置き換え等」ともいう。
本実施の形態の場合、音素材の挿入指示にも、録音ボタンの操作を使用する。音素材の挿入指示を受け付けた場合も、音声等の録音や事前に収録された音素材の選択が可能な状態になる。
音素材の挿入についても、その場で音声等を録音する場合と音素材を選択的に指示する場合とがある。操作の仕方は、置き換え指示の場合と同様である。
以下では、音素材の置き換えと挿入を総称する場合、「置き換え等」ともいう。
【0024】
図３に示すプログラムの１つには、音素材の置き換えや挿入による編集が加えられたオーディオブック（以下「編集済みオーディオブック」という）を記憶ユニット３０２（図２参照）に記録する編集済みオーディオブック保存モジュール３２６がある。
編集済みオーディオブックは、編集前のオーディオブックとは別に作成される。従って、編集前のオーディオブックは、編集前の状態のまま保存される。本実施の形態の場合、編集済みオーディオブックのファイル名には、保存の日時等が自動的に挿入される。このように保存された複数の編集済みオーディオブックは、子供の成長の履歴として残すことが可能になる。もっとも、ファイル名は事後的に編集してもよい。
編集済みオーディオブックは、編集前のオーディオブックとは別に作成される。従って、編集前のオーディオブックは、編集前の状態のまま保存される。本実施の形態の場合、編集済みオーディオブックのファイル名には、保存の日時等が自動的に挿入される。このように保存された複数の編集済みオーディオブックは、子供の成長の履歴として残すことが可能になる。もっとも、ファイル名は事後的に編集してもよい。
【0025】
図３に示すプログラムの１つには、ユーザによる音声の置き換え等を支援する支援情報提示モジュール３２７がある。
本実施の形態における支援情報提示モジュール３２７は、録音ボタンや録音の停止ボタンの操作とは別に、ユーザによる音声の置き換え等の進行を支援する情報を表示ユニット３０３に提示する機能である。
本実施の形態における「ユーザによる音声の置き換え等の進行を支援する情報」は、録音ボタンのように置き換え等を直接的に指示するための情報ではなく、置き換え等に関する作業の効率化に寄与する情報をいう。換言すると、置き換え等の作業全体に対する進行の把握や進行の促進に貢献する情報をいう。ここでの効率化には、目的とする効果の実現のために必要となる工数の削減や作業に要する時間の削減も含まれる。
本実施の形態における支援情報提示モジュール３２７は、録音ボタンや録音の停止ボタンの操作とは別に、ユーザによる音声の置き換え等の進行を支援する情報を表示ユニット３０３に提示する機能である。
本実施の形態における「ユーザによる音声の置き換え等の進行を支援する情報」は、録音ボタンのように置き換え等を直接的に指示するための情報ではなく、置き換え等に関する作業の効率化に寄与する情報をいう。換言すると、置き換え等の作業全体に対する進行の把握や進行の促進に貢献する情報をいう。ここでの効率化には、目的とする効果の実現のために必要となる工数の削減や作業に要する時間の削減も含まれる。
【0026】
本実施の形態の場合、ユーザによる音声の置き換え等の進行を支援する情報として、例えば置き換えが可能な領域に対する音声の置き換えのスキップを指示するボタン（以下「スキップボタン」という）、置き換え可能な領域の総数と置き換え済みの領域の数、元音声に対応する時間軸上での置き換え可能な領域の位置や置き換え済みの領域の位置、元音声の再生中に音声の置き換えが１箇所でも行われた場合に表示される保存先の選択画面等を用意する。
これらの情報の提示により、ユーザによる音声の置き換え等の進行に関する作業の効率化が実現される。
ここでの支援情報提示モジュール３２７は、提示手段の一例である。また、スキップボタンは第１のボタンの一例である。
これらの情報の提示により、ユーザによる音声の置き換え等の進行に関する作業の効率化が実現される。
ここでの支援情報提示モジュール３２７は、提示手段の一例である。また、スキップボタンは第１のボタンの一例である。
【0027】
【0028】
＜オーディオブックの編集＞
図４は、ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。なお、図中のＳは、ステップを意味する。
制御ユニット３０１（図２参照）は、ユーザによる特定の操作を検知すると、オーディオブックの選択を受け付ける（ステップ１）。特定の操作の一例には、ダウンロードしたオーディオブックが一覧表示される画面上での選択の指示がある。
選択の指示を受け付けた制御ユニット３０１は、選択されたオーディオブックに置き換え等が可能な領域があるか否かを判定する（ステップ２）。置き換え等が可能な領域の有無は、オーディオブックに付属する情報から識別が可能である。
図４は、ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。なお、図中のＳは、ステップを意味する。
制御ユニット３０１（図２参照）は、ユーザによる特定の操作を検知すると、オーディオブックの選択を受け付ける（ステップ１）。特定の操作の一例には、ダウンロードしたオーディオブックが一覧表示される画面上での選択の指示がある。
選択の指示を受け付けた制御ユニット３０１は、選択されたオーディオブックに置き換え等が可能な領域があるか否かを判定する（ステップ２）。置き換え等が可能な領域の有無は、オーディオブックに付属する情報から識別が可能である。
【0029】
ステップ２で否定結果が得られた場合、制御ユニット３０１は、オーディオブックの再生の指示を受け付けてオーディオブックの再生を開始する（ステップ３）。
オーディオブックの再生が開始されると、制御ユニット３０１は、再生の終了か否かを判定する（ステップ４）。
ステップ４で否定結果が得られている間、制御ユニット３０１は、オーディオブックの再生を継続する。この場合は、置き換え等が可能な領域がないので、オーディオブックの音声がそのまま再生される。
ステップ４で肯定結果が得られると、オーディオブックの再生が終了する。
オーディオブックの再生が開始されると、制御ユニット３０１は、再生の終了か否かを判定する（ステップ４）。
ステップ４で否定結果が得られている間、制御ユニット３０１は、オーディオブックの再生を継続する。この場合は、置き換え等が可能な領域がないので、オーディオブックの音声がそのまま再生される。
ステップ４で肯定結果が得られると、オーディオブックの再生が終了する。
【0030】
一方、ステップ２で肯定結果が得られた場合、制御ユニット３０１は、オーディオブックの再生の指示を受け付けてオーディオブックの再生を開始する（ステップ５）。
この後、制御ユニット３０１は、再生中の位置が、置き換え等が可能な領域か否かを判定する（ステップ６）。
ステップ６で否定結果が得られている間、制御ユニット３０１は、判定を繰り返す。
ステップ６で肯定結果が得られると、制御ユニット３０１は、置き換え等が可能な領域であることをユーザに提示する（ステップ７）。
この後、制御ユニット３０１は、再生中の位置が、置き換え等が可能な領域か否かを判定する（ステップ６）。
ステップ６で否定結果が得られている間、制御ユニット３０１は、判定を繰り返す。
ステップ６で肯定結果が得られると、制御ユニット３０１は、置き換え等が可能な領域であることをユーザに提示する（ステップ７）。
【0031】
続いて、制御ユニット３０１（図２参照）は、置き換え等の指示を受け付けたか否かを判定する（ステップ８）。
本実施の形態の場合、制御ユニット３０１は、録音ボタンの操作が検知されたか否かを判定する。
ステップ８で否定結果が得られた場合、制御ユニット３０１は、ステップ６に戻り、オーディオブックの再生を継続する。
一方、ステップ８で肯定結果が得られた場合、制御ユニット３０１は、音素材を受け付ける（ステップ９）。
この後、制御ユニット３０１は、再生の終了か否かを判定する（ステップ１０）。
ステップ１０で否定結果が得られている間、制御ユニット３０１は、ステップ６に戻り、オーディオブックの再生を継続する。
本実施の形態の場合、制御ユニット３０１は、録音ボタンの操作が検知されたか否かを判定する。
ステップ８で否定結果が得られた場合、制御ユニット３０１は、ステップ６に戻り、オーディオブックの再生を継続する。
一方、ステップ８で肯定結果が得られた場合、制御ユニット３０１は、音素材を受け付ける（ステップ９）。
この後、制御ユニット３０１は、再生の終了か否かを判定する（ステップ１０）。
ステップ１０で否定結果が得られている間、制御ユニット３０１は、ステップ６に戻り、オーディオブックの再生を継続する。
【0032】
ステップ１からステップ１０までに対応する表示画面の例を図５～図１１に示す。
図５は、オーディオブックを選択する時点Ｔ１とオーディオブックの再生の指示を受け付ける時点Ｔ２の画面の例を説明する図である。
時点Ｔ１はステップ１に対応し、時点Ｔ２はステップ５に対応する。
時点Ｔ１の画面には、選択可能なオーディオブックの例として「昔話１」、「昔話２」、「昔話３」が表示され、それぞれに隣接して選択ボタンが表示されている。なお、図５では、「昔話１」の選択ボタンにチェックマークが付いている。この状態で決定ボタン３３２が操作された後の画面が時点Ｔ２の画面である。
図５は、オーディオブックを選択する時点Ｔ１とオーディオブックの再生の指示を受け付ける時点Ｔ２の画面の例を説明する図である。
時点Ｔ１はステップ１に対応し、時点Ｔ２はステップ５に対応する。
時点Ｔ１の画面には、選択可能なオーディオブックの例として「昔話１」、「昔話２」、「昔話３」が表示され、それぞれに隣接して選択ボタンが表示されている。なお、図５では、「昔話１」の選択ボタンにチェックマークが付いている。この状態で決定ボタン３３２が操作された後の画面が時点Ｔ２の画面である。
【0033】
図５の場合、時点Ｔ２の画面の上段には、タイトル３３３と、時間軸３３４と、再生位置を表すスライダ３３５とが表示されている。時点Ｔ２では、再生が開始されていないので、スライダ３３５は原点である左端に位置している。なお、スライダ３３５は、再生位置の移動にも使用できる。
時点Ｔ２の画面の下段には、３種類のボタンが配置されている。ボタン３３６は、元音声などの再生ボタンである。ボタン３３７は、ユーザが収集した音素材の置き換え等の指示に用いるボタンである。図５の場合、ボタン３３７は録音ボタンである。ボタン３３８は、編集済みオーディオブックの再生の指示に用いるボタンである。図５の場合、ボタン３３８は繰り返し再生ボタンである。
図５では、ユーザが、左端のボタン３３６を操作している。
時点Ｔ２の画面の下段には、３種類のボタンが配置されている。ボタン３３６は、元音声などの再生ボタンである。ボタン３３７は、ユーザが収集した音素材の置き換え等の指示に用いるボタンである。図５の場合、ボタン３３７は録音ボタンである。ボタン３３８は、編集済みオーディオブックの再生の指示に用いるボタンである。図５の場合、ボタン３３８は繰り返し再生ボタンである。
図５では、ユーザが、左端のボタン３３６を操作している。
【0034】
図６は、置き換え等が可能でない領域が再生されている時点Ｔ３と置き換え等が可能な領域が再生されている時点Ｔ４の画面の例を説明する図である。
時点Ｔ３はステップ６で否定結果が得られた場合に対応し、時点Ｔ４はステップ７に対応する。
図６の場合、「昔話１」は、童話の「赤ずきん」である。
時点Ｔ３の画面では、既に再生が開始してから時間が経過しているので、スライダ３３５は時間軸３３４の中央付近まで移動している。時点Ｔ３には、登場人物である赤ずきんの台詞３３９があり、端末３０からは対応する音声が出力されている。ここでの台詞３３９は、「あら、おばあさん、なんておおきなおてて」である。
本実施の形態の場合、時点Ｔ３の台詞３３９は、置き換え等ができない台詞として登録されている。このため、端末３０の表示画面には、台詞３３９の内容を表す文字列が、基準とする太さとサイズで表示されている。
時点Ｔ３はステップ６で否定結果が得られた場合に対応し、時点Ｔ４はステップ７に対応する。
図６の場合、「昔話１」は、童話の「赤ずきん」である。
時点Ｔ３の画面では、既に再生が開始してから時間が経過しているので、スライダ３３５は時間軸３３４の中央付近まで移動している。時点Ｔ３には、登場人物である赤ずきんの台詞３３９があり、端末３０からは対応する音声が出力されている。ここでの台詞３３９は、「あら、おばあさん、なんておおきなおてて」である。
本実施の形態の場合、時点Ｔ３の台詞３３９は、置き換え等ができない台詞として登録されている。このため、端末３０の表示画面には、台詞３３９の内容を表す文字列が、基準とする太さとサイズで表示されている。
【0035】
時点Ｔ４は、時点Ｔ３の直後である。時点Ｔ４の画面では、登場人物であるおおかみの台詞３４０があり、対応する音声が出力されている。ここでの台詞３４０は、「おまえが、よくつかめるようにさ」である。
本実施の形態の場合、時点Ｔ４の台詞３４０は、置き換え等が可能な台詞として登録されているが、ユーザが置き換え等の指示をしなければ、台詞３４０はそのまま出力される。実際、図６では端末３０から台詞３４０に対応する音声が出力されている。
端末３０の表示画面には、台詞３４０が、置き換え等が可能であることをユーザに知らせる態様で表示される。図６の場合、台詞３４０は太い文字に変更され、同時に、台詞３４０の背後に楕円形状のマーク３４１が追加されている。このマーク３４１等の存在により、ユーザは、置き換え等が可能な台詞であることを知ることができる。
本実施の形態の場合、時点Ｔ４の台詞３４０は、置き換え等が可能な台詞として登録されているが、ユーザが置き換え等の指示をしなければ、台詞３４０はそのまま出力される。実際、図６では端末３０から台詞３４０に対応する音声が出力されている。
端末３０の表示画面には、台詞３４０が、置き換え等が可能であることをユーザに知らせる態様で表示される。図６の場合、台詞３４０は太い文字に変更され、同時に、台詞３４０の背後に楕円形状のマーク３４１が追加されている。このマーク３４１等の存在により、ユーザは、置き換え等が可能な台詞であることを知ることができる。
【0036】
図７は、置き換えの指示を受け付けた場合に表示される画面の例を説明する図である。図７には、図６の時点Ｔ４の画面との対応部分に対応する符号を付して示している。
ここでは、ユーザが、ボタン３３７を操作している。ユーザによるボタン３３７の操作により、端末３０は、音素材の入力を待機する状態になる。図７では、端末３０のマイク３０６（図２参照）で子供の音声を録音する場合を想定している。このため、台詞３４０に対応する音声の出力が停止されている。端末３０からの音声の出力を停止するのは、端末３０から出力される音声が子供の音声と一緒に録音されないようにするためである。
なお、端末３０からの音声の出力の停止は、ボタン３３７が操作された以降である。換言すると、ボタン３３７が操作されるまでは、図６に示したように、置き換え等が可能な台詞３４０に対応する音声が端末３０から出力される。
図７の例では、子供がおおかみの台詞３４０を発声しており、この音声が端末３０に記録される。
ここでは、ユーザが、ボタン３３７を操作している。ユーザによるボタン３３７の操作により、端末３０は、音素材の入力を待機する状態になる。図７では、端末３０のマイク３０６（図２参照）で子供の音声を録音する場合を想定している。このため、台詞３４０に対応する音声の出力が停止されている。端末３０からの音声の出力を停止するのは、端末３０から出力される音声が子供の音声と一緒に録音されないようにするためである。
なお、端末３０からの音声の出力の停止は、ボタン３３７が操作された以降である。換言すると、ボタン３３７が操作されるまでは、図６に示したように、置き換え等が可能な台詞３４０に対応する音声が端末３０から出力される。
図７の例では、子供がおおかみの台詞３４０を発声しており、この音声が端末３０に記録される。
【0037】
図８は、置き換えの指示を受け付けた場合に表示される画面の他の例を説明する図である。図８には、図７との対応部分に対応する符号を付して示している。
図８に示す画面も時点Ｔ４における台詞３４０の置き換えである点で図７と共通するが、音素材の取得の時点と置き換え編集の時点とが異なる点で図７と異なっている。
図８の場合、置き換えが可能であることを、マーク３４１（図７参照）ではなく文字列３４１Ａで示している。
また、画面の中下段には、端末３０等を用いて過去に収録された音素材の候補の一覧３４２が表示されている。図８の場合、候補は３つである。一覧３４２には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図８に示す画面も時点Ｔ４における台詞３４０の置き換えである点で図７と共通するが、音素材の取得の時点と置き換え編集の時点とが異なる点で図７と異なっている。
図８の場合、置き換えが可能であることを、マーク３４１（図７参照）ではなく文字列３４１Ａで示している。
また、画面の中下段には、端末３０等を用いて過去に収録された音素材の候補の一覧３４２が表示されている。図８の場合、候補は３つである。一覧３４２には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
【0038】
図８に示す候補のファイル名には、録音の日時と配役の情報が含まれ、音の内容の識別が可能になっている。なお、同日に録音された同じ配役の台詞を区別するため、ファイル名の末尾には通し番号も付されている。例えば１つ目の候補は、２０１９年３月７日の１９時６分に録音された音素材であり、おおかみの１つ目の台詞であることが分かる。なお、通し番号の意味は、録音日における録音の順番でもよい。
図８の例のように、ファイル名に配役の情報が含まれている場合、端末３０は、ユーザが置き換えを指示した領域部分の台詞３４０に対応する配役に関する音素材を選択的に表示することも可能である。
また、通し番号が置き換え可能な領域部分を表している場合、端末３０は、ピンポイントで関連する音素材を選択的に表示することができる。
図８の例のように、ファイル名に配役の情報が含まれている場合、端末３０は、ユーザが置き換えを指示した領域部分の台詞３４０に対応する配役に関する音素材を選択的に表示することも可能である。
また、通し番号が置き換え可能な領域部分を表している場合、端末３０は、ピンポイントで関連する音素材を選択的に表示することができる。
【0039】
図８に示すファイル名では、配役の情報が含まれているが、配役に代えて又は配役と一緒に音素材の録音場所を示す情報が含まれていてもよい。例えば自宅、公園等がファイル名に含まれていてもよい。この他、ファイル名には、誰の声かを示す情報や録音時における子供の年齢が含まれていてもよい。もっとも、これらの情報は、ファイルに付属する情報にのみ含まれていてもよい。
図８の例では、２つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン３４４が操作されると、編集の対象になっている領域部分についての置き換えが完了する。なお、戻るボタン３４３が操作された場合には、例えば編集前の画面に戻る。
図８の例では、２つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン３４４が操作されると、編集の対象になっている領域部分についての置き換えが完了する。なお、戻るボタン３４３が操作された場合には、例えば編集前の画面に戻る。
【0040】
図９は、音の追加が可能な領域部分で表示される画面の例を説明する図である。図９には、図７の時点Ｔ４の画面との対応部分に対応する符号を付して示している。
図９の画面は、前述したいずれとも異なる時点Ｔ５に対応する。
本実施の形態における時点Ｔ５は、音の挿入（すなわち音の追加）が可能である領域部分である。このため、台詞等は存在しない。
図９においては、音の追加が可能であることを説明文３４６と特徴的なマーク３４５とで表現している。
この時点Ｔ５では、音を追加してみたいと思ったユーザ又は子供がボタン３３７を操作している。
図９の画面は、前述したいずれとも異なる時点Ｔ５に対応する。
本実施の形態における時点Ｔ５は、音の挿入（すなわち音の追加）が可能である領域部分である。このため、台詞等は存在しない。
図９においては、音の追加が可能であることを説明文３４６と特徴的なマーク３４５とで表現している。
この時点Ｔ５では、音を追加してみたいと思ったユーザ又は子供がボタン３３７を操作している。
【0041】
図１０は、音の追加の指示を受け付けた場合に表示される画面の例を説明する図である。図１０には、図８との対応部分に対応する符号を付して示している。
図１０の場合、音の挿入が可能であることが文字列３４１Ｂで示されている。
また、画面の中下段には、端末３０等を用いて過去に収録された音素材の候補の一覧３４７が表示されている。図１０の場合、候補は３つである。一覧３４７には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図１０のファイル名には、録音の日時と録音場所の情報が含まれている。例えば１つ目の候補は、２０１９年３月７日の１４時２３分に公園で録音された音素材であることが分かる。
図１０の例では、１つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン３４４が操作されると、編集の対象になっている領域部分への音素材の挿入が完了する。なお、戻るボタン３４３が操作された場合には、例えば編集前の画面に戻る。
なお、図９の場合と同様に、ボタン３３７が操作されると、その場の音が録音され、対応する領域に収録された音を挿入してもよい。音が挿入されたオーディオブックは、編集済みオーディオブックとして記憶ユニット３０２（図２参照）に記録される。
図１０の場合、音の挿入が可能であることが文字列３４１Ｂで示されている。
また、画面の中下段には、端末３０等を用いて過去に収録された音素材の候補の一覧３４７が表示されている。図１０の場合、候補は３つである。一覧３４７には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図１０のファイル名には、録音の日時と録音場所の情報が含まれている。例えば１つ目の候補は、２０１９年３月７日の１４時２３分に公園で録音された音素材であることが分かる。
図１０の例では、１つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン３４４が操作されると、編集の対象になっている領域部分への音素材の挿入が完了する。なお、戻るボタン３４３が操作された場合には、例えば編集前の画面に戻る。
なお、図９の場合と同様に、ボタン３３７が操作されると、その場の音が録音され、対応する領域に収録された音を挿入してもよい。音が挿入されたオーディオブックは、編集済みオーディオブックとして記憶ユニット３０２（図２参照）に記録される。
【0042】
図１１は、置き換え等が可能な領域とユーザが実際に置き換え等を指示した領域との関係を説明する図である。（Ａ）はオーディオブック内に予め定められている置き換え等が可能な領域の配置を示し、（Ｂ）はユーザが実際に置き換え等を指示した領域を示す。
図１１の場合、置き換え可能な領域は１０箇所あるが、そのうちで、ユーザが音素材の挿入を指示した領域は１つであり、ユーザが音素材の置き換えを指示した領域は２つである。置き換え等が可能な領域のうち残りの領域には、元音声等がそのまま残ることになる。
図１１の場合、置き換え可能な領域は１０箇所あるが、そのうちで、ユーザが音素材の挿入を指示した領域は１つであり、ユーザが音素材の置き換えを指示した領域は２つである。置き換え等が可能な領域のうち残りの領域には、元音声等がそのまま残ることになる。
【0043】
なお、置き換え等が可能な領域は、特定の配役の台詞とは無関係に定めることが可能である。このため、子供は自分が興味をもった台詞等だけを選択的に置き換え等することができる。この特徴により、本実施の形態におけるオーディオブックでは、子供の成長の過程で、幾つもの編集済みオーディオブックを生成することが可能になる。例えば子供が小さいうちは動物の鳴き声しか置き換えられていないが、子供の成長とともに次第に長い台詞も置き換えられた編集済みオーディオブックを記録して残すことができる。換言すると、成長の過程を記録することが可能になる。また、成長に伴う興味の移り変わりを、置き換え等が指示される領域の違いとして記録することが可能になる。
因みに、本実施の形態におけるオーディオブックの場合には、置き換え等が可能な領域部分が事前に定められているので、ユーザや子供は、収集する音に集中することができる。
因みに、本実施の形態におけるオーディオブックの場合には、置き換え等が可能な領域部分が事前に定められているので、ユーザや子供は、収集する音に集中することができる。
【0044】
図４の説明に戻る。
オーディオブックの再生が終わった場合（すなわちステップ１０で肯定結果が得られた場合）、制御ユニット３０１（図２参照）は、再生中に置き換え等があったか否かを判定する（ステップ１１）。
ステップ１１で否定結果が得られた場合、制御ユニット３０１は、そのまま処理を終了する。置き換え等が可能な領域がないオーディオブックを再生したのと同じであるためである。
オーディオブックの再生が終わった場合（すなわちステップ１０で肯定結果が得られた場合）、制御ユニット３０１（図２参照）は、再生中に置き換え等があったか否かを判定する（ステップ１１）。
ステップ１１で否定結果が得られた場合、制御ユニット３０１は、そのまま処理を終了する。置き換え等が可能な領域がないオーディオブックを再生したのと同じであるためである。
【0045】
一方、ステップ１１で肯定結果が得られた場合、制御ユニット３０１は、置き換え等の編集の結果を反映した編集済みオーディオブックにファイル名を付けて保存する（ステップ１２）。本実施の形態の場合、編集済みオーディオブックのファイル名は、元のファイル名と編集作業日とで構成されている。
本実施の形態の場合、編集済みオーディオブックの保存が終了すると、保存されたばかりの編集済みオーディオブックが自動的に１回再生される。この再生は、保存内容の確認用である。なお、繰り返し再生用のボタン３３８（図５参照）が操作されると、編集済みオーディオブックの再生が繰り返される。
本実施の形態の場合、編集済みオーディオブックの保存が終了すると、保存されたばかりの編集済みオーディオブックが自動的に１回再生される。この再生は、保存内容の確認用である。なお、繰り返し再生用のボタン３３８（図５参照）が操作されると、編集済みオーディオブックの再生が繰り返される。
【0046】
＜処理動作の例２＞
以下では、端末３０（図１参照）に備えられている機能モジュールのうち支援情報提示モジュール３２７（図３参照）に特有の処理動作について説明する。
以下では、置き換え可能な領域が設定されているオーディオブックの再生中に端末３０の表示ユニット３０３（図２参照）に表示される画面に着目して説明する。
なお、処理動作の例１では、童話の一例として「赤ずきん」を使用したが、以下では、童話の一例として「おおきなかぶ」を使用する。
以下では、端末３０（図１参照）に備えられている機能モジュールのうち支援情報提示モジュール３２７（図３参照）に特有の処理動作について説明する。
以下では、置き換え可能な領域が設定されているオーディオブックの再生中に端末３０の表示ユニット３０３（図２参照）に表示される画面に着目して説明する。
なお、処理動作の例１では、童話の一例として「赤ずきん」を使用したが、以下では、童話の一例として「おおきなかぶ」を使用する。
【0047】
＜再生の開始時の表示＞
図１２は、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の画面の表示例を説明する図である。
図１２は、表示ユニット３０３に表示される画像の一部分を表している。図１２に示す画面の表示は、ステップ５（図４参照）に対応する。
図１２の場合、表示ユニット３０３の中央には、オーディオブックに対応する物語の内容が表示される表示部４００が設けられている。表示部４００には、タイトル４０１が表示されている。本実施の形態の場合、表示部４００には、物語の内容が静止画や動画像の形式で表示される。もっとも、表示部４００には、物語の内容が文字で表示されてもよい。
表示部４００の下部には、物語の再生時間を示す時間軸４１０が配置されている。時間軸４１０には現在の再生位置を表すスライダ４１１が示されている。図１２の場合、再生の開始直後であるのでスライダ４１１は、先頭位置に対応する左端に位置する。
図１２は、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の画面の表示例を説明する図である。
図１２は、表示ユニット３０３に表示される画像の一部分を表している。図１２に示す画面の表示は、ステップ５（図４参照）に対応する。
図１２の場合、表示ユニット３０３の中央には、オーディオブックに対応する物語の内容が表示される表示部４００が設けられている。表示部４００には、タイトル４０１が表示されている。本実施の形態の場合、表示部４００には、物語の内容が静止画や動画像の形式で表示される。もっとも、表示部４００には、物語の内容が文字で表示されてもよい。
表示部４００の下部には、物語の再生時間を示す時間軸４１０が配置されている。時間軸４１０には現在の再生位置を表すスライダ４１１が示されている。図１２の場合、再生の開始直後であるのでスライダ４１１は、先頭位置に対応する左端に位置する。
【0048】
図１２の場合、音声の置き換えが可能な領域は、マイクの絵で表現された吹き出し４１２で表されている。吹き出し４１２は、時間軸４１０に沿って１０個配置されている。このマイクの絵の吹き出し４１２の表示は、支援情報提示モジュール３２７（図３参照）により実現される。
吹き出し４１２が表示されることで、ユーザは、置き換え可能な領域が１０個あることを知ることができる。
本実施の形態の場合、吹き出し４１２の色や形状は、録音済みの領域か否かによって変化する。録音済みの領域か否かにより吹き出し４１２の色や形状が変化すると、ユーザは、どの領域の台詞が録音済みか録音済みでないかを即座に把握することができる。録音された領域の数が表示されるだけでは、録音済みの位置まで分からないが、吹き出し４１２の色や形状が変化すれば、録音済みの位置まで確認が可能になる。
吹き出し４１２が表示されることで、ユーザは、置き換え可能な領域が１０個あることを知ることができる。
本実施の形態の場合、吹き出し４１２の色や形状は、録音済みの領域か否かによって変化する。録音済みの領域か否かにより吹き出し４１２の色や形状が変化すると、ユーザは、どの領域の台詞が録音済みか録音済みでないかを即座に把握することができる。録音された領域の数が表示されるだけでは、録音済みの位置まで分からないが、吹き出し４１２の色や形状が変化すれば、録音済みの位置まで確認が可能になる。
【0049】
図１２における吹き出し４１２の表示は、いずれも音声の置き換えが済んでいないことを表している。このことは、表示部４００の左側に配置されるカウンタ４２０の表示によっても確認できる。カウンタ４２０は、マイクのマークとカウント値で構成される。カウント値は、置き換え可能な領域の総数を表す分母と、音声が録音された領域の数を表す分子で構成される。
図１２の場合、分母の数値は「１０」、分子の数値は「０」である。このカウンタ４２０の表示も、支援情報提示モジュール３２７により実現される。
図１２の場合、分母の数値は「１０」、分子の数値は「０」である。このカウンタ４２０の表示も、支援情報提示モジュール３２７により実現される。
【0050】
カウンタ４２０の表示により、ユーザは、置き換え可能な領域の数が１０個あること、音声が録音された領域の数が０個であることを容易に知ることができる。
なお、分子の数値は、音声が録音された領域の数が増えるたびにカウントアップされる。音声が録音された領域の数の増加は、ユーザに達成感を与え、録音したいという意欲を高める効果も期待できる。
因みに、分子の数値は、領域を単位でカウントされる。従って、ある領域に対応する録音の個数が複数でも、分子の数値は「１」とカウントされる。
なお、分子の数値は、音声が録音された領域の数が増えるたびにカウントアップされる。音声が録音された領域の数の増加は、ユーザに達成感を与え、録音したいという意欲を高める効果も期待できる。
因みに、分子の数値は、領域を単位でカウントされる。従って、ある領域に対応する録音の個数が複数でも、分子の数値は「１」とカウントされる。
【0051】
また、ユーザは、スライダ４１１の位置と吹き出し４１２の位置との関係により、置き換え可能な領域の再生が近づいているか否かを容易に予測できる。置き換え可能な領域の再生が近いことを事前に知ることができることで、ユーザは慌てることなく録音を開始できる。
結果的に、置き換えが可能な領域に音声を録音するために再生位置を戻す等の作業の回数が低減され、置き換えに関する作業性の向上が実現される。
結果的に、置き換えが可能な領域に音声を録音するために再生位置を戻す等の作業の回数が低減され、置き換えに関する作業性の向上が実現される。
【0052】
図１３は、置き換えが可能な領域の一部に既に録音があるオーディオブックの再生が選択された場合の画面の表示例を説明する図である。図１３には、図１２との対応部分に対応する符号を付して示している。
図１３に示す画面も、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の状態を表している。違いは、先頭から５番目と７番目の吹き出し４１２で示される位置以外の領域の表示の色が変更されている点とカウンタ４２０の表示が「８／１０」に変更されている点である。
図１３に示す画面も、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の状態を表している。違いは、先頭から５番目と７番目の吹き出し４１２で示される位置以外の領域の表示の色が変更されている点とカウンタ４２０の表示が「８／１０」に変更されている点である。
【0053】
以上の表示の確認により、ユーザは、先頭から１番目から４番目、６番目、８番目から１０番目の領域に録音の記録があることを即座に理解することができる。
また、置き換える音声が録音されていない領域があることが分かると、該当する領域についてピンポイントで声を録音してみようかなという動機づけをユーザに与えることができる。
因みに、処理動作の例１で説明した表示では、置き換える音声が録音されている領域であるか否かをユーザが知ることができない。このため、ユーザは、オーディオブックを再生するたびに気になった領域に音を録音することになる。
また、置き換える音声が録音されていない領域があることが分かると、該当する領域についてピンポイントで声を録音してみようかなという動機づけをユーザに与えることができる。
因みに、処理動作の例１で説明した表示では、置き換える音声が録音されている領域であるか否かをユーザが知ることができない。このため、ユーザは、オーディオブックを再生するたびに気になった領域に音を録音することになる。
【0054】
一方、図１３の場合には、音声が録音されていない領域がピンポイントで分かるので、該当する吹き出し４１２を画面上でタップするだけで、該当する部分における音声の録音を開始することができる。
図１４は、先頭から５番目の吹き出し４１２が人差し指でタップされる様子を説明する図である。図１４には、図１３との対応部分に対応する符号を付して示している。
ユーザによる吹き出し４１２のタップの後、表示部４００には、先頭から５番目の吹き出し４１２に対応する場面の画像が表示され、オーディオブックの再生が再開される。このため、ユーザは、効率的に希望する音声を録音することができる。
本実施の形態の場合、吹き出し４１２がタップされた場合におけるジャンプ先は、タップされた吹き出し４１２に対応する位置の少し前の位置になる。この場合、タップされた吹き出し４１２の位置からいきなり再生が開始されないので、録音ボタンを操作するための時間的な余裕が生じる。もっとも、タップされた吹き出し４１２に対応する位置にジャンプしてもよい。
なお、スライダの移動によっても再生位置をジャンプさせることは可能であるが、吹き出し４１２が表示されていない場合には、希望の位置の探索の手間が大きくなる。
図１４は、先頭から５番目の吹き出し４１２が人差し指でタップされる様子を説明する図である。図１４には、図１３との対応部分に対応する符号を付して示している。
ユーザによる吹き出し４１２のタップの後、表示部４００には、先頭から５番目の吹き出し４１２に対応する場面の画像が表示され、オーディオブックの再生が再開される。このため、ユーザは、効率的に希望する音声を録音することができる。
本実施の形態の場合、吹き出し４１２がタップされた場合におけるジャンプ先は、タップされた吹き出し４１２に対応する位置の少し前の位置になる。この場合、タップされた吹き出し４１２の位置からいきなり再生が開始されないので、録音ボタンを操作するための時間的な余裕が生じる。もっとも、タップされた吹き出し４１２に対応する位置にジャンプしてもよい。
なお、スライダの移動によっても再生位置をジャンプさせることは可能であるが、吹き出し４１２が表示されていない場合には、希望の位置の探索の手間が大きくなる。
【0055】
吹き出し４１２に対応する位置へのジャンプは、ダブルタップを条件としてもよい。この場合、シングルタップを、吹き出し４１２に対応する台詞の全部又は一部の表示に用いてもよい。
台詞の全部又は一部の表示により、録音したい台詞か否かを事前に確認することが可能になる。台詞を事前に確認することができれば、録音を希望する台詞を探す目的で、再生位置のジャンプを繰り返す必要がなくなり、音声の置き換えの作業の効率的に進めることができる。
なお、再生位置のジャンプのためにタップされる吹き出し４１２は、音声が録音されていない領域に限らない。すなわち、既に音声が録音されている領域に対応する吹き出し４１２のタップも可能である。既に音声が録音されている領域でも、別の音声の録音を希望する場合もあるためである。
台詞の全部又は一部の表示により、録音したい台詞か否かを事前に確認することが可能になる。台詞を事前に確認することができれば、録音を希望する台詞を探す目的で、再生位置のジャンプを繰り返す必要がなくなり、音声の置き換えの作業の効率的に進めることができる。
なお、再生位置のジャンプのためにタップされる吹き出し４１２は、音声が録音されていない領域に限らない。すなわち、既に音声が録音されている領域に対応する吹き出し４１２のタップも可能である。既に音声が録音されている領域でも、別の音声の録音を希望する場合もあるためである。
【0056】
＜置き換え可能領域の再生中の表示＞
図１５は、置き換えが可能な領域の再生が開始された直後の画面の表示例を説明する図である。図１５に示す画面の表示は、ステップ７（図４参照）に対応する。
図１５の場合、画面全体の色調が変化して、置き換え可能な領域であることを示している。なお、処理動作の例１では、該当する台詞３４０（図７参照）の背景や表記が変更されていた。図１５の場合は、画面全体の色調を変更することで、置き換えが可能な領域であることにユーザを気づかせ易くしている。もっとも、処理動作の例１と同様に、該当する台詞３４０（図７参照）の部分の表示だけを変更することも可能である。
図１５は、置き換えが可能な領域の再生が開始された直後の画面の表示例を説明する図である。図１５に示す画面の表示は、ステップ７（図４参照）に対応する。
図１５の場合、画面全体の色調が変化して、置き換え可能な領域であることを示している。なお、処理動作の例１では、該当する台詞３４０（図７参照）の背景や表記が変更されていた。図１５の場合は、画面全体の色調を変更することで、置き換えが可能な領域であることにユーザを気づかせ易くしている。もっとも、処理動作の例１と同様に、該当する台詞３４０（図７参照）の部分の表示だけを変更することも可能である。
【0057】
図１５に示す画面には、録音ボタン４０２と、操作を促すメッセージ４０３、台詞４３０が表示されている。また、表示部４００の右側には、上段側から下方に、画面を閉じるためのボタン４４１、ヘルプボタン４４２、スキップボタン４４３が配置されている。
図１５の場合、メッセージ４０３には「ボタンをおしてね」と表記され、録音ボタン４０２の操作がユーザに求められている。録音ボタン４０２が操作されると録音が開始される。
台詞４３０では、２行目の「おおきくなあれ あまくなあれ」の表記の色が上下の行と異なっており、２行目の台詞が録音の対象であることが示されている。なお、１行目は再生中であるのでハイライト表示され、これから再生が開始される２行目と３行目の輝度は１行目より低く表示されている。
図１５の場合、メッセージ４０３には「ボタンをおしてね」と表記され、録音ボタン４０２の操作がユーザに求められている。録音ボタン４０２が操作されると録音が開始される。
台詞４３０では、２行目の「おおきくなあれ あまくなあれ」の表記の色が上下の行と異なっており、２行目の台詞が録音の対象であることが示されている。なお、１行目は再生中であるのでハイライト表示され、これから再生が開始される２行目と３行目の輝度は１行目より低く表示されている。
【0058】
本実施の形態の場合、図１５に示す画面は、置き換えが可能な領域のたびに表示されるが、対応する台詞の置き換えをユーザが希望しない場合がある。
この場合でも、録音ボタン４０２を操作しなければ録音は開始されないが、表示部４００に表示されていた静止画や動画像が録音ボタン４０２やメッセージ４０３で隠れるのをユーザが好ましく思わない場合も考えられる。
そのような場合に用いるのがスキップボタン４４３である。
図１６は、置き換えが可能な領域の再生中にスキップボタン４４３が操作される様子を説明する図である。図１６には、図１５との対応部分に対応する符号を付して示している。図１６には、ユーザが指でスキップボタン４４３をタップする様子が描かれている。
スキップボタン４４３の操作が検出された場合、ステップ８（図４参照）で否定結果が得られる。なお、スキップボタン４４３が操作された場合には、該当する領域の再生が終了するまでの間、ステップ６の処理において否定結果が出力される。
図１７は、スキップボタン４４３の操作後の画面の表示例を説明する図である。図１７の場合、表示の画面は、本来の画像の表示に戻っている。このため、ユーザは、画像を楽しむことができる。勿論、元音声の再生が継続される。
この場合でも、録音ボタン４０２を操作しなければ録音は開始されないが、表示部４００に表示されていた静止画や動画像が録音ボタン４０２やメッセージ４０３で隠れるのをユーザが好ましく思わない場合も考えられる。
そのような場合に用いるのがスキップボタン４４３である。
図１６は、置き換えが可能な領域の再生中にスキップボタン４４３が操作される様子を説明する図である。図１６には、図１５との対応部分に対応する符号を付して示している。図１６には、ユーザが指でスキップボタン４４３をタップする様子が描かれている。
スキップボタン４４３の操作が検出された場合、ステップ８（図４参照）で否定結果が得られる。なお、スキップボタン４４３が操作された場合には、該当する領域の再生が終了するまでの間、ステップ６の処理において否定結果が出力される。
図１７は、スキップボタン４４３の操作後の画面の表示例を説明する図である。図１７の場合、表示の画面は、本来の画像の表示に戻っている。このため、ユーザは、画像を楽しむことができる。勿論、元音声の再生が継続される。
【0059】
ところで、音声の録音を中止したい場合は、録音を開始する前に限らない。例えば録音ボタン４０２（図１５参照）を操作して録音を開始したが、子供が嫌がったため、録音を中止する場合も考えられる。以下では、この状況を図１８～図２０を用いて説明する。
図１８は、置き換えが可能な領域の再生中に録音ボタン４０２が操作される様子を説明する図である。図１８には、図１５との対応部分に対応する符号を付して示している。図１８には、ユーザが指で録音ボタン４０２をタップする様子が描かれている。
図１８は、置き換えが可能な領域の再生中に録音ボタン４０２が操作される様子を説明する図である。図１８には、図１５との対応部分に対応する符号を付して示している。図１８には、ユーザが指で録音ボタン４０２をタップする様子が描かれている。
【0060】
図１９は、録音ボタン４０２の操作後に表示される画面の表示例を説明する図である。図１９には、図１８との対応部分に対応する符号を付して示している。なお、図１９に示す画面の表示は、ステップ９（図４参照）に対応する。
録音ボタン４０２が操作されたことにより、表示部４００にはマイク型のアイコン４０４と録音中を示すメッセージ４０３Ａが表示される。メッセージ４０３Ａには「ろくおんちゅう・・・」と表記される。また、台詞４３０の２行目の表記は、台詞の発声のタイミングに応じて表記が変更される。図１９の例では「おおきくな」までの表記が変更され、発声すべき部分が示されている。
録音ボタン４０２が操作されたことにより、表示部４００にはマイク型のアイコン４０４と録音中を示すメッセージ４０３Ａが表示される。メッセージ４０３Ａには「ろくおんちゅう・・・」と表記される。また、台詞４３０の２行目の表記は、台詞の発声のタイミングに応じて表記が変更される。図１９の例では「おおきくな」までの表記が変更され、発声すべき部分が示されている。
【0061】
本来であれば、この状況でユーザの音声が録音されることになるが、前述したように子供が発声を嫌がる場合がある。
子供が発声を嫌がる場合に、ユーザが録音の停止ボタンを操作すると、録音ボタン４０２がタップされた以降の音が端末３０に保存される。しかし、保存された音は、不完全な録音の結果、又は、使用の意図がない音である。このため、ユーザは、オーディオブックの再生が終了した後に改めて該当する音を探し出して削除する必要がある。
しかし、そのような作業は手間であり、ユーザの負担となる。
子供が発声を嫌がる場合に、ユーザが録音の停止ボタンを操作すると、録音ボタン４０２がタップされた以降の音が端末３０に保存される。しかし、保存された音は、不完全な録音の結果、又は、使用の意図がない音である。このため、ユーザは、オーディオブックの再生が終了した後に改めて該当する音を探し出して削除する必要がある。
しかし、そのような作業は手間であり、ユーザの負担となる。
【0062】
図２０は、録音中にスキップボタン４４３が操作される様子を説明する図である。図２０には、図１９との対応部分に対応する符号を付して示している。図２０には、ユーザが指でスキップボタン４４３をタップする様子が描かれている。
なお、図２０に示す画面は、ステップ９（図４参照）の強制的な終了に対応する。
スキップボタン４４３が操作されると、録音が中止され、図１７に示す画面に表示が切り替わる。この後、元音声の再生が再開される。なお、スキップボタン４４３が操作された場合の元音声の再開は、台詞の全体でもよいし、スキップボタン４４３がタップされた時点で再生が終わっていない台詞でもよい。
本実施の形態の場合、スキップボタン４４３が操作されると、録音ボタン４０２が操作された以降に録音された音声も自動的に消去される。このため、オーディオブックの再生の終了後に、改めて置き換えに使用しない音声を削除する手間を省くことができる。この意味で、音声の置き換えの作業の効率化が実現される。
以上説明したように、スキップボタン４４３は、機能の実行をキャンセル又は無効化するボタンとして機能する。
なお、図２０に示す画面は、ステップ９（図４参照）の強制的な終了に対応する。
スキップボタン４４３が操作されると、録音が中止され、図１７に示す画面に表示が切り替わる。この後、元音声の再生が再開される。なお、スキップボタン４４３が操作された場合の元音声の再開は、台詞の全体でもよいし、スキップボタン４４３がタップされた時点で再生が終わっていない台詞でもよい。
本実施の形態の場合、スキップボタン４４３が操作されると、録音ボタン４０２が操作された以降に録音された音声も自動的に消去される。このため、オーディオブックの再生の終了後に、改めて置き換えに使用しない音声を削除する手間を省くことができる。この意味で、音声の置き換えの作業の効率化が実現される。
以上説明したように、スキップボタン４４３は、機能の実行をキャンセル又は無効化するボタンとして機能する。
【0063】
なお、本実施の形態の場合、一度でもスキップボタン４４３が操作されると、その操作以降は、置き換えが可能な領域の再生が開始されても、図１５に示したような録音をユーザに促す表示は行われない。
子供が嫌がったために録音をスキップする場合には、次回以降の録音可能領域でも録音ができない可能性が高く、むしろその都度、録音を促す画面が表示されると、録音をスキップする作業が煩雑になるためである。
なお、録音を促す表示が行われない場合でも、録音したい台詞の吹き出し４１２をユーザがタップした場合には、再び、録音を促す画面が表示される。
また、スキップボタン４４３の操作の影響が及ぶ領域は、スキップの操作が検出された領域に限定することも可能である。スキップの操作の影響が及ぶ影響の切り替えは、アプリケーションプログラムの設定にて切り替えられることが望ましい。
子供が嫌がったために録音をスキップする場合には、次回以降の録音可能領域でも録音ができない可能性が高く、むしろその都度、録音を促す画面が表示されると、録音をスキップする作業が煩雑になるためである。
なお、録音を促す表示が行われない場合でも、録音したい台詞の吹き出し４１２をユーザがタップした場合には、再び、録音を促す画面が表示される。
また、スキップボタン４４３の操作の影響が及ぶ領域は、スキップの操作が検出された領域に限定することも可能である。スキップの操作の影響が及ぶ影響の切り替えは、アプリケーションプログラムの設定にて切り替えられることが望ましい。
【0064】
因みに、録音ボタン４０２が操作されてから予め定めた時間が経過すると、表示部４００の表示は、録音を停止するための画面に切り替わる。
図２１は、録音ボタン４０２が操作されてから予め定めた時間が経過した後の画面の表示例を説明する図である。図２１には、図１９との対応部分に対応する符号を付して示している。
図２１に示す画面には停止ボタン４０６とユーザに求める操作を表すメッセージ４０７が表示される。メッセージ４０７には「ろくおんがおわったらボタンをおしてね」と、録音を終了する操作が示される。
図２１は、録音ボタン４０２が操作されてから予め定めた時間が経過した後の画面の表示例を説明する図である。図２１には、図１９との対応部分に対応する符号を付して示している。
図２１に示す画面には停止ボタン４０６とユーザに求める操作を表すメッセージ４０７が表示される。メッセージ４０７には「ろくおんがおわったらボタンをおしてね」と、録音を終了する操作が示される。
【0065】
なお、録音の対象である台詞の再生が終わるタイミングで自動的に録音が終了される仕組みを採用することも可能である。しかし、その仕組みを採用する場合には、ユーザの発声が終わっていても録音の状態が継続し、意図せぬ音まで置き換え用の音声として録音される可能性がある。その場合、ユーザは、録音のやり直しや録音された音を削除する作業を行う必要がある。
一方、本実施の形態の場合には、停止ボタン４０６の操作により、録音が終了されるので、意図せぬ音が録音される可能性を低減できる。
一方、本実施の形態の場合には、停止ボタン４０６の操作により、録音が終了されるので、意図せぬ音が録音される可能性を低減できる。
【0066】
本実施の形態の場合、録音された音声は、その録音時間によらず、対応する台詞の元音声の全体と置き換えられるように再生される。すなわち、ユーザが停止ボタン４０６を操作するまでの録音時間が、置き換え可能な台詞の元音声の再生時間よりも短い場合でも、元音声の一部が再生されることはない。このため、録音のやり直しの必要がなく、置き換えに関する作業性の向上が実現される。
【0067】
図２２は、停止ボタン４０６（図２１参照）の操作後に表示される画面の表示例を説明する図である。図２２には、図１２との対応部分に対応する符号を付して示している。
本実施の形態の場合、置き換えが可能な領域における録音が終了する毎に画面４５０が表示される。画面４５０には、「やったね！」、「ろくおんできたよ！」、「さあ、つぎのろくおんにチャレンジしてみよう！」等のメッセージが表示される。画面４５０は、子供のヤル気を高める目的で表示される。「はい」の表記を有するボタン４５１が操作されると、画面４５０は閉じられ、元音声の再生が再開される。
なお、画面４５０の左側に位置するカウンタ４２０のカウント値は１つカウントアップされている。例えば図２１のカウンタ４２０の分子の表記は「０」であったが、図２２のカウンタ４２０の分子の表記は「１」に変更されている。
処理動作の例１の場合には、録音が成功しても、置き換えが可能な領域のうちの幾つ目の録音に成功したかが不明であるが、本例の場合には、録音が成功した領域の数を具体的な数値で確認できる。換言すると、録音されていない領域の数を知ることもできる。これにより、ヤル気を高めることができる。
本実施の形態の場合、置き換えが可能な領域における録音が終了する毎に画面４５０が表示される。画面４５０には、「やったね！」、「ろくおんできたよ！」、「さあ、つぎのろくおんにチャレンジしてみよう！」等のメッセージが表示される。画面４５０は、子供のヤル気を高める目的で表示される。「はい」の表記を有するボタン４５１が操作されると、画面４５０は閉じられ、元音声の再生が再開される。
なお、画面４５０の左側に位置するカウンタ４２０のカウント値は１つカウントアップされている。例えば図２１のカウンタ４２０の分子の表記は「０」であったが、図２２のカウンタ４２０の分子の表記は「１」に変更されている。
処理動作の例１の場合には、録音が成功しても、置き換えが可能な領域のうちの幾つ目の録音に成功したかが不明であるが、本例の場合には、録音が成功した領域の数を具体的な数値で確認できる。換言すると、録音されていない領域の数を知ることもできる。これにより、ヤル気を高めることができる。
【0068】
＜再生の終了時の表示＞
最後に、オーディオブックの再生の終了時の表示例を説明する。
図２３は、オーディオブックの再生が終了した時点でユーザが録音を行った領域が１つでも存在する場合に自動的に表示される画面の例を説明する図である。図２３には、図１２との対応部分に対応する符号を付して示している。
図２３の画面は、作成されたオーディオブックの保存が自動的に実行される場合を前提とする。例えばユーザが子供の場合、オーディオブックの再生が終わるたびに保存するか否かの確認を求める画面を表示しても操作に困る場合もある。
そこで、図２３では、保存自体は端末３０が自動的に実行し、保存の事実を画面４６０で通知する。
最後に、オーディオブックの再生の終了時の表示例を説明する。
図２３は、オーディオブックの再生が終了した時点でユーザが録音を行った領域が１つでも存在する場合に自動的に表示される画面の例を説明する図である。図２３には、図１２との対応部分に対応する符号を付して示している。
図２３の画面は、作成されたオーディオブックの保存が自動的に実行される場合を前提とする。例えばユーザが子供の場合、オーディオブックの再生が終わるたびに保存するか否かの確認を求める画面を表示しても操作に困る場合もある。
そこで、図２３では、保存自体は端末３０が自動的に実行し、保存の事実を画面４６０で通知する。
【0069】
図２３の場合、オリジナルのオーディオブックが作成されて保存されたことをユーザに伝える画面４６０が表示されている。画面４６０には、「おめでとう！！」、「つくったほんをほんだなについかしたよ！」等のメッセージが表示される。なお、「ほんだなへ」の表記を有するボタン４６１が操作されると、画面４６０は閉じられ、オーディオブックが保存されている本棚と呼ばれる保存領域を管理する画面に切り替わる。
本実施の形態の場合、オリジナルのオーディオブックの作成には、既に存在するオーディオブックの一部に変更を加えた場合も含まれる。
図２３の場合、カウンタ４２０の分子は「８」である。このため、ユーザは、作成されたオーディオブックでは、置き換えが可能な１０個の領域のうちの８個について音声が録音されていることを確認することもできる。
本実施の形態の場合、オリジナルのオーディオブックの作成には、既に存在するオーディオブックの一部に変更を加えた場合も含まれる。
図２３の場合、カウンタ４２０の分子は「８」である。このため、ユーザは、作成されたオーディオブックでは、置き換えが可能な１０個の領域のうちの８個について音声が録音されていることを確認することもできる。
【0070】
図２４は、作成されたオリジナルのオーディオブックを保存する領域をユーザが指定する場合に用いられる画面の例を説明する図である。図２４には、図２３との対応部分に対応する符号を付して示している。
なお、図２４に示す画面４７０は、「ほんだなへ」の表記を有するボタン４６１（図２３参照）が操作された場合に表示されてもよい。
作成されたオーディオブックの自動保存は便利な機能であるが、異なるユーザのオーディオブックが１つの保存先に混在する場合など、ユーザが希望するオーディオブックをなかなか見つけられないことも考えられる。
そこで、図２４では、保存先をユーザが指定するための画面４７０を用意している。
なお、図２４に示す画面４７０は、「ほんだなへ」の表記を有するボタン４６１（図２３参照）が操作された場合に表示されてもよい。
作成されたオーディオブックの自動保存は便利な機能であるが、異なるユーザのオーディオブックが１つの保存先に混在する場合など、ユーザが希望するオーディオブックをなかなか見つけられないことも考えられる。
そこで、図２４では、保存先をユーザが指定するための画面４７０を用意している。
【0071】
図２４に示す画面４７０には、ユーザに求める操作を示す「ほんだなをえらんでね」とのメッセージと、保存先の候補である「ほんだな」、「たろう」、「はなこ」の名称が付けられたフォルダが配置されている。また、画面４７０には、「へんこう」の表記を有するボタン４７１、「ついか」の表記を有するボタン４７２も配置されている。
本実施の形態の場合、「ほんだな」フォルダは、ユーザが購入したオーディオブックの保存用であり、「たろう」フォルダは、太郎君の音声で置き換えられたオーディオブックの保存用であり、「はなこ」フォルダは、花子さんの音声で置き換えられたオーディオブックの保存用である。
図２４の場合、「たろう」フォルダが保存先として選択されている。保存先を変更したい場合には、ボタン４７１を操作すると、選択されているフォルダが順番に変更される。なお、ボタン４７２が操作されると、作成されたオーディオブックが選択されているフォルダに保存される。
本実施の形態の場合、「ほんだな」フォルダは、ユーザが購入したオーディオブックの保存用であり、「たろう」フォルダは、太郎君の音声で置き換えられたオーディオブックの保存用であり、「はなこ」フォルダは、花子さんの音声で置き換えられたオーディオブックの保存用である。
図２４の場合、「たろう」フォルダが保存先として選択されている。保存先を変更したい場合には、ボタン４７１を操作すると、選択されているフォルダが順番に変更される。なお、ボタン４７２が操作されると、作成されたオーディオブックが選択されているフォルダに保存される。
【0072】
図２５は、作成されたオーディオブックの保存の終了後等に表示される画面の表示例を示す図である。
図２５には、図１３との対応部分に対応する符号を付して示している。
図２５に示す画面は、オーディオブックの再生が終了した時点であるので、スライダ４１１は時間軸４１０の右端まで達している。
また、音声が録音された領域が存在するため、先頭から５番目と７番目の吹き出し４１２で示される位置以外の領域の表示の色が録音の存在を示す色に変更され、同時にカウンタ４２０の表示が「８／１０」に変更されている。
この表示により、ユーザは、今回作成されたオーディオブックにおける録音の結果を視覚的に確認できる。
図２５には、図１３との対応部分に対応する符号を付して示している。
図２５に示す画面は、オーディオブックの再生が終了した時点であるので、スライダ４１１は時間軸４１０の右端まで達している。
また、音声が録音された領域が存在するため、先頭から５番目と７番目の吹き出し４１２で示される位置以外の領域の表示の色が録音の存在を示す色に変更され、同時にカウンタ４２０の表示が「８／１０」に変更されている。
この表示により、ユーザは、今回作成されたオーディオブックにおける録音の結果を視覚的に確認できる。
【0073】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0074】
例えば前述の実施の形態においては、端末３０（図１参照）を音声情報置き換えシステムの一例として説明したが、オーディオファイル管理サーバ２０（図１参照）を音声情報置き換えシステムの一例として機能させることも可能である。この場合、端末３０と音収集装置４０は単なる入出力装置として機能する。なお、前述したモジュールの一部をオーディオファイル管理サーバ２０で実行し、残りを端末３０で実行することも可能である。この場合には、オーディオファイル管理サーバ２０と端末３０とが音声情報置き換えシステムの一例となる。
【0075】
前述の実施の形態においては、編集済みオーディオブックは記憶ユニット３０２（図２参照）に記録されているが、オーディオファイル管理サーバ２０（図１参照）、その他のインターネット１０（図１参照）上の不図示のサーバに保存してもよい。
前述の実施の形態では、置き換えが可能な領域部分が台詞の場合を例示しているが、置き換えが可能な領域は、台詞の部分に限らない。
前述の実施の形態では、置き換えが可能な領域部分が台詞の場合を例示しているが、置き換えが可能な領域は、台詞の部分に限らない。
【0076】
前述の実施の形態においては、音声情報ファイルの一例として音物語を例示しているが、前述した技術は、元音声の置き換えが可能な領域が事前に設定されている学習用の教材の再生にも応用が可能である。ここでの学習用の教材には、言語学習用の教材がある。なお、前述した音物語も、言語学習用の教材の一種である。
言語学習用の教材を使用する学習者の年齢に対する制約はないが、例えば幼児から小学生程度の言語学習に用いることで、楽しく学ぶという習慣の習得への効果が期待される。
なお、語学学習用の教材は、英語その他の外国語の学習用に限らず、日本語の学習用でもよい。学習の目的は様々であるが、例えばひらがな、単語、ことわざ、歌、早口言葉、名言等の学習がある。
また、教材の形式は、物語の形式に限らず、お手本となる音声が再生される箇所とお手本を真似る発音の箇所とで構成される形式、質問と質問に対する答えを発音する形式等も含まれる。
言語学習用の教材を使用する学習者の年齢に対する制約はないが、例えば幼児から小学生程度の言語学習に用いることで、楽しく学ぶという習慣の習得への効果が期待される。
なお、語学学習用の教材は、英語その他の外国語の学習用に限らず、日本語の学習用でもよい。学習の目的は様々であるが、例えばひらがな、単語、ことわざ、歌、早口言葉、名言等の学習がある。
また、教材の形式は、物語の形式に限らず、お手本となる音声が再生される箇所とお手本を真似る発音の箇所とで構成される形式、質問と質問に対する答えを発音する形式等も含まれる。
【0077】
・付記１
ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、前記音声情報ファイルに含まれる元音声を再生する再生手段と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、を備えたことを特徴とする音声情報置き換えシステム。
ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、前記音声情報ファイルに含まれる元音声を再生する再生手段と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、を備えたことを特徴とする音声情報置き換えシステム。
【0078】
・付記２
置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第１のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する、付記１に記載の音声情報置き換えシステム。
置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第１のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する、付記１に記載の音声情報置き換えシステム。
【0079】
・付記３
置き換えが可能な前記領域の再生中に、音の録音を指示する第２のボタンの操作が検知されている場合でも、前記第１のボタンの操作が検知されたときには、録音処理を終了して当該第２のボタンの操作後に録音された音を消去する、付記２に記載の音声情報置き換えシステム。
置き換えが可能な前記領域の再生中に、音の録音を指示する第２のボタンの操作が検知されている場合でも、前記第１のボタンの操作が検知されたときには、録音処理を終了して当該第２のボタンの操作後に録音された音を消去する、付記２に記載の音声情報置き換えシステム。
【0080】
・付記４
前記第１のボタンの操作が検知された後は、置き換えが可能な他の領域の再生が始まっても、置き換えを促す前記表示を画面に出力しない、付記２又は３に記載の音声情報置き換えシステム。
前記第１のボタンの操作が検知された後は、置き換えが可能な他の領域の再生が始まっても、置き換えを促す前記表示を画面に出力しない、付記２又は３に記載の音声情報置き換えシステム。
【0081】
・付記５
音声の録音中に録音の終了を指示する第３のボタンの操作が検知された場合には、当該第３のボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、付記１に記載の音声情報置き換えシステム。
音声の録音中に録音の終了を指示する第３のボタンの操作が検知された場合には、当該第３のボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、付記１に記載の音声情報置き換えシステム。
【0082】
・付記６
置き換えが可能な前記領域に対する音の置き換えが完了するたびに、再生中の前記音声情報ファイルについて置き換えが完了した領域の総数を表示する、付記１に記載の音声情報置き換えシステム。
置き換えが可能な前記領域に対する音の置き換えが完了するたびに、再生中の前記音声情報ファイルについて置き換えが完了した領域の総数を表示する、付記１に記載の音声情報置き換えシステム。
【0083】
・付記７
前記音声情報ファイルにおける音声の再生が終了した段階で、置き換えが可能な前記領域のいずれかに新たな置き換えの履歴がある場合、新たなファイルとして保存したことを画面上に表示する、付記１に記載の音声情報置き換えシステム。
前記音声情報ファイルにおける音声の再生が終了した段階で、置き換えが可能な前記領域のいずれかに新たな置き換えの履歴がある場合、新たなファイルとして保存したことを画面上に表示する、付記１に記載の音声情報置き換えシステム。
【0084】
・付記８
前記音声情報ファイルの再生時間を表す時間軸上に、置き換えが可能な前記領域の位置と当該領域に対する音の置き換えの有無とが示される、付記１に記載の音声情報置き換えシステム。
前記音声情報ファイルの再生時間を表す時間軸上に、置き換えが可能な前記領域の位置と当該領域に対する音の置き換えの有無とが示される、付記１に記載の音声情報置き換えシステム。
【0085】
・付記９
置き換えが可能な前記領域を示す表示の１つが選択された場合、該当する位置から前記音声情報ファイルの再生が開始される、付記８に記載の音声情報置き換えシステム。
置き換えが可能な前記領域を示す表示の１つが選択された場合、該当する位置から前記音声情報ファイルの再生が開始される、付記８に記載の音声情報置き換えシステム。
【0086】
・付記１０
前記音声情報ファイルにおける音声の再生が終了した段階で、置き換えが可能な前記領域のうちのいずれかに新たな置き換えの履歴がある場合、当該音声情報ファイルの保存先の選択を受け付ける画面を表示する、付記１に記載の音声情報置き換えシステム。
前記音声情報ファイルにおける音声の再生が終了した段階で、置き換えが可能な前記領域のうちのいずれかに新たな置き換えの履歴がある場合、当該音声情報ファイルの保存先の選択を受け付ける画面を表示する、付記１に記載の音声情報置き換えシステム。
【0087】
・付記１１
コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、前記音声情報ファイルに含まれる元音声を再生する機能と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、を実現させるためのプログラム。
コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、前記音声情報ファイルに含まれる元音声を再生する機能と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、を実現させるためのプログラム。
【符号の説明】
【0088】
１…ネットワークシステム、１０…インターネット、２０…オーディオファイル管理サーバ、３０…端末、３２１……オーディオブック取得モジュール、３２２…オーディオブック再生モジュール、３２３…置き換え可能領域等提示モジュール、３２４…置き換え指示受付モジュール、３２５…音素材挿入受付モジュール、３２６…編集済みオーディオブック保存モジュール、３２７…支援情報提示モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
