特開 2024-92251 資料作成装置、資料作成方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024092251

(43)【公開日】2024-07-08

(54)【発明の名称】資料作成装置、資料作成方法及びコンピュータープログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240701BHJP

   G06T 13/80 20110101ALI20240701BHJP

   G09B 5/06 20060101ALI20240701BHJP

   G10L 15/22 20060101ALI20240701BHJP

【ＦＩ】

G06F3/16 650

G06F3/16 690

G06T13/80 B

G09B5/06

G10L15/22 460Z

G10L15/22 470Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022208046

(22)【出願日】2022-12-26

(71)【出願人】

【識別番号】515031090

【氏名又は名称】アプリル株式会社

(74)【代理人】

【識別番号】110003085

【氏名又は名称】弁理士法人森特許事務所

(72)【発明者】

【氏名】福嶋 伸之

【テーマコード（参考）】

2C028

5B050

【Ｆターム（参考）】

2C028BA03

2C028BB01

2C028BC01

5B050AA10

5B050BA06

5B050BA20

5B050CA07

5B050EA09

5B050FA02

5B050FA05

5B050FA08

5B050FA13

(57)【要約】

【課題】資料の作成の手間を軽減し、作成時間の短縮及び容易に作成することができる資料作成装置、資料作成方法及びコンピュータープログラムを提供する。
【解決手段】教材作成装置１００は、音声が入力されるマイク２と、入力された音声を所定の区切りにより分割して複数の音声データに変換する音声データ化部５１と、音声データのそれぞれを、音声が発せられた時系列にしたがって記憶する記憶部５２と、音声データをテキスト化し、音声が発せられた順に、音声に対応する一連の文字を表示する表示画面１と、操作者の編集操作により、表示画面１に表示された一連の文字の一部の削除、及び、表示された一連の文字の順番の変更である編集を行う文字データ編集部５６と、表示画面１に表示されている編集後の一連の文字を編集後の文字データとして記憶する記憶部５２と、編集後の文字データに基づいて音声を出力するスピーカー３と、を備えている。
【選択図】図２

【特許請求の範囲】

【請求項1】

音声が入力される音声入力手段と、
前記音声入力手段に入力された前記音声を所定の区切りにより分割して複数の音声データに変換する音声データ化手段と、
複数の前記音声データのそれぞれを、前記音声が発せられた時系列にしたがって記憶する音声記憶手段と、
前記音声データをテキスト化し、前記音声が発せられた順に、前記音声に対応する一連の文字を表示する文字表示手段と、
操作者の編集操作により、前記文字表示手段に表示された前記一連の文字の一部の削除、及び、表示された前記一連の文字の順番の変更である編集を行う編集手段と、
前記編集手段により編集された前記文字表示手段に表示されている編集後の前記一連の文字を編集後の前記文字データとして記憶する文字記憶手段と、
前記文字記憶手段に記憶された編集後の前記文字データに基づいて音声を出力する音声出力手段と、を備えた、ことを特徴とする資料作成装置。

【請求項2】

操作者の作画操作に応じて画像を形成する画像作成手段と、
前記音声が前記音声入力手段に入力されている際に、並行して行われる前記作画操作に応じて前記画像作成手段により作成された画像が表示される画像表示手段と、
前記画像表示手段に表示される前記画像を、前記画像が表示される時系列にしたがって画像データとして記憶する画像記憶手段と、を備え、
複数の前記音声データのそれぞれと、前記音声データに対応する音声が発せられた際に前記画像表示手段に表示されていた画像に対応する画像データと、を互いに紐づけて、前記音声記憶手段及び前記画像記憶手段がそれぞれ記憶し、
前記音声出力手段が、編集後の前記文字データに基づいて音声を出力する際に、前記音声データ及び前記画像データが互いに紐づけられて記憶されていることに基づき、前記編集が行われたことにより変更された前記音声データに対応するように、前記画像表示手段が前記画像データの表示を変更する、ことを特徴とする請求項１記載の資料作成装置。

【請求項3】

前記音声が前記音声記憶手段に記憶されている際に、並行して行われる前記作画操作において、操作者により、前記画像表示手段の所定の場所を指示されたときは、
前記画像作成手段は、前記画像表示手段の所定の場所を指示されている期間に、前記音声入力手段に入力された前記音声に対応する文字の画像を作成し、
前記画像表示手段は、前記文字の画像を前記画像表示手段の所定の場所に表示する、ことを特徴とする請求項２記載の資料作成装置。

【請求項4】

音声を所定の区切りにより分割して複数の音声データに変換し、
複数の前記音声データのそれぞれを、前記音声が発せられた時系列にしたがって記憶し、
前記音声データをテキスト化し、前記音声が発せられた順に、前記音声に対応する一連の文字を表示し、
操作者の編集操作により、表示された前記一連の文字の一部の削除、及び、表示された前記一連の文字の順番の変更である編集を行い、
表示されている編集後の前記一連の文字を編集後の前記文字データとして記憶し、
記憶された編集後の前記文字データに基づいて音声を出力する、ことを特徴とする資料作成方法。

【請求項5】

音声に基づき資料を作成するコンピューターに用いられるコンピュータープログラムであって、
前記コンピューターに、前記音声を所定の区切りにより分割して複数の音声データに変換する処理と、
複数の前記音声データのそれぞれを、前記音声が発せられた時系列にしたがって記憶する処理と、
前記音声データをテキスト化し、前記音声が発せられた順に、前記音声に対応する一連の文字を表示する処理と、
操作者の編集操作により、表示された前記一連の文字の一部の削除、及び、表示された前記一連の文字の順番の変更である編集を行う処理と、
表示されている編集後の前記一連の文字を編集後の前記文字データとして記憶する処理と、
記憶された編集後の前記文字データに基づいて音声を出力する処理と、を実行させる、ことを特徴とするコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、在宅学習用の教材等の資料を作成する資料作成装置、資料作成方法及びコンピュータープログラムに関する。

【背景技術】

【0002】

近年、新型コロナウイルス感染症の発生により、外出制限などの行動規制が実施されている。これにより、学校においても生徒の登校を制限する等の措置が取られ、教育現場にも様々な影響が及んでいる。

【0003】

例えば、生徒及び教師は、各自の自宅等、それぞれ離れた別の場所において、インターネット等の通信回線を利用して互いに通信可能なタブレット型等の端末を設置し、教師は端末を介して授業を行うことにより、その授業風景を映像や音声として生徒の端末に送信することで、生徒に対して授業を行っている。いわゆるリモート授業が行われている。つまり、教師は、授業の資料等を予め端末を介して各生徒に送信しておき、端末のカメラにより授業風景を撮影し、その映像及び音声を各生徒の端末に送信することにより、複数の生徒に対して同時に授業を行っている。

【0004】

このようなリモート授業は、生徒が狭い教室に集まる必要がなく、感染症の抑止に対しては有効である。しかし、生徒の自宅において、通信環境が整備されていない場合もあるし、教師も生徒の反応を見ることができない状況で、授業を止めることなく進めていかねばならず、負担が大きいとの問題もある。

【0005】

そこで、授業が行われる前に、教師が予め授業用に音声及び画像（映像）が含まれる動画を作成し、その動画データを各生徒に配信し、生徒が自分の端末に動画データをダウンロードして授業用動画を視聴することがなされている。これにより、生徒が一斉に動画データを視聴する必要がなく、各自の好ましい時間に動画を視聴することができるため、自由に時間を使うことができる。また、途中で疲れてきた場合等には、授業を中断して休憩することもできる。また、教師は、生徒が見ている状態で授業を行う必要がなく、編集作業等を行うことも可能であることから、授業に対するストレスが軽減される。さらに、生徒は、動画データを予め自分の端末にダウンロードしておくことから、通信環境による影響も受けにくい。

【0006】

容易に授業用の動画を作成することができる技術は従来より提案されている。例えば、特許文献１には、仮想空間に対応する画像と、入力される音声とを含む動画を作成し、当該画像を表示する所定の領域に対するタッチ操作に応じて、当該入力される音声をテキストに変換して対応するテキストオブジェクトを仮想空間内に配置することで、入力される音声に対応するオブジェクトが仮想空間に配置される動画を手軽に作成することができる動画作成装置の発明が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－２０７５０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記特許文献１に開示された発明は、視覚におけるエンターテイメント性が向上した動画を作成することができる。しかし、生徒が視聴する授業用動画においては、視覚の面も重要であるが、聴覚すなわち音声についても重要であり、より容易に作成できることが望まれている。また、教師が授業用動画を作成する際には、例えば、画像を先に作成し、作成した画像を見ながら音声を録音することにより完成させる手順をとることがある。しかし、このような作業は手間であり、教材作成のために時間がかかるうえ、労力もかかる。また、上述したような授業用の動画といった教材用資料だけでなく、例えば会議用に用いられる資料等、その他の、音声や画像を含む資料の作成についても、容易に行うことができる技術も求められている。

【0009】

本発明は、このような問題に鑑みてなされたものであり、その目的は、資料の作成の手間を軽減し、作成時間の短縮及び容易に作成することができる資料作成装置、資料作成方法及びコンピュータープログラムを提供することである。

【課題を解決するための手段】

【0010】

本発明の一態様に係る資料作成装置は、音声が入力される音声入力手段と、前記音声入力手段に入力された前記音声を所定の区切りにより分割して複数の音声データに変換する音声データ化手段と、複数の前記音声データのそれぞれを、前記音声が発せられた時系列にしたがって記憶する音声記憶手段と、前記音声データをテキスト化し、前記音声が発せられた順に、前記音声に対応する一連の文字を表示する文字表示手段と、操作者の編集操作により、前記文字表示手段に表示された前記一連の文字の一部の削除、及び、表示された前記一連の文字の順番の変更である編集を行う編集手段と、前記編集手段により編集された前記文字表示手段に表示されている編集後の前記一連の文字を編集後の前記文字データとして記憶する文字記憶手段と、前記文字記憶手段に記憶された編集後の前記文字データに基づいて音声を出力する音声出力手段と、を備えた、ことを特徴とする。

【0011】

これにより、上記資料作成装置によれば、資料の作成において、操作者は話すだけで、操作者が発した音声である言葉が文字表示手段に順に一連の文字で表示されることから、操作者は自らが発した言葉を確認しながら、確実に資料を作成していくことができる。また、操作者は、資料作成装置に対して話していくだけで資料を作成することができるので、手間がかからず容易に資料を作成でき、資料の作成時間も短縮することができる。また、文字表示手段に表示されている一連の文字を編集することにより、編集後の一連の文字に合わせて音声が出力されることから、容易に編集作業も行うことができ、手間がかからず容易に資料を作成できるため、資料の作成時間も短縮することができる。また、操作者が発した音声は、所定の区切りにより分割されて複数の音声データに変換されて記憶されることから、編集操作において分割された音声単位で編集を行うことができることから、編集動作に負担がかかりにくい。

【0012】

また、上述の資料作成装置において、操作者の作画操作に応じて画像を形成する画像作成手段と、前記音声が前記音声入力手段に入力されている際に、並行して行われる前記作画操作に応じて前記画像作成手段により作成された画像が表示される画像表示手段と、前記画像表示手段に表示される前記画像を、前記画像が表示される時系列にしたがって画像データとして記憶する画像記憶手段と、を備え、複数の前記音声データのそれぞれと、前記音声データに対応する音声が発せられた際に前記画像表示手段に表示されていた画像に対応する画像データと、を互いに紐づけて、前記音声記憶手段及び前記画像記憶手段がそれぞれ記憶し、前記音声出力手段が、編集後の前記文字データに基づいて音声を出力する際に、前記音声データ及び前記画像データが互いに紐づけられて記憶されていることに基づき、前記編集が行われたことにより変更された前記音声データに対応するように、前記画像表示手段が前記画像データの表示を変更することとしてもよい。

【0013】

これにより、操作者は、上記資料作成装置に対して話しながら作画操作を行い、画像表示手段に表示される画像を作成することにより、容易に資料を作成することができる。つまり、操作者は、資料作成装置を用いて話をしながら作画操作を行えばよく、それにより資料を作成することができる。これにより、時間をかけることなく、容易に資料を作成することができる。また、文字表示手段に表示されている一連の文字を編集することにより、画像の表示についても編集された内容に合わせた表示となることから、編集作業も容易に行うことができ、資料の作成時間も短縮することができる。

【0014】

また、上述の資料作成装置において、前記音声が前記音声記憶手段に記憶されている際に、並行して行われる前記作画操作において、操作者により、前記画像表示手段の所定の場所を指示されたときは、前記画像作成手段は、前記画像表示手段の所定の場所を指示されている期間に、前記音声入力手段に入力された前記音声に対応する文字の画像を作成し、前記画像表示手段は、前記文字の画像を前記画像表示手段の所定の場所に表示することとしてもよい。

【0015】

これにより、操作者は話しながら（音声を発しながら）、画像表示手段の所定の場所を指示することにより、指示されている期間に発した音声に対応する文字が画像表示手段に表示される。これにより、画像の作成において、容易に文字を表示することができ、作業効率が高い。また、操作も容易である。

【0016】

また、本発明の一態様に係る資料作成方法は、音声を所定の区切りにより分割して複数の音声データに変換し、複数の前記音声データのそれぞれを、前記音声が発せられた時系列にしたがって記憶し、前記音声データをテキスト化し、前記音声が発せられた順に、前記音声に対応する一連の文字を表示し、操作者の編集操作により、表示された前記一連の文字の一部の削除、及び、表示された前記一連の文字の順番の変更である編集を行い、表示されている編集後の前記一連の文字を編集後の前記文字データとして記憶し、記憶された編集後の前記文字データに基づいて音声を出力する、ことを特徴とする。

【0017】

これにより、上記資料作成方法によれば、資料の作成において、操作者が発した音声である言葉が順に一連の文字として表示されることから、操作者は自らが発した言葉を確認しながら、確実に資料を作成していくことができる。また、操作者は話すだけで資料を作成することができるので、手間がかからず容易に資料を作成でき、資料の作成時間も短縮することができる。また、表示されている一連の文字を編集することにより、編集後の一連の文字に合わせて音声を出力できることから、容易に編集作業を行うことができ、手間がかからず容易に資料を作成でき、資料の作成時間も短縮することができる。また、操作者が発した音声を、所定の区切りにより分割して複数の音声データに変換することから、編集操作において分割した音声単位で編集を行うことができ、編集動作に負担がかかりにくい。

【0018】

また、本発明の一態様に係るコンピュータープログラムは、音声に基づき資料を作成するコンピューターに用いられるコンピュータープログラムであって、前記コンピューターに、前記音声を所定の区切りにより分割して複数の音声データに変換する処理と、複数の前記音声データのそれぞれを、前記音声が発せられた時系列にしたがって記憶する処理と、前記音声データをテキスト化し、前記音声が発せられた順に、前記音声に対応する一連の文字を表示する処理と、操作者の編集操作により、表示された前記一連の文字の一部の削除、及び、表示された前記一連の文字の順番の変更である編集を行う処理と、表示されている編集後の前記一連の文字を編集後の前記文字データとして記憶する処理と、
記憶された編集後の前記文字データに基づいて音声を出力する処理と、を実行させる、ことを特徴とする。

【0019】

これにより、上記コンピュータープログラムによれば、資料の作成において、操作者が発した音声である言葉が順に一連の文字として表示されることから、操作者は自らが発した言葉を確認しながら、確実に資料を作成していくことができる。また、操作者は話すだけで資料を作成することができるので、手間がかからず容易に資料を作成でき、資料の作成時間も短縮することができる。また、表示されている一連の文字を編集することにより、編集後の一連の文字に合わせて音声を出力できることから、容易に編集作業を行うことができ、手間がかからず容易に資料を作成でき、資料の作成時間も短縮することができる。また、操作者が発した音声を、所定の区切りにより分割して複数の音声データに変換することから、編集操作において分割した音声単位で編集を行うことができ、編集動作に負担がかかりにくい。

【発明の効果】

【0020】

本発明によれば、資料の作成の手間を軽減し、作成時間の短縮及び容易に作成することができる資料作成装置、資料作成方法及びコンピュータープログラムを提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る教材作成装置の外観概略構成を示す平面図である。

【図2】本発明の実施形態に係る教材作成装置の制御構成を概略的に示すブロック図である。

【図3】本発明の実施形態に係る教材作成装置のテキスト表示領域に表示される画像の一例を示す第１図である。

【図4】本発明の実施形態に係る教材作成装置の教材画像表示領域に表示される画像の一例を示す第１図である。

【図5】本発明の実施形態に係る教材作成装置のテキスト表示領域に表示される画像の一例を示す第２図である。

【図6】本発明の実施形態に係る教材作成装置の教材画像表示領域に表示される画像の一例を示す第２図である。

【図7】本発明の実施形態に係る教材作成装置の教材画像表示領域に表示される画像の一例を示す第３図である。

【図8】本発明の実施形態に係る教材作成装置のテキスト表示領域に表示される画像の一例を示す第３図である。

【図9】本発明の実施形態に係る教材作成装置において教材を作成する処理の流れの一例を示すフローチャートである。

【図10】本発明の実施形態に係る教材作成装置において編集操作を行う場合の処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0022】

本実施形態として、教師が、生徒向けの授業用動画等の教材（資料）を作成するための教材作成装置（資料作成装置）について説明する。以下に、本実施形態に係る教材作成装置について、図面を用いて具体的に説明する。なお、本実施形態に係る教材作成装置により作成される教材は、音声による講義と、講義に合わせて表示される画像（動画も含む）を含む。生徒は、この教材のデータ（音声データ及び画像データ）をインターネット経由又は記憶媒体を用いてパーソナルコンピューター（以下、パソコンという）等にダウンロードして、この教材を視聴するためのプログラムをパソコンで起動することにより、音声及び画像を含む動画による教材を視聴でき、学習することができる。

【0023】

（教材作成装置１００の外観構成）
図面を参照しながら、本実施形態に係る教材作成装置の外観構成について説明する。図１は、本発明の実施形態に係る教材作成装置の外観概略構成を示す平面図である。

【0024】

図１に示すように、教材作成装置１００は、表示画面１を有する表示装置を備えている。教材作成装置１００は、さらに音声が入力されるマイク２と、音声を出力するスピーカー３と、被写体を撮影するカメラ４と、を備えている。

【0025】

ここで、教材作成装置１００は、例えばタブレット型のパソコンである。詳細は後述するが、パソコンにおいて、教材作成装置１００として動作するための所定のプログラムを起動させることにより、パソコンが教材作成装置１００として動作する。

【0026】

マイク２は操作者が発した音声の入力部であり、図１に示すように教材作成装置１００を横長に配置した場合には、教材作成装置１００の上部の略中心付近に配置されている。教材作成装置１００の正面において操作者が話をすることにより、その音声がマイク２を介して入力される。

【0027】

スピーカー３は音声の出力部であり、図１において教材作成装置１００の左端の上下に２箇所配置されている。例えば、再生を行った場合は記憶（録音）されていた音声がスピーカー３から出力される。カメラ４は、被写体を撮影する撮影部である。カメラ４はマイク２の右側近傍に配置されている。教材作成装置１００は、カメラ４により被写体を撮影してその撮影画像を画像データとして記憶することができる。例えば、教材に取り入れたい物がある場合は、カメラ４によりその物を撮影して記憶した撮影画像を利用することができる。なお、図１では図示されていないが、教材作成装置１００の裏面側にもカメラが配置されている。この裏面側に配置されたカメラにより撮影した被写体の撮影画像データを記憶することとしてもよい。

【0028】

表示画面１は、タッチパネルになっていて、教材作成装置１００を操作するための各種ボタン（アイコン）についても表示する。操作者がこれらの各種ボタンに触れる等操作する（タップ、ドラッグ等）ことにより、操作がなされることから、表示装置である表示画面１は、操作部としての機能も有する。

【0029】

表示画面１は複数の領域を表示する。これら表示された領域ごとに表示する対象が異なる。具体的には、表示画面１には、教材画像表示領域１１、テキスト表示領域１２、コントロールキー表示領域１３、パーツ表示領域１４及び情報表示領域１５が表示されている。図１に示すように、上方にはコントロールキー表示領域１３が配置され、その下に教材画像表示領域１１及びテキスト表示領域１２が配置され、教材画像表示領域１１は表示画面１の大部分の領域を占めている。教材画像表示領域１１の下にはパーツ表示領域１４が配置され、テキスト表示領域１２の下には情報表示領域１５が配置されている。

【0030】

教材画像表示領域１１には、操作者が作画により作成する教材の画像が表示される。教材作成装置１００の操作者である教師は、作画操作により、教材に含む画像を作成して、教材画像表示領域１１に表示する。これにより、教師は画像を確認しながら教材を作成することができる。また、テキスト表示領域１２には、教材の作成時に教師が発する音声がテキスト化されて文字で表示される。教師は、講義内容を話すことにより講義を行う。話すことにより、発せられた音声は、そのまま、テキスト表示領域１２に一連の文字として表示される。これにより、教師は自らが発声した内容を確認しながら、教材作成を行うことができる。なお、詳細は後述するが、教師は所定の箇所において一呼吸おいて無音期間を作るようにして話す。この場合、無音期間については、テキスト表示領域１２において空白部分として表示される。

【0031】

コントロールボタン表示領域１３には、「音声認識開始ボタン」、「停止ボタン」、「再生ボタン」等の教材作成装置１００の主要動作を実行させるためのボタンが表示されている。「音声認識開始ボタン」をタップすると、音声認識が開始される。具体的には、教材を作成しようとする際は、この「音声認識開始ボタン」をタップしてから、講義の内容を話し始めることとすればよい。それにより、話した内容が記憶される。また、「再生ボタン」をタップすると、作成した教材の音声がスピーカー３から出力され、画像が教材画像表示領域１１に表示される。「停止ボタン」をタップすると、音声認識や音声の再生を行っている場合にこれらの動作が停止する。

【0032】

パーツ表示領域１４は、パーツ操作部１４１及びパーツ部１４２を備えている。パーツ操作部１４１は、授業で用いる画像を作成するために利用する画像の種類ごとにボタンが表示されている。具体的には、左から「テキストボタン」、「画像ボタン」、「図ボタン」、「グラフボタン」、「その他ボタン」が配置されている。なお、図１においては、「図ボタン」が選択されている。パーツ部１４２には、授業で用いる画像を作成するために、様々な種類の画像パーツが表示されている。なお、「図ボタン」が選択されていることから、パーツ部１４２には、四角、丸、直角三角形、角丸四角のそれぞれの図形が複数配置されている。なお、これらの複数配置された図形については図示を省略している。操作者は教材作成に利用したい所望とする図形をパーツ表示領域１４から選択して教材画像表示領域１１の所定の箇所にドラッグすればよく、それにより当該箇所に所望の図形を配置する表示することができる。また、パーツ操作部１４１において表示されているボタンの選択を変更することにより、異なるパーツを選択することもできる。例えば、パーツ操作部１４１の「画像ボタン」をタップして選択することにより、パーツ部１４２には、操作者がカメラ４により撮影して記憶されている撮影画像のサムネイル等が表示され、その中から、教材に作成に利用できる画像を選択することができる。

【0033】

なお、上述したように、パーツ部１４２において、最初から、四角、丸、直角三角形、角丸四角の各図形が複数表示されていることとしてもよいが、パーツ部１４２の四角、丸、直角三角形、角丸四角のそれぞれをタップすることにより、ポップアップ画面が表示されて、ポップアップ画面に複数の各図形が表示され、その中から所望とする図形を選択することとしてもよい。

【0034】

また、パーツ操作部１４１の「テキストボタン」を使用することにより、操作者が話した内容がテキスト化されて、教材画像表示領域１１に表示される。具体的には、操作者が、パーツ操作部１４１の「テキストボタン」を選択し、教材画像表示領域１１において文字を表示させたい箇所をタップして、話す（音声を発する）ことにより、話した音声がテキスト化されて文字の画像として、タップした箇所に表示される。また、表示された文字の末尾には、所定の記号が表示されており、その記号をタップするまで、テキストボタンの機能は有効である。したがって、操作者は、教材画像表示領域１１に表示させたい文字を発声し、その文字が表示された場合は、その文字の末尾に表示されている所定のマークをタップすればよい。所定のマークをタップするまでは、音声が文字として表示され続ける。ただし、所定の時間、無音の状態（操作者が音声を発しない状態）が続いた場合も、上記機能は無効となる。つまり、その後は所定の記号の表示が停止し、音声を発しても教材画像表示領域１１に文字が表示されることはない。また、教材画像表示領域１１の別の位置を指定して、文字を表示させる操作を新たに行った場合も、上記機能は無効となる。

【0035】

情報表示領域１５は、教材画像表示領域１１やテキスト表示領域１２に表示されたパーツにおいて選択されたパーツの大きさや色といった情報を表示する。さらに、情報表示領域１５を操作してこれらを編集することもできる。図１では、例えば、教材画像表示領域１１上に表示された線を選択した場合に、その線に関する情報が表示されている。つまり、線の色、線の種類、線の太さ等が、情報表示領域１５に表示されている。これらの表示を操作することにより、選択された線の色、線の種類、線の太さ等を変更することができる。

【0036】

（教材作成装置１００の制御構成）
次に、図面を用いて、教材作成装置１００の制御構成について説明する。図２は、本発明の実施形態に係る教材作成装置の制御構成を概略的に示すブロック図である。

【0037】

図２に示すように、教材作成装置１００は、上述した以外に、制御部５を備えている。制御部５は、教材作成装置１００の全体の制御を司り、各部材の動作を制御して、教材を作成することができるようにする。制御部５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のマイクロコンピュータ及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やデータ書き換え可能な不揮発性メモリ等の記憶装置を備えている。

【0038】

上述したように、教材作成装置１００は、パソコンにおいて所定のプログラムを起動させることにより、パソコンを教材作成装置１００として動作するようにしたものである。例えば、ＲＯＭには、パソコンを教材作成装置１００として動作させるためのプログラム及びデータが記憶されていて、これらのプログラム及びデータがＲＡＭにロードされ、ＣＰＵによってプログラムが実行されることにより、教材作成装置１００が動作する。これにより、制御部５は、各種構成要素である、音声データ化部５１、記憶部５２、表示制御部５３、画像データ化部５４、音声制御部５５、文字データ編集部５６及びタイマー部５７を備えるように機能する。

【0039】

音声データ化部５１は、マイク２から入力された音声を所定の区切りにより、分割して複数の音声データに変換する。具体的には、操作者が話す際に、適当に無音期間を作るようにすることで、この無音期間により音声を区切って、音声データとする。例えば、操作者である教師が教材を作成する際の音声の記憶（録音）において、「今日は図形の種類について勉強しましょう」と話した場合に、「今日は」と「図形の種類について勉強しましょう」との間に、無音期間が生じるように話すことにより、音声データ化部５１は、「今日は」に対応する音声データと、「図形の種類について勉強しましょう」に対応する音声データと、の２つの音声データを作成する。無音期間については、例えば、０．５～２秒程度とすればよい。また、無音期間は、１秒前後としてもよい。なお、無音とは、マイク２から入力される音がまったく無くなるという意味ではなく、操作者が音声を発していない状態をいう。マイク２から入力される音がまったく無くなるということはあり得ず、操作者が黙ったとしてもマイク２にはわずかなノイズが入力される。具体的には、無音とは、マイク２から入力された音声が所定の音量以下になった場合をいう。例えば、音声が３０ｄＢ以下となった場合は、音声データ化部５１は無音期間が生じたと判断し、音声を区切って、音声データを作成する。

【0040】

上述したように、無音期間により音声を区切ることとしたが、それ以外の条件によって音声を区切ることとしてもよい。例えば、表示画面１のいずれかの場所に区切り指示用のボタンを表示するようにしておき、教師が音声を区切りたいタイミングでこの区切り指示用のボタンをタップすることとしてもよい。音声データ化部５１は、この区切り指示用のボタンがタップされた際に音声を区切って音声データとすることとしてもよい。

【0041】

また、パーツ表示領域１４のパーツ操作部１４１及びパーツ部１４２により、教材画像表示領域１１に所望の図形等の画像を表示することについて上述したが、このように教材画像表示領域１１に画像等を表示するように操作する等、なんらかの操作がなされた場合に、音声データ化部５１が音声を区切って音声データとすることとしてもよい。なお、音声データ化部５１が、音声データ化する際に音声を区切るための操作について例を挙げて説明した。なお、これらのいずれか１つの操作により、音声データ化部５１が音声を区切って音声データとしてもよいが、複数の操作のいずれかを併用することとしてもよい。例えば、無音期間が生じたことにより音声を区切って音声データとし、かつ、区切り指示用のボタンがタップされた際にも音声を区切って音声データとすることとしてもよい。

【0042】

記憶部５２は、プログラムやデータを記憶する。例えば、上述したように、ＲＯＭに予め格納された教材作成装置１００として動作するためのプログラムを記憶部５２のＲＡＭ上にロードして実行することにより、上記各種構成要素の作動制御を行う。また、記憶部５２は、音声データ化部５１により作成された区切られた音声データを記憶する。さらに、記憶部５２には、後述する画像データ及び文字データ等が記憶される。また、カメラ４により撮影された被写体の撮影画像の画像データも、記憶部５２に記憶される。

【0043】

なお、記憶部５２に音声データが記憶される場合は、音声データは区切られて、各音声データの音声が発せられた時系列にしたがって順に記憶される。また、作画操作により表示画面１において表示された画像の画像データが記憶部５２に記憶される場合は、その画像データの画像が表示された際に操作者が音声を発している場合は、その音声の音声データと紐づけて記憶される。つまり、複数の音声データのそれぞれと、音声データに対応する音声が発せられた際に教材画像表示領域１１に表示されている画像に対応する画像データと、が互いに紐づけられて記憶部５２に記憶される。

【0044】

表示制御部５３は、操作者の作画操作により画像を作成する。つまり、表示画面１に表示する画像を制御する。例えば、表示制御部５３は、画像（動画）や文字等を表示画面１に表示する。上述したように、表示画面１には、教材画像表示領域１１、テキスト表示領域１２、コントロールキー表示領域１３、パーツ表示領域１４及び情報表示領域１５における表示について、それぞれ制御する。例えば、表示制御部５３は、記憶部５２に記憶されている音声データをテキスト化して、表示画面１の教材画像表示領域１１に一連の文字として表示する。また、表示制御部５３は、後述する文字データ編集部５６により、テキスト表示領域１２に表示されている一連の文字が編集された場合は、編集操作にしたがって、テキスト表示領域１２の表示を変更する。また、教材作成装置１００において記憶された教材の再生が行われる場合において、編集が行われた後である場合は、後述する音声制御部５５により、音声データの出力の順番等が変更される。さらに、この音声データの出力の順番等の変更に合わせて、紐づけられた画像データの表示の順番等も変更されて教材画像表示領域１１に画像が表示されるように、表示制御部５３が制御する。

【0045】

画像データ化部５４は、操作者が教材を作成する際に作成した画像の画像データを作成する。操作者は、教材の作成において、授業で用いる画像（生徒達が見る画像）を表示画面１の教材画像表示領域１１に表示させるよう、作画操作を行う。なお、画像の作成については、操作部でもある表示画面１を操作することにより、画像を作成して表示画面１に表示させる。画像データ化部５４は、表示画面１に表示されたこの画像の画像データを作成する。画像データ化部５４により作成された画像データは記憶部５２に記憶される。

【0046】

音声制御部５５は、操作者により音声の再生指示があった場合には、記憶部５２に記憶されているテキスト表示領域１２に表示されている一連の文字に対応する文字データに対応する音声を出力するようにスピーカー３を制御する。具体的には、操作者によりコントロールキー表示領域１３の「再生ボタン」がタップされることにより、音声制御部５５は上記文字データに合わせて音声データをスピーカー３に送信する。スピーカー３は、音声制御部５５から送信された音声データを音声として、出力する。なお、テキスト表示領域１２に表示されている一連の文字は、操作者の編集操作により編集することが可能である。具体的には、一連の文字の一部又はすべの削除や、一連の文字の一部の入れ替え等を行うことができる。なお、操作者により、このような編集操作がなされた場合は、テキスト表示領域１２に表示されている一連の文字も編集後のものに変更されている。このような編集操作がなされた場合は、編集後の一連の文字に対応する文字データが記憶部５２に記憶される。したがって、音声制御部５５は、現状でテキスト表示領域１２に表示されている一連の文字に対応する文字データに合わせて音声データを出力する順番等を決定すればよい。つまり、記憶部５２に記憶されている文字データに合わせて各音声データを出力する順番等を決定すればよい。

【0047】

ここで、操作者の編集操作により、テキスト表示領域１２に表示されている一連の文字の一部又はすべての削除や、一連の文字の一部の入れ替え等を行うことができることについて説明したが、これら以外の編集も可能である。例えば、図示はしていないが文字入力用のキーを操作して、文字を直接入力し、一連の文字のいずれかの箇所に文字を追加することや、コントロールキー表示領域１３の「音声認識開始ボタン」を操作することにより、音声認識によりテキスト表示領域１２に表示されている一連の文字のいずれかの箇所に文字を追加することもできる。また、これら以外の編集ができることとしてもよい。そして、これらの編集操作により、テキスト表示領域１２に表示されている一連の文字が編集された場合は、この編集後の一連の文字に対応する文字データに合わせて音声データの出力内容が決定される。また、テキスト表示領域１２において編集された文字がが、教材画像表示領域１１に表示されている文字である場合は、教材画像表示領域１１に表示されている文字の画像も編集後の文字に変更される。

【0048】

文字データ編集部５６は、操作者がテキスト表示領域１２に表示されている一連の文字を編集操作した場合に、この一連の文字を編集する。さらに、文字データ編集部５６は、編集された一連の文字は表示画面１のテキスト表示領域１２に表示されるが、その編集された後にテキスト表示領域１２に表示されている一連の文字を文字データに変換する。文字データ編集部５６により変換された編集後の一連の文字に対応する文字データは、記憶部５２に記憶される。

【0049】

タイマー部５７は計時機能を有していて、その信号を表示制御部５３に送信している。表示制御部５３は、タイマー部５７からの信号に基づいて画像等を表示するタイミングを調整する。例えば、操作者が話しながら、図形等の作画操作を行った場合は、操作者が発した音声に対応する文字がテキスト表示領域１２に表示されて、例えばその約１秒後に教材画像表示領域１１に図形等が表示される。このときに、表示制御部５３は、タイマー部５７からの信号に基づいて、テキスト表示領域１２に文字の画像が表示されるタイミングと、教材画像表示領域１１に図形等の画像が表示されるタイミングと、を調整する。

【0050】

（教材作成装置１００による教材の作成手順）
次に、図面を用いて、教材作成装置１００を用いて教材を作成する手順について説明する。図３は、本発明の実施形態に係る教材作成装置のテキスト表示領域に表示される画像の一例を示す第１図である。図４は、本発明の実施形態に係る教材作成装置の教材画像表示領域に表示される画像の一例を示す第１図である。図５は、本発明の実施形態に係る教材作成装置のテキスト表示領域に表示される画像の一例を示す第２図である。図６は、本発明の実施形態に係る教材作成装置の教材画像表示領域に表示される画像の一例を示す第２図である。図７は、本発明の実施形態に係る教材作成装置の教材画像表示領域に表示される画像の一例を示す第３図である。図８は、本発明の実施形態に係る教材作成装置のテキスト表示領域に表示される画像の一例を示す第３図である。

【0051】

教材作成装置１００によれば、操作者である教師は、教材作成装置１００に対して普段通りの授業を行うことにより、容易に教材を作成することができる。例えば、教師は教材作成装置１００のコントロールキー表示領域１３の「音声認識開始ボタン」をタップして、授業を始める。具体的には、「今日は図形の種類について勉強しましょう」と音声を発する。これにより、教師が発した音声がマイク２により入力されて、音声データ化部５１により音声データに変換されて記憶部５２に記憶される。さらに、記憶部５２に記憶された音声データは表示制御部５３によりテキスト化されて、表示画面１のテキスト表示領域１２に、「今日は図形の種類について勉強しましょう」との一連の文字が表示される。なお、教師が、「今日は」と「図形の種類について勉強しましょう」との間に無音期間を設けることにより、図３に示すように、テキスト表示領域１２において「今日は」と、「図形の種類について勉強しましょう」と、の間に空白１２１が設けられるように表示される。この空白１２１は、「今日は」と、「図形の種類について勉強しましょう」とは、それぞれ別の音声データとして認識されたことを示している。ここで、詳細は後述するが、教材作成装置１００において、音声を記憶した後に、その音声の順番の入れ替えや、音声の一部を削除して編集したものを教材として使用することができるが、このような編集の際には、これら各音声データを単位として編集を行うことができる。これにより、容易に編集を行うことができる。

【0052】

教師は、授業の講義内容である音声を発して、音声データを記憶部５２に記憶させながら、並行して、教材画像表示領域１１に表示させる画像を作画することができる。例えば、教師が、「今日は」、「図形の種類について勉強しましょう」と音声を発する際に、「図形の種類」との音声を発している際に、図４に示すように、教材画像表示領域１１上の所定の箇所を指１０により長押し（ロングタップ）することにより、ロングタップした箇所に「図形の種類」との文字の画像１１１が表示される。つまり、教材画像表示領域１１の所定の箇所をロングタップしている間に発した音声は、テキスト化されてロングタップしている箇所に表示される。これにより、教材画像表示領域１１への画像の表示を容易に行うことができる。

【0053】

教師は、「今日は」、「図形の種類について勉強しましょう」に続けて、「まず初めに四角形」、「次に」、「丸」、「日常の中で色々な形を探してみましょう」、「名刺は」、「どちらでしょう」、「四角形ですね」、との音声を発することにより、これらの音声に対応する一連の文字がテキスト表示領域１２に表示される。このとき、教師が「四角形」と発した際に、パーツ表示領域１４のパーツ操作部１４１において「図ボタン」を選択した状態で、パーツ部１４２の四角の中から長方形を選択して、教材画像表示領域１１の所定の箇所にドラッグすることにより、その箇所に長方形が表示される。また、教師が「丸」と発した際に、パーツ表示領域１４のパーツ部１４２の丸の中から円を選択して、教材画像表示領域１１の長方形が表示された箇所の下方にドラッグすることにより、その箇所に円が表示される。

【0054】

さらに、教師が、「名刺は」と音声を発した際に、パーツ表示領域１４のパーツ操作部１４１において「画像ボタン」を選択した状態で、パーツ部１４２に表示されている、予め記憶部５２に記憶された名刺の撮影画像のサムネイルを選択して、教材画像表示領域１１の所定の箇所にドラッグするが、その際に、「どちらでしょう」と音声を発しながら、長方形の表示及び円の表示の間を往復させて、名刺の画像が長方形の表示及び円の表示の間を行き来するように表示した後に、「四角形ですね」と音声を発して、名刺の画像を長方形の近傍にドラッグする。なお、教材画像表示領域１１に、画像等を表示させる操作については、上記以外の方法でもよい。例えば、パーツ部１４２のいずれかを教材画像表示領域１１の所定の箇所にドラッグすることにより、複数の図形や画像のサムネイル等が表示され、その中から所望とする図形や画像のサムネイル等をタップすることにより、所定の箇所に図形やサムネイルに対応する画像等が表示されることとしてもよい。

【0055】

上記操作により、図５に示すように、テキスト表示領域１２には、「今日は」、「図形の種類について勉強しましょう」、「まず初めに四角形」、「次に」、「丸」、「日常の中で色々な形を探してみましょう」、「名刺は」、「どちらでしょう」、「四角形ですね」の音声に対応する一連の文字が表示される。また、これらそれぞれの間には、音声を発した際に無音期間としたことにより、空白１２１が形成されている。

【0056】

また、作画操作により、教材画像表示領域１１において表示が行われた際に発せられた音声に対応する文字の下部には下線１２２が表示されている。この下線１２２は、下線１２２が記載された文字が発せられた際に、画像の表示等の他の作業が行われたことを示すものである。下線１２２を表示する代わりに、これらの文字の色を変更する、又は、ハイライト表示とする等、教師がテキスト表示領域１２を見ることにより、音声と同時に作業がなされていることを容易に認識できるようにすればよい。これにより、教師は、テキスト表示領域１２を見ることで、音声と共になんらかの作業がなされていることを把握することができる。また、例えば、下線１２２が表示された文字をタップすることにより、その作業の内容がポップアップ等により表示されることとしてもよい。

【0057】

このようにして作成された教材を再生した場合に、スピーカー３から出力される音声及び教材画像表示領域１１に表示される画像について説明する。教師は教材作成装置１００のコントロールキー表示領域１３の「再生ボタン」をタップして、再生を開始する。スピーカー３からは、「今日は」、「図形の種類について勉強しましょう」、「まず初めに四角形」、「次に」、「丸」、「日常の中で色々な形を探してみましょう」、「名刺は」、「どちらでしょう」、「四角形ですね」、との音声が順に出力される。まず、「図形の種類」との音声がスピーカー３から出力される際に、教材画像表示領域１１には「図形の種類」との文字の画像１１１が表示され、「四角形」との音声がスピーカー３から出力される際に、教材画像表示領域１１には長方形の画像１１２（図６参照）が表示される。さらに、「丸」との音声がスピーカー３から出力される際に、教材画像表示領域１１には円の画像１１３（図６参照）が表示される。そして、「名刺は」との音声がスピーカー３から出力される際に、教材画像表示領域１１には名刺の画像１１４が表示され、「どちらでしょう」との音声がスピーカー３から出力される際に、図６に示すように、教材画像表示領域１１には名刺の画像１１４が上下に移動して、長方形の画像１１２及び円の画像１１３のそれぞれの間を行ったり来たりする表示がなされる。さらに、「四角形ですね」との音声がスピーカー３から出力される際に、図７に示すように、名刺の画像１１４が長方形の画像１１２側に固定されて表示される。

【0058】

上述したように、教材作成装置１００によって、授業用動画である教材を作成することができる。つまり、スピーカー３から出力される音声及び表示画面１の教材画像表示領域１１に表示される上記画像（動画）が教材であり、生徒はこの教材である授業用動画を視聴することにより学習を行うことができる。したがって、教材は、音声データ及び画像データを有している。上述したように、例えば、各生徒は、この教材のデータをインターネット経由又は記憶媒体を用いてのパソコンにダウンロードして、この教材を視聴するためのプログラムをパソコンで起動することにより、音声及び画像を含む授業用動画である教材を視聴でき、学習することができる。

【0059】

さらに、教材作成装置１００により作成された教材は、教材作成装置１００によって容易に編集することができる。図７に示す、テキスト表示領域１２に表示されている、「まず初めに四角形」、「次に」、「丸」、との文字を選択し、これをドラッグして、「日常の中で色々な形を探してみましょう」及び「名刺は」の間に移動させることにより、図８に示す表示となる。このように、テキスト表示領域１２に表示されている一連の文字を編集することができる。また、表示されている文字を削除することも可能である。例えば、図７に示すテキスト表示領域１２の表示から、「名刺は」、「どちらでしょう」、「四角形ですね」との文字を削除することもできる。このように、教師は、テキスト表示領域１２の表示を容易に編集することができる。

【0060】

さらに、テキスト表示領域１２の表示を編集した後に、コントロールキー表示領域１３の「再生ボタン」をタップして再生を開始すると、編集後の表示内容の音声がスピーカー３から出力される。つまり、図７に示す表示を、図８に示すように編集した後に再生すると、「今日は」、「図形の種類について勉強しましょう」、「まず初めに四角形」、「次に」、「丸」、「日常の中で色々な形を探してみましょう」、「名刺は」、「どちらでしょう」、「四角形ですね」、との音声が順にスピーカー３から出力される。なお、その場合は、教材画像表示領域１１における画像の表示も変更される。具体的には、まず、「図形の種類」との音声がスピーカー３から出力される際に、教材画像表示領域１１には「図形の種類」との文字の画像１１１が表示され、「日常の中で色々な形を探してみましょう」との音声がスピーカー３から出力されている際は、教材画像表示領域１１の表示には変化がなく、「四角形」との音声がスピーカー３から出力される際に、教材画像表示領域１１には長方形の画像１１２が表示される。さらに、「丸」との音声がスピーカー３から出力される際に、教材画像表示領域１１には円の画像１１３が表示される。そして、「名刺は」との音声がスピーカー３から出力される際に、教材画像表示領域１１には名刺の画像１１４が表示され、「どちらでしょう」との音声がスピーカー３から出力される際に、図６に示すように、教材画像表示領域１１には名刺の画像１１４が上下に移動して、長方形の画像１１２及び円の画像１１３のそれぞれの間を行ったり来たりする表示がなされる。さらに、「四角形ですね」との音声がスピーカー３から出力される際に、図７に示すように、名刺の画像１１４が長方形の画像１１２側近傍に固定されて表示される。

【0061】

また、図７に示すテキスト表示領域１２の表示から、「名刺は」、「どちらでしょう」、「四角形ですね」との文字を削除する編集を行った場合は、その後に、コントロールキー表示領域１３の「再生ボタン」をタップして再生を開始すると、編集後の表示内容の音声がスピーカー３から出力される。つまり、「今日は」、「図形の種類について勉強しましょう」、「まず初めに四角形」、「次に」、「丸」、「日常の中で色々な形を探してみましょう」、との音声が順にスピーカー３から出力され、「名刺は」、「どちらでしょう」、「四角形ですね」との音声は出力されない。なお、この場合は、教材画像表示領域１１における画像の表示も変更される。具体的には、まず、「図形の種類」との音声がスピーカー３から出力される際に、教材画像表示領域１１には「図形の種類」との文字の画像１１１が表示され、「四角形」との音声がスピーカー３から出力される際に、教材画像表示領域１１には長方形の画像１１２が表示される。さらに、「丸」との音声がスピーカー３から出力される際に、教材画像表示領域１１には円の画像１１３が表示されて、教材が終了となる。

【0062】

このように、教材作成装置１００により教材を作成後に、テキスト表示領域１２において表示されている一連の文字であって、音声としてスピーカー３から出力される表示を編集した場合は、教材における出力される音声の変更がなされる。さらに、音声が編集されたことに応じて教材画像表示領域１１に表示される画像も変更がなされる。このように、音声と表示との関係が崩れないように、編集を行うことができる。なお、これは、上述したように、音声データ及び画像データにおいて、同じ時刻のもの同士を互いに紐づけて記憶していることから、テキスト表示領域１２の表示を編集した場合は、その編集に応じて画像の表示を容易に変更することができる。

【0063】

なお、上記説明では、長方形の画像１１２、円の画像１１３及び名刺の画像１１４が、教材画像表示領域１１に表示されることとしたが、これらのように予め記憶されている画像が表示されるのではなく、操作者がタッチパネル用のペン等を用いて、教材画像表示領域１１に画像を描画して表示することとしてもよい。この場合に、再生が行われると、描画の開始から描画が終了するまでの過程の画像が表示されることとなる。つまり、いきなり、描画後の完成された絵等が表示されるわけではなく、その絵等が描画されて徐々に完成していく過程が動画として表示される。

【0064】

（教材作成装置１００による処理の流れ）
次に、図面を用いて教材作成装置１００による処理の流れについて説明する。図９は、本発明の実施形態に係る教材作成装置において教材を作成する処理の流れの一例を示すフローチャートである。図１０は、本発明の実施形態に係る教材作成装置において編集操作を行う場合の処理の流れの一例を示すフローチャートである。

【0065】

まず、教材作成装置１００において、教材を作成する処理の流れについて説明する。図９に示すように、教材作成装置１００において音声認識が実行されている場合において、マイク２により入力された音声を、無音期間ごとに分割して音声データを作成し、記憶部５２に記憶する（ステップＳ１０１）。さらに教材作成装置１００は、音声データをテキスト化して、音声データに対応する音声を文字としてテキスト表示領域１２に表示する（ステップＳ１０２）。

【0066】

教材作成装置１００は、操作者により作画操作がなされているか否かを判断し（ステップＳ１０３）、作画操作がなされていない場合は（ステップＳ１０３でＮｏ）、再びステップＳ１０１に戻る。

【0067】

作画操作がなされている場合は（ステップＳ１０３でＹｅｓ）、作画操作にしたがって画像を作成し、教材画像表示領域１１に表示する（ステップＳ１０４）。そして、教材画像表示領域１１に表示された画像の画像データと、画像が表示された際の音声の音声データとを、紐づけて記憶する（ステップＳ１０５）。教材作成装置１００は、操作者から音声認識の終了指示があるか否かを判断し（ステップＳ１０６）、終了指示がない場合は（ステップＳ１０６でＮｏ）、再びステップＳ１０１に戻り、上記処理を繰り返す。終了指示がある場合は（ステップＳ１０６でＹｅｓ）、処理を終了する。

【0068】

次に、教材作成装置１００において、作成された教材を編集する処理の流れについて説明する。図１０に示すように、教材作成装置１００において編集操作にしたがって、テキスト表示領域１２に表示された一連の文字を編集する（ステップＳ２０１）。

【0069】

教材作成装置１００は、テキスト表示領域１２に表示された一連の文字が編集された内容にしたがって、音声データの時系列を変更する（ステップＳ２０２）。例えば、音声データの順番を入れ替えたり、一部の音声データを削除したりする。

【0070】

教材作成装置１００は、音声データの時系列の変更にしたがって、画像データの時系列を変更する（ステップＳ２０３）。教材作成装置１００は、操作者から編集作業の終了指示があるか否かを判断し（ステップＳ２０４）、終了指示がない場合は（ステップＳ２０４でＮｏ）、再びステップＳ２０１に戻り、上記処理を繰り返す。終了指示がある場合は（ステップＳ２０４でＹｅｓ）、処理を終了する。これにより、再生した場合に、音声と表示される画像とがあっていないという不具合が生じることを防止できる。

【0071】

教材作成装置１００は、上述したように、マイク２により入力された操作者の音声を分割して複数の音声データと、音声を発した際に操作者が作画して教材画像表示領域１１に表示された画像の画像データと、を紐づけて記憶し、さらに、音声データに対応する一連の文字をテキスト表示領域１２に表示する。また、この一連の文字は編集可能であり、編集された場合は、編集後の一連の文字の文字データに合わせて、各音声データの順番等の変更がなされて、音声としてスピーカー３から出力される。また、各音声データの順番等の変更に合わせて、紐づけられた画像データの表示の順番等が変更されて、教材画像表示領域１１に表示される。このような構成を有することから、操作者は教材作成装置１００を用いて、画像や音声を含む教材を容易に作成することができる。また、画像の作成工程と音声の作成工程が別々ではなく、これらの工程を同時に行うことができるので、短時間で教材を作成することができる。また、操作者である教師は、教材作成装置１００に向かって、通常行われる授業を行えばよく、それにより教材を作成することができることから、あまり労力をかけることなく、簡単に教材を作成することができる。さらに、教材を作成した後でも、容易に編集することができ、教材の作成効率が向上する。

【0072】

以上、本実施形態に係る教材作成装置１００について説明したが、本発明は、上記実施形態に限定されるわけではない。例えば、教材作成装置１００は、タブレット型のパソコン以外であってもよく、ノート型パソコン、デスクトップ型パソコン、スマートフォン、専用端末等であってもよい。また、作画操作は上述した以外の操作により画像を作画することとしてもよい。また、上述の説明では、教材のデータをインターネット経由又は記憶媒体を用いてパソコン等にダウンロードして視聴することとしたが、他のパソコン等を用いずとも、資料を作成した教材作成装置１００において視聴することとしてもよい。

【0073】

また、マイク２から入力された音声を所定の区切りにより、分割して複数の音声データに変換することとしたが、例えば、音声データを分割するための所定の区切りの箇所を時刻等により記憶しておき、音声データは分割せずに１つのデータとし、再生時等においては、記憶しておいた所定の区切り位置に基づいて、あたかも音声データが分割されているように扱うこととしてもよい。

【0074】

また、上述の説明では、生徒向けの授業用の教材である資料を作成する教材作成装置１００について説明したが、本発明は教材の作成だけでなく、その他の資料の作成に用いることができる。例えば、企業の会議等におけるプレゼン用資料の作成や、インターネット用の確認動画や、子供向けのアニメーションの作成等、音声や画像（動画を含む）を含む資料の作成にも用いることができる。なお、音声のみの資料の作成や、画像のみの資料の作成にも用いることができる。

【0075】

本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、かかる実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【符号の説明】

【0076】

１ 表示画面（画像表示手段、文字表示手段）
２ マイク（音声入力手段）
３ スピーカー（音声出力手段）
４ カメラ
５ 制御部
１０ 指
１１ 教材画像表示領域
１２ テキスト表示領域
１３ コントロールキー表示領域
１４ パーツ表示領域
１５ 情報表示領域
５１ 音声データ化部
５２ 記憶部（音声記憶手段、文字記憶手段、画像記憶手段）
５３ 表示制御部（画像作成手段）
５４ 画像データ化部
５５ 音声制御部
５６ 文字データ編集部（編集手段）
５７ タイマー部
１００ 教材作成装置（資料作成装置）
１１１ 文字の画像（一連の文字）
１１２ 長方形の画像
１１３ 円の画像
１１４ 名刺の画像
１２１ 空白
１２２ 下線
１４１ パーツ操作部
１４２ パーツ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】