【実施例】
【0011】
図1は、本発明の一実施例における表示装置の機能ブロック図である。本発明における表示装置Dは、タッチパネルディスプレイ(以下タッチパネル)を備えた情報処理装置であり、操作部1、音声入力部2、制御部3、記憶部4、表示部5、音声出力部6から構成される。
【0012】
操作部1は、ボタン、スイッチ、ダイアル、スライダーなどのハードウェア操作子と、タッチパネル上に表示される仮想操作子とを含む。音声入力部2はマイクロフォンであって、ユーザーによる発声や演奏音などの音声を集音する。集音された音はデジタル信号に変換され、音声信号として処理される。制御部3は表示装置Dの動作を制御するマイクロプロセッサユニット(CPU)であり、操作部1から入力されたユーザー操作や音声入力部2から入力された音声信号に応じて、記憶部4にアクセスして情報の読み出しや書き込みを行なったり、表示部5または音声出力部6に出力する情報を制御したりする。記憶部4は、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、あるいはハードディスクやフラッシュメモリなどの記憶媒体を含み、表示装置Dを制御するためのプログラムやデータ、音声入力部2から入力された音声を録音した録音データRE、表示部5に表示させる表示情報LYなどを記憶する。表示部5はタッチパネル式のディスプレイであり、記憶部4から読み出された表示情報LYなどを表示する。タッチパネルは、液晶(LCD)や有機EL、あるいは電子ペーパーなどで構成されたディスプレイに、静電式、感圧式、あるいは他の既存の方式による、ディスプレイ上への操作の検出機能を持たせたものであり、表示情報LYを表示する表示部5としての機能と、ユーザーのタッチ操作を受け付ける操作部1としての機能を併せ持つ。音声出力部6は音源・効果回路やアンプ、スピーカーなどのサウンドシステムにより構成される。なお、すべての構成要素が機器に内蔵されている必要はなく、マイクロフォンや記憶装置、ディスプレイ、スピーカーなどを外付けすることにより同様の機能を実現してもよい。
【0013】
図2は、表示装置Dの表示部5に表示される画面の一例である。ユーザーが操作部1を操作することにより、これからレコーディングする楽曲に関連する表示情報、具体的には楽曲の歌詞である表示情報LYが記憶部4から読み出され、
図2(a)に示す画面が表示部5に表示される。表示部5には、表示情報LYを表示する表示エリアArと、レコーディングのテイクを表すタブを表示するタブエリアTrがあり、タブエリアTrにはテイク1を表すタブTb1、全テイクの統合データを表示するタブTbAが表示されている。なお、初期状態ではテイク1のタブTb1が選択されている。
【0014】
ユーザーは表示エリアArに表示された表示情報LYを参照しながら、対象楽曲を歌唱し、歌唱音声を録音する。すなわち、レコーディングを行なう。本発明の表示装置Dは音声入力部2を備えているので、専用の録音機器がなくても本機器のみで簡易的に録音を行なえる。操作部1より録音開始操作を行なうと、以降にユーザーが音声入力部から入力した歌唱音声が、記憶部4に録音データREとして記憶される。なお、録音を開始するにあたり、本装置の記憶部4あるいは本装置とは別の再生装置から楽曲の伴奏音を読み出して再生するようにし、伴奏音に合わせて歌唱するとよい。
【0015】
こうして歌唱しながら、うまく歌えなかった箇所に該当する歌詞に、表示エリアAr上でタッチする。たとえば、「いつもいつまでも」の末尾で失敗した場合、「も」が表示されている箇所にタッチする。すると、タッチした箇所に色が付き、画面は
図2(b)のようになる。このときの表示態様(現在表示中のタブにおけるタッチ箇所の表示態様)をfcとする。なお、表示態様fcの色の付き方は、所定の範囲に色を塗ったような表示でもよいし、タッチされた位置にある文字色を変えるようにしてもよいが、少なくとも表示情報LYを構成するどの表示要素(後述)がタッチされたのかがわかるように表示するものとする。また、失敗箇所が複数文字にわたる場合は、タッチではなくドラッグして範囲を指定することで、ドラッグした範囲が表示態様fcとなる。楽曲の最後まで演奏(歌唱)が進むと、ユーザーは録音終了操作をしてテイク1のレコーディングを終了する。表示エリアAr上に表示された表示情報LYは、テイク1において失敗した1または複数の箇所が表示態様fcで示された状態になっているはずである。
【0016】
次に、操作部1の操作によりテイク2のレコーディングのためのタブを新規作成する。たとえば、タブTb1の右側を長押しすることでメニュー画面(図示せず)を表示させ、そこから「新規タブ作成」のメニューを選択することで、タブTb2が表示されて、
図2(c)の画面となる。このとき、テイク1でタッチした失敗箇所は、
図2(b)とは異なる色で表示される。このときの表示態様(現在表示中でないタブにおけるタッチ箇所の表示態様)をfpとする。このように、録音済みテイクにおいてタッチした箇所が表示態様fpで表示されることで、ユーザーは過去の失敗箇所を認識することができ、テイク2では同じ箇所で再び失敗することのないよう注意してレコーディングを行なうことができる。
【0017】
図2(d)は、テイク4までのレコーディングを行なった場合の画面である。この図では、テイク1〜4の全テイクデータを統合して表示するオールタブTbAが選択されており、表示エリアAr上の表示情報LYには、表示態様fp、faで表示されている箇所がある。表示態様faは、テイク1〜4のすべてにおいてユーザーがタッチした箇所を示しており、表示態様fpは、テイク1〜4のいずれかにおいてユーザーがタッチした箇所を示している。つまり、表示態様faで示された箇所は、全テイク同じ箇所で失敗していることを示し、まだレコーディングを完了できないことを意味する。逆に、オールタブTbAにおいて表示態様faがなくなれば、すべての箇所において少なくとも1度は成功していることを示すため、レコーディングを完了して次のミキシング工程に移ってよいことを意味する。なお、
図2(a)〜(d)において、各タブTb1〜Tb4、TbAのそれぞれにタッチすることで、任意のタブの内容をいつでも表示することができる。
【0018】
図3は、表示装置Dの記憶部4における、表示情報LYに関する種々の情報の管理構造を示す概念図である。本実施例の表示情報LYは、複数の表示要素ly(x)から構成され、表示要素ly(x)ごとにレコーディング楽曲の時間情報lt(x)を持つ。前述のとおり、表示情報LYは楽曲の歌詞でありテキストデータであって、
図3では歌詞の1文字ごとが表示要素ly(x)となっている。
【0019】
ここで、表示情報LYの作成方法の一例として、MIDI(ミディ)を利用して表示要素ly(x)を作成し、それに対応する時間情報lt(x)を決定する方法を説明する。レコーディングに使用する楽曲をMIDIで作成し、メロディパートのノートデータに歌詞を割り付けておく。ノートごとに割り付けられたテキスト情報が表示情報LYの表示要素ly(1)、ly(2)、・・・ly(x)である。表示要素ly(x)を割り付けたノートデータの小節、拍、クロックを、楽曲の演奏テンポにもとづいて時間情報(分、秒)に変換したものが、
図3における時間情報lt(x)となる。
【0020】
表示情報LYは、所定のルールにしたがって表示部5の表示エリアArに表示される。ユーザーが表示エリアAr上の任意の位置にタッチすると、タッチ位置の座標が検出される。表示情報LYを表示エリアArに表示させるための所定のルールを参照することで、座標位置に表示されている表示要素ly(x)が特定され、その表示要素ly(x)に対して操作フラグがオンになる。この操作フラグは、記憶部4であるRAMに記憶される。
図3の「テイク1」列Tk1は、
図2におけるTb1に対応しており、テイク1のレコーディング時における失敗箇所を記録したテイクデータである。チェックマークは操作フラグがオンであることを表す。
図2(b)によると、Tb1では「いつまでも」の「も」がユーザーによりタッチされている。つまり、タッチ位置に表示されている表示要素はly(8)と特定されることから、
図3のTk1では、表示要素ly(8)の操作フラグがオンになっている。Tk2〜Tk4も同様に、
図2のTb2〜Tb4に対応する。このように、Tk1〜Tk4の各テイクデータは、共通する1つの表示情報LYの各表示要素ly(x)に対して任意の表示要素を指定し、どの表示要素ly(x)が指定されたか(操作フラグがオンとなったか)をテイクごとに記憶部4に記憶したものである。
【0021】
図4は、表示装置Dの制御部3が行なう処理を示すフローチャートである。この処理は、表示装置Dが起動されることにより開始される。
【0022】
ステップST1は、本実施例を実行するための種々の初期化処理を行なう。レコーディング楽曲に対応する表示情報LYをユーザー指示に応じて、あるいは自動的に、表示部5に表示したり、録音データを保存するための領域を記憶部4に確保したりなどの処理を行なう。その後、ステップST2に進み、ユーザーによる操作部1の操作を検出すると、ステップST3において、ステップST2で検出した操作が表示情報LYに関する操作か否かを判断する。表示情報LYに関する操作とは、タブエリアTrに表示されたタブTb1〜TbAへのタッチ操作または表示エリアAr内に現在表示されている表示情報LYへのタッチ操作のことである。表示情報LYに関する操作の場合はステップST4へ進み、それ以外の操作である場合はステップST15へ進む。
【0023】
ステップST4では、表示情報LYに関する操作のうち、操作位置がタブエリアTrであるか表示エリアArであるかを判断する。タブエリアTrする操作である場合はステップST5へ進み、表示エリアArに対する操作である場合はステップST11へ進む。
【0024】
ステップST5では、表示エリアAr上に表示されている表示情報LYにおいて、表示態様fc、fp、faで表示されている箇所があれば、表示態様をクリアする。ステップST6では、操作対象のタブが、各テイクに対応したタブ(Tb1、Tb2、・・・)であるか、オールタブ(TbA)であるかを判断する。各テイクに対応したタブである場合はステップST7へ進み、オールタブTbAである場合はステップST9へ進む。
【0025】
ステップST7では、ステップST2でユーザーが操作したタブ(これをTbuとする)において操作フラグがオンである表示要素ly(x)を確認し、操作フラグがオンである表示要素ly(x)の表示態様をfcに変更する。続いてステップST8へ進み、タブTbuでは操作フラグがオンでないがTbu以外のタブにおいて操作フラグがオンである表示要素ly(x)を確認し、この表示要素ly(x)の表示態様をfpに変更する。これで、ステップST2で検出した操作(いずれかのタブへのタッチ操作)に対する処理を終了し、次のユーザー操作を受け付けるステップST2へと進む。
【0026】
ステップST9では、各表示要素ly(x)について、すべてのタブ(テイク)における操作フラグを確認し、すべてのタブにおいて操作フラグがオンである表示要素ly(x)があれば、その表示要素ly(x)の表示態様をfaに変更する。続くステップST10では、一部のタブ(テイク)においてのみ操作フラグがオンである表示要素ly(x)を確認し、表示態様をfpに変更する。これで、ステップST2で検出した操作(オールタブTbAのタッチ操作)に対する処理を終了し、次のユーザー操作を受け付けるステップST2へと進む。
【0027】
ステップST11では、各テイクに対応したタブ(Tb1、Tb2、・・・)の表示エリアArを操作したか、オールタブ(TbA)の表示エリアArを操作したかを判断する。各テイクに対応したタブである場合はステップST12へ進む。オールタブTbAである場合は、表示エリアAr内にタッチしても何も起こらないことから、ステップST2で検出した操作(オールタブTbAの表示エリアArへのタッチ操作)に対する処理を終了し、次のユーザー操作を受け付けるステップST2へと進む。なお。オールタブTbAの表示エリアAr内にタッチしたときの動作はこの限りでなく、たとえば自動的に1つのテイクのタブを選択するようにして、選択されたタブにおいて以降のステップST12〜ST14の処理を行うようにしてもよい。この際に選択されるタブは、もっともテイク番号の大きいタブ、ユーザーがオールタブを選択する直前に選択されていたタブ、あるいはタブを新規作成、など、なんでもよい。
【0028】
ステップST12では、ステップST2でユーザーがタッチした表示エリアAr中の座標位置を検出し、この座標上に表示されている表示要素ly(x)を特定する。なお、タッチ位置に表示要素ly(x)が存在しない場合、何も処理を行なわずにステップST2へ進むようにしてもよいし、タッチ位置のもっとも近くに表示されている表示要素ly(x)を選択するようにしてもよい。続くステップST13では、ステップST12で特定した表示要素ly(x)に対して、現在のテイク(ステップST11で判定されたテイクタブに対応するテイク)における操作フラグをオンにし、ステップST14でこの表示要素ly(x)の表示態様をfcに変更する。これで、ステップST2で検出した操作(表示エリアAr中の表示情報LYへのタッチ操作)に対する処理を終了し、次のユーザー操作を受け付けるステップST2へと進む。
【0029】
ステップST15では、ステップST2の操作が表示装置Dを停止させる終了指示であるかどうかを判断する。終了指示である場合はステップST16へ進み、データの保存処理を行なってフローを終了する。終了指示でない場合はステップST17へ進み、操作に対応した処理を行なう。その後、次のユーザー操作を受け付けるステップST2へと進む。
【0030】
ここで、ステップST17で行なわれる処理について説明する。ステップST17の処理の例として、録音、再生、タブ作成、選曲などがある。録音は、ユーザーの録音開始指示に応じて録音経過時間の計測を開始するとともに、音声入力部2から入力された音声信号を記憶部4に記憶する処理である。再生は、記憶部4から録音データREを読み出し、音声出力部6から出力させる処理である。タブ作成は、タブエリアTrに新たなタブを表示し、ステップST5の処理(表示態様のクリア)を行なったのちステップST8の処理を行なうことで、すでにレコーディングが完了したテイクの失敗箇所を表示する処理である。選曲は、記憶部4に記憶された複数の表示情報LYのうちの1つをユーザーの選択操作に応じて読み出し、表示部5に表示する処理である。これ以外にも、表示エリアArにおける表示の拡大率を変更したり、タッチ位置の表示態様を(たとえば別の色に)変更したりといった、種々の編集処理がステップST17にて行なわれる。
【0031】
図5は、表示装置Dの表示部5に表示される画面の別の例である。横軸は録音時間を表す。長方形Tk1〜Tk4は、テイク1〜テイク4の録音データREに対応するテイクデータであって、表示情報LYに対して、各テイクにおいて操作フラグがオンになっている(つまりレコーディング中の演奏に失敗した)時間位置が、表示態様dcまたはdaで示されている。なお、Tk2〜Tk4では、図の簡略化のため表示情報LYの記載を省略してあるが、もちろんすべてのテイクにおいて表示情報LYが記載されていてもよいし、あるいは、テイクデータの長方形(Tk1〜Tk4)の中に表示情報LYを表示するのではなく、付近に表示してもよい。いずれにしろ、Tk1〜Tk4は、表示情報LYを時間方向に一次元表示したものであるといえる。表示態様dcで表示された失敗箇所は、他の少なくとも1テイクにおいては成功していることを示し、表示態様daで表示された失敗箇所は、全テイクで失敗していることを示す。つまり、表示態様daが存在する場合、まだレコーディングを完了できないことを意味する。逆に、表示態様daがなくなれば、すべての箇所において少なくとも一度は成功していることを示すため、レコーディングを完了して次のミキシング工程に移ってよいことを意味する。
【0032】
図3では、表示要素ly(1)についてテイク2の操作フラグがオンである。したがって、
図5では、Tk2において、表示要素ly(1)の時間情報であるlt(1)の位置が表示態様dcで表されている。同様に、Tk3においては、表示要素ly(4)の時間情報であるlt(4)の位置が表示態様dcで表されている。また、表示要素ly(8)については、全テイクで操作フラグがオンであるので、この表示要素ly(8)に対応する時間情報lt(8)の位置が、Tk1〜Tk4の全テイクにおいて表示態様daで表されている。このように時間軸上に各テイクにおける失敗位置が表示されるため、レコーディング後のミキシング作業において、採用すべきテイクや採用すべきでないテイクをすぐに判別できる。また、表示装置Dが、録音データREを編集する機能も備えている場合は、
図5のTk1〜Tk4は各テイクの録音データREそのものであるので、失敗箇所の録音データを別のテイクの同時間の録音データと差し替える編集作業をこの表示上で直接行なうことができ、録音(レコーディング)から編集(ミキシング)までの操作が効率よく行なえる。
【0033】
なお、本実施例では、表示装置Dの記憶部4に録音データREを記憶するようにしたが、表示装置とは別に専用の録音装置で録音を行うようにしてもよい。その場合であっても、表示装置Dの表示部5に、各テイクの失敗位置を
図5のように時間軸に沿って表示するのは有用である。録音装置上でも
図5のように録音データが時間軸に沿って表示されるのが一般的であるため、表示装置Dにて記録された失敗位置の時間情報と録音装置上の録音データの照合がしやすくなり、編集時に録音装置上の録音データを1テイクずつ聞きなおして失敗箇所を確認しなくともすぐに各テイクの失敗箇所を特定できるからである。
【0034】
なお、本実施例の表示装置Dにおいてはタッチパネルを使用したが、タッチパネルではない表示器を使用してもよい。マウスやホイールなどのポインティングデバイスを用いて画面上のカーソルを移動させ、表示情報LY上の位置を指定すればよい。
【0035】
また、楽器の演奏や歌唱だけでなく、演劇やダンス、朗読、その他さまざまなパフォーマンスにおいて、本発明は応用できる。その場合、表示情報LYは、楽曲の歌詞に限らず、楽曲のコード進行や、パフォーマンスの構成を表すメモ(たとえば曲のイントロ、Aメロ、サビといった構成や、演劇の第一部、第一幕、といった構成を記したテキストなど)であってもよいし、写真やイラストなどの画像であってもよい。さらに表示態様fc、fp、faやdc、daは、表示色による識別方法に限らず、反転表示、点滅表示、下線、斜体など、他の箇所と区別できるものであれば、どのようなものであってもよい。
【0036】
さらに、失敗箇所を記録する用途だけではなく、成功箇所を記録してもよいし、それ以外の用途でも、ユーザーがマークしておきたい箇所を記録する目的に本発明は応用できる。あるいは、種類の異なる情報を異なる表示態様で表示できるようにすることで、より詳細なパフォーマンスの状況を管理できる。たとえば、メロディを間違えた場合、歌詞を間違えた場合、音程を外した場合、などの異なる失敗状況を、画面に1回タッチする、すばやく2回タッチする、長押しする、といったようにそれぞれ操作の仕方を異ならせ、対応する表示態様もfc1(赤色)、fc2(青色)、fc3(黄色)のように区別する。こうすると、どの箇所でどのような失敗が多いかといった情報も管理でき、より効率的にレコーディングが行なえる。または、同様の手法で失敗箇所と成功箇所を同時に管理して、ミキシング時に採用すべき成功データがどのテイクであるかを判断しやすくする、という使い方もできる。
【0037】
また、本実施例では1文字ごとの表示要素ly(x)に対して録音時間に相当する時間情報lt(x)を持つとしたが、時間情報は分、秒の単位で表されるものでなくてもよい。たとえば数文字ごとに1小節目、2小節目、のように大まかに区切られたものでもよい。表示情報LYが複数枚の画像から構成されるような場合、1枚の画像が表す情報量は1文字が表す情報量に比べて多いことが普通であるので、画像1枚につき数小節が対応するというように大まかな区切り方にすると有効であろう。なお、表示情報LYは必ずしも時間情報lt(x)を持つ必要はなく、時間情報lt(x)を持たない場合であっても、各テイクの録音における失敗(または成功)箇所を記録するという本発明の効果は得られるものである。
【0038】
なお、本発明は、表示装置の形態のみでなく、プログラムとしても実施できることは言うまでもない。