特許 7035509 表示制御方法、プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-07

(45)【発行日】2022-03-15

(54)【発明の名称】表示制御方法、プログラムおよび情報処理装置

(51)【国際特許分類】

   G10G 1/00 20060101AFI20220308BHJP

   G10H 1/00 20060101ALI20220308BHJP

【ＦＩ】

G10G1/00

G10H1/00 102Z

【請求項の数】 8

(21)【出願番号】P 2017246012

(22)【出願日】2017-12-22

(65)【公開番号】P2019113661

(43)【公開日】2019-07-11

【審査請求日】2020-10-23

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100128598

【弁理士】

【氏名又は名称】高田 聖一

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】藤島 琢哉

【審査官】菊池 智紀

(56)【参考文献】

【文献】特開２０１０－０５４５３５（ＪＰ，Ａ）

【文献】特開２００９－１９８５８１（ＪＰ，Ａ）

【文献】特開２０１８－１０５９５６（ＪＰ，Ａ）

【文献】特開２００４－２１９８０４（ＪＰ，Ａ）

【文献】特開２０１２－０１８５８９（ＪＰ，Ａ）

【文献】特開２０１５－１７９１４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００－７／０２

Ｇ１０Ｈ １／００－７／１２

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

時系列データが表す複数の要素の時系列から、複数の第１要素の時系列と、前記複数の第１要素の時系列に類似する複数の第２要素の時系列とを特定し、
前記複数の第１要素を第１方向に配列した第１画像と、前記複数の第２要素を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させ、
前記複数の第１要素の時系列と前記複数の第２要素の時系列との各々について、変更の許可／禁止の指示を利用者から受付け、
前記複数の第１要素の時系列および前記複数の第２要素の時系列の双方について変更の許可が指示されている場合には、前記提示画面において前記第２方向に配列する第１要素と第２要素とを、前記利用者からの指示に応じて一括的に変更し、
前記複数の第１要素の時系列について変更の許可が指示され、前記複数の第２要素の時系列について変更の禁止が指示されている場合には、前記利用者からの指示に応じて第１要素を変更し、第２要素を変更しない
コンピュータにより実現される表示制御方法。

【請求項2】

前記複数の要素の各々は、楽曲におけるコード名であり、
前記楽曲内の転調期間を表す転調画像を、前記提示画面に配置された複数のコード名の時系列に沿って前記表示装置に表示させる
請求項１の表示制御方法。

【請求項3】

時系列データが楽曲について表す複数のコード名の時系列から、複数の第１コード名の時系列と、前記複数の第１コード名の時系列に類似する複数の第２コード名の時系列とを特定し、
前記複数の第１コード名を第１方向に配列した第１画像と、前記複数の第２コード名を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させ、
前記楽曲内の転調期間を表す転調画像を、前記提示画面に配置された複数のコード名の時系列に沿って前記表示装置に表示させる
コンピュータにより実現される表示制御方法。

【請求項4】

前記転調期間について、前記時系列データが表すコード名を転調させたコード名を表示させる
請求項２または請求項３の表示制御方法。

【請求項5】

時系列データが表す複数の要素の時系列から、複数の第１要素の時系列と、前記複数の第１要素の時系列に類似する複数の第２要素の時系列とを特定する時系列解析処理と、
前記複数の第１要素を第１方向に配列した第１画像と、前記複数の第２要素を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる表示制御処理と、
前記複数の第１要素の時系列と前記複数の第２要素の時系列との各々について、変更の許可／禁止の指示を利用者から受付ける処理と、
前記複数の第１要素の時系列および前記複数の第２要素の時系列の双方について変更の許可が指示されている場合には、前記提示画面において前記第２方向に配列する第１要素と第２要素とを、前記利用者からの指示に応じて一括的に変更し、前記複数の第１要素の時系列について変更の許可が指示され、前記複数の第２要素の時系列について変更の禁止が指示されている場合には、前記利用者からの指示に応じて第１要素を変更し、第２要素を変更しない変更処理と
をコンピュータに実行させるプログラム。

【請求項6】

時系列データが楽曲について表す複数のコード名の時系列から、複数の第１コード名の時系列と、前記複数の第１コード名の時系列に類似する複数の第２コード名の時系列とを特定する時系列解析処理と、
前記複数の第１コード名を第１方向に配列した第１画像と、前記複数の第２コード名を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる表示制御処理と
をコンピュータに実行させるプログラムであって、
前記表示制御処理においては、前記楽曲内の転調期間を表す転調画像を、前記提示画面に配置された複数のコード名の時系列に沿って前記表示装置に表示させる
プログラム。

【請求項7】

制御装置を具備する情報処理装置であって、
前記制御装置は、
時系列データが表す複数の要素の時系列から、複数の第１要素の時系列と、前記複数の第１要素の時系列に類似する複数の第２要素の時系列とを特定する時系列解析処理と、
前記複数の第１要素を第１方向に配列した第１画像と、前記複数の第２要素を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる表示制御処理と、
前記複数の第１要素の時系列と前記複数の第２要素の時系列との各々について、変更の許可／禁止の指示を利用者から受付ける処理と、
前記複数の第１要素の時系列および前記複数の第２要素の時系列の双方について変更の許可が指示されている場合には、前記提示画面において前記第２方向に配列する第１要素と第２要素とを、前記利用者からの指示に応じて一括的に変更し、前記複数の第１要素の時系列について変更の許可が指示され、前記複数の第２要素の時系列について変更の禁止が指示されている場合には、前記利用者からの指示に応じて第１要素を変更し、第２要素を変更しない変更処理と、
を実行する情報処理装置。

【請求項8】

制御装置を具備する情報処理装置であって、
前記制御装置は、
時系列データが楽曲について表す複数のコード名の時系列から、複数の第１コード名の時系列と、前記複数の第１コード名の時系列に類似する複数の第２コード名の時系列とを特定する時系列解析処理と、
前記複数の第１コード名を第１方向に配列した第１画像と、前記複数の第２コード名を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる表示制御処理と、を実行し、
前記表示制御処理においては、前記楽曲内の転調期間を表す転調画像を、前記提示画面に配置された複数のコード名の時系列に沿って前記表示装置に表示させる
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、時系列に配列される複数の要素（例えば楽曲のコード名）を表示する技術に関する。

【背景技術】

【0002】

楽曲の演奏音を表す音響信号を解析することで当該楽曲における複数のコード名の時系列を推定する技術が従来から提案されている。例えば特許文献１には、音響信号からコードの構成音とベース音とを確定し、確定の結果からコード名を推定するコード推定検出装置が開示されている。コード名を推定した結果は表示装置に表示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２３５３２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

音響信号から推定された複数のコード名の時系列を時間軸上に直線状に表示するだけでは、楽曲内で相互に類似する複数の区間の関係を利用者が容易に確認できないという問題がある。なお、以上の説明では楽曲内の複数のコード名の時系列を表示する場面を便宜的に例示したが、時系列に配列される複数の要素を表示装置に表示させる任意の場面で、同様の問題が想定される。以上の事情を考慮して、本発明の好適な態様は、複数の要素の時系列の相互的な関係を利用者が容易に確認できるようにすることを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本発明の好適な態様に係る情報処理装置は、時系列データが表す複数の要素の時系列から、複数の第１要素の時系列と、前記複数の第１要素の時系列に類似する複数の第２要素の時系列とを特定し、前記複数の第１要素を第１方向に配列した第１画像と、前記複数の第２要素を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる。

【0006】

本発明の好適な態様に係るプログラムは、時系列データが表す複数の要素の時系列から、複数の第１要素の時系列と、前記複数の第１要素の時系列に類似する複数の第２要素の時系列とを特定する時系列解析処理と、前記複数の第１要素を第１方向に配列した第１画像と、前記複数の第２要素を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる表示制御処理とをコンピュータに実行させる。

【図面の簡単な説明】

【0007】

【図1】本発明の第１実施形態に係る情報処理装置の構成を例示するブロック図である。

【図2】解析期間（指定期間および関連期間）の説明図である。

【図3】提示画面の模式図である。

【図4】制御装置が実行する処理のフローチャートである。

【図5】第２実施形態における提示画面の模式図である。

【図6】第３実施形態における提示画面の模式図である。

【図7】第４実施形態における提示画面の模式図である。

【発明を実施するための形態】

【0008】

＜第１実施形態＞
図１は、本発明の第１実施形態に係る情報処理装置１００の構成図である。第１実施形態の情報処理装置１００は、制御装置１１と記憶装置１２と表示装置１３と入力装置１４とを具備するコンピュータシステムで実現される。例えば携帯電話機もしくはスマートフォン等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末が、第１実施形態の情報処理装置１００として好適に利用される。

【0009】

表示装置１３は、例えば液晶表示パネルで構成され、制御装置１１から指示された画像を表示する。入力装置１４は、利用者からの指示を受付ける入力機器である。具体的には、利用者が操作可能な複数の操作子、または、表示装置１３の表示面に対する接触を検知するタッチパネルが、入力装置１４として好適に利用される。また、利用者からの音声入力を受付ける収音装置を入力装置１４として利用してもよい。

【0010】

記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。記憶装置１２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、情報処理装置１００とは別体の記憶装置１２（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置１１が記憶装置１２に対する書込および読出を実行してもよい。すなわち、記憶装置１２を情報処理装置１００から省略してもよい。

【0011】

第１実施形態の記憶装置１２は、楽曲の演奏音を表す音響信号Ｘを記憶する。具体的には、楽器から発音された楽音または歌唱者が発声した歌唱音等の各種の音響を表す音響信号Ｘが記憶装置１２に記憶される。なお、例えば光ディスク等の記録媒体に記録された音響信号Ｘを再生する再生装置から情報処理装置１００に音響信号Ｘを供給してもよい。音響信号Ｘは任意の形式のファイルとして記憶装置１２に記憶される。

【0012】

制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、情報処理装置１００を構成する各要素を統括的に制御する。第１実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、音響信号Ｘを解析して結果を表示装置１３に表示させる複数の機能（信号解析部２１，時系列解析部２２，表示制御部２３および変更処理部２４）を実現する。なお、複数の装置の集合（すなわちシステム）で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路（例えば信号処理回路）で実現してもよい。

【0013】

信号解析部２１は、記憶装置１２に記憶された音響信号Ｘを解析することでコードデータＤを生成する。コードデータＤは、音響信号Ｘが表す楽曲における複数のコード名Ｃの時系列を表す時系列データである。具体的には、コードデータＤは、楽曲を時間軸上で区分した複数の単位期間の各々についてコード名Ｃを指定する。各単位期間は、楽曲の拍点により規定される時間長の期間である。第１実施形態では、楽曲の１小節分（すなわち複数拍分）に相当する期間を単位期間として例示する。また、信号解析部２１が音響信号Ｘから複数のコード名Ｃの時系列を推定する処理には、公知の音楽解析技術が任意に採用される。

【0014】

時系列解析部２２は、信号解析部２１が生成したコードデータＤを解析することで、楽曲のうち複数のコード名Ｃの時系列が相互に類似する複数の期間（以下「解析期間」という）Ｑを特定する。具体的には、時系列解析部２２は、図２に例示される通り、利用者が入力装置１４に対する操作で指定した１個の期間（以下「指定期間」という）Ｑaと、楽曲内で複数のコード名Ｃの時系列が指定期間Ｑaに類似する期間（以下「関連期間」という）Ｑbとを解析期間Ｑとして特定する。第１実施形態では、１個の指定期間Ｑaに類似する複数（具体的には３個）の関連期間Ｑbが特定される。具体的には、時系列解析部２２は、指定期間Ｑaの前方に位置する１個の関連期間Ｑbと、指定期間Ｑaの後方に位置する２個の関連期間Ｑbとを特定する。各解析期間Ｑは、楽曲の拍点により規定される時間長の期間である。第１実施形態の各解析期間Ｑは、楽曲の１小節分（すなわち複数拍分）に相当する時間長の期間である。複数の解析期間Ｑは、時間軸上で相互に重複しない。なお、時系列解析部２２が複数の解析期間Ｑを特定する方法は任意である。例えば、楽曲を時間軸上で区分した複数の期間の各々について指定期間Ｑa内の複数のコード名Ｃの時系列との類似度を算定し、類似度が大きい所定個の期間を関連期間Ｑbとして選択することが可能である。

【0015】

図１の表示制御部２３は、表示装置１３に画像を表示させる。第１実施形態の表示制御部２３は、時系列解析部２２による解析の結果を表す図３の提示画面３０を表示装置１３に表示させる。図３に例示される通り、提示画面３０は、時系列解析部２２が特定した複数の解析期間Ｑ（１個の指定期間Ｑaと３個の関連期間Ｑb）にそれぞれ対応する複数（４個）の時系列画像３１を含んで構成される。任意の１個の解析期間Ｑに対応する時系列画像３１は、当該解析期間Ｑ内の複数のコード名Ｃの時系列を表す画像である。

【0016】

各時系列画像３１は、相異なる単位期間に対応する複数の単位画像３２をＸ方向に配列した画像である。Ｘ方向は、時間軸の方向を意味する横方向である。複数の時系列画像３１は、Ｘ方向に交差するＹ方向（具体的には縦方向）に相互に間隔をあけて並列される。Ｘ方向は「第１方向」の例示であり、Ｙ方向は「第２方向」の例示である。

【0017】

以上の説明から理解される通り、提示画面３０は、複数の単位画像３２をＸ方向およびＹ方向に沿って行列状に配列した画像である。複数の時系列画像３１のうち指定期間Ｑaに対応する１個の時系列画像３１には、当該指定期間Ｑaであることを意味する枠状の画像３３が付加される。利用者は、時系列画像３１を適宜に操作する（例えば時系列画像３１を左右に移動させる）ことで、楽曲内の指定期間Ｑaを変更することが可能である。時系列解析部２２は、指定期間Ｑaの更新毎に、更新後の指定期間Ｑaに類似する関連期間Ｑbを特定する。

【0018】

任意の１個の解析期間Ｑに対応する時系列画像３１のうち第ｍ番目（ｍは自然数）の単位画像３２は、当該解析期間Ｑ内における第ｍ番目の単位期間を表す矩形状の画像である。任意の１個の単位期間に対応する単位画像３２には、当該単位期間について時系列解析部２２が特定したコード名Ｃが付加される。すなわち、提示画面３０においては、複数のコード名ＣをＸ方向に配列した複数の時系列画像３１がＹ方向に並列される。したがって、利用者は、各解析期間Ｑにおける複数のコード名Ｃの時系列を、時系列画像３１から視覚的に確認することが可能である。

【0019】

以上の通り、時系列解析部２２による解析の結果が提示画面３０に表示されるが、音響信号Ｘから推定されたコード名Ｃを利用者が変更したい場合がある。例えば、音響信号Ｘから誤推定されたコード名Ｃを利用者が修正する場合がある。また、音響信号Ｘから推定されたコード名Ｃを、利用者の意図や嗜好に沿ったコード名Ｃに変更する場合がある。図１の変更処理部２４は、提示画面３０に配置されたコード名Ｃを利用者からの指示に応じて変更する。例えば、利用者は、入力装置１４を適宜に操作することで、任意の１個の単位画像３２を選択したうえで変更後のコード名Ｃを指示することが可能である。変更処理部２４は、利用者が選択した単位画像３２の単位期間についてコードデータＤが指定するコード名Ｃを、利用者が指示した変更後のコード名Ｃに変更する。

【0020】

ところで、複数の解析期間Ｑの相互間では複数のコード名Ｃの時系列が類似する。したがって、図３から理解される通り、提示画面３０においては、相互に類似または一致するコード名Ｃが付加された複数の単位画像３２がＹ方向に配列する。利用者は、入力装置１４を適宜に操作することで、Ｙ方向に沿って配列する複数の単位画像３２の集合（以下「単位画像列」という）Ｌを選択することが可能である。単位画像列Ｌが選択されると、表示制御部２３は、当該単位画像列Ｌを示す枠状の画像３４を表示させる。

【0021】

画像３４が表示された状態では、利用者は、入力装置１４を適宜に操作することで、単位画像列Ｌに対応する複数の単位期間のコード名Ｃを一括的に変更することを指示できる。具体的には、利用者は、単位画像列Ｌを選択したうえで変更後のコード名Ｃを指示する。変更処理部２４は、利用者が選択した単位画像列Ｌに対応する複数の単位期間についてコードデータＤがそれぞれ指定する複数のコード名Ｃを、利用者が指示した変更後のコード名Ｃに変更する。すなわち、第１実施形態では、単位期間毎にコード名Ｃが利用者からの指示に応じて個別に変更されるだけでなく、提示画面３０においてＹ方向に配列する複数のコード名Ｃが、利用者からの指示に応じて一括的に変更される。したがって、単位期間毎に個別にコード名Ｃを変更する必要がある構成と比較して、楽曲のコード名Ｃを編集しようとする利用者の負担を軽減できるという利点がある。

【0022】

図４は、制御装置１１が実行する処理のフローチャートである。例えば入力装置１４に対する利用者からの指示を契機として図４の処理が開始される。図４の処理を開始すると、信号解析部２１は、音響信号Ｘの解析によりコードデータＤを生成する（Ｓa1）。

【0023】

時系列解析部２２は、複数の解析期間ＱをコードデータＤから特定する（Ｓa2／時系列解析処理）。具体的には、利用者からの指示に応じた指定期間Ｑaと、複数のコード名Ｃの時系列が指定期間Ｑaに類似する複数の関連期間Ｑbとが解析期間Ｑとして特定される。表示制御部２３は、時系列解析部２２が特定した各解析期間Ｑについて複数のコード名Ｃの時系列を表す提示画面３０を表示装置１３に表示させる（Ｓa3／表示制御処理）。

【0024】

制御装置１１は、利用者が指定期間Ｑaを変更したか否かを判定する（Ｓa4）。指定期間Ｑaが変更された場合（Ｓa4：YES）、変更後の指定期間Ｑaについて複数の関連期間Ｑbを特定する処理（Ｓa2）と、提示画面３０に変更を反映させる処理（Ｓa3）とが実行される。

【0025】

指定期間Ｑaが変更されていない場合（Ｓa4：NO）、制御装置１１は、単位画像列Ｌの複数のコード名Ｃの変更を利用者が指示したか否かを判定する（Ｓa5）。単位画像列Ｌ内の複数のコード名Ｃの変更が指示されると（Ｓa5：YES）、変更処理部２４は、単位画像列Ｌ内の各単位期間についてコードデータＤが指定する複数のコード名Ｃを、利用者が指示したコード名Ｃに一括的に変更する（Ｓa6）。表示制御部２３は、提示画面３０のうち単位画像列Ｌ内の各単位期間におけるコード名Ｃの表示を変更する（Ｓa7）。

【0026】

制御装置１１は、利用者から終了が指示されたか否かを判定する（Ｓa8）。利用者から終了が指示された場合（Ｓa8：YES）には図４の処理が終了される。利用者から終了が指示されていない場合（Ｓa8：NO）、または、複数のコード名Ｃの変更が指示されていない場合（Ｓa5：NO）、制御装置１１は、処理をステップＳa4に移行する。

【0027】

以上に説明した通り、指定期間Ｑaの変更毎に、複数の解析期間Ｑの特定（Ｓa2）および表示（Ｓa3）が実行され、単位画像列Ｌのコード名Ｃの変更の指示毎に、複数のコード名Ｃの変更（Ｓa6）および変更後のコード名Ｃの表示（Ｓa7）とが実行される。なお、図４においては、解析期間Ｑの特定および表示と単位画像列Ｌの複数のコード名Ｃの変更とに便宜的に着目したが、提示画面３０には他の操作も付与される。例えば、利用者が選択した１個の単位期間のコード名Ｃを変更処理部２４が変更してもよい。

【0028】

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

【0029】

図５は、第２実施形態における提示画面３０の模式図である。図５に例示される通り、第２実施形態の表示制御部２３は、第１実施形態と同様の要素に加えて、相異なる時系列画像３１に対応する複数の操作画像３５を提示画面３０に配置する。各操作画像３５は、各時系列画像３１の複数のコード名Ｃの各々について変更の許可／禁止を表す画像である。利用者は、時系列画像３１に対応する任意の１個の操作画像３５を操作することで、当該時系列画像３１に対応する複数のコード名Ｃについて変更の許可／禁止を設定することが可能である。

【0030】

具体的には、単位画像列Ｌの複数のコード名Ｃの変更が利用者により指示された場合（Ｓa5：YES）、変更処理部２４は、複数のコード名Ｃのうち操作画像３５が許可を示す各コード名Ｃを利用者からの指示に応じて変更する（Ｓa6）。他方、複数のコード名Ｃのうち操作画像３５が禁止を表す各コード名Ｃは変更されない。変更が許可された時系列画像３１と変更が禁止された時系列画像３１とは、相異なる表示態様（例えば色彩，階調または模様）で表示される。図５では、第１行目から第３行目の時系列画像３１について変更が許可され、第４行目の時系列画像３１について変更が禁止された場合が例示されている。したがって、第４行目の時系列画像３１は、第１行目から第３行目の時系列画像３１とは表示態様が相違する。

【0031】

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、単位画像列Ｌの複数のコード名Ｃの各々について変更の許可／禁止が設定される。したがって、単位画像列Ｌの複数のコード名Ｃのうち特定のコード名Ｃを変更の対象とし、他のコード名Ｃを変更の対象から除外するという操作を簡便に実現することが可能である。

【0032】

＜第３実施形態＞
図６は、第３実施形態における提示画面３０の模式図である。図６に例示される通り、第３実施形態の提示画面３０は、第１実施形態と同様の要素に加えて、楽曲内の転調期間を表す転調画像３６を提示画面３０に配置する。転調期間は、楽曲の初期的または基本的な調から他の調に転調した区間である。例えば利用者が入力装置１４に対する操作で転調期間を任意に指定する。楽曲内に複数の転調期間を指定することも可能である。具体的には、利用者は、転調期間の始点および終点と、転調の度合（以下「転調度」という）Ｍとを指定する。転調度Ｍは、例えば半音下げ等の音程で指定され、転調画像３６の始点の近傍に表示される。他方、利用者は、入力装置１４を適宜に操作することで転調期間を解除することが可能である。転調期間が解除されると、当該転調期間に対応する転調画像３６と転調度Ｍとは消去される。

【0033】

転調画像３６は、転調期間の始点から終点までにわたる直線状の画像である。具体的には、各時系列画像３１を構成する複数の単位画像３２のうち、転調期間内の各単位期間に対応する各単位画像３２におけるＸ方向の縁辺に沿って転調画像３６が表示される。すなわち、各時系列画像３１における複数のコード名Ｃの時系列に沿って転調画像３６が表示される。また、第３実施形態において各単位画像３２に表示されるコード名Ｃは、転調前のコード名Ｃである。すなわち、転調期間外のコード名Ｃが転調していないコード名Ｃであるのはもちろん、転調期間内のコード名Ｃも転調していないコード名Ｃである。

【0034】

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、楽曲内の転調期間を表す転調画像３６が複数のコード名Ｃの時系列に沿って表示されるから、複数のコード名Ｃの時系列とともに楽曲内の転調期間を利用者が直観的および視覚的に把握できるという利点がある。なお、操作画像３５によりコード名Ｃの変更の許可／禁止を設定可能な第２実施形態の構成を、第３実施形態に適用してもよい。

【0035】

＜第４実施形態＞
図７は、第４実施形態における提示画面３０の模式図である。図７から理解される通り、第４実施形態においても、第３実施形態と同様に、楽曲内の転調期間を表す転調画像３６が表示される。

【0036】

第３実施形態では、転調期間についても転調前のコード名Ｃを表示した。第３実施形態とは対照的に、第４実施形態では、転調期間内のコード名Ｃは、転調後のコード名Ｃである。すなわち、入力装置１４に対する操作で利用者が転調期間を指定すると、変更処理部２４は、コードデータＤが転調期間内の各単位期間について指定するコード名Ｃを、利用者が指定した転調度Ｍだけ転調したコード名Ｃに変更する。表示制御部２３は、変更処理部２４による変更後のコード名Ｃ（すなわち転調済のコード名Ｃ）を表示装置１３に表示させる。他方、転調期間が解除されると、変更処理部２４は、転調期間内の各単位期間について指定されたコード名Ｃを転調前のコード名Ｃに変更する。また、表示制御部２３は、転調画像を消去するとともに、提示画像３０に表示された各単位期間のコード名Ｃを転調前のコード名Ｃに変更する。

【0037】

第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、コードデータＤが表すコード名Ｃを転調させたコード名Ｃが表示されるから、転調後のコード名Ｃを利用者が容易に把握できるという利点がある。なお、操作画像３５によりコード名Ｃの変更の許可／禁止を設定可能な第２実施形態の構成を、第４実施形態に適用してもよい。

【0038】

＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0039】

（１）前述の各形態では、楽曲の１小節分に相当する時間長の期間を単位期間として例示したが、単位期間の時間長は以上の例示に限定されない。例えば、楽曲の拍周期の整数倍（例えば１拍分）に相当する時間長の期間を単位期間として規定してもよい。

【0040】

（２）前述の各形態では、各単位画像３２にコード名Ｃを付加したが、全部の単位画像３２にコード名Ｃを付加することは必須ではない。例えば、相前後する２個の単位期間についてコード名Ｃが共通する場合、後方の単位期間についてはコード名Ｃの表示を省略してもよい。

【0041】

（３）音響信号Ｘのうち時系列画像３１が表す複数の単位期間にわたる区間を放音装置（例えばスピーカ）に再生させてもよい。利用者は、再生音を聴取することで、コード名Ｃの適否を判断し、必要に応じて変更することが可能である。

【0042】

（４）第３実施形態および第４実施形態では、利用者が入力装置１４に対する操作で転調期間を指定したが、転調期間の設定方法は以上の例示に限定されない。例えば、制御装置１１（例えば信号解析部２１）が音響信号Ｘの解析により転調期間を推定してもよい。

【0043】

（５）前述の各形態では、複数のコード名Ｃの時系列をコードデータＤから特定して表示装置１３に表示したが、表示装置１３に表示される情報はコード名Ｃに限定されない。例えば、楽曲の歌詞を表示する場合にも同様の構成が採用される。具体的には、表示制御部２３は、歌詞データが指定する楽曲の歌詞のうち相互に類似する複数の文字列を特定し、各文字列の文字をＸ方向に配列した時系列画像３１をＹ方向に並列した提示画面３０を表示装置１３に表示させる。変更処理部２４は、提示画面３０においてＹ方向に配列する複数の文字の集合を、利用者からの指示に応じて一括的に変更する。

【0044】

また、映像作品を構成する複数のシーン画像を表示する場合にも同様の構成が採用される。具体的には、表示制御部２３は、画像データが表す映像作品のうち画像の特性が相互に類似する複数の解析期間を特定し、各解析期間の代表的な静止画をＸ方向に配列した時系列画像３１をＹ方向に並列した提示画面３０を表示装置１３に表示させる。変更処理部２４は、提示画面３０においてＹ方向に配列する静止画に対応する区間の動画像を、利用者からの指示に応じて一括的に他の動画像に変更する。

【0045】

以上に例示した構成は、時系列データが表す複数の要素の時系列から、複数の第１要素の時系列と、複数の第１要素の時系列に類似する複数の第２要素の時系列とを特定し、複数の第１要素を第１方向に配列した第１画像と、複数の第２要素を第１方向に配列した第２画像とを、第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる構成として包括される。前述の各形態におけるコードデータＤと各変形例に係る歌詞データおよび画像データとは、時系列データの具体例である。また、前述の各形態におけるコード名Ｃと各変形例における歌詞の文字および静止画とは、時系列データが表す要素の具体例である。時系列画像３１は第１画像および第２画像の具体例である。

【0046】

（６）前述の各形態では、音響信号Ｘを解析してコードデータＤを生成したが、記憶装置１２にコードデータＤを事前に記憶してもよい。すなわち、音響信号ＸからコードデータＤを生成する信号解析部２１は省略される。

【0047】

（７）前述の各形態では、携帯電話機またはパーソナルコンピュータ等の情報端末で情報処理装置１００を実現したが、情報処理装置１００の一部または全部の機能をサーバ装置（いわゆるクラウドサーバ）で実現してもよい。具体的には、移動体通信網またはインターネット等の通信網を介して端末装置と通信するサーバ装置により情報処理装置１００が実現される。例えば、情報処理装置１００は、端末装置から受信した音響信号Ｘについて図４の処理を実行することで、複数の時系列画像３１を含む提示画面３０を端末装置に表示させる。なお、情報処理装置１００が端末装置からコードデータＤを受信する構成では、信号解析部２１が情報処理装置１００から省略される。

【0048】

（８）前述の各形態に係る情報処理装置１００は、各形態での例示の通り、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。

【0049】

（９）以上に例示した形態から、例えば以下の構成が把握される。

【0050】

本発明の好適な態様（態様１）に係る表示制御方法は、時系列データが表す複数の要素の時系列から、複数の第１要素の時系列と、前記複数の第１要素の時系列に類似する複数の第２要素の時系列とを特定し、前記複数の第１要素を第１方向に配列した第１画像と、前記複数の第２要素を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる。以上の態様では、時系列に配列された複数の要素のうち、複数の第１要素の時系列と、複数の第１要素の時系列に類似する複数の第２要素の時系列とが、複数の第１要素の時系列と複数の第２要素の時系列とが沿う第１方向に交差する第２方向に並列される。したがって、複数の第１要素の時系列と複数の第２要素の時系列との間における各第１要素と各第２要素との関係を、利用者が直観的および視覚的に把握できるという利点がある。

【0051】

態様１の好適例（態様２）において、前記提示画面に配置された前記各要素を利用者からの指示に応じて変更する。以上の態様によれば、時系列に配列された複数の要素の各々を利用者の意図に応じて変更できるという利点がある。

【0052】

態様２の好適例（態様３）において、前記提示画面において前記第２方向に配列する第１要素と第２要素とを、利用者からの指示に応じて一括的に変更する。以上の態様では、第２方向に配列する第１要素と第２要素とが一括的に変更されるから、第１要素および第２要素の各々を個別に変更する必要がある構成と比較して、利用者の負荷を軽減できる。

【0053】

態様３の好適例（態様４）において、前記第１要素と第２要素との各々について、利用者からの指示に応じた変更の許否を設定可能である。以上の態様では、第１要素と第２要素との各々について変更の許否が設定されるから、特定の要素については変更の対象から除外することが可能である。

【0054】

態様１から態様４の何れかの好適例（態様５）において、前記複数の要素の各々は、楽曲におけるコード名である。以上の態様によれば、楽曲内の複数のコード名の時系列だけでなく、楽曲内で相互に類似する区間におけるコード名の時系列とを、利用者が直観的および視覚的に把握できる。

【0055】

態様５の好適例（態様６）において、前記楽曲内の転調期間を表す転調画像を、前記提示画面に配置された複数のコード名の時系列に沿って前記表示装置に表示させる。以上の態様によれば、複数のコード名の時系列とともに楽曲内の転調期間を利用者が直観的および視覚的に把握できる。

【0056】

態様６の好適例（態様７）において、前記転調期間について、前記時系列データが表すコード名を転調させたコード名を表示させる。以上の態様によれば、転調後のコード名を利用者が容易に把握できるという利点がある。

【0057】

本発明の好適な態様（態様８）に係るプログラムは、時系列データが表す複数の要素の時系列から、複数の第１要素の時系列と、前記複数の第１要素の時系列に類似する複数の第２要素の時系列とを特定する時系列解析処理と、前記複数の第１要素を第１方向に配列した第１画像と、前記複数の第２要素を前記第１方向に配列した第２画像とを、前記第１方向に交差する第２方向に並列した提示画面を、表示装置に表示させる表示制御処理とをコンピュータに実行させる。

【符号の説明】

【0058】

１００…情報処理装置、１１…制御装置、１２…記憶装置、１３…表示装置、１４…入力装置、２１…信号解析部、２２…時系列解析部、２３…表示制御部、２４…変更処理部、３０…提示画面、３１…時系列画像、３２…単位画像、３５…操作画像、３６…転調画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】