IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ Pioneer DJ株式会社の特許一覧

特許7606305情報処理装置、撮影システム、プログラム、及び情報処理方法
<>
  • 特許-情報処理装置、撮影システム、プログラム、及び情報処理方法 図1
  • 特許-情報処理装置、撮影システム、プログラム、及び情報処理方法 図2
  • 特許-情報処理装置、撮影システム、プログラム、及び情報処理方法 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-17
(45)【発行日】2024-12-25
(54)【発明の名称】情報処理装置、撮影システム、プログラム、及び情報処理方法
(51)【国際特許分類】
   H04N 5/222 20060101AFI20241218BHJP
   H04N 23/60 20230101ALI20241218BHJP
   G10K 15/04 20060101ALI20241218BHJP
   H04N 5/268 20060101ALI20241218BHJP
   H04N 5/91 20060101ALI20241218BHJP
   H04N 7/18 20060101ALI20241218BHJP
   H04R 3/00 20060101ALI20241218BHJP
   G06F 3/0484 20220101ALI20241218BHJP
【FI】
H04N5/222
H04N23/60 300
G10K15/04 302F
H04N5/268
H04N5/91
H04N7/18 U
H04R3/00
G06F3/0484
【請求項の数】 13
(21)【出願番号】P 2020159634
(22)【出願日】2020-09-24
(65)【公開番号】P2022053048
(43)【公開日】2022-04-05
【審査請求日】2023-07-25
(73)【特許権者】
【識別番号】315017409
【氏名又は名称】AlphaTheta株式会社
(74)【代理人】
【識別番号】110000637
【氏名又は名称】弁理士法人樹之下知的財産事務所
(72)【発明者】
【氏名】佐飛 利尚
【審査官】門田 宏
(56)【参考文献】
【文献】特開2006-171215(JP,A)
【文献】特開2006-217366(JP,A)
【文献】特開2018-170678(JP,A)
【文献】特開2008-010966(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222-5/257
H04N 23/00
H04N 23/40 -23/76
H04N 23/90 -23/959
H04N 5/262-5/28
H04N 5/91 -5/956
H04N 7/18
G10K 15/00 -15/12
H04R 3/00
H04R 3/02 -3/14
G06F 3/01
G06F 3/048-3/04895
(57)【特許請求の範囲】
【請求項1】
楽曲データの再生状態を制御する操作装置から、前記操作装置に対して行われた操作を示す操作信号を受信する信号受信部と、
動画像を複数の撮影装置のそれぞれから取得する画像取得部と、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択する選択部と、を備える情報処理装置。
【請求項2】
前記選択部は、前記操作の時刻より所定時間前の時刻を始点として前記動画像を選択する、請求項1に記載の情報処理装置。
【請求項3】
前記選択部は、N回目に前記動画像の選択を行ってから所定の時間T1が経過した後に、N+1回目の前記動画像の選択を行う、請求項1または請求項2に記載の情報処理装置。
【請求項4】
記操作の内容と、前記複数の撮影装置のうち少なくとも1つの撮影装置とを関連付けて記憶する記憶部をさらに備え、
前記選択部は、前記操作信号に基づいて前記操作の内容を判別し、判別した前記操作の内容に関連付けられた前記撮影装置により生成された前記動画像を選択する、請求項1から請求項3のいずれか1項に記載の情報処理装置。
【請求項5】
前記楽曲データの少なくとも拍位置情報を解析して楽曲解析情報を生成する解析部または外部機器で生成した楽曲解析情報を取得する情報取得部をさらに備え、
前記選択部は、前記楽曲解析情報に応じて、前記動画像を選択する、請求項1から請求項4のいずれか1項に記載の情報処理装置。
【請求項6】
前記解析部は、前記楽曲データの展開変化点をさらに判定し、
前記選択部は、前記信号受信部が前記操作信号を所定の時間T2の間受信しない場合、前記展開変化点に応じて前記動画像を選択する、請求項5に記載の情報処理装置。
【請求項7】
前記選択部は、前記展開変化点に応じて、現在選択している動画像の終点と、次に選択する動画像の始点とを選択する、請求項6に記載の情報処理装置。
【請求項8】
前記画像取得部は、前記操作装置を操作するユーザーを撮影した前記撮影装置により生成された動画像と、表示部に表示される前記楽曲データに関する情報を示す動画像とを取得し、
前記選択部は、前記複数の撮影装置から取得した複数の前記動画像と、前記楽曲データに関する情報を示す動画像とのうち、少なくとも1つの動画像を時系列で選択する、請求項1から請求項7のいずれか1項に記載の情報処理装置。
【請求項9】
楽曲データの再生状態を制御する操作装置と、動画像を生成する複数の撮影装置と、情報処理装置とを有する撮影システムであって、
前記情報処理装置は、
前記操作装置に対して行われた操作を示す操作信号を前記操作装置から受信する信号受信部と、
前記複数の撮影装置のそれぞれから複数の前記動画像を取得する画像取得部と、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択する選択部と、を有する撮影システム。
【請求項10】
前記撮影システムは、
前記選択部により選択した前記動画像を順次インターネット配信する配信装置をさらに含む、請求項9に記載の撮影システム。
【請求項11】
前記撮影システムは、
前記選択部により選択した前記動画像を順次結合して記録する記録装置をさらに含む、請求項9に記載の撮影システム。
【請求項12】
請求項1から請求項8のいずれか1項に記載の情報処理装置としてコンピュータを機能させるように構成されたプログラム。
【請求項13】
楽曲データの再生状態を制御する操作装置から、前記操作装置に対して行われた操作を示す操作信号を受信するステップと、
動画像を複数の撮影装置のそれぞれから取得するステップと、
前記操作信号により示される前記操作の内容と、前記操作信号を受信した時刻とに応じて、前記複数の撮影装置から取得した複数の前記動画像から少なくとも1つの動画像を時系列で選択するステップと、を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、撮影システム、プログラム、及び情報処理方法に関する。
【背景技術】
【0002】
DJ(Disc Jockey)によるパフォーマンスに関して、スマートフォンおよびタブレット端末などの携帯端末を使用したDJプレイアプリケーションなど、様々な技術が考えられている。そのため、プロのDJだけでなく、一般のユーザーもDJプレイを楽しむことができるようになっている。例えば、非特許文献1には、コンピュータ及び携帯端末で利用可能なDJプレイアプリケーションが開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】DJ Player Professional (iMect Ltd.社)のアプリケーション紹介ホームページ(https://apps.apple.com/jp/app/dj-player-professional/id339810085)
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、DJプレイの紹介には動画像が用いられることが多い。DJプレイの動画像の撮影において、演出面に優れた動画像を作成するためは、様々な機材が必要である場合が多く、また、演出および編集の技術や手間が必要である。そのため、一般のユーザーが作成するには様々な問題がある。
【0005】
そこで、本発明は、特別な機材や手間を必要とせずに、演出面に優れた動画像を簡便に作成することが可能な情報処理装置、撮影システム、プログラム、及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明のある観点によれば、楽曲データの再生操作の操作信号を操作装置から受信する信号受信部と、動画像を複数の撮影装置のそれぞれから取得する画像取得部と、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択する選択部と、を備える情報処理装置が提供される。
【0007】
本発明の別の観点によれば、上記の情報処理装置としてコンピュータを機能させるように構成されたプログラムが提供される。
【0008】
本発明のさらに別の観点によれば、楽曲データの再生操作の操作信号を操作装置から受信するステップと、動画像を複数の撮影装置のそれぞれから取得するステップと、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択するステップと、を含む情報処理方法が提供される。
【図面の簡単な説明】
【0009】
図1】本発明の一実施形態に係る撮影システムの概略的な機能構成を示すブロック図である。
図2】本発明の一実施形態における動画像の選択について説明する模式図である。
図3】本発明の一実施形態における動画像の選択時の動作を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
図1は、本発明の一実施形態に係る撮影システムの概略的な機能構成を示すブロック図である。本発明の一実施形態に係る撮影システム1は、複数の撮影装置10A、10B、10C、10D、音響機器20、表示装置30、音声出力装置40、配信装置50、および記録装置60を含む。複数の撮影装置10A、10B、10C、10Dにより生成される動画像は、有線または無線の通信を介して音響機器20に供給される。また、音響機器20の出力は、表示装置30、音声出力装置40、配信装置50、および記録装置60の各部に供給される。
このような撮影システム1では、音響機器20を用いてユーザーが行うDJプレイを撮影装置10A、10B、10C、10Dによって異なるアングルから同時に撮影し、音響機器20によってDJプレイの動画像を生成するシステムである。
【0012】
撮影装置10A、10B、10C、および10Dは、それぞれ、被写界を撮像して動画像を生成する撮影装置である。生成した動画像のデータには、撮影時刻の情報であるタイムスタンプが対応付けられる。
図1の例では4台の撮影装置10A、10B、10C、および10Dを例示しているが、撮影システム1は何台の撮影装置を備えてもよい。また、撮影装置10A、10B、10C、および10Dは、撮影機能のみを備えた撮影装置であってもよいし、撮影装置を内蔵したスマートフォンおよびタブレットなどの携帯端末であってもよい。
撮影装置10A、10B、10C、および10Dは、それぞれ異なるアングルからユーザーが行うDJプレイの動画像を撮影可能な位置に配置される。DJプレイの動画像とは、例えば、DJプレイを行うユーザーの手元を撮影した動画像、およびユーザーの全身または一部を撮影した動画像等である。
【0013】
音響機器20は、操作装置と情報処理装置とを一体として備える機器であり、異なる楽曲データを再生可能な複数の再生装置の機能と、複数の再生装置を制御するミキサーの機能と、DJプレイの動画像を生成する機能とを有する。
図1に示されるように、音響機器20は、操作部21、制御部22、楽曲データ格納部23、および表示部24の各部を含む。上記の各部の機能は、例えばコンピュータのハードウェア構成を備える音響機器において、プロセッサがプログラムに従って動作することによって実現される。以下、各部の機能についてさらに説明する。
【0014】
操作部21は、各種操作子、およびタッチパネルを介して、DJプレイに関するユーザーの操作、つまり、楽曲データの再生操作を目的としたユーザーの操作を受け付け、ユーザーの操作を示す操作信号を制御部22に供給する。この再生操作には、複数の再生装置による再生設定および再生制御のための操作、および複数の再生装置に関する再生制御を行うための操作が含まれる。より具体的には、再生操作には、楽曲の選択操作、楽曲の再生に関する操作、特殊再生およびエフェクト処理等の再生制御に関する操作等が含まれる。そして、操作部21には、例えば、ジョグダイヤル、テンポスライダー、パフォーマンスパッド(再生制御に関する各種機能を割り当てることができる汎用性操作子)、フェーズおよびノイズ等のエフェクト処理に関する操作子、チャンネルフェーダー等が含まれる。
【0015】
制御部22は、例えば通信インターフェース、CPU(Central Processing Unit)等のプロセッサ、及び、作業領域となるメモリーによって音響機器20に実装され、音響機器20の動作を制御する。制御部22は、プロセッサがメモリーに格納された、又は通信インターフェースを介して受信されたプログラムに従って動作することによって実現される信号受信部221と、再生制御部222と、表示制御部223と、解析部224と、画像取得部225と、選択部226と、出力部227とを含む。
【0016】
信号受信部221は、操作部21から操作信号を受信する。
再生制御部222は、複数の再生装置の機能を備え、それぞれの再生装置における楽曲データの再生を行い、音声信号を出力部227に出力する。なお、再生制御部222は、信号受信部221により受信した操作信号に基づいて、後述する楽曲データ格納部23から楽曲データを取得し、取得した楽曲データの再生制御を行う。
表示制御部223は、再生操作の状態を示す動画像として、音響機器20によって再生される楽曲データの情報を含む動画像を表示部24に表示させる。再生操作の状態を示す動画像には、複数の再生装置のそれぞれにロードされている楽曲データの情報、楽曲データの波形情報、BPMを示す情報、および複数の再生装置のBPMの同期状態を示す情報等が含まれる。
解析部224は、楽曲データを解析して、楽曲解析情報を生成する。楽曲解析情報は、楽曲データの拍位置情報、小節位置情報、および展開変化点等の情報を含み、既存の楽曲解析技術に基づいて生成可能である。解析部224は、例えば、特定の楽器音を検出して楽曲データの拍位置情報および小節位置情報を取得する。さらに、解析部224は、拍位置情報の解析結果や発音パターンの類似度等に基づいて、楽曲データの展開変化点を判定する。展開変化点は、例えば、楽曲のAメロ、Bメロ、サビなどの先頭に該当し、楽曲の展開構成として参照することができる。
画像取得部225は、撮影装置10A、10B、10C、および10Dのそれぞれから、楽曲データのDJプレイの動画像を取得する。
【0017】
選択部226は、信号受信部221が受信した操作信号の種類と、操作信号を受信した時刻とに応じて、撮影装置10A、10B、10C、および10Dのそれぞれから取得した複数の動画像等から、少なくとも1つの動画像を時系列で選択する。選択部226による処理の詳細については後述する。
【0018】
出力部227は、音響機器20と外部機器との間のインターフェースである。出力部227は、選択部226により選択された動画像を順次表示装置30、配信装置50、および記録装置60に出力する。また、出力部227は、再生制御部222により再生された楽曲データの音声信号を音声出力装置40、配信装置50、および記録装置60に出力する。
【0019】
楽曲データ格納部23は、HDD(Hard Disk Drive)またはフラッシュメモリー等により、楽曲データを格納可能に構成されている。楽曲データ格納部23には、複数の楽曲データがMP3形式等の所定の形式で格納されている。楽曲データは、音声情報に加えて、例えば、楽曲のBPM、アートワーク、タイトル、アーティスト名、アルバム名、キー、DJプレイ回数及びジャンル等の情報をタグ情報として含む。楽曲データ格納部23に格納される楽曲データには、再生位置の情報であるタイムスタンプが対応付けられる。
なお、音響機器20は、通信インターフェースを備え、外部記憶装置およびコンピュータ等に記憶された楽曲データを、図示しない通信インターフェースを介して取得し、楽曲データ格納部23に格納する構成としてもよい。この場合、音響機器20には楽曲データ格納部23が含まれず、外部記憶装置が楽曲データ格納部23として機能する。
【0020】
表示部24は、音響機器20における各種の情報を表示する表示装置である。表示部24としては、液晶表示装置、有機EL表示装置等、各種方式の表示装置を採用できる。なお、表示部24の表面にタッチパネルを設けることにより、表示部24を上述した操作部21の少なくとも一部として利用してもよい。
【0021】
表示装置30は、出力部227から出力された動画像を順次表示する。
音声出力装置40は、スピーカ等を備え、出力部227から出力された音声信号を音声情報として出力する。
配信装置50は、インターネットに接続され、出力部227から出力された動画像を順次インターネット配信するとともに、出力部227から出力された音声信号を動画像と同期した状態でインターネット配信することにより、音声付き動画像をインターネット配信する。
記録装置60は、ディスク型記録媒体、HDD、並びに、半導体メモリー等の記録媒体を備え、出力部227から出力された動画像を順次結合して記録するとともに、出力部227から出力された音声信号を動画像と同期した状態で記録することにより、音声付き動画像を記録する。
配信装置50は、記録装置60により生成される音声付き動画像を順次インターネット配信してもよいし、記録装置60は、配信装置50によりインターネット配信される音声付き動画像を順次記録してもよい。また、音響機器20に音声付き動画像を生成する生成部を設けてもよい。
【0022】
以上説明した撮影システム1における選択部226による処理について説明する。選択部226は、上述したように、信号受信部221が受信した操作信号の種類と、操作信号を受信した時刻とに応じて、複数の動画像から、少なくとも1つの動画像を時系列で選択する。なお、複数の動画像には、撮影装置10A、10B、10C、および10Dにより生成される動画像の他に、再生操作の状態を示す動画像も含まれる。再生操作の状態を示す動画像とは、例えば、上述した表示制御部223により表示部24に表示される動画像である。
【0023】
まず、撮影装置10A、10B、10C、10Dにより生成される動画像について説明する。
撮影装置10Aは、再生操作を行うユーザーの手元、つまり、音響機器20の操作部21及び操作部21による再生操作を行うユーザーの手元が撮影可能なアングルに設置される。撮影装置10Aにより生成される動画像Mは、DJプレイにおいてユーザーがどのような操作子をどのように操作しているのかを視認するのに好適な動画像である。
また、撮影装置10Bは、再生操作を行うユーザーの上半身が撮影可能なアングルに設置される。撮影装置10Bにより生成される動画像Mは、DJプレイにおいてユーザーが楽曲の再生位置の指定を行う、所謂モニタリングの状態等を視認するのに好適な動画像である。
また、撮影装置10Cは、再生操作を行うユーザーの全身を正面から撮影可能なアングル、またはユーザーおよび音響機器20の全体的な様子を正面から撮影可能なアングルに設置される。撮影装置10Cにより生成される動画像Mは、DJプレイにおいてユーザーが特別な再生操作を行っていない場合等に、全体的な様子を視認するのに好適な動画像である。
また、撮影装置10Dは、再生操作を行うユーザーの全身を左側または右側から撮影可能なアングル、またはユーザーおよび音響機器20の全体的な様子を左側または右側から撮影可能なアングルに設置される。撮影装置10Dにより生成される動画像Mは、上述した動画像Mと同様に、DJプレイにおいてユーザーが特別な再生操作を行っていない場合等に、全体的な様子を視認するのに好適な画像であり、かつ、動画像Mとは、異なるアングルで全体的な様子を視認するのに好適な動画像である。
なお、上述した動画像M、M、M、およびMに加えて、表示制御部223により表示部24に表示される動画像であって、再生操作の状態を示す動画像Mも、選択部226により選択される動画像の候補である。
【0024】
図2は、選択部226による動画像の選択について説明する模式図である。図2の例では、下記のように再生操作が順次行われる場合を例示する。なお、所定の周期Pで操作信号の受信の有無を監視することにより、所定の区間ごとの再生操作を判別することができる。
時刻t1:第1の楽曲データの再生操作Op1
時刻t2:次に再生する第2の楽曲データの選択操作Op2
時刻t3:楽曲を切り替える、またはミックスするタイミングであるミックスポイントを決定するためのモニタリング操作Op3
時刻t4:第1の楽曲データから第2楽曲データへの切り替え、または第1の楽曲データと第2楽曲データとをミックスするミキシング操作Op4
時刻t5:次に再生する第3の楽曲データの選択操作Op5
【0025】
選択部226は、基本的に、信号受信部221により操作信号を受信すると、受信した操作信号の種類と、受信した時刻とに応じて、上述した動画像M、M、M、M、またはMのいずれかを選択する。この選択は、例えば、再生操作の内容と、複数の撮影装置10A、10B、10C、10Dとを関連付けて不図示の記憶部に記憶しておくことにより実行することができる。選択部226は、受信した操作信号に基づいて再生操作の内容を判別し、判別した再生操作の内容に関連付けられた撮影装置により生成された動画像を選択する。再生操作の内容と、複数の撮影装置10A、10B、10C、10Dとの関連付けの一例を下記に示す。
撮影装置10A(ユーザーの手元):音響機器20の操作部21に対する再生操作
撮影装置10B(ユーザーの上半身):再生位置を指定する再生操作
撮影装置10C(ユーザーの全身、正面):再生操作なし、初期状態
撮影装置10D(ユーザーの全身、左側または右側):再生操作なし、初期状態
つまり、再生操作の内容と、視聴者が見たいと考える動画像とが紐づいているため、選択部226は、再生操作の内容に関連付けられた撮影装置により生成された動画像を選択することにより、再生操作の内容に相応しい動画像を簡便に選択することが可能となる。
【0026】
なお、操作信号を受信してから動画像を選択すると、実際の再生操作の開始時刻、あるいは開始後に動画像が選択されることになる。そこで、選択部226は、図2に示すように、操作信号を受信した時刻、つまり、再生操作の時刻より所定時間Lだけ前の時刻を始点として動画像を選択する。この結果、実際の再生操作の開始時刻より所定時間Lだけ前の時点を始点として最適な動画像を選択することが可能である。
【0027】
また、ユーザーが頻繁に、または、連続的に再生操作を行う場合、操作信号が頻繁に受信されることになる。このような場合に、すべての操作信号に応じてその都度動画像を選択すると、アングルの変更が頻繁に発生し、視聴者に不快感や煩わしさを与えるという問題がある。
そこで、選択部226は、N回目に動画像の選択を行ってから所定の時間T1が経過した後に、N+1回目の動画像の選択を行う。つまり、選択部226は、一旦動画像を選択した後、一定の期間は操作信号を受信しても動画像の選択を行わない。
なお、所定の時間T1は、予め定められていてもよいし、ユーザーにより指定されてもよい。また、楽曲解析情報に基づいて決定されてもよい。例えば、テンポが速い楽曲や激しい曲調の楽曲に関しては、アングル変化が多い方が相応しいとの考えによりT1を短くし、テンポが遅い楽曲や穏やかな曲調の楽曲に関しては、アングル変化が少ない方が相応しいとの考えによりT1を長く決定してもよい。
【0028】
また、選択部226は、解析部224により生成した楽曲解析情報を動画像の選択に利用することもできる。この場合、解析部224による楽曲解析情報の生成は、ユーザーによる仕込み操作として、楽曲データごとに予め実行され、楽曲データと関連付けて記録されていることが好ましい。
例えば、上述した例とは反対に、ユーザーがある程度長い期間にわたって再生操作を行わない場合、操作信号が受信されず、動画像も選択されないことになる。このような場合には、アングルが変化せず、エンターテインメント性が低下したり、視聴者が飽きたりするという問題がある。
そこで、選択部226は、図2におけるミキシング操作Op4から楽曲データの選択操作Op5までの間のように、信号受信部221が操作信号を所定の時間T2の間受信しない場合、楽曲解析情報の展開変化点に応じて動画像を選択する。図2の例では、選択部226は、前回の再生操作であるミキシング操作Op4から時間T2が経過した時点に最も近い展開変化点、つまり楽曲解析情報D2cおよびD2dの展開変化点において、全体的な様子を視認するのに好適な動画像Mを選択する。
なお、信号受信部221が操作信号を所定の時間T2の間受信しない場合に、どのような動画像を選択するかは、予め優先順位が定められてもいてもよいし、ランダムに決定されてもよい。
また、所定の時間T2は、予め定められていてもよいし、ユーザーにより指定されてもよい。また、楽曲解析情報に基づいて決定されてもよい。例えば、テンポが速い楽曲や激しい曲調の楽曲に関しては、アングル変化が多い方が相応しいとの考えによりT2を短くし、テンポが遅い楽曲や穏やかな曲調の楽曲に関しては、アングル変化が少ない方が相応しいとの考えによりT2を長く決定してもよい。
【0029】
また、選択部226は、展開変化点、拍位置、及び小節位置等に応じて、現在選択している動画像の終点と、次に選択する動画像の始点とを選択してもよい。動画像の始点及び終点をこのように選択することにより、アングル変更のタイミングを、展展開変化点、拍位置、及び小節位置等に吸着させることができるので、視聴者が感じる違和感を抑え、視聴者にとって心地よいカメラワークを簡便に実現することができる。
図2の例では、選択部226は、選択操作Op2に応じて動画像Mを選択する際に、最も近い展開変化点、つまり楽曲解析情報D1aおよびD1bの展開変化点を、現在選択している動画像Mの終点と、次に選択する動画像Mの始点として選択することにより、アングル変更のタイミングを後ろにずらして、展開変化点と一致させる。
また、選択部226は、選択部226は、操作信号を所定の時間T2の間受信しないことに起因して動画像Mを選択する際に、最も近い展開変化点、つまり楽曲解析情報D2cおよびD2dの展開変化点を、現在選択している動画像Mの終点と、次に選択する動画像Mの始点として選択することにより、アングル変更のタイミングを前にずらして、展開変化点と一致させる。
なお、最も近い展開変化点までの時間が所定の時間T3以上である場合には、アングル変更のタイミングがずれすぎてしまうので好ましくない。このような問題を回避するために、最も近い展開変化点までの時間が所定の時間T3以上である場合には、次の拍位置または次の小節位置を、現在選択している動画像の終点と、次に選択する動画像の始点として選択すると良い。
【0030】
また、選択部226は、楽曲解析情報に基づいて、上述した各タイミング以外のタイミングで動画像を選択してもよい。例えば、サビの近辺等に曲調が盛り上がる区間がある場合には、そのタイミングに合わせて動画像をあえて頻繁に選択することにより、アングルの変更のタイミングを増やして画像のスクラッチのような演出効果を実現してもよい。また、このような演出効果を実現する際には、楽曲解析情報の拍位置にアングル変更のタイミングを合わせることにより、さらに演出効果を向上させることができる。
何れの場合も、動画像の選択において、補助的な情報として楽曲解析情報を利用することにより、楽曲の特徴に応じた処理を実現することができる。
【0031】
また、選択部226は、アングル変更のタイミングで画像エフェクト処理を行ってもよい。例えば、現在選択している動画像の終点と次に選択する動画像の始点との間で、フェードイン及びフェードアウト、ズームイン及びズームアウト等の画像エフェクト処理を行ってもよい。このような画像エフェクト処理を行うことにより、視聴者にとって心地よいアングル変更を実現したり、演出効果を向上させたりすることができる。
【0032】
また、操作部21を介したスクラッチ操作など、DJプレイにおいて特に特徴的なユーザー操作が行われた場合にも、選択部226は、上述した場合と同様に、動画像をあえて頻繁に選択したり、画像エフェクト処理を行ったりしてもよい。
【0033】
図3は、動画像の選択時の制御部22の動作を示すフローチャートである。
図3に示された例では、まず、信号受信部221が操作信号を受信したか否かを判定する(ステップS101)。
操作信号を受信したと判定すると(ステップS101YES)、選択部226が操作信号の種類と、操作信号を受信した時刻とに応じて、動画像を選択する(ステップS102)。一方、操作信号を受信しないと判定すると(ステップS101NO)、前回の操作信号受信から所定時間T2を経過したか否かを判定する(ステップS103)。所定時間T2を経過したと判定すると(ステップS103YES)、選択部226が楽曲解析情報に応じて、動画像を選択する(ステップS104)。一方、所定時間T2を経過しない場合には、ステップS101に戻る。
動画像の選択(ステップS102またはS104)後、前後の展開変化点までの時間がT3未満であるかを判定する(ステップS105)。
前後の展開変化点までの時間がT3未満であると判定すると(ステップS105YES)、最も近い展開変化点を現在選択している動画像の終点と、次に選択する動画像の始点として選択する(ステップS106)。一方、前後の展開変化点までの時間がT3以上であると判定すると(ステップS105NO)、次の拍位置を現在選択している動画像の終点と、次に選択する動画像の始点として選択する(ステップS107)。
始点および終点の選択(ステップS106またはS107)後、現在選択している動画像を出力部227により出力し(ステップS108)、前回の操作信号受信から所定時間T1を経過したか否かを判定する(ステップS109)。所定時間T1を経過するまで待機し、所定時間T1を経過したと判定すると(ステップS109YES)、ステップS101に戻り、ステップS101からの処理を繰り返す。
【0034】
以上で説明したような本発明の一実施形態によれば、特別な機材や手間を必要とせずに、演出面に優れたDJプレイの動画像を簡便に作成することができる。
従来、DJプレイの動画像は、定点カメラによる単一アングルで撮影されたものが多かった。そのため、DJの様子のみ、または、DJの手元のみの動画像であるため、エンターテインメント性に乏しく、また、視聴者が見たい詳細な操作が見づらいという問題があった。また、このような問題を解決するには特別な機材や、撮影を行う複数の人材などのリソースが必要であり、一般のユーザーには容易ではなかった。さらに、演出および編集の技術や手間が必要とされるという問題もあった。
これに対して、上記実施形態では、楽曲データの再生操作の操作信号を操作装置から受信するとともに、動画像を複数の撮影装置のそれぞれから取得し、操作信号の種類と、操作信号を受信した時刻とに応じて、複数の撮影装置から取得した複数の動画像から少なくとも1つの動画像を時系列で選択することにより、DJプレイの内容に応じて最適な動画像を時系列で選択することができる。特に、本実施形態によれば、特別な機材、演出および編集の技術や手間、人材等を必要としないため、一人のユーザーであっても手軽に処理を行うことが可能である。
【0035】
また、上記実施形態では、再生操作の時刻より所定時間前の時刻を始点として動画像を選択する。そのため、再生操作の少し前の時点で最適な動画像を選択することが可能であり、再生操作に先立ってアングルを変更するカメラ切り替えと同様の効果を得ることができる。
また、上記実施形態では、一旦動画像の選択を行ってから所定の時間T1が経過した後に、次の動画像の選択を行う。そのため、アングルの変更が頻繁に発生することによる視聴者の不快感や煩わしさを抑えることが期待できる。
【0036】
また、上記実施形態では、再生操作の内容と、複数の撮影装置のうち少なくとも1つの撮影装置とを関連付けて記憶しておき、操作信号に基づいて再生操作の内容を判別し、判別した再生操作の内容に関連付けられた撮影装置により生成された動画像を選択する。そのため、再生操作の内容に相応しいアングルの動画像を容易に選択することができる。
また、上記実施形態では、楽曲データの少なくとも拍位置情報を解析して楽曲解析情報を生成し、楽曲解析情報に応じて動画像を選択する。そのため、再生中の楽曲の特徴に応じて、相応しいアングルの動画像を選択することができる。
【0037】
また、上記実施形態では、楽曲データの展開変化点をさらに判定し、操作信号を所定の時間T2の間受信しない場合、展開変化点に応じて動画像を選択する。そのため、アングルが変化しないことによりエンターテインメント性が低下したり、視聴者が飽きたりするという問題を回避することが期待できる。
また、上記実施形態では、展開変化点に応じて、現在選択している動画像の終点と、次に選択する動画像の始点とを選択する。そのため、アングル変更により視聴者が感じる違和感を抑え、視聴者にとって心地よいカメラワークを簡便に実現することができる。
また、上記実施形態では、複数の撮影装置から取得した複数の動画像と、再生操作の状態を示す動画像とのうち、少なくとも1つの動画像を時系列で選択する。そのため、楽曲の選択時などには、再生操作の状態を示す動画像を選択することができる。
【0038】
なお、上記実施形態では、撮影システム1に、表示装置30、音声出力装置40、配信装置50、および記録装置60の各装置を備える例を示したが、一部を省略してもよい。また、表示装置30、音声出力装置40、配信装置50、および記録装置60の少なくとも1つを、音響機器20本体に設ける構成としてもよい。
【0039】
また、上記実施形態では、音響機器20の選択部226によりソフトウェア的に動画像を選択する例を示したが、動画像の入力をハード的に切り替えるスイッチング機材を音響機器20に備え、複数の撮影装置から入力する動画像をスイッチング機材により選択する構成であってもよい。
【0040】
また、上記実施形態では、音響機器20として、再生装置と、再生装置を制御するミキサーとが一体化した装置を例示したが、再生装置とミキサーとが独立であってもよいし、再生機能を備えないDJコントローラーや、スマートフォンやタブレット端末などの携帯端末を用いた音響機器にも本発明を同様に適用することができる。
【0041】
また、上記実施形態では、DJプレイの動画像を例示したが、本発明はこの例に限定されない。例えば、クラブやコンサート等で用いるスクリーンに表示する動画像、プロモーション用の動画像、チュートリアル用またはレッスン用の動画像にも本発明を好適に利用することができる。また、DJプレイ時の周囲の状況を撮影した動画像も選択の対象としてもよい。例えば、結婚パーティーにおいて、新郎新婦を撮影する撮影装置と、ゲストを撮影する撮影装置とを備えてもよい。
【0042】
また、上記実施形態では、音響機器20の制御部22は、図示しない記憶部および記録媒体からプログラムを読み取って実行することによって、上述した処理を行うとした。しかしながら、これに限らず、例えば、制御部22は、ネットワーク上の機器からプログラムを取得して実行してもよい。なお、記録媒体としては、ディスク型記録媒体、HDD、並びに、半導体メモリー等が挙げられる。
【0043】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0044】
1…撮影システム、10A・10B・10C・10D…撮影装置、20…音響機器、21…操作部、22…制御部、23…楽曲データ格納部、24…表示部、30…表示装置、40…音声出力装置、50…配信装置、60…記録部、221…信号受信部、222…再生制御部、223…表示制御部、224…解析部、225…画像取得部、226…選択部、227…出力部。
図1
図2
図3