(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0003】
上記のようなシークバーを参照することで、例えば、動画などのコンテンツの再生箇所を把握することができる。しかしながら、このようなシークバーを参照しても、コンテンツの変遷を視覚的に把握することは難しい。
【課題を解決するための手段】
【0004】
本発明の一態様に係る生成装置は、時系列に取得された情報を含むコンテンツを取得する第1取得部を備えてよい。生成装置は、情報から複数の時点のそれぞれの特徴を抽出する抽出部を備えてよい。生成装置は、複数の時点のそれぞれの特徴に基づいて、複数の時点のそれぞれの色または輝度を決定する決定部を備えてよい。生成装置は、時系列に並べられてコンテンツに対応するシークバーを生成するための、色または輝度の画素を含む画像を、複数の時点ごとに生成する第1生成部を備えてよい。
【0005】
コンテンツは、動画を含んでよい。抽出部は、動画内の複数の時点の静止画から複数の時点のそれぞれの特徴を抽出してよい。
【0006】
抽出部は、複数の時点の静止画の画素値を抽出することで、複数の時点のそれぞれの特徴を抽出してよい。決定部は、複数の時点の静止画の画素値に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。
【0007】
抽出部は、複数の時点の静止画の第1方向の画素ごとに画素値を抽出することで、複数の時点のそれぞれの特徴を抽出してよい。決定部は、複数の時点の静止画の第1方向の画素ごとに画素値を平均化することで、複数の時点のそれぞれの色または輝度を決定してよい。第1生成部は、静止画の第1方向の画素を色または輝度の予め定められた数の画素に置き換え、静止画の第2方向の画素を予め定められた圧縮比で圧縮することで、画像を複数の時点ごとに生成してよい。
【0008】
抽出部は、複数の時点の静止画に含まれる予め定められた条件を満たすオブジェクトの色または輝度を複数の時点のそれぞれの特徴として抽出してよい。決定部は、オブジェクトの色または輝度に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。
【0009】
抽出部は、複数の時点の静止画に含まれる予め定められた条件を満たすオブジェクトの動作状態を複数の時点のそれぞれの特徴として抽出してよい。決定部は、オブジェクトの動作状態と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。
【0010】
抽出部は、複数の時点の静止画の空間周波数成分を複数の時点のそれぞれの特徴として抽出してよい。決定部は、空間周波数成分と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。
【0011】
コンテンツは、撮像装置により撮像された動画を含んでよい。情報は、時系列に取得された撮像装置の撮像状態を示してよい。抽出部は、複数の時点の情報から、複数の時点の撮像装置の撮像状態を複数の時点の特徴として抽出してよい。決定部は、撮像装置の撮像状態と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。
【0012】
コンテンツは、撮像装置により撮像された動画を含んでよい。撮像装置は、移動体に搭載されて移動してよい。情報は、時系列に取得された移動体の移動状態を示してよい。抽出部は、複数の時点の情報から、複数の時点の移動体の移動状態を複数の時点の特徴として抽出してよい。決定部は、移動体の移動状態と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。
【0013】
移動体は、飛行体でよい。情報は、時系列に取得された飛行体の飛行状態を移動体の移動状態として示してよい。抽出部は、複数の時点の情報から、複数の時点の飛行体の飛行状態を複数の時点の特徴として抽出してよい。決定部は、飛行体の飛行状態と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。
【0014】
生成装置は、複数の時点ごとの画像を取得する第2取得部を備えてよい。生成装置は、複数の時点ごとの画像を時系列に並べてコンテンツに対応するシークバーを生成する第2生成部を備えてよい。
【0015】
コンテンツは、撮像装置により第1時点から第2時点まで撮像された動画を含んでよい。第2生成部は、一端が動画内の第1時点の静止画に対応する画像であり、他端が動画内の第2時点の静止画に対応する画像であるシークバーを生成してよい。
【0016】
コンテンツは、撮像装置により第1時点から第2時点まで撮像された動画を含んでよい。第2生成部は、一端が動画内の第1時点と第2時点との間の第2時点から予め定められた期間前の第3時点の静止画に対応する画像であり、他端が動画内の第2時点の静止画に対応する画像であるシークバーを生成してよい。
【0017】
コンテンツは、撮像装置により第1時点から第2時点まで撮像された動画を含んでよい。第2生成部は、一端が動画内の第1時点の静止画に対応する画像であり、他端が動画内の第2時点の静止画に対応する画像であり、一端と他端との間の予め定められた部分が、動画内の第1時点と第2時点との間の第2時点から予め定められた期間前の第3時点の静止画に対応する画像であるシークバーを生成してよい。
【0018】
第2生成部は、コンテンツの状態が切り替わる時点の位置を示す情報を含むシークバーを生成してよい。
【0019】
本発明の一態様に係る生成システムは、上記生成装置を備えてよい。生成システムは、端末を備えてよい。端末は、複数の時点ごとの画像を取得する第2取得部を有してよい。端末は、複数の時点ごとの画像を時系列に並べてコンテンツに対応するシークバーを生成する第2生成部を有してよい。端末は、シークバーを表示する表示部を有してよい。
【0020】
本発明の一態様に係る撮像システムは、上記生成装置を備えてよい。撮像システムは、コンテンツに含まれる動画を撮像する撮像装置を備えてよい。
【0021】
本発明の一態様に係る移動体は、上記撮像システムを備えて移動する。
【0022】
本発明の一態様に係る生成方法は、時系列に取得された情報を含むコンテンツを取得する段階を備えてよい。生成方法は、情報から複数の時点のそれぞれの特徴を抽出する段階を備えてよい。生成方法は、複数の時点のそれぞれの特徴に基づいて、複数の時点のそれぞれの色または輝度を決定する段階を備えてよい。生成方法は、時系列に並べられてコンテンツに対応するシークバーを生成するための、色または輝度の画素を含む画像を、複数の時点ごとに生成する段階を備えてよい。
【0023】
本発明の一態様に係るプログラムは、時系列に取得された情報を含むコンテンツを取得する段階をコンピュータに実行させてよい。プログラムは、情報から複数の時点のそれぞれの特徴を抽出する段階をコンピュータに実行させてよい。プログラムは、複数の時点のそれぞれの特徴に基づいて、複数の時点のそれぞれの色または輝度を決定する段階をコンピュータに実行させてよい。プログラムは、時系列に並べられてコンテンツに対応するシークバーを生成するための、色または輝度の画素を含む画像を、複数の時点ごとに生成する段階をコンピュータに実行させてよい。
【0024】
本発明の一態様によれば、コンテンツの変遷を視覚的に把握することができるシークバーを提供することができる。
【0025】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための形態】
【0027】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0028】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【0029】
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
【0030】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0031】
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0032】
図1は、無人航空機(UAV)10及び遠隔操作装置300の外観の一例を示す。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備える。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、移動体とは、空中を移動する飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。空中を移動する飛行体とは、UAVの他、空中を移動する他の航空機、飛行船、ヘリコプター等を含む概念である。
【0033】
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
【0034】
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
【0035】
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
【0036】
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
【0037】
図2は、UAV10の機能ブロックの一例を示す。UAV10は、UAV制御部30、メモリ32、通信インタフェース36、推進部40、GPS受信機41、慣性計測装置42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60及び撮像装置100を備える。
【0038】
通信インタフェース36は、遠隔操作装置300などの他の装置と通信する。通信インタフェース36は、遠隔操作装置300からUAV制御部30に対する各種の命令を含む指示情報を受信してよい。メモリ32は、UAV制御部30が、推進部40、GPS受信機41、慣性計測装置(IMU)42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60、及び撮像装置100を制御するのに必要なプログラム等を格納する。メモリ32は、コンピュータ読み取り可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ32は、UAV本体20の内部に設けられてよい。UAV本体20から取り外し可能に設けられてよい。
【0039】
UAV制御部30は、メモリ32に格納されたプログラムに従ってUAV10の飛行及び撮像を制御する。UAV制御部30は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。UAV制御部30は、通信インタフェース36を介して遠隔操作装置300から受信した命令に従って、UAV10の飛行及び撮像を制御する。推進部40は、UAV10を推進させる。推進部40は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部40は、UAV制御部30からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、UAV10を飛行させる。
【0040】
GPS受信機41は、複数のGPS衛星から発信された時刻を示す複数の信号を受信する。GPS受信機41は、受信された複数の信号に基づいてGPS受信機41の位置(緯度及び経度)、つまりUAV10の位置(緯度及び経度)を算出する。IMU42は、UAV10の姿勢を検出する。IMU42は、UAV10の姿勢として、UAV10の前後、左右、及び上下の3軸方向の加速度と、ピッチ、ロール、及びヨーの3軸方向の角速度とを検出する。磁気コンパス43は、UAV10の機首の方位を検出する。気圧高度計44は、UAV10が飛行する高度を検出する。気圧高度計44は、UAV10の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ45は、UAV10の周囲の温度を検出する。湿度センサ46は、UAV10の周囲の湿度を検出する。
【0041】
撮像装置100は、撮像部102及びレンズ部200を備える。レンズ部200は、レンズ装置の一例である。撮像部102は、イメージセンサ120、撮像制御部110、及びメモリ130を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、複数のレンズ210を介して結像された光学像を撮像し、撮像された画像データを撮像制御部110に出力する。撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。撮像制御部110は、UAV制御部30からの撮像装置100の動作命令に応じて、撮像装置100を制御してよい。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
【0042】
レンズ部200は、複数のレンズ210、複数のレンズ駆動部212、及びレンズ制御部220を有する。複数のレンズ210は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ210の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環などの機構部材を介して、複数のレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部212は、アクチュエータを含んでよい。アクチュエータは、ステッピングモータを含んでよい。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212を駆動して、機構部材を介して1または複数のレンズ210を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
【0043】
レンズ部200は、メモリ222、位置センサ214をさらに有する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ210の一部または全部は、光軸に沿って移動する。レンズ制御部220は、レンズ210の少なくとも1つを光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。位置センサ214は、レンズ210の位置を検出する。位置センサ214は、現在のズーム位置またはフォーカス位置を検出してよい。
【0044】
レンズ駆動部212は、振れ補正機構を含んでよい。レンズ制御部220は、振れ補正機構を介して、レンズ210を光軸に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。レンズ駆動部212は、ステッピングモータにより振れ補正機構を駆動して、振れ補正を実行してよい。なお、振れ補正機構は、ステッピングモータにより駆動されて、イメージセンサ120を光軸に方向に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。
【0045】
メモリ222は、レンズ駆動部212を介して移動する複数のレンズ210の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。
【0046】
上記のようなUAV10などに搭載された撮像装置100により撮像されている画像を、例えば、遠隔操作装置300が備える表示部に表示しながら、ユーザが遠隔操作装置300を操作して、UAV10及び撮像装置100を制御する場合がある。表示部に表示された画像を参照することで、撮像装置100が撮像している現在の画像の状態を把握することができる。しかしながら、撮像装置100により撮像された画像の変遷を把握することは難しい。例えば、撮像装置100の動画の撮像の開始時点から現時点まで、どのような動画が撮像されているかを視覚的に把握することは難しい。
【0047】
そこで、本実施形態によれば、撮像装置100により撮像された画像の変遷を視覚的に容易に把握できるようにする。
【0048】
撮像制御部110は、画像生成部400を有する。画像生成部400は、UAV制御部30、遠隔操作装置300、またはUAV10とネットワークを介して接続されたサーバなどの他の装置に設けられてもよい。
【0049】
図3は、シークバーを生成する生成システムの機能ブロックの一例を示す図である。生成システムは、画像生成部400及び表示装置500を備える。画像生成部400は、取得部402、抽出部404、決定部406、及び生成部408を有する。表示装置500は、例えば、遠隔操作装置300に設けられてよい。表示装置500は、端末の一例である。
【0050】
取得部402は、時系列に取得された情報を含むコンテンツを取得する。取得部402は、第1取得部の一例である。コンテンツは、例えば、撮像装置100により撮像される動画を含む。時系列に取得された情報は、撮像装置100により撮像される動画を構成する複数の静止画でよい。静止画は、動画の中から予め定められた間隔で抽出されたスナップショットでよい。静止画は、表示装置500にプレビュー画像として表示するための画像でよい。コンテンツは、動画以外に、音声データ、一連の画像を順次表示するスライドショーのデータなどでもよい。
【0051】
抽出部404は、複数の時点のそれぞれの情報から複数の時点のそれぞれの特徴を抽出する。抽出部404は、動画内の複数の時点の静止画から複数の時点のそれぞれの特徴を抽出してよい。抽出部404は、複数の時点の静止画の画素値を抽出することで、複数の時点のそれぞれの特徴を抽出してよい。抽出部404は、複数の時点の静止画の水平方向の画素ごとに画素値を抽出することで、複数の時点のそれぞれの特徴を抽出してよい。水平方向は、第1方向の一例である。
【0052】
決定部406は、複数の時点のそれぞれの特徴に基づいて、複数の時点のそれぞれの色または輝度を決定する。決定部406は、複数の時点の静止画の画素値に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。画素値は、R成分、G成分、及びB成分を含んでよい。決定部406は、複数の時点の静止画の水平方向の画素ごとに画素値を平均化することで、複数の時点のそれぞれの色または輝度を決定してよい。決定部406は、静止画の水平方向の画素のうち、予め定められた範囲に含まれる画素の画素値を平均化することで、色または輝度を決定してよい。決定部406は、静止画の水平方向の画素のうち、静止画の中央の範囲に含まれる画素の画素値を平均化することで、色または輝度を決定してよい。決定部406は、静止画の水平方向の予め定められた位置の画素の画素値に基づいて、色または輝度を決定してよい。
【0053】
生成部408は、時系列にコンテンツを並べて、このコンテンツに対応するシークバーを生成する。生成部408は、決定部406により決定された色または輝度の画素を含むシークバー用画像を、複数の時点ごとに生成する。生成部408は、第1生成部の一例である。生成部408は、静止画の水平方向の画素を、決定部406により決定された色または輝度の予め定められた数の画素に置き換え、静止画の垂直方向の画素を予め定められた圧縮比で圧縮することで、シークバー用画像を複数の時点ごとに生成してよい。生成部408は、静止画の水平方向の画素を、決定部406により決定された色または輝度の一画素に置き換え、静止画の垂直方向の画素を予め定められた圧縮比で圧縮することで、シークバー用画像を複数の時点ごとに生成してよい。生成部408は、決定部406により決定された色または輝度の画素で構成された予め定められたサイズの画像を、シークバー用画像として生成してよい。
【0054】
表示装置500は、取得部502、生成部504、及び表示部506を有する。表示装置500は、例えば、遠隔操作装置300に設けられてよい。取得部502は、生成部408により生成されたシークバー用画像を取得する。取得部502は、第2取得部の一例である。取得部502は、撮像装置100により撮像されている動画のスナップショットと、そのスナップショットに対応するシークバー用画像とを順次取得してよい。
【0055】
生成部504は、複数の時点ごとのシークバー用画像を時系列に並べてコンテンツに対応するシークバーを生成する。シークバーは、コンテンツの変遷を視覚的に示す。シークバーは、撮像装置100により撮像されている動画の全体または少なくとも一部がそれぞれの時点の特徴に応じた色または輝度で表現されたバー状の画像でよい。シークバーは、コンテンツの再生箇所を示すバー状の画像でよい。生成部504は、第2生成部の一例である。生成部504は、コンテンツの状態が切り替わる時点の位置を示す情報を含むシークバーを生成してよい。コンテンツの転換点の位置を示す情報を含むシークバーを生成してよい。生成部504は、コンテンツのシーンが切り替わる時点の位置を示す情報を含むシークバーを生成してよい。生成部504は、動画のシーンが切り替わる時点の位置を示す情報を含むシークバーを生成してよい。生成部504は、コンテンツの状態が切り替わる時点を、隣接するシークバー用画像同士を比較することで、判断してよい。生成部504は、コンテンツの状態が切り替わる時点を、隣接するシークバー用画像の画素値同士を比較することで、判断してよい。例えば、生成部504は、第1のシークバー用画像を構成する画素の画素値の平均値と、第1のシークバー用画像に隣接する第2のシークバー用画像を構成する画素の画素値の平均値との差が、予め定められた閾値以上変化する場合に、第1のシークバー用画像と、第2のシークバー用画像との間を、コンテンツの状態が切り替わる時点と判断してよい。生成部504は、シークバー用画像の色または輝度が変化する時点を、コンテンツの状態が切り替わる時点と判断してよい。
【0056】
コンテンツが、例えば、撮像装置に100より第1時点T0から第2時点T1まで撮像された動画を含む場合、生成部504は、
図4Aに示すように、一端が動画内の第1時点T0の静止画に対応するシークバー用画像604aであり、他端が動画内の第2時点T1の静止画に対応するシークバー用画像604bであるシークバー610Aを生成してよい。生成部504は、
図4Bに示すように、一端が動画内の第1時点T0と第2時点T1との間の第2時点T1から予め定められた期間ΔT前の第3時点(T1−ΔT)の静止画に対応するシークバー用画像604cであり、他端が動画内の第2時点T1の静止画に対応するシークバー用画像604bであるシークバー610Bを生成してよい。生成部504は、
図4Cに示すように、一端が動画内の第1時点T0の静止画に対応するシークバー用画像604aであり、他端が動画内の第2時点T1の静止画に対応するシークバー用画像604bであり、一端と他端との間の予め定められた部分が、動画内の第1時点T0と第2時点T1との間の第2時点T1から予め定められた期間ΔT前の第3時点(T1−ΔT)の静止画に対応するシークバー用画像604cであるシークバー610Cを生成してよい。生成部504は、第1時点T0の静止画に対応するシークバー用画像604aから、第3時点(T1−ΔT)の直前までのシークバー用画像604dを水平方向にさらに圧縮することで、シークバー610Cを生成してよい。
【0057】
生成部504は、撮像装置100が動画を撮像し始めた開始時点のスナップショットから、現時点までのスナップショットまでのシークバー用画像を時系列に並べてシークバーを生成してよい。生成部504は、現時点から予め定められた期間前に撮像装置100により撮像された動画のスナップショットから、現時点までのスナップショットまでのシークバー用画像を時系列に並べてシークバーを生成してよい。生成部504は、撮像装置100が動画を撮像し始めた開始時点のスナップショットから、現時点から予め定められた期間前に撮像装置100により撮像された動画のスナップショットまでのシークバー用画像を水平方向にさらに圧縮し、かつ現時点から予め定められた期間前に撮像装置100により撮像された動画のスナップショットから、現時点までのスナップショットまでのシークバー用画像を圧縮せずに、時系列に並べてシークバーを生成してよい。
【0058】
表示部506は、生成部504により生成されたシークバーを表示する。表示部506は、スナップショットとシークバーとを並べて表示してよい。表示部506は、撮像装置100により撮像されている動画のスナップショットをプレビュー画像として表示しながら、シークバーを表示してよい。表示部506は、スナップショットの下方、または上方にシークバーを表示してよい。
【0059】
例えば、
図5に示すように、取得部402が、動画600から予め定められた間隔で抽出されたスナップショット602を取得する。抽出部404は、スナップショット602の特徴を抽出する。抽出部404は、スナップショット602の水平方向の画素ごとに画素値を抽出することで、スナップショット602の特徴を抽出してよい。
【0060】
決定部406は、スナップショット602の水平方向の画素ごとに画素値を平均化することで、スナップショット602の特徴を抽出してよい。生成部408は、スナップショット602の水平方向の画素を、平均化された画素値の一画素に置き換え、スナップショット602の垂直方向の画素を、予め定められた圧縮比で圧縮することで、シークバー用画像604を生成してよい。生成部408は、スナップショット602の垂直方向の画素の画素値を予め定められた数の画素ごとに平均化することで圧縮し、シークバー用画像604を生成してよい。生成部408は、スナップショット602の垂直方向の画素を予め定められた数ごとに抽出することで圧縮し、シークバー用画像604を生成してよい。生成部504は、生成部408により生成されたシークバー用画像604を時系列に並べてシークバー610を生成してよい。
【0061】
図6は、画像生成部400がシークバー用画像を生成する手順の一例を示す図である。撮像装置100が撮像を開始する(S100)。撮像装置100は、遠隔操作装置300を介してユーザから録画開始命令を受けると、動画の録画を開始してよい。取得部402は、撮像装置100により撮像される動画から予め定められた間隔で抽出されるスナップショットを取得する(S102)。抽出部404は、スナップショットの水平方向の画素ごとに画素値を抽出することで、スナップショットの特徴を抽出する。決定部406は、スナップショットの水平方向の画素ごとの画素値を平均化することで、スナップショットの特徴色を水平方向ごとに決定する。生成部408は、スナップショットの水平方向の画素を、特徴色を有する予め定められた数の画素に置き換え、スナップショットの垂直方向の画素を予め定められた圧縮比で圧縮することで、シークバー用画像を生成する(S104)。画像生成部400は、通信インタフェース36を介して、スナップショットと、スナップショットに対応するシークバー用画像とを遠隔操作装置300に送信する(S106)。
【0062】
図7は、表示装置500がシークバーを表示する手順の一例を示すフローチャートである。取得部502は、スナップショットと、スナップショットに対応するシークバー用画像とを画像生成部400から取得する(S200)。生成部504は、順次、取得部502により取得されたシークバー用画像を時系列に並べてシークバーを生成する(S202)。生成部504は、今までに作成されたシークバーの一端に、新たに取得したシークバー用画像を連結することで、シークバーを生成してよい。シークバーの長さが予め定められた長さであれば、生成部504は、新たに取得したシークバー用画像を既存のシークバーに追加するごとに、シークバー内のシークバー用画像を水平方向に圧縮してよい。表示部506は、シークバー及びスナップショットを並べて表示する(S204)。
【0063】
図8は、表示部506に表示されるシークバー及びスナップショットの一例を示す図である。表示部506は、タッチディスプレイでよい。画像700は、プレビュー用画像であるスナップショット702と、シークバー704と、操作ボタン710とを含む。操作ボタン710は、撮像装置100により撮像されたスナップショット702に対応する動画の再生、停止、一時停止、巻き戻し、早送りなどの操作をユーザから受け付けるためのボタンを含む。シークバー704は、動画の再生箇所を示すアイコン706を含む。シークバー704は、動画のシーンが切り替わる時点の位置を示すアイコン708を含む。生成部504は、シークバー用画像の画素値に基づいて、動画のシーンが切り替わる時点を判別して、その時点に対応するアイコン708を含むシークバー704を生成してよい。生成部504は、シークバー用画像の画素値が予め定められた閾値以上変化する場合に、動画のシーンが切り替わる時点であると判別して、その時点に対応するアイコン708を含むシークバー704を生成してよい。生成部504は、シークバー用画像の有する特徴色が切り替わるい時点を、動画のシーンが切り替わる時点であると判別して、その時点に対応するアイコン708を含むシークバー704を生成してよい。
【0064】
撮像装置100により撮像された動画は、UAV10側のメモリ130またはメモリ32に順次、記憶され、動画のスナップショット及びシークバー用画像が、順次、遠隔操作装置300に送信されてよい。撮像装置100により撮像された動画を、遠隔操作装置300などの他の装置に記憶し、遠隔操作装置300などの他の装置が、記憶された動画を再生する段階でその動画のスナップショット及びシークバー用画像を時系列に並べたシークバーを生成して表示してもよい。
【0065】
図9は、動画からシークバーを生成する手順の一例を示すフローチャートである。動画を再生、編集などを行う装置で実行されてよい。装置は、
図3に示す各機能ブロックを含んでよい。
【0066】
取得部402が、動画から予め定められた間隔で抽出されるスナップショットを取得する(S300)。抽出部404は、スナップショットの水平方向の画素ごとに画素値を抽出することで、スナップショットの特徴を抽出する。決定部406は、スナップショットの水平方向の画素ごとの画素値を平均化することで、スナップショットの特徴色を水平方向ごとに決定する。生成部408は、スナップショットの水平方向の画素を、特徴色を有する予め定められた数の画素に置き換え、スナップショットの垂直方向の画素を予め定められた圧縮比で圧縮することで、シークバー用画像を生成する(S302)。生成部504は、生成部408により生成されたシークバー用画像を時系列に並べてシークバーを生成する(S304)。表示部506は、シークバー及びスナップショットを並べて表示する(S306)。
【0067】
以上、本実施形態によれば、動画のスナップショットのそれぞれの特徴に応じた色または輝度を有するシークバー用画像が時系列に並べられたシークバーが提供される。特徴に応じた色または輝度の画像を含むシークバーが提供されることで、撮像装置100により撮像された動画の変遷を視覚的に容易に把握することができる。
【0068】
上記では、抽出部404は、複数の時点のそれぞれの特徴として、静止画(スナップショット)の画素値を抽出する例について説明した。しかし、抽出部404は、画素値以外のパラメータを静止画などの時系列に取得される情報から抽出してよい。抽出部404は、例えば、複数の時点の静止画に含まれる予め定められた条件を満たすオブジェクトの色または輝度を複数の時点のそれぞれの特徴として抽出してよい。抽出部404は、予め定められた条件を満たすオブジェクトの色または輝度の分布を導出し、最も分布率が高い色または輝度を、そのオブジェクトの代表の色または輝度として、複数の時点のそれぞれの特徴として抽出してよい。抽出部404は、抽出部404は、静止画から動体を抽出して、その動体の色または輝度を、その静止画の特徴として抽出してよい。抽出部404は、静止画から人物を抽出して、人物の肌の色、または人物の洋服の色をその静止画の特徴として抽出してよい。
【0069】
抽出部404は、複数の時点の静止画に含まれる予め定められた条件を満たすオブジェクトの動作状態を複数の時点のそれぞれの特徴として抽出してよい。抽出部404は、複数の時点の静止画を比較することで、オブジェクトが動いているか、静止しているかを判断して、オブジェクトが動体であるか静止体であるかを、オブジェクトの動作状態として取得してよい。オブジェクトが動体である場合、抽出部404は、オブジェクトの速度または加速度に基づいて、動体の状態をさらに分類してよい。抽出部404は、オブジェクトの速度または加速度が予め定められた閾値以下の場合、第1の動きの動体(ゆっくりな動きの動体)に、そのオブジェクトを分類してよい。抽出部404は、オブジェクトの速度または加速度が予め定められた閾値より大きい場合、第2の動きの動体(激しい動きの動体)に、そのオブジェクトを分類してよい。
【0070】
決定部406は、オブジェクトの動作状態と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。決定部406は、オブジェクトが動体である場合、第1の色(例えば、赤色)であると決定してよい。決定部406は、オブジェクトが静止体である場合、第2の色(例えば、青色)であると決定してよい。決定部406は、オブジェクトが第1の動きの動体である場合、第3の色(例えば、緑)であると決定し、オブジェクトが第2の動きの動体である場合、第4の色(例えば、黄緑)であると決定してよい。
【0071】
このような条件に従って生成されたシークバー用画像で生成されたシークバーを参照することで、撮像装置100が、動きのあるオブジェクトを撮像しているか、動きのないオブジェクトを撮像しているか、動きの激しいオブジェクトを撮像しているかなどの動画の変遷を視覚的に容易に把握することができる。
【0072】
抽出部404は、複数の時点の静止画の空間周波数成分を複数の時点のそれぞれの特徴として抽出してよい。決定部406は、空間周波数成分と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。決定部406は、予め定められた空間周波数以上の空間周波数成分を有する静止画を、濃淡の変化が激しい画像であると判断して、その静止画を特徴付ける色を第1の色(例えば、赤色)であると判断してよい。決定部406は、予め定められた空間周波数以上の空間周波数成分を有さない静止画を、濃淡の変化が緩やかな画像であると判断して、その静止画を特徴付ける色を第2の色(例えば、青色)であると判断してよい。
【0073】
このような条件に従って生成されたシークバー用画像で生成されたシークバーを参照することで、撮像装置100が、濃淡の変化が激しい画像を撮像している、または濃淡の変化が緩やかな画像を撮像しているかなどの動画の変遷を視覚的に容易に把握することができる。
【0074】
コンテンツに含まれる時系列に取得される情報は、撮像装置100に撮像される画像以外の情報でもよい。情報は、時系列に取得された撮像装置100の撮像状態を示す情報でもよい。撮像装置100の撮像状態を示す情報は、撮像装置100により撮像された画像に影響を与える可能性がある情報を含む。撮像装置100の撮像状態を示す情報は、撮像装置100が撮像する周囲の環境に関する情報を含む。撮像装置100が撮像する周囲の環境に関する情報は、撮像装置100の周囲の温度、湿度、気圧、高度などを含む。撮像装置100の撮像状態を示す情報は、撮像装置100が撮像するときの撮像条件に関する情報を含む。撮像装置100の撮像状態を示す情報は、撮像装置100が動画を撮像しているときの露出条件、または撮像装置100から主要被写体までの距離を示す被写体距離を含む。
【0075】
抽出部404は、複数の時点の撮像装置100の撮像状態を複数の時点の特徴として抽出してよい。抽出部404は、複数の時点の撮像装置100の露出条件、または被写体距離を撮像制御部110が撮像部102またはレンズ部200を制御するために参照する制御情報から抽出してよい。決定部406は、撮像装置100の撮像状態と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。決定部406は、撮像装置100の露出条件から被写体の明るさを判断してよい。決定部406は、静止画が撮像されたときの被写体の明るさが予め設定された明るさよりも明るい場合、その静止画の色を第1の色であると判断してよい。決定部406は、静止画が撮像されたときの被写体の明るさが予め設定された明るさよりも暗い場合、その静止画の色を第2の色であると判断してよい。決定部406は、静止画に含まれる被写体の被写体距離が予め定められた距離以上である場合、その静止画を特徴付ける色を第1の色であると判断してよい。決定部406は、静止画に含まれる被写体の被写体距離が予め定められた距離より短い場合、その静止画の色を第2の色であると判断してよい。
【0076】
このような条件に従って生成されたシークバー用画像で生成されたシークバーを参照することで、撮像装置100が、比較的明るい被写体を含む画像を撮像しているか、または比較的暗い被写体を含む画像を撮像しているかなどの動画の変遷を視覚的に容易に把握できる。または、撮像装置100が、比較的近くの被写体を含む画像を撮像しているか、または比較的遠くの被写体を含む画像を撮像しているかなどの動画の変遷を視覚的に容易に把握できる。
【0077】
コンテンツに含まれる時系列に取得される情報は、撮像装置100を搭載して移動する移動体の移動状態を示す情報でよい。抽出部404は、移動体の移動状態として、移動体の速度または加速度などの移動状態を示す情報を、移動体を制御する制御部から抽出してよい。決定部406は、移動体の移動状態と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。抽出部404は、例えば、複数の時点のUAV10の飛行状態を複数の時点の特徴として抽出してよい。UAV10の飛行状態を示す情報は、例えば、UAV10が飛行している高度、速度、及び加速度、UAV10の周囲の温度、湿度、及び気圧の少なくとも1つを含んでよい。UAV10の飛行状態を示す情報は、UAV10が水平方向に移動しているか、UAV10が上昇または下降しているか、UAV10がホバリングしているか、UAV10が回転しているか、またはUAV10が着陸しているかなどを示す情報を含んでよい。
【0078】
決定部は、UAV10の飛行状態と色または輝度とを対応付けた予め定められた条件に基づいて、複数の時点のそれぞれの色または輝度を決定してよい。決定部406は、撮像装置100がスナップショットに対応する静止画を撮像したときのUAV10の高度が予め定められた高度以上である場合には、その静止画を特徴付ける色を第1の色と決定してよい。決定部406は、撮像装置100がその静止画を撮像したときのUAV10の高度が予め定められた高度より低い場合、その静止画を特徴づける色を第2の色と決定してよい。
【0079】
決定部406は、撮像装置100がその静止画を撮像したときのUAV10の速度が予め定められた速度以上である場合、その静止画を特徴付ける色を第1の色であると決定してよい。決定部406は、撮像装置100がその静止画を撮像したときのUAV10の速度が予め定められた速度より遅い場合、その静止画を特徴付ける色を第2の色であると決定してよい。決定部406は、撮像装置100がその静止画を撮像したときのUAV10の飛行状態がホバリング状態である場合、その静止画を特徴付ける色を第3の色であると決定してよい。決定部406は、撮像装置100がその静止画を撮像したときのUAV10の飛行状態が回転状態である場合、その静止画を特徴付ける色を第4の色であると決定してよい。決定部406は、撮像装置100がその静止画を撮像したときのUAV10の飛行状態が着陸状態である場合、その静止画を特徴付ける色を第5の色であると決定してよい。
【0080】
このような条件に従って生成されたシークバー用画像で生成されたシークバーを参照することで、UAV10がどのような飛行状態のときに撮像された画像であるかなどの動画の変遷を視覚的に容易に把握できる。
【0081】
図10は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
【0082】
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
【0083】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
【0084】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0085】
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0086】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0087】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0088】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【0089】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0090】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。