(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-07
(45)【発行日】2023-12-15
(54)【発明の名称】画像データ抽出装置および画像データ抽出方法
(51)【国際特許分類】
H04N 5/91 20060101AFI20231208BHJP
G06T 7/20 20170101ALI20231208BHJP
H04N 5/783 20060101ALI20231208BHJP
G06F 3/16 20060101ALI20231208BHJP
【ＦＩ】
H04N5/91
G06T7/20
H04N5/783
G06F3/16 630
【請求項の数】
6
(21)【出願番号】P 2019021389
(22)【出願日】2019-02-08
(65)【公開番号】P2020129741
(43)【公開日】2020-08-27
【審査請求日】2021-11-17
(73)【特許権者】
【識別番号】391017540
【氏名又は名称】東芝ＩＴコントロールシステム株式会社
(74)【代理人】
【識別番号】100081961
【弁理士】
【氏名又は名称】木内 光春
(74)【代理人】
【識別番号】100112564
【弁理士】
【氏名又は名称】大熊 考一
(74)【代理人】
【識別番号】100163500
【弁理士】
【氏名又は名称】片桐 貞典
(74)【代理人】
【識別番号】230115598
【弁護士】
【氏名又は名称】木内 加奈子
(72)【発明者】
【氏名】戸崎 涼平
【審査官】松元 伸次
(56)【参考文献】
【文献】特開平１０－１８７７５９（ＪＰ，Ａ）
【文献】特開２０１５－１１５９４０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ３／１６
Ｇ０６Ｔ７／００－７／９０
Ｇ０６Ｖ１０／００－２０／９０
３０／４１８
４０／１６
４０／２０
Ｈ０４Ｎ５／７６－５／７７５
５／７８２－５／９５６
(57)【特許請求の範囲】
【請求項1】
連続した複数のフレームにより構成された動画を再生する表示部と、前記表示部により再生された再生中の動画に第１の座標と第２の座標が入力される入力部と、
前記第１の座標が入力された時点で前記表示部に表示されていたフレームをｎ番目のフレームとして記憶し、前記第２の座標が入力された時点で前記表示部に表示されていたフレームをｎ＋ｋ番目のフレームとして記憶する記憶部と、
前記入力部に入力された前記第１の座標から第１の座標データを作成し、前記第２の座標から第２の座標データを作成し、第１の座標データと前記第２の座標データに基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、前記ｎ＋ｋ番目のフレームから基準画像として選択する選択部と、
前記選択部により選択された前記基準画像に基づき、前記動画を構成する連続した前記複数のフレームの各々から、前記基準画像に相当する画像を対象画像として抽出する抽出部と、
を有し、
前記記憶部は、前記抽出部により抽出された対象画像を記憶する、
画像データ抽出装置。
【請求項2】
前記囲み領域の縦方向または横方向の長さは、前記入力部に入力されたコマンドに基づき変更される、請求項１に記載の画像データ抽出装置。
【請求項3】
前記動画を構成する連続した前記複数のフレームの再生速度は、前記入力部に入力されたコマンドに基づき変更される、請求項１または２に記載の画像データ抽出装置。
【請求項4】
前記対象画像は、過去に記憶した画像のうち最も類似する画像の名称が付与され前記記憶部に記憶される、請求項１乃至３のいずれか１項に記載の画像データ抽出装置。
【請求項5】
前記入力部は、マウス、キーボード、音声入力装置、視線追跡装置のうち少なくとも一つにより構成された、請求項１乃至４のいずれか１項に記載の画像データ抽出装置。
【請求項6】
連続した複数のフレームにより構成された動画を再生する表示部により再生された再生中の動画に第１の座標と第２の座標を入力する入力手順と、前記第１の座標が入力された時点で前記表示部に表示されていたフレームをｎ番目のフレームとして記憶し、前記第２の座標が入力された時点で前記表示部に表示されていたフレームをｎ＋ｋ番目のフレームとして記憶する記憶手順と、
前記入力手順により入力された前記第１の座標から第１の座標データを作成し、前記第２の座標から第２の座標データを作成し、前記第１の座標データと前記第２の座標データに基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、前記ｎ＋ｋ番目のフレームから基準画像として選択する選択手順と、
前記選択手順により選択された前記基準画像に基づき、前記動画を構成する連続した前記複数のフレームの各々から、前記基準画像に相当する画像を対象画像として抽出する抽出手順と、
を有し、
前記記憶手順は、前記抽出手順により抽出された対象画像を記憶する、
画像データ抽出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は連続した複数のフレームにより構成された動画における対象となる画像を抽出する画像データ抽出装置および画像データ抽出方法に関する。
【背景技術】
【0002】
複数のフレームにより構成された動画における対象となる画像を抽出する画像データ抽出装置が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－６９４３２号公報
【文献】特開２０１６－２１２７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、デジタルムービーやスマートフォンが普及し、動画の撮影が多く行われている。また、防犯カメラ等により動画が撮影される場合もある。撮影された画像データは膨大なデータ量となる。
【0005】
また近年、機械学習による物体解析に、画像データが用いられる。機械学習による物体解析は、膨大な過去の基本データに基づき行われる。過去の基本データの数量が多いほど解析の精度を向上させることができる。機械学習による物体解析に用いられる基本データとして、多数の画像データが予め記憶されていることが望ましい。
【0006】
動画は連続した複数のフレームにより構成されている。さらに作業者の所望する画像データは、動画として撮影された画面の一部分である場合が多い。したがって、作業者の所望する画像データは、動画として撮影された画面の一部分を切り出して対象画像として抽出される。しかしながら、動画は多数のフレームにより構成されており、この多数のフレームから１枚ずつ画面の一部分を切りだして対象画像を作成するには、多大な労力が費やされる。
【0007】
このため、動画を構成する多数のフレームから画面の一部分を切り出して対象画像を作成する場合、コンピュータにより構成された装置が用いられる。しかしながら、多数のフレームから画面の一部分を切りだして対象画像を作成するには、手作業の依存が多く、作業者にとって作業を行いにくい、との問題点があった。
【0008】
本実施形態は、上記問題点を解決するために、作業者による短時間かつ単純な作業で、動画を構成する連続した複数のフレームの各々から、所望する画像を対象画像として抽出することができる画像データ抽出装置および画像データ抽出方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本実施形態の画像データ抽出装置は、次のような構成を有することを特徴とする。
（１）連続した複数のフレームにより構成された動画を再生する表示部。
（２）前記表示部により再生された再生中の動画に第１の座標と第２の座標が入力される入力部。
（３）前記第１の座標が入力された時点で前記表示部に表示されていたフレームをｎ番目のフレームとして記憶し、前記第２の座標が入力された時点で前記表示部に表示されていたフレームをｎ＋ｋ番目のフレームとして記憶する記憶部。
（４）前記入力部に入力された前記第１の座標から第１の座標データを作成し、前記第２の座標から第２の座標データを作成し、第１の座標データと前記第２の座標データに基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、前記ｎ＋ｋ番目のフレームから基準画像として選択する選択部。
（５）前記選択部により選択された前記基準画像に基づき、前記動画を構成する連続した前記複数のフレームの各々から、前記基準画像に相当する画像を対象画像として抽出する抽出部。
（６）前記記憶部は、前記抽出部により抽出された対象画像を記憶する。
（１）連続した複数のフレームにより構成された動画を再生する表示部。
（２）前記表示部により再生された再生中の動画に第１の座標と第２の座標が入力される入力部。
（３）前記第１の座標が入力された時点で前記表示部に表示されていたフレームをｎ番目のフレームとして記憶し、前記第２の座標が入力された時点で前記表示部に表示されていたフレームをｎ＋ｋ番目のフレームとして記憶する記憶部。
（４）前記入力部に入力された前記第１の座標から第１の座標データを作成し、前記第２の座標から第２の座標データを作成し、第１の座標データと前記第２の座標データに基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、前記ｎ＋ｋ番目のフレームから基準画像として選択する選択部。
（５）前記選択部により選択された前記基準画像に基づき、前記動画を構成する連続した前記複数のフレームの各々から、前記基準画像に相当する画像を対象画像として抽出する抽出部。
（６）前記記憶部は、前記抽出部により抽出された対象画像を記憶する。
【図面の簡単な説明】
【0010】
【図1】第１実施形態にかかる画像データ抽出装置を示す図
【図2】第１実施形態にかかる画像データ抽出装置の外観図
【図3】第１実施形態にかかる画像データ抽出装置の選択部のプログラムのフローを示す図
【図4】第１実施形態にかかる画像データ抽出装置の抽出部のプログラムのフローを示す図
【図5】第１実施形態にかかる画像データ抽出装置の画像抽出にかかる動作を説明する図
【図6】第１実施形態にかかる画像データ抽出装置の画像調整部のプログラムのフローを示す図
【発明を実施するための形態】
【0011】
［１．第１実施形態］
［１－１．構成］
図１～２を参照して本実施形態の一例としての画像データ抽出装置１について説明する。画像データ抽出装置１は、マイクロコンピュータ等により構成された装置である。画像データ抽出装置１は、作業者により操作され、動画からの画像データの抽出に用いられる。画像データ抽出装置１は、対象となる人物、物品、設備等の物体解析を行うためのデータ抽出に利用される。抽出された画像および特徴の位置を示す座標データは、機械学習における教師データ等に用いられる。
［１－１．構成］
図１～２を参照して本実施形態の一例としての画像データ抽出装置１について説明する。画像データ抽出装置１は、マイクロコンピュータ等により構成された装置である。画像データ抽出装置１は、作業者により操作され、動画からの画像データの抽出に用いられる。画像データ抽出装置１は、対象となる人物、物品、設備等の物体解析を行うためのデータ抽出に利用される。抽出された画像および特徴の位置を示す座標データは、機械学習における教師データ等に用いられる。
【0012】
画像データ抽出装置１において、以下のコマンド、データが、入力、出力、記憶される。
コマンドＪ１：抽出する画像のポイントＡを示す指令
コマンドＪ２：抽出する画像のポイントＢを示す指令
コマンドＫ１：囲み領域の縦方向の拡大を指示する指令
コマンドＫ２：囲み領域の縦方向の縮小を指示する指令
コマンドＫ３：囲み領域の横方向の拡大を指示する指令
コマンドＫ４：囲み領域の横方向の縮小を指示する指令
コマンドＬ１：動画の再生停止を指示する指令
コマンドＬ２：動画の再生開始を指示する指令
コマンドＬ３：動画の低速再生を指示する指令
コマンドＬ４：動画の高速再生を指示する指令
コマンドＬ５：動画の巻き戻し再生を指示する指令
座標データＡ：抽出する画像のポイントＡの座標を示すデータ
座標データＢ：抽出する画像のポイントＢの座標を示すデータ
動画データＤ１：連続した複数のフレームにより構成された動画のデータ
基準画像データＥ１：動画Ｄ１のうち作業者により選択された対象画像のデータ
対象画像データＦ１：動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ
図５のポイントＡの座標が請求項における第１の座標、ポイントＢの座標が請求項における第２の座標に相当する。囲み領域は、ポイントＡの座標と、ポイントＢの座標に基づき、画面上に構成された図形により囲まれた領域である。囲み領域の内側の画像が抽出される。
コマンドＪ１：抽出する画像のポイントＡを示す指令
コマンドＪ２：抽出する画像のポイントＢを示す指令
コマンドＫ１：囲み領域の縦方向の拡大を指示する指令
コマンドＫ２：囲み領域の縦方向の縮小を指示する指令
コマンドＫ３：囲み領域の横方向の拡大を指示する指令
コマンドＫ４：囲み領域の横方向の縮小を指示する指令
コマンドＬ１：動画の再生停止を指示する指令
コマンドＬ２：動画の再生開始を指示する指令
コマンドＬ３：動画の低速再生を指示する指令
コマンドＬ４：動画の高速再生を指示する指令
コマンドＬ５：動画の巻き戻し再生を指示する指令
座標データＡ：抽出する画像のポイントＡの座標を示すデータ
座標データＢ：抽出する画像のポイントＢの座標を示すデータ
動画データＤ１：連続した複数のフレームにより構成された動画のデータ
基準画像データＥ１：動画Ｄ１のうち作業者により選択された対象画像のデータ
対象画像データＦ１：動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ
図５のポイントＡの座標が請求項における第１の座標、ポイントＢの座標が請求項における第２の座標に相当する。囲み領域は、ポイントＡの座標と、ポイントＢの座標に基づき、画面上に構成された図形により囲まれた領域である。囲み領域の内側の画像が抽出される。
【0013】
画像データ抽出装置１は、入力部２、表示部３、演算部４、記憶部５を有する。演算部４は、選択部４１、抽出部４２、画像調整部４３を含む。画像データ抽出装置１の画像データ抽出に関する機能は、搭載されたコンピュータプログラムにより実現される。
【0014】
（入力部２）
入力部２は、入力部２は、マウス２１、キーボード２２により構成された入力装置である。入力部２は、演算部４に接続される。入力部２は、作業者により操作されコマンドＪ１～Ｊ２、Ｋ１～Ｋ４、Ｌ１～Ｌ５が入力される。入力部２は、入力されたコマンドを演算部４に出力する。
入力部２は、入力部２は、マウス２１、キーボード２２により構成された入力装置である。入力部２は、演算部４に接続される。入力部２は、作業者により操作されコマンドＪ１～Ｊ２、Ｋ１～Ｋ４、Ｌ１～Ｌ５が入力される。入力部２は、入力されたコマンドを演算部４に出力する。
【0015】
（表示部３）
表示部３は、プラズマディスプレイ、液晶パネル等により構成された表示装置である。表示部３は、演算部４に接続される。表示部３は、演算部４から出力された動画データＤ１、基準画像データＥ１に基づき画像を表示する。
表示部３は、プラズマディスプレイ、液晶パネル等により構成された表示装置である。表示部３は、演算部４に接続される。表示部３は、演算部４から出力された動画データＤ１、基準画像データＥ１に基づき画像を表示する。
【0016】
（記憶部５）
記憶部５は、半導体メモリやハードディスクのような記憶媒体にて構成される。記憶部５は、演算部４に接続される。記憶部５は、座標データＡ、座標データＢ、動画データＤ１、基準画像データＥ１、対象画像データＦ１を記憶する。記憶部５は、演算部４に書込み、読み出しを制御される。記憶部５は、コンソール９に内蔵される。
記憶部５は、半導体メモリやハードディスクのような記憶媒体にて構成される。記憶部５は、演算部４に接続される。記憶部５は、座標データＡ、座標データＢ、動画データＤ１、基準画像データＥ１、対象画像データＦ１を記憶する。記憶部５は、演算部４に書込み、読み出しを制御される。記憶部５は、コンソール９に内蔵される。
【0017】
（演算部４）
演算部４は、マイクロコンピュータのＣＰＵ等により構成される。演算部４は、選択部４１、抽出部４２、画像調整部４３を含む。選択部４１、抽出部４２、画像調整部４３は、プログラムモジュールにより構成される。選択部４１、抽出部４２、画像調整部４３は、後述するコンピュータプログラムを内蔵する。演算部４は、入力部２、表示部３、記憶部５に接続される。演算部４は、入力部２、表示部３、記憶部５と連携し、以下の演算および制御を行う。演算部４は、コンソール９に内蔵される。
演算部４は、マイクロコンピュータのＣＰＵ等により構成される。演算部４は、選択部４１、抽出部４２、画像調整部４３を含む。選択部４１、抽出部４２、画像調整部４３は、プログラムモジュールにより構成される。選択部４１、抽出部４２、画像調整部４３は、後述するコンピュータプログラムを内蔵する。演算部４は、入力部２、表示部３、記憶部５に接続される。演算部４は、入力部２、表示部３、記憶部５と連携し、以下の演算および制御を行う。演算部４は、コンソール９に内蔵される。
【0018】
ａ．選択部４１の演算、制御
選択部４１は、入力部２から前述のコマンドＪ１、コマンドＪ２を受信する。選択部４１は、コマンドＪ１、コマンドＪ２に基づき座標データＡ（抽出する画像のポイントＡの座標を示すデータ）、座標データＢ（抽出する画像のポイントＢの座標を示すデータ）を作成し記憶部５に記憶させる。
選択部４１は、入力部２から前述のコマンドＪ１、コマンドＪ２を受信する。選択部４１は、コマンドＪ１、コマンドＪ２に基づき座標データＡ（抽出する画像のポイントＡの座標を示すデータ）、座標データＢ（抽出する画像のポイントＢの座標を示すデータ）を作成し記憶部５に記憶させる。
【0019】
選択部４１は、ポイントＡの座標にかかる座標データＡと、ポイントＢの座標にかかる座標データＢに基づき、画面上に四角形を構成し、構成された四角形により囲まれた囲み領域の内側の画像を、連続した複数のフレームのうちの一つのフレームから基準画像として選択し、基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）を作成し記憶部５に記憶させる。選択部４１は、図２に示すプログラムに基づき動作を行う。
【0020】
ｂ．抽出部４２の演算、制御
抽出部４２は、記憶部５に記憶された基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）に基づき、動画データＤ１（連続した複数のフレームにより構成された動画のデータ）にかかる動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出し、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）を作成し記憶部５に記憶させる。抽出部４２は、図３に示すプログラムに基づき動作を行う。
抽出部４２は、記憶部５に記憶された基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）に基づき、動画データＤ１（連続した複数のフレームにより構成された動画のデータ）にかかる動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出し、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）を作成し記憶部５に記憶させる。抽出部４２は、図３に示すプログラムに基づき動作を行う。
【0021】
抽出部４２は、抽出した対象画像にかかる対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）に、予め設定した名称を付与し、記憶部５に記憶させる。
【0022】
ｃ．画像調整部４３の演算、制御
画像調整部４３は、入力部２からコマンドＬ１～Ｌ５を受信する。画像調整部４３は、コマンドＬ１～Ｌ５に基づき、記憶部５に記憶された動画データＤ１（連続した複数のフレームにより構成された動画のデータ）を表示部３に表示させる。
画像調整部４３は、入力部２からコマンドＬ１～Ｌ５を受信する。画像調整部４３は、コマンドＬ１～Ｌ５に基づき、記憶部５に記憶された動画データＤ１（連続した複数のフレームにより構成された動画のデータ）を表示部３に表示させる。
【0023】
画像調整部４３は、入力部２からコマンドＫ１～Ｋ４を受信する。画像調整部４３は、コマンドＫ１～Ｋ４に基づき、囲み領域の縦方向または横方向の長さを変更し、表示部３に表示させる。囲み領域は、ポイントＡの座標にかかる座標データＡと、ポイントＢの座標にかかる座標データＢに基づき、画面上に構成された四角形により囲まれた領域である。囲み領域の内側の画像が、選択部４１により基準画像として選択される。画像調整部４３は、図６に示すプログラムに基づき上記動作を行う。
【0024】
以上が、画像データ抽出装置１の構成である。
【0025】
［１－２．作用］
次に、本実施形態の画像データ抽出装置１の作用を、図１～図６に基づき説明する。画像データ抽出装置１は、対象となる人物、物品、設備を検出し、物体解析を行うためのデータ抽出に利用される。抽出された画像は、機械学習における教師データ等に用いられる。画像データ抽出装置１は、作業者により操作され、動画からの画像データの抽出を行う。
次に、本実施形態の画像データ抽出装置１の作用を、図１～図６に基づき説明する。画像データ抽出装置１は、対象となる人物、物品、設備を検出し、物体解析を行うためのデータ抽出に利用される。抽出された画像は、機械学習における教師データ等に用いられる。画像データ抽出装置１は、作業者により操作され、動画からの画像データの抽出を行う。
【0026】
画像データ抽出装置１の選択部４１は、入力部２に入力された第１の座標であるポイントＡの座標と第２の座標であるポイントＢの座標に基づき構成された四角形により囲まれた囲み領域の内側の画像を、動画を構成する連続した複数のフレームのうちの一つのフレームから基準画像として選択する。
【0027】
画像データ抽出装置１の抽出部４２は、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出する。
【0028】
［ａ．選択部４１の動作］
以下に選択部４１の動作を説明する。選択部４１は、図３に示すプログラムに従って動作を行う。図３に示すプログラムは、演算部４に内蔵される。図３に示すプログラムは、演算部４により、繰り返し実行される。
以下に選択部４１の動作を説明する。選択部４１は、図３に示すプログラムに従って動作を行う。図３に示すプログラムは、演算部４に内蔵される。図３に示すプログラムは、演算部４により、繰り返し実行される。
【0029】
（ステップＳ０１：動画を再生する）
選択部４１は、対象画像抽出の対象となる動画を再生する。予め、動画データＤ１（連続した複数のフレームにより構成された動画）が記憶部５に記憶されている。動画データＤ１にかかる動画が表示部３に表示される。動画の再生中に、対象画像の抽出を行う作業者によりコマンドＪ１～Ｊ２、Ｋ１～Ｋ４、Ｌ１～Ｌ５が、入力部２から入力される。本実施形態では、コマンドＪ１、Ｊ２の入力は、入力部２を構成するマウス２１により、Ｋ１～Ｋ４、Ｌ１～Ｌ５の入力は、入力部２を構成するキーボード２２により行われるものとする。
選択部４１は、対象画像抽出の対象となる動画を再生する。予め、動画データＤ１（連続した複数のフレームにより構成された動画）が記憶部５に記憶されている。動画データＤ１にかかる動画が表示部３に表示される。動画の再生中に、対象画像の抽出を行う作業者によりコマンドＪ１～Ｊ２、Ｋ１～Ｋ４、Ｌ１～Ｌ５が、入力部２から入力される。本実施形態では、コマンドＪ１、Ｊ２の入力は、入力部２を構成するマウス２１により、Ｋ１～Ｋ４、Ｌ１～Ｌ５の入力は、入力部２を構成するキーボード２２により行われるものとする。
【0030】
（ステップＳ０２：コマンドＪ１が入力されたか判断する）
次に選択部４１は、コマンドＪ１（抽出する画像のポイントＡを示す指令）が入力されたかの判断を行う。作業者は、表示部３に再生された動画を見て、表示部３に表示されたカーソルをマウス２１によりポイントＡに移動させる。ポイントＡは、抽出を所望する画像の始点である。選択部４１は、入力部２を構成するマウス２１の左クリックがＯＮとされたことを検出し、コマンドＪ１が入力されたと判断する。
次に選択部４１は、コマンドＪ１（抽出する画像のポイントＡを示す指令）が入力されたかの判断を行う。作業者は、表示部３に再生された動画を見て、表示部３に表示されたカーソルをマウス２１によりポイントＡに移動させる。ポイントＡは、抽出を所望する画像の始点である。選択部４１は、入力部２を構成するマウス２１の左クリックがＯＮとされたことを検出し、コマンドＪ１が入力されたと判断する。
【0031】
コマンドＪ１が入力されたと判断した場合（ステップＳ０２のＹＥＳ）、選択部４１は、ステップＳ０３に移行する。コマンドＪ１が入力されたと判断しない場合（ステップＳ０２のＮＯ）、コマンドＪ１の入力待ち状態となる。
【0032】
（ステップＳ０３：座標データＡを作成、記憶し、ポイントＡを表示する）
ステップＳ０２にてコマンドＪ１が入力されたと判断した場合、選択部４１は、コマンドＪ１が入力された、動画上のポイントＡの座標を検出し座標データＡ（抽出する画像のポイントＡの座標を示すデータ）を作成する。選択部４１は、座標データＡを記憶部５に記憶させる。また、図５に示すように選択部４１は、座標データＡに基づき表示部３に表示された動画上のポイントＡにドット「・」を表示する。
ステップＳ０２にてコマンドＪ１が入力されたと判断した場合、選択部４１は、コマンドＪ１が入力された、動画上のポイントＡの座標を検出し座標データＡ（抽出する画像のポイントＡの座標を示すデータ）を作成する。選択部４１は、座標データＡを記憶部５に記憶させる。また、図５に示すように選択部４１は、座標データＡに基づき表示部３に表示された動画上のポイントＡにドット「・」を表示する。
【0033】
（ステップＳ０４：コマンドＪ２が入力されたか判断する）
次に選択部４１は、コマンドＪ２（抽出する画像のポイントＢを示す指令）が入力されたかの判断を行う。作業者は、表示部３に再生された動画を見て、表示部３に表示されたカーソルをマウス２１によりポイントＢに移動させる。ポイントＢは、抽出を所望する画像の終点である。ポイントＡとポイントＢを対頂角とする四角形が、表示部３に表示された動画上に描かれる。選択部４１は、入力部２を構成するマウス２１の左クリックがＯＦＦされたことを検出し、コマンドＪ２が入力されたと判断する。
次に選択部４１は、コマンドＪ２（抽出する画像のポイントＢを示す指令）が入力されたかの判断を行う。作業者は、表示部３に再生された動画を見て、表示部３に表示されたカーソルをマウス２１によりポイントＢに移動させる。ポイントＢは、抽出を所望する画像の終点である。ポイントＡとポイントＢを対頂角とする四角形が、表示部３に表示された動画上に描かれる。選択部４１は、入力部２を構成するマウス２１の左クリックがＯＦＦされたことを検出し、コマンドＪ２が入力されたと判断する。
【0034】
コマンドＪ２が入力されたと判断した場合（ステップＳ０３のＹＥＳ）、選択部４１は、ステップＳ０５に移行する。コマンドＪ２が入力されたと判断しない場合（ステップＳ０３のＮＯ）、コマンドＪ２の入力待ち状態となる。
【0035】
（ステップＳ０５：座標データＢを作成、記憶し、ポイントＢおよび囲み領域を表示する）
ステップＳ０４にてコマンドＪ２が入力されたと判断した場合、選択部４１は、コマンドＪ２が入力された、動画上のポイントＢの座標を検出し座標データＢ（抽出する画像のポイントＢの座標を示すデータ）を作成する。選択部４１は、座標データＢを記憶部５に記憶させる。また、図５に示すように選択部４１は、座標データＡ、座標データＢに基づき、表示部３に表示された動画上にポイントＡとポイントＢを対頂角とする四角形を形成し、囲み領域として表示する。
ステップＳ０４にてコマンドＪ２が入力されたと判断した場合、選択部４１は、コマンドＪ２が入力された、動画上のポイントＢの座標を検出し座標データＢ（抽出する画像のポイントＢの座標を示すデータ）を作成する。選択部４１は、座標データＢを記憶部５に記憶させる。また、図５に示すように選択部４１は、座標データＡ、座標データＢに基づき、表示部３に表示された動画上にポイントＡとポイントＢを対頂角とする四角形を形成し、囲み領域として表示する。
【0036】
（ステップＳ０６：コマンドＪ２が入力された時点のフレームを記憶する）
選択部４１は、コマンドＪ２が入力された時点の動画にかかるフレームを記憶する。例えば、図５に示すように、コマンドＪ１がｎ番目のフレームの表示時点に入力され、コマンドＪ２がｎ＋ｋ番目のフレームの表示時点に入力された場合、選択部４１は、コマンドＪ２が入力されたフレームは、「ｎ＋ｋ」番目のフレームであることを記憶部５に記憶させる。
選択部４１は、コマンドＪ２が入力された時点の動画にかかるフレームを記憶する。例えば、図５に示すように、コマンドＪ１がｎ番目のフレームの表示時点に入力され、コマンドＪ２がｎ＋ｋ番目のフレームの表示時点に入力された場合、選択部４１は、コマンドＪ２が入力されたフレームは、「ｎ＋ｋ」番目のフレームであることを記憶部５に記憶させる。
【0037】
（ステップＳ０７：基準画像データＥ１を作成、記憶する）
選択部４１は、入力部２に入力された座標データＡと座標データＢに基づき構成された四角形により囲まれた囲み領域の内側の画像を、連続した複数のフレームのうちの一つのフレームから基準画像として選択する。座標データＡにかかる座標が請求項における第１の座標に、座標データＢにかかる座標が請求項における第２の座標に相当する。
選択部４１は、入力部２に入力された座標データＡと座標データＢに基づき構成された四角形により囲まれた囲み領域の内側の画像を、連続した複数のフレームのうちの一つのフレームから基準画像として選択する。座標データＡにかかる座標が請求項における第１の座標に、座標データＢにかかる座標が請求項における第２の座標に相当する。
【0038】
選択部４１は、「ｎ＋ｋ」番目のフレームにおける、座標データＡにかかるポイントＡと座標データＢにかかるポイントＢを対頂角とする四角形により囲まれた、囲み領域の内側の画像を基準画像として選択し、基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）を作成し、記憶部５に記憶させる。
【0039】
以上が、選択部４１の動作である。
【0040】
［ｂ．抽出部４２の動作］
以下に抽出部４２の動作を説明する。抽出部４２は、図４に示すプログラムに従って動作を行う。図４に示すプログラムは、演算部４に内蔵される。図４に示すプログラムは、演算部４により、繰り返し実行される。
以下に抽出部４２の動作を説明する。抽出部４２は、図４に示すプログラムに従って動作を行う。図４に示すプログラムは、演算部４に内蔵される。図４に示すプログラムは、演算部４により、繰り返し実行される。
【0041】
（ステップＳ１１：対象画像データＦ１を作成、記憶する）
抽出部４２は、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出する。
抽出部４２は、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出する。
【0042】
具体的には、抽出部４２は、選択部４１により作成され記憶部５に記憶された、基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）に基づき、動画データＤ１（連続した複数のフレームにより構成された動画のデータ）を構成する複数のフレームから基準画像データＥ１に相当する画像を抽出し、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）を作成し、記憶部５に記憶させる。
【0043】
（ステップＳ１２：対象画像データＦ１に画像の名称を付ける）
抽出部４２は、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）に、既に記憶部５に記憶されている過去の画像に、予め設定された名称を付与し記憶部５に記憶させる。
抽出部４２は、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）に、既に記憶部５に記憶されている過去の画像に、予め設定された名称を付与し記憶部５に記憶させる。
【0044】
以上が、抽出部４２の動作である。
【0045】
［ｃ．画像調整部４３の動作］
以下に画像調整部４３の動作を説明する。画像調整部４３は、図６に示すプログラムに従って動作を行う。図６に示すプログラムは、演算部４に内蔵される。図６に示すプログラムは、選択部４１または抽出部４２の実行中に、割り込みにより実行される。入力部２を構成するキーボード２２のいずれかのキーが押された場合、割り込みが発生し、図６に示すプログラムが起動する。
以下に画像調整部４３の動作を説明する。画像調整部４３は、図６に示すプログラムに従って動作を行う。図６に示すプログラムは、演算部４に内蔵される。図６に示すプログラムは、選択部４１または抽出部４２の実行中に、割り込みにより実行される。入力部２を構成するキーボード２２のいずれかのキーが押された場合、割り込みが発生し、図６に示すプログラムが起動する。
【0046】
コマンドＫ１～Ｋ４、Ｌ１～Ｌ５は、キーボード２２の下記に示すキーが押されることにより入力される。
コマンドＫ１（囲み領域の縦方向の拡大を指示する指令）：キー［↑］
コマンドＫ２（囲み領域の縦方向の縮小を指示する指令）：キー［↓］
コマンドＫ３（囲み領域の横方向の拡大を指示する指令）：キー［→］
コマンドＫ４（囲み領域の横方向の縮小を指示する指令）：キー［←］
コマンドＬ１（動画の再生停止を指示する指令）：キー［Ｓ］
コマンドＬ２（動画の再生開始を指示する指令）：キー［Ｒ］
コマンドＬ３（動画の低速再生を指示する指令）：キー［Ｔ］
コマンドＬ４（動画の高速再生を指示する指令）：キー［Ｕ］
コマンドＬ５（動画の巻き戻し再生を指示する指令）：キー［Ｖ］
コマンドＫ１（囲み領域の縦方向の拡大を指示する指令）：キー［↑］
コマンドＫ２（囲み領域の縦方向の縮小を指示する指令）：キー［↓］
コマンドＫ３（囲み領域の横方向の拡大を指示する指令）：キー［→］
コマンドＫ４（囲み領域の横方向の縮小を指示する指令）：キー［←］
コマンドＬ１（動画の再生停止を指示する指令）：キー［Ｓ］
コマンドＬ２（動画の再生開始を指示する指令）：キー［Ｒ］
コマンドＬ３（動画の低速再生を指示する指令）：キー［Ｔ］
コマンドＬ４（動画の高速再生を指示する指令）：キー［Ｕ］
コマンドＬ５（動画の巻き戻し再生を指示する指令）：キー［Ｖ］
【0047】
（ステップＳ２１：コマンドＬ１が入力された場合、動画の再生を停止する）
画像調整部４３は、キーボード２２のキー［Ｓ］が押され、コマンドＬ１が入力されたと判断した場合（ステップＳ２１ａ）、記憶部５に記憶された動画データＤ１にかかる動画の再生を停止し、静止画像を表示部３に表示させる（ステップＳ２１ｂ）。
画像調整部４３は、キーボード２２のキー［Ｓ］が押され、コマンドＬ１が入力されたと判断した場合（ステップＳ２１ａ）、記憶部５に記憶された動画データＤ１にかかる動画の再生を停止し、静止画像を表示部３に表示させる（ステップＳ２１ｂ）。
【0048】
（ステップＳ２２：コマンドＬ２が入力された場合、動画の再生を行う）
画像調整部４３は、キーボード２２のキー［Ｒ］が押され、コマンドＬ２が入力されたと判断した場合（ステップＳ２２ａ）、記憶部５に記憶された動画データＤ１にかかる動画を再生し、表示部３に表示させる（ステップＳ２２ｂ）。
画像調整部４３は、キーボード２２のキー［Ｒ］が押され、コマンドＬ２が入力されたと判断した場合（ステップＳ２２ａ）、記憶部５に記憶された動画データＤ１にかかる動画を再生し、表示部３に表示させる（ステップＳ２２ｂ）。
【0049】
（ステップＳ２３：コマンドＬ３が入力された場合、動画の低速再生を行う）
画像調整部４３は、キーボード２２のキー［Ｔ］が押され、コマンドＬ３が入力されたと判断した場合（ステップＳ２３ａ）、再生速度を低速にして動画データＤ１にかかる動画を表示部３に表示させる（ステップＳ２３ｂ）。画像調整部４３は、現在再生している動画の再生速度を、例えば２０％低速にする。コマンドＬ３が複数回入力された場合、動画の再生速度は累積して低速にされる。
画像調整部４３は、キーボード２２のキー［Ｔ］が押され、コマンドＬ３が入力されたと判断した場合（ステップＳ２３ａ）、再生速度を低速にして動画データＤ１にかかる動画を表示部３に表示させる（ステップＳ２３ｂ）。画像調整部４３は、現在再生している動画の再生速度を、例えば２０％低速にする。コマンドＬ３が複数回入力された場合、動画の再生速度は累積して低速にされる。
【0050】
（ステップＳ２４：コマンドＬ４が入力された場合、動画の高速再生を行う）
画像調整部４３は、キーボード２２のキー［Ｕ］が押され、コマンドＬ４が入力されたと判断した場合（ステップＳ２４ａ）、再生速度を高速にして動画データＤ１にかかる動画を表示部３に表示させる（ステップＳ２４ｂ）。画像調整部４３は、現在再生している動画の再生速度を、例えば２０％高速にする。コマンドＬ３が複数回入力された場合、動画の再生速度は累積して高速にされる。
画像調整部４３は、キーボード２２のキー［Ｕ］が押され、コマンドＬ４が入力されたと判断した場合（ステップＳ２４ａ）、再生速度を高速にして動画データＤ１にかかる動画を表示部３に表示させる（ステップＳ２４ｂ）。画像調整部４３は、現在再生している動画の再生速度を、例えば２０％高速にする。コマンドＬ３が複数回入力された場合、動画の再生速度は累積して高速にされる。
【0051】
（ステップＳ２５：コマンドＬ５が入力された場合、動画の巻き戻し再生を行う）
画像調整部４３は、キーボード２２のキー［Ｖ］が押され、コマンドＬ５が入力されたと判断した場合（ステップＳ２５ａ）、動画データＤ１にかかる動画を巻き戻し再生にて表示部３に表示させる（ステップＳ２５ｂ）。コマンドＬ３が複数回入力された場合、動画の巻き戻し再生速度は累積して高速にされる。
画像調整部４３は、キーボード２２のキー［Ｖ］が押され、コマンドＬ５が入力されたと判断した場合（ステップＳ２５ａ）、動画データＤ１にかかる動画を巻き戻し再生にて表示部３に表示させる（ステップＳ２５ｂ）。コマンドＬ３が複数回入力された場合、動画の巻き戻し再生速度は累積して高速にされる。
【0052】
基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）の作成は、作業者により上記のステップＳ２１～Ｓ２５により調整された動画上にて行われる。
【0053】
（ステップＳ２６：コマンドＫ１が入力された場合、囲み領域の縦の長さを拡大する）
画像調整部４３は、キーボード２２のキー［↑］が押され、コマンドＫ１が入力されたと判断した場合（ステップＳ２６ａ）、囲み領域の縦方向の長さを拡大する（ステップＳ２６ｂ）。囲み領域は、座標データＡと座標データＢの座標に基づき構成された四角形に囲まれた領域である。囲み領域は、表示部３に再生された動画上に表示される。画像調整部４３は、現在表示されている囲み領域の縦方向の長さを、例えば１０ピクセル拡大する。コマンドＫ１が複数回入力された場合、囲み領域の縦方向の長さは累積して拡大される。
画像調整部４３は、キーボード２２のキー［↑］が押され、コマンドＫ１が入力されたと判断した場合（ステップＳ２６ａ）、囲み領域の縦方向の長さを拡大する（ステップＳ２６ｂ）。囲み領域は、座標データＡと座標データＢの座標に基づき構成された四角形に囲まれた領域である。囲み領域は、表示部３に再生された動画上に表示される。画像調整部４３は、現在表示されている囲み領域の縦方向の長さを、例えば１０ピクセル拡大する。コマンドＫ１が複数回入力された場合、囲み領域の縦方向の長さは累積して拡大される。
【0054】
（ステップＳ２７：コマンドＫ２が入力された場合、囲み領域の縦の長さを縮小する）
画像調整部４３は、キーボード２２のキー［↓］が押され、コマンドＫ２が入力されたと判断した場合（ステップＳ２７ａ）、囲み領域の縦方向の長さを縮小する（ステップＳ２７ｂ）。画像調整部４３は、現在表示されている囲み領域の縦方向の長さを、例えば１０ピクセル縮小する。コマンドＫ２が複数回入力された場合、囲み領域の縦方向の長さは累積して縮小される。
画像調整部４３は、キーボード２２のキー［↓］が押され、コマンドＫ２が入力されたと判断した場合（ステップＳ２７ａ）、囲み領域の縦方向の長さを縮小する（ステップＳ２７ｂ）。画像調整部４３は、現在表示されている囲み領域の縦方向の長さを、例えば１０ピクセル縮小する。コマンドＫ２が複数回入力された場合、囲み領域の縦方向の長さは累積して縮小される。
【0055】
（ステップＳ２８：コマンドＫ３が入力された場合、囲み領域の横の長さを拡大する）
画像調整部４３は、キーボード２２のキー［→］が押され、コマンドＫ３が入力されたと判断した場合（ステップＳ２８ａ）、囲み領域の横方向の長さを拡大する（ステップＳ２８ｂ）。画像調整部４３は、現在表示されている囲み領域の横方向の長さを、例えば１０ピクセル拡大する。コマンドＫ３が複数回入力された場合、囲み領域の横方向の長さは累積して拡大される。
画像調整部４３は、キーボード２２のキー［→］が押され、コマンドＫ３が入力されたと判断した場合（ステップＳ２８ａ）、囲み領域の横方向の長さを拡大する（ステップＳ２８ｂ）。画像調整部４３は、現在表示されている囲み領域の横方向の長さを、例えば１０ピクセル拡大する。コマンドＫ３が複数回入力された場合、囲み領域の横方向の長さは累積して拡大される。
【0056】
（ステップＳ２９：コマンドＫ４が入力された場合、囲み領域の横の長さを縮小する）
画像調整部４３は、キーボード２２のキー［←］が押され、コマンドＫ４が入力されたと判断した場合（ステップＳ２９ａ）、囲み領域の横方向の長さを縮小する（ステップＳ２９ｂ）。画像調整部４３は、現在表示されている囲み領域の横方向の長さを、例えば１０ピクセル縮小する。コマンドＫ４が複数回入力された場合、囲み領域の横方向の長さは累積して縮小される。
画像調整部４３は、キーボード２２のキー［←］が押され、コマンドＫ４が入力されたと判断した場合（ステップＳ２９ａ）、囲み領域の横方向の長さを縮小する（ステップＳ２９ｂ）。画像調整部４３は、現在表示されている囲み領域の横方向の長さを、例えば１０ピクセル縮小する。コマンドＫ４が複数回入力された場合、囲み領域の横方向の長さは累積して縮小される。
【0057】
基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）は、上記のステップＳ２６～Ｓ２９にて囲み領域の大きさが調整され作成される。
【0058】
以上が、画像調整部４３の動作である。
【0059】
以上が、画像データ抽出装置１の動作である。上記のように画像データ抽出装置１の表示部３に表示された動画データＤ１にかかる動画上に囲み領域が表示され、囲み領域に基づき基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）が作成される。基準画像データＥ１に基づき、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）が作成される。
【0060】
［１－３．効果］
（１）本実施形態によれば、画像データ抽出装置１は、連続した複数のフレームにより構成された動画を再生する表示部３と、表示部３により再生された動画における第１の座標と第２の座標が入力される入力部２と、入力部２に入力された第１の座標と第２の座標に基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、連続した複数のフレームのうちの一つのフレームから基準画像として選択する選択部４１と、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出する抽出部４２と、抽出部４２により抽出された対象画像を記憶する記憶部５とを有するので、作業者による単純な作業で、動画を構成する連続した複数のフレームの各々から、所望する画像を対象画像として抽出することができる画像データ抽出装置を提供することができる。
（１）本実施形態によれば、画像データ抽出装置１は、連続した複数のフレームにより構成された動画を再生する表示部３と、表示部３により再生された動画における第１の座標と第２の座標が入力される入力部２と、入力部２に入力された第１の座標と第２の座標に基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、連続した複数のフレームのうちの一つのフレームから基準画像として選択する選択部４１と、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出する抽出部４２と、抽出部４２により抽出された対象画像を記憶する記憶部５とを有するので、作業者による単純な作業で、動画を構成する連続した複数のフレームの各々から、所望する画像を対象画像として抽出することができる画像データ抽出装置を提供することができる。
【0061】
本実施形態によれば、作業者は、表示部３に表示された動画上で第１の座標と第２の座標を入力部２から入力し、所望の画像を基準画像として選択することができるので、簡単な作業で基準画像を選択することができる。作業者は、動画を静止させ、静止画像から基準画像を個別に選択することを必要とされない。
【0062】
本実施形態によれば、抽出部４２は、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出するので、作業者は、動画を静止させ、静止画像から多数の画像を選択することが必要とされない。その結果、短時間に大量の画像データを抽出することができる。抽出された大量の画像データは、機械学習による物体解析等に利用される。
【0063】
（２）本実施形態によれば、囲み領域の縦方向または横方向の長さは、入力部２に入力されたコマンドに基づき変更されるので、作業者は、容易に基準画像の大きさを変更することができる。
【0064】
（３）本実施形態によれば、動画を構成する連続した複数のフレームの再生速度は、入力部２に入力されたコマンドに基づき変更されるので、作業者は、任意の再生速度で再生された動画上で、基準画像の選択を行うことができる。これにより、作業者による基準画像の選択作業は、より容易なものとなる。
【0065】
（４）本実施形態によれば、対象画像は、過去に記憶した画像のうち最も類似する画像の名称が付与され記憶部５に記憶されるので、作業者は容易に、記憶部５に記憶されたデータの内容を知ることができる。また、類似した対象画像は、同様の名称が付与されて記憶部５に記憶されるので、作業者は、容易にデータの分類を行うことができる。また、作業者は、対象画像の名称を頼りに、データを抽出し、時間的な経緯の把握に役立てることができる。
【0066】
（５）本実施形態によれば、入力部２は、マウス２１、キーボード２２、音声入力装置、視線追跡装置のうち少なくとも一つにより構成されるので、作業者は、安価に容易に一般的な装置により画像データ抽出装置１を構成することができる。
【0067】
［２．他の実施形態］
変形例を含めた実施形態を説明したが、これらの実施形態は例として提示したものであって、発明の範囲を限定することを意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略や置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。以下は、その一例である。
変形例を含めた実施形態を説明したが、これらの実施形態は例として提示したものであって、発明の範囲を限定することを意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略や置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。以下は、その一例である。
【0068】
（１）上記実施形態では、入力部２は、マウス２１、キーボード２２により構成され、コマンドＪ１～Ｊ２はマウス２１、Ｋ１～Ｋ４、Ｌ１～Ｌ５はキーボード２２により入力されるものとした。しかしながらこれらのコマンドは、他の入力装置により構成された入力部２により入力されるようにしてもよい。例えば、入力部２は、音声入力装置が含まれ構成されるようにし、以下のコマンドが音声により音声入力装置に入力されるようにしてもよい。
コマンドＫ１（囲み領域の縦方向の拡大を指示する指令）：音声［うえ］
コマンドＫ２（囲み領域の縦方向の縮小を指示する指令）：音声［した］
コマンドＫ３（囲み領域の横方向の拡大を指示する指令）：音声［みぎ］
コマンドＫ４（囲み領域の横方向の縮小を指示する指令）：音声［ひだり］
コマンドＬ１（動画の再生停止を指示する指令）：音声［一時停止］
コマンドＬ２（動画の再生開始を指示する指令）：音声［再生］
コマンドＬ３（動画の低速再生を指示する指令）：音声［低速］
コマンドＬ４（動画の高速再生を指示する指令）：音声［高速］
コマンドＬ５（動画の巻き戻し再生を指示する指令）：音声［巻き戻し］
コマンドＫ１（囲み領域の縦方向の拡大を指示する指令）：音声［うえ］
コマンドＫ２（囲み領域の縦方向の縮小を指示する指令）：音声［した］
コマンドＫ３（囲み領域の横方向の拡大を指示する指令）：音声［みぎ］
コマンドＫ４（囲み領域の横方向の縮小を指示する指令）：音声［ひだり］
コマンドＬ１（動画の再生停止を指示する指令）：音声［一時停止］
コマンドＬ２（動画の再生開始を指示する指令）：音声［再生］
コマンドＬ３（動画の低速再生を指示する指令）：音声［低速］
コマンドＬ４（動画の高速再生を指示する指令）：音声［高速］
コマンドＬ５（動画の巻き戻し再生を指示する指令）：音声［巻き戻し］
【0069】
（２）上記実施形態では、作業者に操作された入力部２のマウス２１により、コマンドＪ１（抽出する画像のポイントＡを示す指令）、コマンドＪ２（抽出する画像のポイントＢを示す指令）が入力されるものとした。しかしながらこれらのコマンドは、他の入力装置により構成された入力部２により入力されるようにしてもよい。例えば、視線追跡装置を含め入力部２を構成するようにし、コマンドＪ１、Ｊ２は、作業者の視線の方向により視線追跡装置に入力されるようにしてもよい。
【0070】
（３）上記実施形態では、囲み領域は、ポイントＡの座標とポイントＢの座標に基づき構成された四角形であるものとした。しかしながら囲み領域の形状は、これに限られない。囲み領域の形状は、ポイントＡの座標とポイントＢの座標に基づき構成された、例えば三角形、五角形以上の多角形または楕円形であってもよい。
【0071】
（４）上記実施形態ではコマンドＪ２が入力された時点の動画のフレームから基準画像データＥ１を作成するものとしたが、基準画像データＥ１が作成される動画のフレームはこれに限られない。コマンドＪ１が入力された動画のフレームから基準画像データＥ１が作成されるようにしてもよい。またはコマンドＪ１コマンドＪ２が入力された間の動画のフレームが選択され、基準画像データＥ１が作成されるようにしてもよい。
【符号の説明】
【0072】
１・・・画像データ抽出装置
２・・・入力部
３・・・表示部
４・・・演算部
５・・・記憶部
９・・・コンソール
２１・・・マウス
２２・・・キーボード
４１・・・選択部
４２・・・抽出部
４３・・・画像調整部
２・・・入力部
３・・・表示部
４・・・演算部
５・・・記憶部
９・・・コンソール
２１・・・マウス
２２・・・キーボード
４１・・・選択部
４２・・・抽出部
４３・・・画像調整部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】