知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240918BHJP
【ＦＩ】
H04N7/18 U
【請求項の数】
10
(21)【出願番号】P 2023523757
(86)(22)【出願日】2021-05-25
(86)【国際出願番号】 JP2021019792
(87)【国際公開番号】W WO2022249277
(87)【国際公開日】2022-12-01
【審査請求日】2023-11-15
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】吉田 登
【審査官】益戸 宏
(56)【参考文献】
【文献】国際公開第２０１６／００６０９０（ＷＯ，Ａ１）
【文献】特表２０１０－５０７１３９（ＪＰ，Ａ）
【文献】特開２０１４－０１６７８６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ５／７６
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
動画を構成する複数のフレーム画像から切り出された複数の人物画像と、前記複数の人物画像に含まれる人を識別する人物識別情報と、を取得する取得手段と、同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類手段と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、前記動画を再生するための動画再生欄と、をディスプレイに表示させる表示制御手段と、
前記項目入力欄に入力された前記修正項目情報に応じた修正処理を実行する修正実行手段と、
を備える画像処理装置。
【請求項2】
請求項１に記載の画像処理装置において、前記表示制御手段は、前記人物画像、前記項目入力欄、及び前記動画再生欄を同時に前記ディスプレイに表示させる、画像処理装置。
【請求項3】
請求項１又は２に記載の画像処理装置において、前記表示制御手段は、前記複数の人物画像のうち予め定められた条件を満たす前記人物画像と、他の前記人物画像とで、表示方法を異ならせる画像処理装置。
【請求項4】
請求項１～３のいずれか一項に記載の画像処理装置において、前記表示制御手段は、前記項目入力欄において、複数の修正項目を選択可能に表示する画像処理装置。
【請求項5】
請求項１～４のいずれか一項に記載の画像処理装置において、前記項目入力欄に入力された情報は、他の前記グループを前記対象グループにまとめることを示しており、
前記修正実行手段は、前記修正処理として、
前記対象グループに属する前記人物画像を用いて、少なくとも一つの候補グループを選択し、当該候補グループに属している前記人物画像の少なくとも一部を表示し、
外部から入力された情報に従って、前記対象グループにまとめるべきグループを前記候補グループから選択し、当該選択されたグループを前記対象グループに加える、画像処理装置。
【請求項6】
請求項４に記載の画像処理装置において、前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行手段は、
前記動画を表示するとともに、当該動画内に、前記人物画像の位置を示すマーク及び当該人物画像に対応する前記人物識別情報を重ねて表示し、
前記マーク及び前記人物識別情報の少なくとも一方の選択を、前記人物画像の選択として受け付ける、画像処理装置。
【請求項7】
請求項１～３のいずれか一項に記載の画像処理装置において、前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記項目入力欄に入力された情報は、前記対象グループに含めるべき新たな前記人物画像を、いずれかの前記フレーム画像から切り出すことを示しており、
前記修正実行手段は、
前記対象グループに属する前記人物画像が切り出されていない前記フレーム画像を表示し、
当該フレーム画像から前記新たな人物画像を切り出す、画像処理装置。
【請求項8】
請求項７に記載の画像処理装置において、前記修正実行手段は、前記対象グループに含まれている前記人物画像に関する情報を用いて、前記新たな人物画像を切り出す、画像処理装置。
【請求項9】
コンピュータが、動画を構成する複数のフレーム画像から切り出された複数の人物画像と、前記複数の人物画像に含まれる人を識別する人物識別情報と、を取得する取得処理と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類処理と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、前記動画を再生するための動画再生欄と、をディスプレイに表示させる表示制御処理と、
前記項目入力欄に入力された前記修正項目情報に応じた修正処理を実行する修正実行処理と、
を行う画像処理方法。
【請求項10】
コンピュータに、動画を構成する複数のフレーム画像から切り出された複数の人物画像と、前記複数の人物画像に含まれる人を識別する人物識別情報と、を取得する取得機能と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類機能と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、前記動画を再生するための動画再生欄と、をディスプレイに表示させる表示制御機能と、
前記項目入力欄に入力された前記修正項目情報に応じた修正処理を実行する修正実行機能と、
を持たせるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年は、複数の画像を処理することにより、人物の移動経路を特定することが行われている。この処理を行う装置は、画像から人物画像を切り出すとともに、人毎に、切り出された人物画像を分類する。この分類において、装置は、ある人の人物画像のグループに、他人の人物画像を含めてしまうことがある。これに対して特許文献１には、画像処理システムに、この誤りを修正するための修正手段を設けることが記載されている。
【0003】
また特許文献２には、複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する場合において、追跡支援装置が以下の処理を行うことが記載されている。まず追跡支援装置は、監視者が追跡対象とする人物を指定すると、監視者が指定した人物を追跡対象に設定する。次いで追跡支援装置は、リンクスコアが最も高い人物をカメラごとに順次選択する。そして追跡支援装置は、追跡対象とした人物が写っている可能性が最も高い映像を確認映像としてカメラごとに抽出して、その確認映像が表示されたタイムライン画面をモニタに表示させる。このタイムライン画面において、適切でない確認映像が見つかった場合、監視者は、追尾結果編集を指示する操作を行う。すると、追跡支援装置は、追尾結果編集画面を表示する。この画面において、確認映像に対応するカメラの映像が表示される。監視者は、この画面において、確認映像の映像表示期間が適切な期間となるように編集操作を行う。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１４／０４５６７０号
【文献】特開２０１７－１３９７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
人物画像を人毎に分類する処理を装置に行わせる場合、装置は、様々な種類の誤りを起こす可能性がある。本発明の目的は、ユーザが、これら複数の種類の誤りを修正しやすくすることにある。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得手段と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類手段と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御手段と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行手段と、
を備える画像処理装置が提供される。
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類手段と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御手段と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行手段と、
を備える画像処理装置が提供される。
【0007】
本発明の一態様によれば、コンピュータが、
それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得処理と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類処理と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御処理と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行処理と、
を備える画像処理方法が提供される。
それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得処理と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類処理と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御処理と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行処理と、
を備える画像処理方法が提供される。
【0008】
本発明の一態様によれば、コンピュータに、
それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得機能と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類機能と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御機能と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行機能と、
を持たせるプログラムが提供される。
それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得機能と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類機能と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御機能と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行機能と、
を持たせるプログラムが提供される。
【発明の効果】
【0009】
本発明の一態様によれば、ユーザは、人物画像を人毎に分類する場合に生じうる複数の誤りを容易に修正できる。
【図面の簡単な説明】
【0010】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0011】
【図1】第１実施形態に係る画像処理装置の機能構成の一例を示す図である。
【図2】画像記憶部が記憶している情報の第１例を示している。
【図3】画像記憶部が記憶している情報の第２例を示している。
【図4】画像処理装置のハードウェア構成例を示す図である。
【図5】画像処理装置が行う処理の一例を示すフローチャートである。
【図10】ステップＳ２２０でディスプレイに表示される画面の一例を示す図である。
【図16】第２実施形態に係る画像処理装置の機能構成の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0013】
（第１実施形態）
図１は、本実施形態に係る画像処理装置１０の機能構成の一例を示す図である。画像処理装置１０は、複数の人物画像を処理する。具体的には、複数の人物画像のそれぞれは人を含んでいるとともに、その人を識別する人物識別情報（例えば人物ＩＤ）を有している。この人物識別情報は、画像認識処理によって人別に割り振られている。すなわち互いに異なる人物画像においても、同一の人物が写っている場合、これらの人物画像には同一の人物識別情報が付与されている。
図１は、本実施形態に係る画像処理装置１０の機能構成の一例を示す図である。画像処理装置１０は、複数の人物画像を処理する。具体的には、複数の人物画像のそれぞれは人を含んでいるとともに、その人を識別する人物識別情報（例えば人物ＩＤ）を有している。この人物識別情報は、画像認識処理によって人別に割り振られている。すなわち互いに異なる人物画像においても、同一の人物が写っている場合、これらの人物画像には同一の人物識別情報が付与されている。
【0014】
ここで、人物画像と人物識別情報の対応付けには、様々な誤りが生じうる。また、人物画像が他の画像から切り出されている場合、この切出しに誤りが生じることがある。この誤りの一例は、人物以外の領域が人物画像として切り出されている場合や、人物が存在している領域であるにもかかわらず人物画像として切り出されてない場合などである。画像処理装置１０は、これらの誤りをユーザが修正する際に用いられる。
【0015】
なお、画像処理装置１０が扱う複数の人物画像は、例えば同一の動画を構成する複数のフレーム画像から切り出されていてもよいし、互いに異なる複数のカメラ（例えば複数の監視カメラ）が生成した画像から切り出されていてもよい。また、複数の人物画像の少なくとも一部は、カメラが生成した画像そのものであってもよい。
【0016】
そして、同一の人物識別情報に紐づく人物画像をグループ化するとともに、これらの人物画像の元になった画像の情報を用いることにより、その人物の動線を特定することができる。すなわち、画像処理装置１０は、画像処理によって人物を追跡するシステムの一部として用いられる。
【0017】
図１に示すように、画像処理装置１０は、取得部１１０、分類部１２０、表示制御部１３０、及び修正実行部１４０を備えている。
【0018】
取得部１１０は、上記した複数の人物画像、人物識別情報、及び時系列情報を取得する。人物識別情報及び時系列情報は、複数の人物画像それぞれに付与されている。時系列情報は、複数の人物画像の時系列を示す。複数の人物画像が同一の動画を構成する複数のフレーム画像から切り出されている場合、時系列情報は、各人物画像の元になったフレーム画像の順序を示していてもよい。また時系列情報は、人物画像又は人物画像の元になった画像の撮影日時（ミリ秒まで示されていることもある）であってもよい。
【0019】
本図に示す例において、取得部１１０は、画像記憶部１５０から上記した情報を取得する。画像記憶部１５０が記憶している情報の一例については、他の図を用いて後述する。
【0020】
分類部１２０は、同一の人物識別情報を有する人物画像を同一のグループに分類する。ここで、一つのグループに属する人物画像が一枚のみの場合もあり得るが、多くの場合は、一つのグループに複数の人物画像が属する。
【0021】
表示制御部１３０は、処理対象となるグループ（以下、対象グループと記載）に属する少なくとも一つの人物画像と、修正項目情報を入力するための項目入力欄と、を同時にディスプレイ１６０に表示させる。以下、ここでディスプレイ１６０に表示される画面を確認画面と記載する。修正項目情報は、対象グループに対して行うべき修正項目を示す。修正項目の例は、対象グループを複数のグループに分割すること、他のグループを対象グループにまとめること、及び、対象グループから少なくとも一つの人物画像を削除することである。また、複数の人物画像が同一の動画を構成する複数のフレーム画像から切り出されている場合、修正項目は、対象グループに含めるべき新たな人物画像をいずれかのフレーム画像から切り出すことを示していてもよい。
【0022】
また表示制御部１３０は、対象グループに属する人物画像の表示位置を、時系列情報を用いて決定する。例えば対象グループに複数の人物画像が属している場合、表示制御部１３０は、時系列に従って複数の人物画像を並べる。
【0023】
修正実行部１４０は、項目入力欄に入力された情報に応じた修正処理を実行する。修正処理の一例については、他の図を用いて後述する。
【0024】
画像処理装置１０は、さらに、上記したディスプレイ１６０、及び入力部１７０を備えている。入力部１７０は、ユーザが画像処理装置１０に対して行う各種の入力を取得する。なお、ディスプレイ１６０がタッチパネルの場合、ディスプレイ１６０が入力部１７０を兼ねていてもよい。また、ディスプレイ１６０及び入力部１７０は画像処理装置１０の外部に位置していてもよい。
【0025】
図２は、画像記憶部１５０が記憶している情報の第１例を示している。画像記憶部１５０は、人物画像の元となっている画像を記憶している。本図に示す例において、画像記憶部１５０は、人物画像の元となっている動画別に、その動画を識別する情報（以下、動画識別情報と記載）、その動画を生成したカメラを識別する情報（以下、カメラ識別情報と記載）、及び動画データ（以下、動画と記載することもある）を記憶している。
【0026】
図３は、画像記憶部１５０が記憶している情報の第２例を示している。画像記憶部１５０は、図２に示した情報に加えて、人物画像に関する情報も記憶している。詳細には、画像記憶部１５０は、人物画像別に、その人物画像を識別する情報（以下、人物画像識別情報と記載）、その人物画像に含まれている人の人物識別情報、画像データ（以下、人物画像と記載することもある）、及び人物画像が切り出された画像に関する情報（以下、原画像情報と記載）を記憶している。原画像情報の一例は、動画識別情報及び時系列情報である。動画識別情報及び時系列情報により、その人物画像の元になったフレーム画像が特定される。
【0027】
なお、図３に記憶されている人物画像の一部は、人物以外の画像の場合もある。これは、元となる画像から人物画像を切り出す処理においてエラーが生じ得るためである。
【0028】
なお、図示していないが、画像記憶部１５０は、人物画像別に、画像処理の際に生成された各種のスコアを記憶していてもよい。これらのスコアの一例は、検出スコアすなわち人物である確からしさ、及び、追跡スコアすなわち人物特定情報の確からしさである。
【0029】
図４は、画像処理装置１０のハードウェア構成例を示す図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
【0030】
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
【0031】
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
【0032】
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
【0033】
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（例えば取得部１１０、分類部１２０、表示制御部１３０、及び修正実行部１４０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は画像記憶部１５０としても機能する。
【0034】
入出力インタフェース１０５０は、画像処理装置１０の主要部と各種入出力機器とを接続するためのインタフェースである。例えばプロセッサ１０２０は、入出力インタフェース１０５０を介してディスプレイ１６０及び入力部１７０と通信する。
【0035】
ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0036】
【0037】
まず取得部１１０は、画像記憶部１５０から、複数の人物画像及びこれらに付帯する情報（以下、付帯情報と記載）を読み出す。付帯情報は、人物識別情報及び原画像情報を含む。上記したように、原画像情報は時系列情報を含んでいる。また複数の人物画像が同一の動画から切り出されていた場合、例えば取得部１１０によって読み出された複数の人物画像が画像記憶部１５０において同一の動画識別情報に紐づけられている場合、取得部１１０は、この動画（例えば人物画像に紐づけられた動画識別情報が示す動画）も画像記憶部１５０から読み出す（ステップＳ１０）。
【0038】
次いで分類部１２０は、人物識別情報を用いて、複数の人物画像を複数のグループに分類する。具体的には、分類部１２０は、同一の人物識別情報を有する複数の人物画像を一つのグループにまとめる。ここでその人物識別情報を有する人物画像が一つしかなかった場合、そのグループに属する人物画像は一つになる（ステップＳ２０）。
【0039】
次いで表示制御部１３０は、対象グループを指定する情報、例えば対象グループとして選択されるべきグループに対応する人物識別情報を取得する。表示制御部１３０は、入力部１７０を介してユーザからこの情報を取得してもよい。また表示制御部１３０は、取得部１１０から取得した人物識別情報のすべてを認識し、これら人物識別情報から一つの人物識別情報を選択してもよい（ステップＳ３０）。
【0040】
次いで表示制御部１３０は、確認画面をディスプレイ１６０に表示させる。上記したように、確認画面は、対象グループに属する少なくとも一つの人物画像と、修正項目情報を入力するための項目入力欄とを含んでいる。確認画面の具体例については、他の図を用いて後述する（ステップＳ４０）。
【0041】
画像処理装置１０のユーザは、確認画面を用いて、対象グループに対して行うべき修正項目を認識する。そしてユーザは、確認画面の項目入力欄に修正項目情報を入力する。修正実行部１４０は、この修正項目情報を取得する（ステップＳ５０）。そして修正実行部１４０は、取得した修正項目情報が示す修正項目を認識し、この修正項目に応じた処理を実行する（ステップＳ６０）。ここで行われる処理の詳細は、他の図を用いて後述する。また、画像記憶部１５０が記憶している情報は、ステップＳ６０で行われた処理の結果に従って更新される。
【0042】
画像処理装置１０は、終了条件が満たされるまで、ステップＳ３０～ステップＳ６０に示した処理を繰り返す（ステップＳ７０）。終了条件の一例は、ユーザが入力部１７０に対して修正が終了した旨の情報を入力すること、又はすべてのグループが選択されることであるが、これらに限定されない。
【0043】
図６は、ステップＳ４０においてディスプレイ１６０に表示される確認画面の一例を示す図である。確認画面は、人物表示領域２１０、項目入力欄２２０、及び動画再生欄２３０を有する。
【0044】
人物表示領域２１０は、対象グループに属する人物画像を表示する領域である。人物表示領域２１０は、対象グループに属するすべての人物画像を表示していてもよいし、一部の人物画像のみを表示していてもよい。後者の場合、表示制御部１３０は、時系列において一定間隔（例えば１０フレームおき）にフレーム画像を選択し、選択したフレーム画像に対応する人物画像のみを人物表示領域２１０に表示させていてもよい。
【0045】
また表示制御部１３０は、注視すべき人物画像と、それ以外の人物画像とで、表示方法を変更してもよい。変更される項目としては、例えば以下がある。
・一部の人物画像のみを表示する場合における、間引きのルール（例えば間引き間隔）
・強調するための枠の有無
・マーク、文字、及び文章の少なくとも一つの有無
・一部の人物画像のみを表示する場合における、間引きのルール（例えば間引き間隔）
・強調するための枠の有無
・マーク、文字、及び文章の少なくとも一つの有無
【0046】
注視すべき人物画像は、例えば対象グループから外される可能性が高い人物画像である。注視すべき画像は、例えば以下のようにして特定される。
１）検出スコアすなわち人物である確からしさが低い人物画像。
２）追跡スコアすなわち人物特定情報の確からしさが低い人物画像。
３）その人物画像が切り出されたフレーム画像に複数の人物が写っていた場合
４）前後のフレーム画像においてその人物の姿勢が基準以上変化していた場合
５）顔の明確度が基準値以下の人物画像
６）人物画像の元になったフレーム画像において情報の欠損があった場合
なお、６）において、情報の欠損の具体例は、以下の通りである。
・顔の一部が隠れていること。例えば、マスクやサングラスなどによって顔の一部が覆われていること。
・姿勢情報の一部が欠損すること。例えば、体の一部が隠れること。隠れる原因の一例は、体の一部が所持物、その人の体の他の部分（自己隠蔽）、及び他の人の少なくとも一つと重なることである。
１）検出スコアすなわち人物である確からしさが低い人物画像。
２）追跡スコアすなわち人物特定情報の確からしさが低い人物画像。
３）その人物画像が切り出されたフレーム画像に複数の人物が写っていた場合
４）前後のフレーム画像においてその人物の姿勢が基準以上変化していた場合
５）顔の明確度が基準値以下の人物画像
６）人物画像の元になったフレーム画像において情報の欠損があった場合
なお、６）において、情報の欠損の具体例は、以下の通りである。
・顔の一部が隠れていること。例えば、マスクやサングラスなどによって顔の一部が覆われていること。
・姿勢情報の一部が欠損すること。例えば、体の一部が隠れること。隠れる原因の一例は、体の一部が所持物、その人の体の他の部分（自己隠蔽）、及び他の人の少なくとも一つと重なることである。
【0047】
また、あるフレーム画像の前後のフレーム画像から同一の人物識別情報に紐づいた人物画像が検出されているが、そのフレーム画像からはその人物識別情報に紐づいた人物画像が検出されていない場合があり得る（以下、このフレーム画像を欠損フレームと記載）。表示制御部１３０は、ユーザが欠損フレームの存在を認識できるように、人物表示領域２１０に人物画像を表示してもよい。この表示の一例は、複数の人物画像を、各人物画像の元になったフレーム画像と同じ順序で並べるとともに、欠損フレームに相当する領域にスペースを設けること（すなわち空欄にすること）である。
【0048】
また人物表示領域２１０において、表示制御部１３０は、上記した注視すべき人物画像を強調表示してもよい。強調表示の一例は、枠で囲む、色を付ける、マークを付ける、大きさを変える、注視すべき人物画像のみを表示するモードを有する、及び、注視すべき人物画像を一方（例えば右側または左側）に並べて表示する（ソート）、の少なくとも一つである。
【0049】
項目入力欄２２０は、複数の修正項目を選択可能に表示している。本図に示す例において、項目入力欄２２０は、複数の修正項目それぞれに対応する複数のボタン２１２を有している。本図に示す例において、修正項目は、「分ける」、「まとめる」、「消す」、及び「見つける」である。「分ける」は、対象グループを複数のグループに分割することである。「まとめる」は、他のグループを対象グループにまとめることである。「消す」は、対象グループから少なくとも一つの人物画像を削除することである。「見つける」は、複数の人物画像が同一の動画を構成する複数のフレーム画像から切り出されている場合において、対象グループに含めるべき新たな人物画像をいずれかのフレーム画像から切り出すことである。
【0050】
なお、項目入力欄２２０は、プルダウン形式で複数の修正項目を選択可能に表示していてもよい。
【0051】
動画再生欄２３０は、ステップＳ１０において読み出された動画が再生される欄である。人物表示領域２１０及び項目入力欄２２０と同時に動画再生欄２３０が表示されると、ユーザは、対象グループに関する誤りを発見しやすくなる。なお、図示していないが、動画再生欄２３０は、再生開始ボタン、一時停止ボタン、早送りボタン、巻き戻しボタンなど、各種の操作ボタンを有していてもよい。
【0052】
【0053】
まず修正実行部１４０は、対象グループに属する複数の人物画像を選択可能な状態でディスプレイ１６０に表示する（ステップＳ１１０）。以下、ここでディスプレイ１６０に表示される画像を選択画面と記載する。画像処理装置１０のユーザは、選択画面に表示された複数の人物画像を確認しながら、他のグループとして分けるべき人物画像を選択する。ここでユーザは、複数の人物画像を選択してもよいし、一つの人物画像を選択してもよい。また、ユーザは、対象グループに残すべき人物画像と他のグループとして分けるべき人物画像の境界を指定してもよい。また、他のグループとして分けるべき人物画像が複数存在している場合、これら複数の人物画像は連続している場合が多い。そこで、ユーザは、他のグループとして分けるべき人物画像の区間（たとえば最初の人物画像と最後の人物画像）を指定してもよい。（ステップＳ１２０）。次いで修正実行部１４０は、選択された人物画像に同一の新たな人物識別情報を付与する。これにより、選択された人物画像は新たなグループに分類される（ステップＳ１３０）。
【0054】
なおユーザは、ステップＳ１２０において、対象グループとして残すべき人物画像を選択してもよい。この場合、修正実行部１４０は、ステップＳ１３０において、選択されなかった人物画像に同一の新たな人物識別情報を付与する。
【0055】
図８は、図７のステップＳ１１０でディスプレイ１６０に表示される選択画面の一例を示す図である。本図に示す例において、複数の人物画像は同一の動画を構成する複数のフレーム画像から切り出されている。そしてこれら複数の人物画像は、時系列順に並べられている。ユーザは、この画面を見ることにより、他のグループとして分けるべき人物画像を特定し、特定した人物画像を選択する。
【0056】
【0057】
まず修正実行部１４０は、候補となるグループ（以下、候補グループと記載）を少なくとも一つ選択する。一例として、修正実行部１４０は、対象グループに属している人物と、それ以外のグループに属している人物との類似度を算出し、この類似度が基準範囲となる（例えば基準値以上となる）グループを候補グループとして選択する（ステップＳ２１０）。
【0058】
ここで用いられる基準範囲は、外部から取得した情報に基づいて設定されている。一例として、画像処理装置１０のユーザは、入力部１７０を介してこの基準範囲の設定情報を修正実行部１４０に入力する。このようにすると、ユーザは、類似度の基準範囲を、人物画像の状態（例えば鮮明度や解像度）に応じて適切に設定することができる。
【0059】
次いで修正実行部１４０は、対象グループに属する人物画像の少なくとも一部と、候補グループに属する人物画像の少なくとも一部とを、同時にディスプレイ１６０に表示させる（ステップＳ２２０）。画像処理装置１０のユーザは、この画面を見ることにより、対象グループにまとめるべきグループを認識できる。そしてユーザは、対象グループにまとめるべきグループを指定する情報（以下、グループ指定情報と記載）を、画像処理装置１０に入力する。一例としてユーザは、指定すべきグループに属する人物画像の上にカーソルを配置し、マウス等の入力デバイスに所定の入力を行う。これにより、修正実行部１４０は、グループ指定情報を取得できる（ステップＳ２３０）。
【0060】
そして修正実行部１４０は、グループ指定情報が示すグループを選択し、選択したグループを対象グループにまとめる。一例として、修正実行部１４０は、選択したグループに紐づいた人物識別情報を、対象画像に紐づいた人物識別情報に変更する（ステップＳ２４０）。
【0061】
図１０は、ステップＳ２２０でディスプレイ１６０に表示される画面の一例を示す図である。上記したように、ステップＳ２２０において、修正実行部１４０は、ディスプレイ１６０に、対象グループに属する人物画像の少なくとも一部と、候補グループに属する人物画像の少なくとも一部とを同時に表示させる。
【0062】
この際、修正実行部１４０は、対象グループに属する人物画像の表示位置と、他のグループに属する人物画像の表示位置を、時系列情報を用いて決定する。例えば、対象グループに属する人物画像及び各候補グループに属する人物画像が同一の動画から切り出されている場合、修正実行部１４０は、複数の人物画像のうち同一のフレーム画像から切り出されている人物画像を、第１の方向（例えば横方向又は縦方向）において同じ位置に配置する。
【0063】
また本図に示す例において、修正実行部１４０は複数の候補グループ（グループ１～３）を選択している。修正実行部１４０は、各候補グループに属する人物画像の配置位置を、その候補グループに属する人物画像のフレーム画像内における位置と、対象グループに属する人物画像のフレーム画像内における位置と、の差を用いて決定する。対象グループに属している人物と、ある候補グループに属している人物が同一である場合、これらの人物のフレーム画像内における位置はほぼ同じか、その差は小さくなる。そこで、修正実行部１４０は、上記した差が小さくなるにつれて、その候補グループに属する人物画像を、対象グループに属する人物画像の近くに配置する。このようにすると、画像処理装置１０のユーザは、選択すべきグループを容易に認識できる。なお、本図に示す例において、修正実行部１４０は、上記した第１の方向と交わる（例えば直交する）方向における位置を、上記した差を用いて決定する。
【0064】
また、修正実行部１４０は、複数の候補グループの表示位置を、ステップＳ２１０で用いられた類似度を用いて設定してもよい。例えば修正実行部１４０は、類似度が高くなるにつれて、その候補グループは対象グループの近くに表示してもよい。
【0065】
【0066】
修正実行部１４０は、対象グループに属する複数の人物画像を選択可能な状態でディスプレイ１６０に表示する（ステップＳ３１０）。ここで表示される画面は、図８に示した選択画面と同様である。次いで画像処理装置１０のユーザは、選択画面に表示された複数の人物画像を確認しながら、対象グループから削除すべき人物画像を選択する。ここでユーザは、複数の人物画像を選択してもよいし、一つの人物画像を選択してもよい（ステップＳ３２０）。次いで修正実行部１４０は、選択された人物画像から人物識別情報を削除する。これにより、選択された人物画像は対象グループから削除される（ステップＳ３３０）。
【0067】
なお、ステップＳ３３０において、修正実行部１４０は、選択された人物画像そのものを削除してもよい。ここで削除される人物画像の一例は、人物以外の画像である。
【0068】
またユーザは、ステップＳ３２０において、対象グループとして残すべき人物画像を選択してもよい。この場合、修正実行部１４０は、ステップＳ３３０において、選択されなかった人物画像から人物識別情報を削除する。
【0069】
図１２は、図７のステップＳ１１０及び／又は図１１のステップＳ３１０において、ディスプレイ１６０に表示される選択画面の変形例を示す図である。本図に示す例において、修正実行部１４０は、ディスプレイ１６０に、人物画像の元になった動画を表示する。ここで修正実行部１４０は、動画内に、人物画像の位置を示すマーク及びその人物画像に対応する人物識別情報を重ねて表示する。ユーザは、マーク及び人物識別情報の少なくとも一方を選択することにより、人物画像を選択する。修正実行部１４０は、この選択結果を示す情報を、人物画像の選択結果として受け付ける。
【0070】
【0071】
【0072】
まず修正実行部１４０は、未検出フレーム画像を特定する。未検出フレーム画像は、動画を構成する複数のフレーム画像のうち、対象グループに属している人物画像が切り出されていないフレーム画像である。そして修正実行部１４０は、対象グループに属している人物画像の少なくとも一部と、未検出フレーム画像とをディスプレイ１６０に表示させる（ステップＳ４１０）。
【0073】
次いで修正実行部１４０は、未検出フレーム画像から、対象グループに新たに加えるべき人物画像を切り出す（ステップＳ４２０）。
【0074】
ここで修正実行部１４０は、対象グループに属している人物画像（以下、基準人物画像と記載）に関する情報を用いて、未検出フレーム画像から人物候補領域を切り出してもよい。一例として、修正実行部１４０は、基準人物画像のフレーム画像内における位置（以下、特定位置と記載）を用いて、未検出フレーム画像から人物候補領域を切り出す。その後修正実行部１４０は、未検出フレーム画像に含まれる人物候補領域を特定し、この人物候補領域に対して画像解析を実施し、人物スコア、及び対象グループとの類似度スコアを推定する。そして修正実行部１４０は、両スコアが基準を満たしたとき（例えば基準値以上であれば）、人物候補領域から人物画像を切り出す。
【0075】
またユーザが、未検出フレーム画像のうち新たな人物画像とすべき領域を指定してもよい。この場合、修正実行部１４０は、この領域を上記した人物候補領域として、同様の処理を行う。
【0076】
そして修正実行部１４０は、切り出した人物画像を対象グループに追加する。例えば修正実行部１４０は、切り出した人物画像に、対象グループと同じ人物識別情報を紐づける（ステップＳ４３０）。
【0077】
図１４は、図１３のステップＳ４１０においてディスプレイ１６０に表示される画面の第１例を示す図である。本図に示す例において、対象グループに属する複数の人物画像は、同一の動画から切り出されている。そして修正実行部１４０は、対象グループに属する複数の人物画像を、その人物画像の元になったフレーム画像の順序に従って並べる。ここで修正実行部１４０は、未検出フレーム画像に相当する領域のスペースを設ける。そしてそのスペースに紐づけるように、未検出フレーム画像を表示する。
【0078】
図１５は、図１３のステップＳ４１０においてディスプレイ１６０に表示される画面の第２例を示す図である。本図に示す例は、未検出フレーム画像のかわりに動画が表示されている点を除いて、図１４に示した例と同様である。ここで修正実行部１４０は、動画内に、人物画像の位置を示すマーク及びその人物画像に対応する人物識別情報を重ねて表示する。これにより、ユーザは、新たに切り出されるべき人物画像、すなわち未検出の人物画像を容易に認識できる。
【0079】
以上、本実施形態によれば、画像処理装置１０のユーザは、人物画像を人毎に分類する場合に生じうる複数の誤りを容易に修正できる。
【0080】
（第２実施形態）
図１６は、本実施形態に係る画像処理装置１０の機能構成の一例を示す図である。本図に示す画像処理装置１０は、さらに画像切出部１８０を有している点を除いて、第１実施形態に係る画像処理装置１０と同様である。
図１６は、本実施形態に係る画像処理装置１０の機能構成の一例を示す図である。本図に示す画像処理装置１０は、さらに画像切出部１８０を有している点を除いて、第１実施形態に係る画像処理装置１０と同様である。
【0081】
画像切出部１８０は、画像記憶部１５０が記憶している動画を処理することにより、人物画像を生成する。そして画像切出部１８０は、画像記憶部１５０に、図３に示した情報を記憶させる。
【0082】
本実施形態によれば、画像処理装置１０のユーザは、画像切出部１８０の処理結果に生じうる複数の誤りを容易に修正できる。
【0083】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0084】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0085】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得手段と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類手段と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御手段と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行手段と、
を備える画像処理装置。
２．上記１に記載の画像処理装置において、
前記表示制御手段は、前記複数の人物画像のうち予め定められた条件を満たす前記人物画像と、他の前記人物画像とで、表示方法を異ならせる画像処理装置。
３．上記１又は２に記載の画像処理装置において、
前記表示制御手段は、前記項目入力欄において、複数の修正項目を選択可能に表示する画像処理装置。
４．上記１～３のいずれか一項に記載の画像処理装置において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記表示制御手段は、さらに、前記動画を再生するための動画再生欄を、前記人物画像及び前記項目入力欄と同時に前記ディスプレイに表示させる、画像処理装置。
５．上記１～４のいずれか一項に記載の画像処理装置において、
前記項目入力欄に入力された情報は、前記対象グループを複数のグループに分割することを示しており、
前記修正実行手段は、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、新たな前記グループに属させる、画像処理装置。
６．上記１～４のいずれか一項に記載の画像処理装置において、
前記項目入力欄に入力された情報は、他の前記グループを前記対象グループにまとめることを示しており、
前記修正実行手段は、前記修正処理として、
前記対象グループに属する前記人物画像を用いて、少なくとも一つの候補グループを選択し、当該候補グループに属している前記人物画像の少なくとも一部を表示し、
外部から入力された情報に従って、前記対象グループにまとめるべきグループを前記候補グループから選択し、当該選択されたグループを前記対象グループに加える、画像処理装置。
７．上記６に記載の画像処理装置において、
前記修正実行手段は、
前記候補グループとして、前記対象グループに属する前記人物画像に類似する前記人物画像を含む前記グループを選択し、
前記候補グループを選択する際の類似度の基準範囲を、外部から取得した情報に基づいて設定する、画像処理装置。
８．上記６又は７に記載の画像処理装置において、
前記修正実行手段は、前記対象グループに属する前記人物画像の表示位置と、前記候補グループに属する前記人物画像の表示位置を、前記時系列情報を用いて決定する、画像処理装置。
９．上記６～８のいずれか一項に記載の画像処理装置において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行手段は、複数の前記候補グループを選択した場合、前記複数の候補グループそれぞれに属する前記人物画像の表示位置を、当該候補グループに属する前記人物画像の前記フレーム画像内における位置と、前記対象グループに属する前記人物画像の前記フレーム画像内における位置と、の差を用いて決定する、画像処理装置。
１０．上記１～３のいずれか一項に記載の画像処理装置において、
前記項目入力欄に入力された情報は、前記対象グループから少なくとも一つの前記人物画像を削除することを示しており、
前記修正実行手段は、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、当該対象グループから削除する、画像処理装置。
１１．上記４又は１０に記載の画像処理装置において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行手段は、
前記動画を表示するとともに、当該動画内に、前記人物画像の位置を示すマーク及び当該人物画像に対応する前記人物識別情報を重ねて表示し、
前記マーク及び前記人物識別情報の少なくとも一方の選択を、前記人物画像の選択として受け付ける、画像処理装置。
１２．上記１～３のいずれか一項に記載の画像処理装置において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記項目入力欄に入力された情報は、前記対象グループに含めるべき新たな前記人物画像を、いずれかの前記フレーム画像から切り出すことを示しており、
前記修正実行手段は、
前記対象グループに属する前記人物画像が切り出されていない前記フレーム画像を表示し、
当該フレーム画像から前記新たな人物画像を切り出す、画像処理装置。
１３．上記１２に記載の画像処理装置において、
前記修正実行手段は、前記対象グループに含まれている前記人物画像に関する情報を用いて、前記新たな人物画像を切り出す、画像処理装置。
１４．上記１２に記載の画像処理装置において、
前記修正実行手段は、ユーザからの入力を用いて前記新たな人物画像を切り出す、画像処理装置。
１５．上記１２～１４のいずれか一項に記載の画像処理装置において、
前記表示制御手段は、
前記対象グループに属する複数の前記人物画像を時系列順に表示し
前記対象グループに属している前記人物画像が切り出されていない前記フレーム画像に相当する位置を空ける、画像処理装置。
１６．コンピュータが、
それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得処理と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類処理と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御処理と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行処理と、
を備える画像処理方法。
１７．上記１６に記載の画像処理方法において、
前記コンピュータは、前記表示制御処理において、前記複数の人物画像のうち予め定められた条件を満たす前記人物画像と、他の前記人物画像とで、表示方法を異ならせる画像処理方法。
１８．上記１６又は１７に記載の画像処理方法において、
前記コンピュータは、前記表示制御処理において、前記項目入力欄において、複数の修正項目を選択可能に表示する画像処理方法。
１９．上記１６～１８のいずれか一項に記載の画像処理方法において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記コンピュータは、前記表示制御処理において、さらに、前記動画を再生するための動画再生欄を、前記人物画像及び前記項目入力欄と同時に前記ディスプレイに表示させる、画像処理方法。
２０．上記１６～１９のいずれか一項に記載の画像処理方法において、
前記項目入力欄に入力された情報は、前記対象グループを複数のグループに分割することを示しており、
前記コンピュータは、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、新たな前記グループに属させる、画像処理方法。
２１．上記１６～１９のいずれか一項に記載の画像処理方法において、
前記項目入力欄に入力された情報は、他の前記グループを前記対象グループにまとめることを示しており、
前記コンピュータは、前記修正処理として、
前記対象グループに属する前記人物画像を用いて、少なくとも一つの候補グループを選択し、当該候補グループに属している前記人物画像の少なくとも一部を表示し、
外部から入力された情報に従って、前記対象グループにまとめるべきグループを前記候補グループから選択し、当該選択されたグループを前記対象グループに加える、画像処理方法。
２２．上記２１に記載の画像処理方法において、
前記コンピュータは、前記修正実行処理において、
前記候補グループとして、前記対象グループに属する前記人物画像に類似する前記人物画像を含む前記グループを選択し、
前記候補グループを選択する際の類似度の基準範囲を、外部から取得した情報に基づいて設定する、画像処理方法。
２３．上記２１又は２２に記載の画像処理方法において、
前記コンピュータは、前記修正実行処理において、前記対象グループに属する前記人物画像の表示位置と、前記候補グループに属する前記人物画像の表示位置を、前記時系列情報を用いて決定する、画像処理方法。
２４．上記２１～２３のいずれか一項に記載の画像処理方法において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記コンピュータは、前記修正実行処理において、複数の前記候補グループを選択した場合、前記複数の候補グループそれぞれに属する前記人物画像の表示位置を、当該候補グループに属する前記人物画像の前記フレーム画像内における位置と、前記対象グループに属する前記人物画像の前記フレーム画像内における位置と、の差を用いて決定する、画像処理方法。
２５．上記１６～１８のいずれか一項に記載の画像処理方法において、
前記項目入力欄に入力された情報は、前記対象グループから少なくとも一つの前記人物画像を削除することを示しており、
前記コンピュータは、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、当該対象グループから削除する、画像処理方法。
２６．上記１９又は２５に記載の画像処理方法において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記コンピュータは、前記修正実行処理において、
前記動画を表示するとともに、当該動画内に、前記人物画像の位置を示すマーク及び当該人物画像に対応する前記人物識別情報を重ねて表示し、
前記マーク及び前記人物識別情報の少なくとも一方の選択を、前記人物画像の選択として受け付ける、画像処理方法。
２７．上記１６～１８のいずれか一項に記載の画像処理方法において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記項目入力欄に入力された情報は、前記対象グループに含めるべき新たな前記人物画像を、いずれかの前記フレーム画像から切り出すことを示しており、
前記コンピュータは、前記修正実行処理において、
前記対象グループに属する前記人物画像が切り出されていない前記フレーム画像を表示し、
当該フレーム画像から前記新たな人物画像を切り出す、画像処理方法。
２８．上記２７に記載の画像処理方法において、
前記コンピュータは、前記修正実行処理において、前記対象グループに含まれている前記人物画像に関する情報を用いて、前記新たな人物画像を切り出す、画像処理方法。
２９．上記２７に記載の画像処理方法において、
前記コンピュータは、前記修正実行処理において、ユーザからの入力を用いて前記新たな人物画像を切り出す、画像処理方法。
３０．上記２７～２９のいずれか一項に記載の画像処理方法において、
前記コンピュータは、前記表示制御処理において、
前記対象グループに属する複数の前記人物画像を時系列順に表示し
前記対象グループに属している前記人物画像が切り出されていない前記フレーム画像に相当する位置を空ける、画像処理方法。
３１．コンピュータに、
それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得機能と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類機能と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御機能と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行機能と、
を持たせるプログラム。
３２．上記３１に記載のプログラムにおいて、
前記表示制御機能は、前記複数の人物画像のうち予め定められた条件を満たす前記人物画像と、他の前記人物画像とで、表示方法を異ならせるプログラム。
３３．上記３１又は３２に記載のプログラムにおいて、
前記表示制御機能は、前記項目入力欄において、複数の修正項目を選択可能に表示するプログラム。
３４．上記３１～３３のいずれか一項に記載のプログラムにおいて、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記表示制御機能は、さらに、前記動画を再生するための動画再生欄を、前記人物画像及び前記項目入力欄と同時に前記ディスプレイに表示させる、プログラム。
３５．上記３１～３４のいずれか一項に記載のプログラムにおいて、
前記項目入力欄に入力された情報は、前記対象グループを複数のグループに分割することを示しており、
前記修正実行機能は、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、新たな前記グループに属させる、プログラム。
３６．上記３１～３４のいずれか一項に記載のプログラムにおいて、
前記項目入力欄に入力された情報は、他の前記グループを前記対象グループにまとめることを示しており、
前記修正実行機能は、前記修正処理として、
前記対象グループに属する前記人物画像を用いて、少なくとも一つの候補グループを選択し、当該候補グループに属している前記人物画像の少なくとも一部を表示し、
外部から入力された情報に従って、前記対象グループにまとめるべきグループを前記候補グループから選択し、当該選択されたグループを前記対象グループに加える、プログラム。
３７．上記３６に記載のプログラムにおいて、
前記修正実行機能は、
前記候補グループとして、前記対象グループに属する前記人物画像に類似する前記人物画像を含む前記グループを選択し、
前記候補グループを選択する際の類似度の基準範囲を、外部から取得した情報に基づいて設定する、プログラム。
３８．上記３６又は３７に記載のプログラムにおいて、
前記修正実行機能は、前記対象グループに属する前記人物画像の表示位置と、前記候補グループに属する前記人物画像の表示位置を、前記時系列情報を用いて決定する、プログラム。
３９．上記３６～３８のいずれか一項に記載のプログラムにおいて、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行機能は、複数の前記候補グループを選択した場合、前記複数の候補グループそれぞれに属する前記人物画像の表示位置を、当該候補グループに属する前記人物画像の前記フレーム画像内における位置と、前記対象グループに属する前記人物画像の前記フレーム画像内における位置と、の差を用いて決定する、プログラム。
４０．上記３１～３３のいずれか一項に記載のプログラムにおいて、
前記項目入力欄に入力された情報は、前記対象グループから少なくとも一つの前記人物画像を削除することを示しており、
前記修正実行機能は、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、当該対象グループから削除する、プログラム。
４１．上記３４又は４０に記載のプログラムにおいて、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行機能は、
前記動画を表示するとともに、当該動画内に、前記人物画像の位置を示すマーク及び当該人物画像に対応する前記人物識別情報を重ねて表示し、
前記マーク及び前記人物識別情報の少なくとも一方の選択を、前記人物画像の選択として受け付ける、プログラム。
４２．上記３１～３３のいずれか一項に記載のプログラムにおいて、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記項目入力欄に入力された情報は、前記対象グループに含めるべき新たな前記人物画像を、いずれかの前記フレーム画像から切り出すことを示しており、
前記修正実行機能は、
前記対象グループに属する前記人物画像が切り出されていない前記フレーム画像を表示し、
当該フレーム画像から前記新たな人物画像を切り出す、プログラム。
４３．上記４２に記載のプログラムにおいて、
前記修正実行機能は、前記対象グループに含まれている前記人物画像に関する情報を用いて、前記新たな人物画像を切り出す、プログラム。
４４．上記４２に記載のプログラムにおいて、
前記修正実行機能は、ユーザからの入力を用いて前記新たな人物画像を切り出す、プログラム。
４５．上記４２～４４のいずれか一項に記載のプログラムにおいて、
前記表示制御機能は、
前記対象グループに属する複数の前記人物画像を時系列順に表示し
前記対象グループに属している前記人物画像が切り出されていない前記フレーム画像に相当する位置を空ける、プログラム。
１．それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得手段と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類手段と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御手段と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行手段と、
を備える画像処理装置。
２．上記１に記載の画像処理装置において、
前記表示制御手段は、前記複数の人物画像のうち予め定められた条件を満たす前記人物画像と、他の前記人物画像とで、表示方法を異ならせる画像処理装置。
３．上記１又は２に記載の画像処理装置において、
前記表示制御手段は、前記項目入力欄において、複数の修正項目を選択可能に表示する画像処理装置。
４．上記１～３のいずれか一項に記載の画像処理装置において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記表示制御手段は、さらに、前記動画を再生するための動画再生欄を、前記人物画像及び前記項目入力欄と同時に前記ディスプレイに表示させる、画像処理装置。
５．上記１～４のいずれか一項に記載の画像処理装置において、
前記項目入力欄に入力された情報は、前記対象グループを複数のグループに分割することを示しており、
前記修正実行手段は、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、新たな前記グループに属させる、画像処理装置。
６．上記１～４のいずれか一項に記載の画像処理装置において、
前記項目入力欄に入力された情報は、他の前記グループを前記対象グループにまとめることを示しており、
前記修正実行手段は、前記修正処理として、
前記対象グループに属する前記人物画像を用いて、少なくとも一つの候補グループを選択し、当該候補グループに属している前記人物画像の少なくとも一部を表示し、
外部から入力された情報に従って、前記対象グループにまとめるべきグループを前記候補グループから選択し、当該選択されたグループを前記対象グループに加える、画像処理装置。
７．上記６に記載の画像処理装置において、
前記修正実行手段は、
前記候補グループとして、前記対象グループに属する前記人物画像に類似する前記人物画像を含む前記グループを選択し、
前記候補グループを選択する際の類似度の基準範囲を、外部から取得した情報に基づいて設定する、画像処理装置。
８．上記６又は７に記載の画像処理装置において、
前記修正実行手段は、前記対象グループに属する前記人物画像の表示位置と、前記候補グループに属する前記人物画像の表示位置を、前記時系列情報を用いて決定する、画像処理装置。
９．上記６～８のいずれか一項に記載の画像処理装置において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行手段は、複数の前記候補グループを選択した場合、前記複数の候補グループそれぞれに属する前記人物画像の表示位置を、当該候補グループに属する前記人物画像の前記フレーム画像内における位置と、前記対象グループに属する前記人物画像の前記フレーム画像内における位置と、の差を用いて決定する、画像処理装置。
１０．上記１～３のいずれか一項に記載の画像処理装置において、
前記項目入力欄に入力された情報は、前記対象グループから少なくとも一つの前記人物画像を削除することを示しており、
前記修正実行手段は、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、当該対象グループから削除する、画像処理装置。
１１．上記４又は１０に記載の画像処理装置において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行手段は、
前記動画を表示するとともに、当該動画内に、前記人物画像の位置を示すマーク及び当該人物画像に対応する前記人物識別情報を重ねて表示し、
前記マーク及び前記人物識別情報の少なくとも一方の選択を、前記人物画像の選択として受け付ける、画像処理装置。
１２．上記１～３のいずれか一項に記載の画像処理装置において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記項目入力欄に入力された情報は、前記対象グループに含めるべき新たな前記人物画像を、いずれかの前記フレーム画像から切り出すことを示しており、
前記修正実行手段は、
前記対象グループに属する前記人物画像が切り出されていない前記フレーム画像を表示し、
当該フレーム画像から前記新たな人物画像を切り出す、画像処理装置。
１３．上記１２に記載の画像処理装置において、
前記修正実行手段は、前記対象グループに含まれている前記人物画像に関する情報を用いて、前記新たな人物画像を切り出す、画像処理装置。
１４．上記１２に記載の画像処理装置において、
前記修正実行手段は、ユーザからの入力を用いて前記新たな人物画像を切り出す、画像処理装置。
１５．上記１２～１４のいずれか一項に記載の画像処理装置において、
前記表示制御手段は、
前記対象グループに属する複数の前記人物画像を時系列順に表示し
前記対象グループに属している前記人物画像が切り出されていない前記フレーム画像に相当する位置を空ける、画像処理装置。
１６．コンピュータが、
それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得処理と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類処理と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御処理と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行処理と、
を備える画像処理方法。
１７．上記１６に記載の画像処理方法において、
前記コンピュータは、前記表示制御処理において、前記複数の人物画像のうち予め定められた条件を満たす前記人物画像と、他の前記人物画像とで、表示方法を異ならせる画像処理方法。
１８．上記１６又は１７に記載の画像処理方法において、
前記コンピュータは、前記表示制御処理において、前記項目入力欄において、複数の修正項目を選択可能に表示する画像処理方法。
１９．上記１６～１８のいずれか一項に記載の画像処理方法において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記コンピュータは、前記表示制御処理において、さらに、前記動画を再生するための動画再生欄を、前記人物画像及び前記項目入力欄と同時に前記ディスプレイに表示させる、画像処理方法。
２０．上記１６～１９のいずれか一項に記載の画像処理方法において、
前記項目入力欄に入力された情報は、前記対象グループを複数のグループに分割することを示しており、
前記コンピュータは、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、新たな前記グループに属させる、画像処理方法。
２１．上記１６～１９のいずれか一項に記載の画像処理方法において、
前記項目入力欄に入力された情報は、他の前記グループを前記対象グループにまとめることを示しており、
前記コンピュータは、前記修正処理として、
前記対象グループに属する前記人物画像を用いて、少なくとも一つの候補グループを選択し、当該候補グループに属している前記人物画像の少なくとも一部を表示し、
外部から入力された情報に従って、前記対象グループにまとめるべきグループを前記候補グループから選択し、当該選択されたグループを前記対象グループに加える、画像処理方法。
２２．上記２１に記載の画像処理方法において、
前記コンピュータは、前記修正実行処理において、
前記候補グループとして、前記対象グループに属する前記人物画像に類似する前記人物画像を含む前記グループを選択し、
前記候補グループを選択する際の類似度の基準範囲を、外部から取得した情報に基づいて設定する、画像処理方法。
２３．上記２１又は２２に記載の画像処理方法において、
前記コンピュータは、前記修正実行処理において、前記対象グループに属する前記人物画像の表示位置と、前記候補グループに属する前記人物画像の表示位置を、前記時系列情報を用いて決定する、画像処理方法。
２４．上記２１～２３のいずれか一項に記載の画像処理方法において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記コンピュータは、前記修正実行処理において、複数の前記候補グループを選択した場合、前記複数の候補グループそれぞれに属する前記人物画像の表示位置を、当該候補グループに属する前記人物画像の前記フレーム画像内における位置と、前記対象グループに属する前記人物画像の前記フレーム画像内における位置と、の差を用いて決定する、画像処理方法。
２５．上記１６～１８のいずれか一項に記載の画像処理方法において、
前記項目入力欄に入力された情報は、前記対象グループから少なくとも一つの前記人物画像を削除することを示しており、
前記コンピュータは、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、当該対象グループから削除する、画像処理方法。
２６．上記１９又は２５に記載の画像処理方法において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記コンピュータは、前記修正実行処理において、
前記動画を表示するとともに、当該動画内に、前記人物画像の位置を示すマーク及び当該人物画像に対応する前記人物識別情報を重ねて表示し、
前記マーク及び前記人物識別情報の少なくとも一方の選択を、前記人物画像の選択として受け付ける、画像処理方法。
２７．上記１６～１８のいずれか一項に記載の画像処理方法において、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記項目入力欄に入力された情報は、前記対象グループに含めるべき新たな前記人物画像を、いずれかの前記フレーム画像から切り出すことを示しており、
前記コンピュータは、前記修正実行処理において、
前記対象グループに属する前記人物画像が切り出されていない前記フレーム画像を表示し、
当該フレーム画像から前記新たな人物画像を切り出す、画像処理方法。
２８．上記２７に記載の画像処理方法において、
前記コンピュータは、前記修正実行処理において、前記対象グループに含まれている前記人物画像に関する情報を用いて、前記新たな人物画像を切り出す、画像処理方法。
２９．上記２７に記載の画像処理方法において、
前記コンピュータは、前記修正実行処理において、ユーザからの入力を用いて前記新たな人物画像を切り出す、画像処理方法。
３０．上記２７～２９のいずれか一項に記載の画像処理方法において、
前記コンピュータは、前記表示制御処理において、
前記対象グループに属する複数の前記人物画像を時系列順に表示し
前記対象グループに属している前記人物画像が切り出されていない前記フレーム画像に相当する位置を空ける、画像処理方法。
３１．コンピュータに、
それぞれが人を含む複数の人物画像と、前記複数の人物画像毎に生成されていて当該人物画像に含まれる人に付与された人物識別情報と、前記複数の人物画像の時系列を示す時系列情報と、を取得する取得機能と、
同一の前記人物識別情報を有する前記人物画像を同一のグループに分類する分類機能と、
処理対象となる前記グループである対象グループに属する少なくとも一つの前記人物画像と、前記対象グループに対して行うべき修正項目を示す修正項目情報を入力するための項目入力欄と、を同時にディスプレイに表示させるとともに、前記対象グループに属する前記人物画像の表示位置を前記時系列情報を用いて決定する表示制御機能と、
前記項目入力欄に入力された情報に応じた修正処理を実行する修正実行機能と、
を持たせるプログラム。
３２．上記３１に記載のプログラムにおいて、
前記表示制御機能は、前記複数の人物画像のうち予め定められた条件を満たす前記人物画像と、他の前記人物画像とで、表示方法を異ならせるプログラム。
３３．上記３１又は３２に記載のプログラムにおいて、
前記表示制御機能は、前記項目入力欄において、複数の修正項目を選択可能に表示するプログラム。
３４．上記３１～３３のいずれか一項に記載のプログラムにおいて、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記表示制御機能は、さらに、前記動画を再生するための動画再生欄を、前記人物画像及び前記項目入力欄と同時に前記ディスプレイに表示させる、プログラム。
３５．上記３１～３４のいずれか一項に記載のプログラムにおいて、
前記項目入力欄に入力された情報は、前記対象グループを複数のグループに分割することを示しており、
前記修正実行機能は、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、新たな前記グループに属させる、プログラム。
３６．上記３１～３４のいずれか一項に記載のプログラムにおいて、
前記項目入力欄に入力された情報は、他の前記グループを前記対象グループにまとめることを示しており、
前記修正実行機能は、前記修正処理として、
前記対象グループに属する前記人物画像を用いて、少なくとも一つの候補グループを選択し、当該候補グループに属している前記人物画像の少なくとも一部を表示し、
外部から入力された情報に従って、前記対象グループにまとめるべきグループを前記候補グループから選択し、当該選択されたグループを前記対象グループに加える、プログラム。
３７．上記３６に記載のプログラムにおいて、
前記修正実行機能は、
前記候補グループとして、前記対象グループに属する前記人物画像に類似する前記人物画像を含む前記グループを選択し、
前記候補グループを選択する際の類似度の基準範囲を、外部から取得した情報に基づいて設定する、プログラム。
３８．上記３６又は３７に記載のプログラムにおいて、
前記修正実行機能は、前記対象グループに属する前記人物画像の表示位置と、前記候補グループに属する前記人物画像の表示位置を、前記時系列情報を用いて決定する、プログラム。
３９．上記３６～３８のいずれか一項に記載のプログラムにおいて、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行機能は、複数の前記候補グループを選択した場合、前記複数の候補グループそれぞれに属する前記人物画像の表示位置を、当該候補グループに属する前記人物画像の前記フレーム画像内における位置と、前記対象グループに属する前記人物画像の前記フレーム画像内における位置と、の差を用いて決定する、プログラム。
４０．上記３１～３３のいずれか一項に記載のプログラムにおいて、
前記項目入力欄に入力された情報は、前記対象グループから少なくとも一つの前記人物画像を削除することを示しており、
前記修正実行機能は、前記修正処理として、前記対象グループに属している前記人物画像のうち選択された前記人物画像又は選択されなかった前記人物画像を、当該対象グループから削除する、プログラム。
４１．上記３４又は４０に記載のプログラムにおいて、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記修正実行機能は、
前記動画を表示するとともに、当該動画内に、前記人物画像の位置を示すマーク及び当該人物画像に対応する前記人物識別情報を重ねて表示し、
前記マーク及び前記人物識別情報の少なくとも一方の選択を、前記人物画像の選択として受け付ける、プログラム。
４２．上記３１～３３のいずれか一項に記載のプログラムにおいて、
前記複数の人物画像は、動画を構成する複数のフレーム画像から切り出されており、
前記項目入力欄に入力された情報は、前記対象グループに含めるべき新たな前記人物画像を、いずれかの前記フレーム画像から切り出すことを示しており、
前記修正実行機能は、
前記対象グループに属する前記人物画像が切り出されていない前記フレーム画像を表示し、
当該フレーム画像から前記新たな人物画像を切り出す、プログラム。
４３．上記４２に記載のプログラムにおいて、
前記修正実行機能は、前記対象グループに含まれている前記人物画像に関する情報を用いて、前記新たな人物画像を切り出す、プログラム。
４４．上記４２に記載のプログラムにおいて、
前記修正実行機能は、ユーザからの入力を用いて前記新たな人物画像を切り出す、プログラム。
４５．上記４２～４４のいずれか一項に記載のプログラムにおいて、
前記表示制御機能は、
前記対象グループに属する複数の前記人物画像を時系列順に表示し
前記対象グループに属している前記人物画像が切り出されていない前記フレーム画像に相当する位置を空ける、プログラム。
【符号の説明】
【0086】
１０ 画像処理装置
１１０ 取得部
１２０ 分類部
１３０ 表示制御部
１４０ 修正実行部
１５０ 画像記憶部
１６０ ディスプレイ
１７０ 入力部
１８０ 画像切出部
２１０ 人物表示領域
２１２ ボタン
２２０ 項目入力欄
２３０ 動画再生欄
１１０ 取得部
１２０ 分類部
１３０ 表示制御部
１４０ 修正実行部
１５０ 画像記憶部
１６０ ディスプレイ
１７０ 入力部
１８０ 画像切出部
２１０ 人物表示領域
２１２ ボタン
２２０ 項目入力欄
２３０ 動画再生欄
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】