特許 6607243 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6607243

(24)【登録日】2019年11月1日

(45)【発行日】2019年11月20日

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20191111BHJP

   G06F 3/0484 20130101ALI20191111BHJP

   G09G 5/00 20060101ALI20191111BHJP

   G09G 5/36 20060101ALI20191111BHJP

   G06N 20/00 20190101ALI20191111BHJP

【ＦＩ】

   G06T7/00 350B

   G06F3/0484 150

   G09G5/00 510H

   G09G5/00 530T

   G09G5/36 520F

   G09G5/36 520P

   G06N20/00 130

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2017-210783(P2017-210783)

(22)【出願日】2017年10月31日

(65)【公開番号】特開2019-82927(P2019-82927A)

(43)【公開日】2019年5月30日

【審査請求日】2018年3月27日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】入江 建志

【審査官】 笠田 和宏

(56)【参考文献】

【文献】 特開２０１５−００５１７２（ＪＰ，Ａ）

【文献】 特開２００６−１９１４０８（ＪＰ，Ａ）

【文献】 特開２００６−３５０９６３（ＪＰ，Ａ）

【文献】 特開２０１６−１５７４３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ｇ０６Ｆ ３／０１

３／０４８ − ３／０４８９

１５／１８

Ｇ０６Ｎ ３／００ − ３／１２

７／０８ − ９９／００

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０９Ｇ ５／００ − ５／３６

５／３７７ − ５／４２

(57)【特許請求の範囲】

【請求項1】

ユーザから、画像における属性情報を付与する領域として、複数の領域の指定を受け付ける領域指定受付手段と、
前記画像の表示倍率の設定を受け付ける表示倍率設定受付手段と、
前記表示倍率設定受付手段により設定された表示倍率により前記画像を表示する表示制御手段と、
を備え、
前記表示制御手段は、前記画像における拡大表示されたことのある領域と、拡大表示されたことのない領域とを識別可能に表示することを特徴とする情報処理装置。

【請求項2】

前記表示制御手段は、前記拡大表示されたことのある領域について、所定の条件を満たす倍率で拡大表示されたことのある領域と、所定の条件を満たさない倍率で拡大表示されたことのある領域とを識別可能に表示することを特徴とする請求項1に記載の情報処理装置。

【請求項3】

前記所定の条件を満たす倍率か否かは、前記指定を受け付けた属性情報を付与する領域に基づき決定されることを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記画像に所定の条件を満たす倍率で拡大表示されたことのない領域が存在する場合、所定の条件を満たす倍率で拡大表示されたことのない領域が存在する旨を通知する通知手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

画像の切り替え指示を受け付ける切替指示受付手段をさらに備え、
前記通知手段は、前記画像の切り替え指示を受け付けた場合に、前記画像に所定の条件を満たす倍率で拡大表示されたことのない領域が存在する場合、所定の条件を満たす倍率で拡大表示されたことのない領域が存在する旨を通知することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

情報処理装置の領域指定受付手段が、ユーザから、画像における属性情報を付与する領域として、複数の領域の指定を受け付ける領域指定受付工程と、
前記情報処理装置の表示倍率設定受付手段が、前記画像の表示倍率の設定を受け付ける表示倍率設定受付工程と、
前記情報処理装置の表示制御手段が、前記表示倍率設定受付工程により設定された表示倍率により前記画像を表示する表示制御工程と、
を備え、
前記表示制御工程は、前記画像における拡大表示されたことのある領域と、拡大表示されたことのない領域とを識別可能に表示することを特徴とする情報処理方法。

【請求項7】

情報処理装置を、
ユーザから、画像における属性情報を付与する領域として、複数の領域の指定を受け付ける領域指定受付手段と、
前記画像の表示倍率の設定を受け付ける表示倍率設定受付手段と、
前記表示倍率設定受付手段により設定された表示倍率により前記画像を表示する表示制御手段として機能させ、
前記表示制御手段を、前記画像における拡大表示されたことのある領域と、拡大表示されたことのない領域とを識別可能に表示する手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、ディープラーニングと呼ばれる機械学習技術を応用した画像認識技術が発展しており、画像に写っている物体(カテゴリ)が何か、またその位置(画像中座標)はどこにあるのか、を検出する手法が数多く提案されている。

【0003】

ディープラーニング技術を用いた物体検出器を構築するためには、大量の画像と教師データ（画像中のどこに、何のカテゴリの物体があるかを示すアノテーションデータ）が必要となる。

【0004】

また、当該教師データの品質も担保される必要があり、教師データの質が低いと、正しく学習が行われず、検出精度の低い物体検出器が構築されてしまう。

【0005】

したがって、１枚の画像に写っている検出対象の物体を抜け漏れなくラベル付け（検出対象の物体が写っている領域の指定と、その物体が何であるかの指定）することが、非常に重要となっている。

【0006】

また、写っている検出対象物体の大きさが画像解像度に比べて小さい場合には、画像のそれぞれの領域を拡大表示しながらラベル付け操作を実施することが必要となる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００６−１９７０５５号公報

【発明の開示】

【発明が解決しようとする課題】

【0008】

特許文献１には、拡大画像と共に全体画像を確認しながら電子ズームできる機能について記載されている。

【0009】

特許文献１に記載された機能のように、全体画像と拡大画像を表示するだけでは、拡大したことがある領域と１度も拡大していない領域とを識別することができず、ラベル付けの抜け漏れの可能性を判断することができない。

【0010】

そこで、本発明は、検出物体のラベル付けの抜け漏れがないかを効率的に確認するための仕組みを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の情報処理装置は、画像に含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を受け付ける受付手段と、前記画像の表示倍率の変更を受け付ける表示倍率変更受付手段と、前記表示倍率変更受付手段により変更された表示倍率により前記画像を表示する表示手段と、を備え前記表示手段は、前記画像における拡大表示された領域と、拡大表示されていない領域とを識別可能に表示することを特徴とする。

【発明の効果】

【0012】

本発明によれば、検出物体のラベル付けの抜け漏れがないかを効率的に確認することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明における情報処理システムの構成の一例を示す図

【図2】本発明の情報処理装置（クライアント端末１０１、サーバ装置１０２）のハードウェア構成の一例を示すブロック図

【図3】表示矩形の作成・更新処理を示すフローチャート

【図4】俯瞰画像にマスクを施す処理を示すフローチャート

【図5】俯瞰画像にマスクを施す処理を示すフローチャート

【図6】俯瞰画像にマスクを施す処理を示すフローチャート

【図7】対象画像の切替指示がなされた場合のメッセージ表示処理を示すフローチャート

【図8】各種のデータが登録されたデータテーブルの一例を示す図

【図9】ラベル付け作業をする画面の一例を示す図

【図10】画像を拡大表示した画面の一例を示す図

【図11】マスク処理された画像が表示された画面の一例を示す図

【図12】メッセージが表示された画面の一例を示す図

【発明を実施するための形態】

【0014】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0015】

図１は、本発明における情報処理システムの構成の一例を示す図である。

【0016】

図１に示すように、本発明における情報処理システムは、クライアント端末１０１とサーバ装置１０２が通信可能に接続された構成となっている。

【0017】

クライアント端末１０１は、検出物体に対してラベル付け作業をするユーザが利用する端末であり、俯瞰画像や拡大画像等を表示し、ラベル付けの指示を受け付ける。ラベル付け作業は、表示された画像において、検出物体が写っている領域の指定と、当該検出物体が何であるかの指定を受け付ける作業である。例えば、図９に示す画面では、画像に写っている人物の顔が男性であるか女性であるかのラベル付けをした例を示している。人間の顔に相当する領域を矩形で囲み、その矩形内の顔が男性であるか女性であるかのラベル付けを行う。この際、小さく写っている顔は、そのままのサイズだと判別できないため、拡大表示してラベル付けを行う（図１０）。

【0018】

サーバ装置１０２は、後述する確認ＯＫ・確認ＮＧ・未確認の領域を判定し、それぞれの領域を識別するためのマスク画像を生成する処理を行う。

【0019】

クライアント端末１０１、サーバ装置１０２が実行する処理の詳細は、図３以降の図面を用いて後述する。

【0020】

図２は、本発明の情報処理装置（クライアント端末１０１、サーバ装置１０２）のハードウェア構成の一例を示すブロック図である。

【0021】

図２に示すように、情報処理装置は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、よび通信Ｉ／Ｆコントローラ２０８が接続される。

【0022】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0023】

ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0024】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0025】

入力コントローラ２０５は、キーボード２０９や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0026】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0027】

ビデオコントローラ２０６は、ディスプレイ２１０などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。

【0028】

なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0029】

メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0030】

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

【0031】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0032】

次に、図３のフローチャートを用いて、表示矩形の作成・更新処理について説明する。

【0033】

ステップＳ３０１では、クライアント端末１０１のＣＰＵ２０１は、図９に示す画面において、ユーザから拡大倍率（表示倍率）の変更指示を受け付けたかを判定し、変更指示を受け付けた場合は、処理をステップＳ３０２に移行する。拡大倍率の変更は、図９に表示するスライダーに対する操作により受け付け可能である。図１０は、拡大表示された場合の画面の一例を示す図である。

【0034】

ステップＳ３０２では、サーバ装置１０２のＣＰＵ２０１は、新たに表示矩形の作成をする。なお、表示矩形とは、図８の「表示矩形」のデータテーブルで示す通り、どの画像（画像パス）のどの領域（座標）をどの程度の倍率（拡大倍率）で表示したかを管理する情報である。また、表示矩形は、拡大倍率が変更されると新たに作成され（ステップＳ３０１〜Ｓ３０４で説明する処理）、同じ倍率で表示領域が変更された場合は、座標情報が更新される（ステップＳ３０５〜Ｓ３０８で説明する処理）。

【0035】

ステップＳ３０３では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０２で作成された表示矩形をクライアント端末１０１に送信する。

【0036】

ステップＳ３０４では、クライアント端末１０１のＣＰＵ２０１は、ステップＳ３０３で送信された表示矩形を受信する。

【0037】

次に、表示矩形の更新処理について説明する。

【0038】

ステップＳ３０５では、クライアント端末１０１のＣＰＵ２０１は、図９に示す画面において、表示座標の変更がなされたかを判定し、変更がなされた場合は、処理をステップＳ３０６に移行する。表示座標の変更は、マウスやキーボードによる操作等により受け付け可能である。

【0039】

ステップＳ３０６では、サーバ装置１０２のＣＰＵ２０１は、表示矩形の座標情報を更新する。

【0040】

ステップＳ３０７では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０７で更新された表示矩形をクライアント端末１０１に送信する。

【0041】

ステップＳ３０７では、クライアント端末１０１のＣＰＵ２０１は、ステップＳ３０７で送信された表示矩形を受信する。

【0042】

次に、図４〜図６のフローチャートを用いて、俯瞰画像において確認済みと判定される領域と未確認と判定される領域とを識別可能に表示する処理について説明する。

【0043】

図４のステップＳ４０１、Ｓ４０４〜Ｓ４０６は、クライアント端末１０１のＣＰＵ２０１が実行する処理であり、Ｓ４０２（図５、図６）、Ｓ４０３は、サーバ装置１０２のＣＰＵ２０１が実行する処理である。

【0044】

ステップＳ４０１では、図９に示す俯瞰画像表示ボタンが押下されたかを判定し、押下された場合は、処理をステップＳ４０２に移行する。

【0045】

ステップＳ４０２では、俯瞰画像表示用のマスク画像を作成する。本ステップの処理の詳細は、図５、図６を用いて説明する。

【0046】

図５のステップＳ５０１では、対象画像に該当する表示矩形群を取得する。例えば、対象画像が「1.jpg」の場合、図８に示す表示矩形のうち、画像パスが「/image/1.jpg」となっているＩＤが１〜３の３つの表示矩形が取得される。

【0047】

ステップＳ５０２では、対象画像に該当する検出物体矩形群を取得する。図８に示す検出物体矩形のうち、画像パスが「/image/1.jpg」となっているＩＤが１〜３の３つが取得される。

【0048】

ステップＳ５０３では、ステップＳ５０２の処理の結果、検出物体矩形が取得できたかを判定する。

【0049】

取得できた場合（ステップＳ５０３：ＹＥＳ）は、処理をステップＳ５０４に移行し、取得できなかった場合（ステップＳ５０３：ＮＯ）は、処理をステップＳ５１８に移行する。

【0050】

なお、取得できない場合とは、対象画像において、ラベル付け作業が行われていない場合や検出物体が対象画像に含まれていなかった場合が考えられる。

【0051】

以降、ステップＳ５０５〜Ｓ５１７の処理を表示矩形ごとに繰り返し実行し（Ｓ５０４）、ステップＳ５０６〜Ｓ５０９の処理を検出物体矩形ごとに繰り返し実行する（Ｓ５０５）。

【0052】

ステップＳ５０６では、表示矩形と検出物体矩形のＩｏＵ（Intersection-over-Union）を計算する。

【0053】

ステップＳ５０７では、予め設定されたＩｏＵ設定値を取得する。本実施例においては、図８に示す通り、「０．５」が設定されているものとする。

【0054】

ステップＳ５０８では、ステップＳ５０６で計算されたＩｏＵ値と、ステップＳ５０７で取得したＩｏＵ設定値を比較し、ステップＳ５０６で計算されたＩｏＵ値の方が大きい場合（すなわち、表示矩形と検出物体矩形との重なりが、予め設定された値よりも大きい場合）（ステップＳ５０８：ＹＥＳ）は、処理をステップＳ５０９に移行する。ＩｏＵ設定値の方が大きい場合は、次の検出物体矩形に処理を移行する。

【0055】

ステップＳ５０９では、処理対象の検出物体矩形を代表サイズ計算矩形に採用する。

【0056】

ステップＳ５０２で取得したすべての検出物体矩形に対してＳ５０６〜Ｓ５０９の処理が実行されると、処理をステップＳ５１０に進める。

【0057】

ステップＳ５１０では、Ｓ５０９で代表サイズ計算矩形に採用された検出物体矩形があるかを判定する。すなわち、ＩｏＵ設定値以上に表示矩形と重なっている検出物体矩形が存在したかを判定する。

【0058】

ある場合（ステップＳ５１０：ＹＥＳ）は、処理をステップＳ５１１に移行する。

【0059】

無い場合（ステップＳ５１０：ＮＯ）は処理をステップＳ５１７に移行し、処理対象の表示矩形を確認保留表示矩形として管理する。

【0060】

ステップＳ５１１では、予め設定された代表サイズ計算方法を取得する。本実施例においては、図８に示す通り、平均を用いるものとする。平均以外にも、最小、最大、中央値等を用いる方法が考えられる。

【0061】

ステップＳ５１２では、代表サイズ計算矩形群から代表サイズを計算する。本実施例においては、Ｓ５０９で採用された検出物体矩形のサイズ（面積）の平均値を計算する。具体的には、代表サイズ計算矩形の平均サイズ（画像上の本当の大きさ）に表示矩形の拡大倍率を掛けることで、画面上での見かけの大きさを算出する。

【0062】

ステップＳ５１３では、予め設定された基準判定サイズを取得する。本実施例においては、図８に示す通り、10000（ピクセル）とする。

【0063】

ステップＳ５１４では、ステップＳ５１２で計算された代表サイズ（画面上での見かけの大きさ）と、ステップ５１３で取得した基準判定サイズを比較する。

【0064】

そして、ステップＳ５１２で計算された代表サイズの方が大きい場合（Ｓ５１４：ＹＥＳ）は、処理をステップＳ５１５に移行し、処理対象の表示矩形を確認ＯＫ表示領域として採用する。

【0065】

基準判定サイズの方が大きい場合（Ｓ５１４：ＮＯ）は、処理をステップＳ５１６に移行し、処理対象の表示矩形を確認ＮＧ表示領域として採用する。

【0066】

そして、処理をステップＳ５０４に戻し、次の表示矩形に対する処理を実行する。すべての表示矩形に対する処理を終了すると、図６のステップＳ６０１に処理を移行する。

【0067】

次に、Ｓ５０３で検出物体矩形がないと判定された場合の処理について説明する。

【0068】

ステップＳ５１８では、予め設定された基準倍率設定値を取得する。本実施例においては、図８に示す通り２倍とする。

【0069】

そして、Ｓ５２０〜Ｓ５２２の処理を表示矩形ごとに繰り返し実行する。

【0070】

ステップＳ５２０では、ステップＳ５１８で取得した基準倍率設定値と、処理対象の表示矩形の拡大倍率とを比較する。

【0071】

そして、表示矩形の拡大倍率の方が大きい場合（Ｓ５２０：ＹＥＳ）は、処理をステップＳ５２１に移行し、処理対象の表示矩形を確認ＯＫ表示領域として採用する。

【0072】

基準倍率設定値の方が大きい場合（Ｓ５２０：ＮＯ）は、処理をステップＳ５２２に移行し、処理対象の表示矩形を確認ＮＧ表示領域として採用する。

【0073】

すべての表示矩形に対する処理を終了すると、図６のステップＳ６０１に処理を移行する。

【0074】

図６のステップＳ６０１では、ステップＳ５１７で確認保留表示矩形とされた表示矩形ごとに、Ｓ６０２〜Ｓ６０７の処理を実行する。

【0075】

ステップＳ６０２では、ステップＳ５１５の処理で確認ＯＫ表示領域として採用された表示矩形が存在するかを判定する。

【0076】

存在する場合（Ｓ６０２：ＹＥＳ）は、処理をステップＳ６０３に移行し、存在しない場合（Ｓ６０２：ＮＯ）は、処理をステップＳ６０７に移行する。

【0077】

そして、ステップＳ５１５で確認ＯＫ表示領域として採用されたすべての表示矩形について、確認保留表示矩形の中心座標と確認ＯＫ表示矩形の中心座標の距離を計算する（Ｓ６０３、Ｓ６０４）。

【0078】

ステップＳ６０５では、ステップＳ６０４で計算された距離が最も近い確認ＯＫ表示矩形の拡大倍率と、確認保留表示矩形の拡大倍率とを比較する。

【0079】

比較の結果、確認保留表示矩形の拡大倍率が最近傍の確認ＯＫ表示矩形の拡大倍率と等しいか大きい（より拡大された）場合（Ｓ６０５：ＹＥＳ）は、処理をステップＳ６０６に移行し、確認保留表示矩形の拡大倍率の方が最近傍の確認ＯＫ表示矩形の拡大倍率より小さい場合（Ｓ６０５：ＮＯ）は、処理をステップＳ６０７に移行する。

【0080】

ステップＳ６０６では、処理対象の確認保留表示矩形を確認ＯＫ表示領域として採用し、Ｓ６０７では、処理対象の確認保留表示矩形を確認ＮＧ表示領域として採用する。つまり、確認保留表示矩形の最も近くにある確認OK表示矩形と同等以上の倍率で見ていたら確認ＯＫ表示領域とする。

【0081】

すべての確認保留表示矩形に対してＳ６０２〜Ｓ６０７の処理が終了すると、処理をステップＳ６０８に移行する。

【0082】

ステップＳ６０８では、対象画像を取得する。

【0083】

ステップＳ６０９では、対象画像と同じ解像度で画素値が（０，０，０）のマスク画像を作成する。

【0084】

ステップＳ６１０、Ｓ６１１では、マスク画像のうち、すべての確認ＮＧ表示矩形に対応する部分の画素値を（２５５，０，０）に設定する。すなわち、すべての確認ＮＧ表示矩形に対応する部分について、赤色で識別できるように設定する。

【0085】

ステップＳ６１２、Ｓ６１３では、マスク画像のうち、すべての確認ＯＫ表示矩形に対応する部分の画素値を（０，０，２５５）に設定する。すなわち、すべての確認ＯＫ表示矩形に対応する部分について、青色で識別できるように設定する。

【0086】

Ｓ６０９〜Ｓ６１３の処理により、対象画像のうち、拡大表示がされなかった領域については無色のマスクをし、確認ＮＧ表示領域については赤色でマスクをし、確認ＯＫ表示領域については青色でマスクをするためのマスク画像が作成される。なお、拡大表示がされなかった領域、確認ＮＧ表示領域、確認ＯＫ表示領域がそれぞれ識別可能になれば良いため、色の付け方は自由に設定できるものとする。また、色を変えるのではなく、濃淡で識別したり、模様で識別したり、枠線の表示形式により識別しても良い。

【0087】

そして、処理を図４のステップＳ４０３に移行する。

【0088】

ステップＳ４０３では、ステップＳ４０２で作成されたマスク画像をクライアント端末１０１に送信する。

【0089】

ステップＳ４０４では、ステップＳ４０３で送信されたマスク画像を受信する。

【0090】

ステップＳ４０５では、ステップＳ４０４で受信したマスク画像と、対象画像を顔も見付き重ね合わせた画像を作成し、重ね合わせ画像を俯瞰画像として表示する（ステップＳ４０６）。

【0091】

以上の処理により、対象画像のうち、拡大表示がされなかった領域については元の画像そのままで表示し、確認ＮＧ表示領域については赤色でマスクされ、確認ＯＫ表示領域については青色でマスクされた画像を表示することが可能となる。

【0092】

これにより、拡大表示された領域と、拡大表示されていない領域と、を識別可能に表示することが可能となり、さらに拡大表示された領域の中でも、所定の倍率以上に拡大された領域（または動的に算出された倍率以上に拡大された領域）とそれ以外の領域とを識別可能に表示することが可能となる。

【0093】

なお、本実施例では、検出物体矩形がある場合には、検出物体矩形のサイズを基準に、確認ＯＫ領域であるか否かを判定したが、検出物体矩形の有無にかかわらず所定の基準倍率を満たすか否かにより判断しても良い（検出物体矩形がある場合でも、Ｓ５１８〜Ｓ５２２の処理と同様の処理により判断しても良い）。

【0094】

次に、図７のフローチャートを用いて、対象画像の切替指示がなされた場合のメッセージ表示処理について説明する。

【0095】

図７のステップＳ７０１、Ｓ７０４〜Ｓ７０８、Ｓ７０９の処理は、クライアント端末１０１のＣＰＵ２０１が実行する処理であり、Ｓ７０２、Ｓ７０３、Ｓ７０７、Ｓ７０８の処理は、サーバ装置１０２のＣＰＵ２０１が実行する処理である。

【0096】

ステップＳ７０１では、図９に示す画面において、ユーザから次の画像を表示する指示または前の画像を表示する指示がなされたかを判定し、指示がなされた場合（Ｓ７０１：ＹＥＳ）は、処理をステップＳ７０２に移行する。

【0097】

ステップＳ７０２では、俯瞰画像表示用のマスク画像を作成する。本ステップの処理は図５、図６のフローチャートに示す処理である。

【0098】

ステップＳ７０３では、ステップＳ７０２で作成されたマスク画像をクライアント端末１０１に送信する。

【0099】

ステップＳ７０４では、ステップＳ７０３で送信されたマスク画像を受信する。

【0100】

ステップＳ７０５では、画素値（２５５，０，０）または画素値（０，０，０）が存在するかを判定する。すなわち、拡大表示されなかった領域または確認ＮＧ表示領域が存在するかを判定する。

【0101】

存在する場合（Ｓ７０５：ＹＥＳ）は、処理をステップＳ７０６に移行し、拡大表示確認が不十分な領域や未表示領域が存在する旨のメッセージを表示する。メッセージを表示した画面の一例を図１２に示す。

【0102】

なお、図１２におけるＯＫボタンが押下された場合は、処理をステップＳ７０７に移行する。

【0103】

存在しない場合（Ｓ７０５：ＮＯ）は、処理をステップＳ７０７に移行する。

【0104】

ステップＳ７０７では、編集対象画像（前の画像または次の画像）を取得し、クライアント端末１０１に送信する（Ｓ７０８）。そして、クライアント端末１０１は送信された画像を受信し（Ｓ７０９）、当該画像を表示する。

【0105】

以上のように、現在の画像で確認が不十分な領域等が残っている場合にメッセージを通知することで、検出物体のラベル付けの抜け漏れを防ぐことが可能となる。

【0106】

図８は、各種データテーブルの一例を示す図である。

【0107】

カテゴリラベルは、検出物体のカテゴリ（何であるかを示す情報）が登録されたテーブルである。登録するカテゴリ名は、何を検出する物体検出器を構築するかにより異なるものである。本実施例のように画像に含まれる人物の性別を検出する検出器を構築する場合には、図８の例のように、男性・女性といったカテゴリを登録する。

【0108】

画像テーブルは、ラベル付けを行う元画像が登録されたテーブルである。

【0109】

検出物体矩形は、どの画像のどの領域にどのカテゴリの物体が存在するのかを示す情報が登録されるテーブルである。例えば、ＩＤ：１で特定される検出物体矩形は、画像：1.jpgの（１４，２０，３０，５０）で特定される領域に男性の顔が存在することを示している。

【0110】

設定テーブルは、本発明の処理に必要な設定値が登録されたテーブルである。これらの設定値についても、どのような物体検出器を構築するか、どのような画像データから物体を検出するか等により、その都度登録されるものである。

【0111】

表示矩形テーブルは、どの画像のどの領域をどの程度の倍率で表示したかを示す情報を管理するテーブルである。

【0112】

図１１は、ステップＳ４０６で表示される画面の一例である。図１１の例では色分けではなく、模様により識別表示している。

【0113】

図１１に示す通り、縦縞のマスクがなされた領域（１１０１）は、確認ＯＫ表示領域であり、薄墨色でマスクされた領域（１１０２）は確認ＮＧ表示領域である。それ以外の領域は、拡大表示されていない領域である。

【0114】

以上、情報処理システムとしての実施形態について示したが、本発明は、例えば、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0115】

また、本発明におけるプログラムは、図３〜図７に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３〜図７の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３〜図７の各装置の処理方法ごとのプログラムであってもよい。

【0116】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0117】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0118】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0119】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0120】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0121】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0122】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0123】

１０１ クライアント端末
１０２ サーバ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】