特許第6132996号(P6132996)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人

▶ 株式会社ディジタルメディアプロフェッショナルの特許一覧
特許6132996画像処理装置,画像処理方法,画像処理プログラム
<>
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000002
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000003
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000004
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000005
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000006
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000007
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000008
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000009
  • 特許6132996-画像処理装置,画像処理方法,画像処理プログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6132996
(24)【登録日】2017年4月28日
(45)【発行日】2017年5月24日
(54)【発明の名称】画像処理装置,画像処理方法,画像処理プログラム
(51)【国際特許分類】
   G06F 17/30 20060101AFI20170515BHJP
【FI】
   G06F17/30 170B
   G06F17/30 210D
【請求項の数】7
【全頁数】14
(21)【出願番号】特願2017-9973(P2017-9973)
(22)【出願日】2017年1月24日
【審査請求日】2017年1月24日
【早期審査対象出願】
(73)【特許権者】
【識別番号】502401703
【氏名又は名称】株式会社ディジタルメディアプロフェッショナル
【住所又は居所】東京都中野区中野四丁目10番2号 中野セントラルパークサウス16階
(74)【代理人】
【識別番号】100116850
【弁理士】
【氏名又は名称】廣瀬 隆行
(74)【代理人】
【識別番号】100165847
【弁理士】
【氏名又は名称】関 大祐
(72)【発明者】
【氏名】ラファエル ソウザ
【住所又は居所】東京都中野区中野四丁目10番2号 中野セントラルパークサウス16階 株式会社ディジタルメディアプロフェッショナル内
(72)【発明者】
【氏名】シュミット ベンジャミン
【住所又は居所】東京都中野区中野四丁目10番2号 中野セントラルパークサウス16階 株式会社ディジタルメディアプロフェッショナル内
(72)【発明者】
【氏名】大渕 栄作
【住所又は居所】東京都中野区中野四丁目10番2号 中野セントラルパークサウス16階 株式会社ディジタルメディアプロフェッショナル内
【審査官】 小太刀 慶明
(56)【参考文献】
【文献】 特開2008−276775(JP,A)
【文献】 米国特許出願公開第2012/0179633(US,A1)
【文献】 GRIRA, N. et al.,"Active Semi-Supervised Fuzzy Clustering for Image Database Categorization",Proceedings of the 7th ACM SIGMM international workshop on Multimedia information retrieval,2005年,pp.9-16,<DOI: 10.1145/1101826.1101831>
【文献】 HUANG, Y. and MITCHELL T.M.,"Text Clustering with Extended User Feedback",Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval,2006年,pp.413-420,<DOI: 10.1145/1148170.1148242>
(58)【調査した分野】(Int.Cl.,DB名)
G06F 17/30
G06T 1/00−7/00
THE ACM DIGITAL LIBRARY
(57)【特許請求の範囲】
【請求項1】
画像データ群を分類する画像処理装置であって,
画像データ群を複数のクラスに分類する分類処理部と,
各クラスに属する画像データの中から当該クラスを代表する代表画像を決定する代表画像决定部と,
各クラスに属する画像データの中から当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する境界画像决定部と,
前記複数の境界画像の中から前記代表画像と同類又は非同類のものをユーザに選択させるために,前記代表画像及び前記複数の境界画像をユーザ端末に表示させる画像表示部と,
前記ユーザ端末から前記ユーザによる前記境界画像の選択情報を取得する選択情報取得部と,
前記選択情報に基づいて1以上のクラスの境界を再構築する再構築部と,を有する
画像処理装置。
【請求項2】
前記分類処理部は,分類の判断基準となる特徴量に基づいて特徴空間を生成し,当該特徴空間内で複数の画像データを複数のクラスに分類する
請求項1に記載の画像処理装置。
【請求項3】
前記代表画像决定部は,前記特徴空間における各クラスの領域の重心又はその最も近傍に位置する画像データを代表画像として決定し,
前記境界画像决定部は,前記特徴空間における各クラスの領域の重心からの距離に基づいて複数の境界画像を決定する
請求項2に記載の画像処理装置。
【請求項4】
前記再構築部は,前記ユーザにより前記代表画像と同類であると判断された境界画像が当該代表画像の代表するクラスに含まれ,前記ユーザにより前記代表画像と非同類であると判断された境界画像が当該代表画像の代表するクラスに含まれないように,当該クラスの境界を再構築する
請求項1に記載の画像処理装置。
【請求項5】
前記分類処理部は,前記画像データ群を取得した撮影装置が備えるセンサから得られたセンシングデータを利用して,当該画像データ群を複数のクラスに分類する
請求項1に記載の画像処理装置。
【請求項6】
画像データ群を分類する画像処理方法であって,
画像データ群を複数のクラスに分類する分類処理工程と,
各クラスに属する画像データの中から当該クラスを代表する代表画像を決定する代表画像决定工程と,
各クラスに属する画像データの中から当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する境界画像决定工程と,
前記複数の境界画像の中から前記代表画像と同類又は非同類のものをユーザに選択させるために,前記代表画像及び前記複数の境界画像をユーザ端末に表示する画像表示工程と,
前記ユーザ端末から前記ユーザによる前記境界画像の選択情報を取得する選択情報取得工程と,
前記選択情報に基づいて1以上のクラスの境界を再構築する再構築工程と,を含む
画像処理方法。
【請求項7】
画像データ群を複数のクラスに分類するための画像処理プログラムであって,
各クラスに属する画像データの中から当該クラスを代表する代表画像を決定する代表画像决定工程と,
各クラスに属する画像データの中から当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する境界画像决定工程と,
前記複数の境界画像の中から前記代表画像と同類又は非同類のものをユーザに選択させるために,前記代表画像及び前記複数の境界画像をユーザ端末に表示させる画像表示工程と,
前記ユーザ端末から前記ユーザによる前記境界画像の選択情報を取得する選択情報取得工程と,
前記選択情報に基づいて1以上のクラスの境界を再構築する再構築工程を,
コンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は,画像群を複数のクラスに分類するための画像処理装置,画像処理方法,及び画像処理プログラムに関する。
【背景技術】
【0002】
近年,動画や静止画から文字や顔などの特定のオブジェクトをパターン認識し自動的に検出する画像認識技術が普及している。画像認識技術では,多量の学習用画像(トレーニングデータ)を特徴点のパターンごとに予め分類しておき,検出対象の画像が入力されたときに,分類済みの学習用画像と検出対象の画像をマッチングすることによって,その画像を自動的に認識及び検出する。例えば,監視カメラや車載カメラによって撮影された動画や静止画に何が写っているかを自動的に認識したり,あるいはその動画内に含まれている特定のオブジェクトを瞬時に検出することができる。
【0003】
上記のような画像認識の精度を高めるためには,まず多量の学習用画像を精度良く分類することが必要となる。例えば,特許文献1には,画像データの分類の精度を高めるために,機械学習を利用して画像データの分類を行う画像分類学習装置などが開示されている。特許文献1に記載の画像分類学習装置は,画像DBから画像取得部が分類対象となる画像データ群を取得し,代表画像決定部により分類クラスに対応した代表画像を決定する。また,事例収集部の画像検索部が,代表画像をクエリとして類似画像を検索し,その取得された画像データから画像データ抽出部が事例データを抽出して,事例データ記憶部に記憶させる。識別関数生成部は,抽出した事例データに基づいて学習を行い,分類を判定するための識別関数を算出する。識別処理部は,算出された識別関数を用いて画像データ群をクラスに分類する。このように,ユーザ環境下の画像データに基づいて機械学習用の事例データを収集し,識別関数を生成して画像データを分類することにより,個々のユーザ環境に合った適切な分類を提供することができると共に,その分類方法を学習することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−92413号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1のように機械学習を利用して画像の分類を行うこともできるが,元々の学習用画像にノイズが含まれていたり,あるいはインターネットから自動収集した類似画像にノイズが含まれていることも考えられる。その場合には画像の分類にエラーが発生する可能性がある。このため,現在の技術では,エラーなく完全に画像を分類することは難しい。そこで,画像分類及び意味づけの精度をさらに高めるために,各クラスに含まれている画像を人が目視によって確認し,その画像がそのクラスに含まれていることが適切であるか不適切であるかを人が判断するという作業も行われている。
【0006】
しかしながら,各クラスに多量の画像が含まれている場合,目視で一つひとつ確認することは現実的には不可能である。また,各クラスに含まれている画像をランダムでピックアップして確認することも考えられるが,非効率的である。
【0007】
そこで,本発明は,人と機械との協働による画像分類の最適化作業を効率良く行うことのできる画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の発明者らは,上記問題の解決手段について鋭意検討した結果,画像群を複数のクラスに分類した後,各クラスの中から代表画像と複数の境界画像とを決定し,代表画像と共に複数の境界画像両者をユーザに提示することとした。これにより,ユーザは代表画像と複数の境界画像を見比べて,複数の境界画像から代表画像と同類ものを選択することができ,その結果,その境界画像がクラスに属することの当否を簡単に判断することができる。また,ユーザによって選択されなかった境界画像がある場合には,その境界画像を除くようにクラスの境界を再構築することができるため,効率的に画像の分類を最適化することができる。そして,本発明者らは,上記知見に基づけば,従来技術の問題を解決できることに想到し,本発明を完成させた。具体的に説明すると,本発明は以下の構成又は工程を有する。
【0009】
本発明の第1の側面は,画像データ群(複数の画像データを含む)を分類する画像処理装置に関する。画像処理装置は,分類処理部と,代表画像决定部と,境界画像决定部と,画像表示部と,選択情報取得部と,再構築部とを有する。なお,これらの各機能部は,1つのコンピュータに備わっていてもよいし,複数のコンピュータに分散されていてもよい。すなわち,本発明に係る画像処理装置は,1つのコンピュータにより実現される場合だけでなく,ネットワークによって接続された複数のコンピュータにより実現される場合も含む。分類処理部は,画像データ群に含まれる複数の画像データを複数のクラスに分類する。代表画像决定部は,各クラスに属する画像データの中から,当該クラスを代表する代表画像を決定する。境界画像决定部は,各クラスに属する画像データの中から,当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する。画像表示部は,複数の境界画像の中から代表画像と同類のものをユーザに選択させるために,代表画像及び複数の境界画像をユーザ端末に表示させる。すなわち,代表画像と同類の境界画像を選択するようにユーザに促してもよいし,代表画像と同類でない境界画像を選択するようにユーザに促してもよい。選択情報取得部は,ユーザ端末からユーザによる境界画像の選択情報を取得する。ここにいう選択情報には,境界画像が代表画像と同類であるか非同類であるかを特定する情報が含まれる。再構築部は,ユーザ端末から取得した選択情報に基づいて1以上のクラスの境界を再構築する。
【0010】
上記のように,各クラスの代表画像と境界画像をユーザに提示して,その境界画像が代表画像と同類のものであるか否かをユーザに判断させることにより,画像分類及び意味づけの最適化を効率良く行うことができる。また,代表画像と境界画像を同時又は連続的にユーザに提示することができるため,ユーザは代表画像と境界画像の対比を行いやすいというメリットがある。
【0011】
本発明に係る画像処理装置において,分類処理部は,分類の判断基準となる特徴量に基づいて特徴空間を生成し,当該特徴空間内で複数の画像データを複数のクラスに分類する。特徴空間は,2次元であってもよいし3次元であってもよい。特徴空間の例は色空間であり,RGB,YUV,LAB,又は同様の特徴量に基づいて生成できる。このように,複数の画像データを特徴空間内で分類することにより,代表画像と境界画像を精度良く決定することができる。
【0012】
本発明に係る画像処理装置において,代表画像决定部は,特徴空間における各クラスの領域の重心又はその最も近傍に位置する画像データを代表画像として決定することが好ましい。また,境界画像决定部は,特徴空間における各クラスの領域の重心からの距離に基づいて複数の境界画像を決定することが好ましい。このように,クラスの領域の重心からの距離に基づいて代表画像と境界画像を決定することで,両画像を精度良く決定することができ,またその処理の負荷を軽減し,瞬時に両画像を決定することができる。
【0013】
本発明に係る画像処理装置において,再構築部は,ユーザにより代表画像と同類であると判断された境界画像が当該代表画像の代表するクラスに含まれ,ユーザにより代表画像と非同類であると判断された境界画像が当該代表画像の代表するクラスに含まれないように,当該クラスの境界を再構築することが好ましい。このように,境界画像が代表画像同類であるか否かをユーザに判断させて,その判断結果に基づいて各クラスの境界を再構築することで,各クラスの分類の最適化処理を効率良く行うことができる。
【0014】
本発明に係る画像処理装置において,分類処理部は,画像データ群を取得した撮影装置が備えるセンサから得られたセンシングデータを利用して,当該画像データ群を複数のクラスに分類することが好ましい。撮影装置が備えるセンサには,例えば,照度センサ,加速度センサ,磁気センサ,GPSセンサ,ジャイロセンサなどが含まれる。このように,画像データが保持する元々の特徴量に加えて,各種のセンサから得られたセンシングデータに基づいて画像データを分類することで,分類処理の精度を高めることができる。
【0015】
本発明の第2の側面は,画像データ群を分類する画像処理方法に関する。画像処理方法は,分類処理工程と,代表画像决定工程と,境界画像决定工程と,画像表示工程と,選択情報取得工程と,再構築工程を含む。分類処理工程は,画像データ群を複数のクラスに分類する工程である。分類処理工程は,各クラスに属する画像データの中から,当該クラスを代表する代表画像を決定する工程である。境界画像决定工程は,各クラスに属する画像データの中から,当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する工程である。画像表示工程は,複数の境界画像の中から代表画像と同類又は非同類のものをユーザに選択させるために,代表画像及び複数の境界画像をユーザ端末に表示する工程である。選択情報取得工程は,ユーザ端末からユーザによる境界画像の選択情報を取得する工程である。再構築工程は,選択情報に基づいて1以上のクラスの境界を再構築する工程である。
【0016】
本発明の第3の側面は,画像データ群を複数のクラスに分類するための画像処理プログラムに関する。画像処理プログラムは,上記した分類処理工程と,代表画像决定工程,境界画像决定工程,画像表示工程,選択情報取得工程,及び再構築工程をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【0017】
本発明の画像処理技術によれば,人と機械との協働による画像分類の最適化作業を効率良く行うことができる。
【図面の簡単な説明】
【0018】
図1図1は,本発明に係る画像処理装置の例を示したブロック図である。
図2図2は,本発明に係る画像処理方法の概要を示したフロー図である。
図3図3は,分類処理のサブフローの例を示したフロー図である。
図4図4は,入力画像の特徴ベクトルを求める方法の一例を示している。
図5図5は,代表画像と境界画像をユーザに提示するUIの一例を示している。
図6図6は,代表画像と同類の境界画像がユーザによって選択される様子を示している。
図7図7は,ユーザの選択情報に基づいてクラスの境界を再構成する様子を模式的に示している。
図8図8は,ユーザの選択情報に基づいてクラスの境界を再構成する様子を模式的に示している。
図9図9は,再構成後のクラスごとにダイジェスト動画を作成する処理を示している。
【発明を実施するための形態】
【0019】
以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜変更したものも含む。
【0020】
図1は,本発明に係る画像処理装置100全体の機能構成を示している。また,図2は,画像処理装置100が実行する画像処理方法のメインフローを示している。画像処理装置100は,1つのコンピュータにより構成されていてもよいし,ネットワークによって接続された複数のコンピュータにより構成されていてもよい。画像処理装置100は,複数の画像データを解析して,同類の画像データを同じクラスに分類する処理を行う。画像処理装置100に入力される画像データは,静止画であってもよいし,動画であってもよい。動画は複数のフレーム画像によって構成されたものである。動画が入力された場合,画像処理装置100は,動画を構成する複数のフレーム画像を分類する。画像処理装置100は,基本的に,入力画像に対して分類処理を行った後,各クラスの代表画像及び複数の境界画像を決定した後それらをユーザに提示し,複数の境界画像の中から代表画像と同類のものをユーザに選択させることで,各クラスの境界の最適化を行う。その後,分類処理とユーザの操作を各クラスの境界が最適化されるまで行う。また,画像処理装置100は,分類された画像データをクラスごとに繋ぎ合わせることで,ダイジェスト動画を生成することができる。本発明によれば,例えば,ある動画の中から特定の人物が写っているシーンを抜き出したダイジェスト動画を精度良く生成することができる。
【0021】
図1に示されるように,画像処理装置100は,入力画像DB(データベース)11,最適化分類画像DB12,及び出力画像DB13を有する。これらのデータベース11〜13は,画像データを記憶するためのものであり,記憶装置によって実現できる。記憶装置の例は,HDD及びSDDなどの不揮発性メモリ,またはRAM及びDRAMなどの揮発性メモリである。また,画像処理装置100は,画像取得部21,分類処理部22,代表画像决定部23,境界画像决定部24,画像表示部25,選択情報取得部26,境界面最適化部27,画像処理部28を有している。これらの機能部21〜28は,制御演算装置によって実現できる。制御演算装置の例は,CPU又はGPU又は専用ハードウェアといったプロセッサである。画像処理装置100の記憶部には,制御演算装置に画像処理方法を実行させるためのプログラムが記録されている。制御演算装置は,所定の演算処理の結果を記憶部に書き出したり記憶部から読み出したりしながら,記憶部に記録されているプログラムに従って演算処理及び制御処理を実行する。
【0022】
入力画像DB11には,分類処理の対象となる複数の画像データ(静止画又は動画)が記録されている。入力画像DB11は,画像処理装置100を構成するコンピュータに備わっていてもよいし,外部記憶装置であってもよい。また,入力画像DB11としては,インターネット上で公開されている画像DBを利用することもできる。画像取得部21は,入力画像DB11から分類処理の対象となる画像データを取得して,分類処理部22に送出する。
【0023】
分類処理部22は,画像取得部21が取得した画像データ群を複数のクラスに分類する分類処理を行う(ステップS1)。分類処理部22は,前処理部22a,特徴空間生成部22b,特徴分類部22cを有することが好ましい。本願の図3には,分類処理部22によって実行される分類処理の一例が示されている。分類処理部22は,画像データ群に対して,任意の前処理を行った後,特徴ベクトルの計算を行い,特徴空間を生成する。ただし,画像データ群の分類処理は,基本的に公知の処理を利用することができ,図3に示したものに限定されない。
【0024】
前処理部22aが行う前処理(ステップ1−1)は,任意の工程である。前処理部22aは,例えば,分類処理の対象となる画像データに元から含まれている既存データ(RGBやLABなどの色調データ)に加えて,各種センサから得られたセンシングデータを分析して,これらの既存データ及びセンシングデータを特徴空間の基準となる特徴量とする。センサの例は,画像データ群を取得した撮影装置が備えるセンサである。センサには,照度センサ,加速度センサ,磁気センサ,GPSセンサ,ジャイロセンサなどが含まれる。このようなセンサから得られたセンシングデータを利用して画像データを分類することで,その画像を撮影した状況を分類処理に反映させることができる。例えば,照度センサからは,画像を撮影したシーンの明るさに関する情報が得られる。また,加速度センサ,磁気センサ,ジャイロセンサからは,画像を撮影したときの撮影装置の動きに関する情報が得られる。また,GPSセンサからは,画像を撮影したときの撮影装置の位置(緯度・経度)に関する情報が得られる。これらのセンシングデータを特徴空間の生成に利用することで,各画像データを精度良く分類することができ,また画像データの分類を細分化することができる。センシングデータは,入力画像DB11に記録されていてもよい。また,画像処理装置100に撮影装置(不図示)を接続しておき,撮影装置が備える各種センサのセンシングデータをリアルタイムに前処理部22aに入力することもできる。
【0025】
特徴空間生成部22bは,入力画像DB11から取得した画像データ,又は入力画像DB11から取得した画像データに上記の前処理を行ったデータに対して特徴量計算を行う。特徴空間生成部22bは,基本的に,画像データごとに特徴ベクトルを求めて,特徴空間を生成する(ステップS1−2)。図4には,特徴空間生成部22bによる処理の一例が示されている。特徴空間生成部22bは,画像データのサイズを変更するリサイズ処理を行った後,画像全体に対してぼかしを施すブラーの処理を行う。その後,画像データが保有するRGBの各値を(R+G+B)の値で除算して,正規化されたRGB値を求める。また,特徴空間生成部22bは,図4(b)のように,正規化されたRGB値をRGBの正規化ベクトルとして連結することで,特徴ベクトルを生成する。この場合,特徴ベクトルは,RGBの3値に3次元ベクトルとなる。特徴ベクトルを3次元ベクトルとする場合,特徴空間は3次元空間となる。また,前処理(ステップ2−1)を行った場合には,RGBのうちの全部又は一部の成分をセンシングデータに置き換えたり,あるいはRGBにセンシングデータを加えて4次元ベクトルとすることもできる。また,RGBの中から選択した成分,例えばR/Gの様な2値による2次元ベクトルとすることもできる。また,特徴ベクトルは,RGBに限られず,YUV,LABやCMYKなどの色成分とすること可能である。
【0026】
特徴空間生成部22bは,上記の演算により求めた特徴ベクトルを基準として特徴空間を生成し,その特徴空間内に各画像データを配置する。特徴空間は,2次元空間,3次元空間,4次元空間,又はより高次の多次元空間であってもよい。特徴空間に関する情報は,メモリに一時的に記憶される。
【0027】
特徴分類部22cは,上記のようにして生成された特徴空間に対して分類処理を行う(ステップ2−3)。特徴分類部22cは,特徴空間において,特徴量同士の距離が近い画像データを同じクラスに分類する。初期の分類処理においては,例えば,公知のK-means法などの非階層的手法や,最短距離法,最長距離法,群平均法,及びウォード法などの階層的手法といった公知のクラスタリング手法を利用することができる。例えば,K-means法では以下の手順で画像データの分類を行う。
1)各特徴ベクトルに対してランダムに分類の種別を2,3個程度割り当てる。
2)各分類に対して重心の位置を計算する。
3)上記2)で求められた重心の位置から特徴ベクトルまでの距離を計算し,最短の重心の分類に当該特徴ベクトルの分類を更新する。
4)上記2),3)のプロセスを分類の変化がなくなるまで繰り返す。
【0028】
特徴分類部22cは,上記のようにして各画像データを特徴空間内で複数のクラスに分類する。各クラスに関する情報は,メモリに一時的に記憶される。
【0029】
画像データの初期の分類処理(ステップS1)が完了すると,代表画像决定部23は,各クラスに属する画像データの中から,当該クラスを代表する代表画像を決定する(ステップS2)。代表画像を決定する方法としては,例えば,特徴空間における各クラスの重心を求め,その重心に位置する画像データ,又はその重心に最も近い画像データを代表画像として決定することができる。ただし,代表画像の決定方法は,これに限定されず,その他のアルゴリズムで各クラスの中から1つの代表画像を決定すればよい。
【0030】
次に,境界画像决定部24は,各クラスに属する画像データの中から,複数の境界画像を決定する(ステップS3)。境界画像とは,各クラスの境界に位置付けられた画像,又はその境界の近傍に位置付けられた画像である。例えば,図5(a)には,境界画像を決定する方法の一例が示されている。例えば,1つの代表画像とともにn枚(nは2以上の整数)の境界画像をユーザに提示することとした場合,特徴空間内のクラスをその重心を中心としてn個の領域に分割する。例えば,図5に示された例は,1つの代表画像とともに6枚の境界画像をユーザに提示する仕様であるため,特徴空間内のクラスを重心の座標から60度ずつに6等分して,6つの分割領域を求める。そして,n個の分割領域のそれぞれにおいて,クラスの重心から最も遠い距離に位置する画像を境界画像として決定する。これにより,1つのクラスから,1つの代表画像と,n個の境界画像が抽出される。ただし,境界画像の決定方法は,これに限定されず,その他のアルゴリズムで各クラスの中から複数の境界画像を決定してもよい。
【0031】
続いて,画像表示部25は,代表画像决定部23が求めた1つの代表画像とともに,境界画像决定部24が求めた複数の境界画像をユーザ端末200の表示装置に表示させる(ステップS4)。すなわち,画像表示部25は,代表画像と境界画像のデータと,これらのデータを表示させるための制御信号をユーザ端末200に送信する。図5(b)には,ユーザ端末200の表示画面の一例が示されている。この例では,1つの代表画像と6つの境界画像が一画面上に同時に表示されている。ただし,代表画像の後に境界画像を表示するといったように,代表画像と境界画像を連続的に表示することとしてもよい。また,ユーザ端末200に表示される画像は静止画でもいいし,画像の前後数枚のフレームを含めた動画の切り出しとして表示されてもいい。
【0032】
ユーザは,ユーザ端末200の表示画面上に表示された代表画像と境界画像を見比べて,境界画像が代表画像と同類の画像であるか否かを判断する。図6に示されるように,例えば,ユーザは,ユーザ端末200の操作部を介して,画面上に表示された複数の境界画像の中から代表画像と同類のものを選択する。画面上の境界画像の全てが,代表画像と同類のものであると選択される場合もある。なお,画面上に表示された複数の境界画像のうち,代表画像と同類でないものを選択するように,ユーザに促すことも可能である。いずれにしても,ユーザが各境界画像を代表画像と同類と認識しているか否かを判別できればよい。
【0033】
また,ユーザは,代表画像と同類の境界画像を選択するとともに,その境界画像又はその境界画像が属するクラスに関するメタデータをユーザ端末200に入力することもできる。例えば,境界画像の態様(例:「人が手を振っている」)などをテキストデータとして入力してもよい。また,境界画像が属するクラスのタイトルなどをテキストデータとして入力することもできる。その場合,ユーザ端末200は,上記のメタデータを選択情報取得部26に対して送信する。なお,このメタデータは,後述する最適化分類画像DB12に記録される。
【0034】
続いて,選択情報取得部26は,ユーザ端末200からユーザによる境界画像の選択情報を取得する(ステップS5)。図5に示した例では,ユーザ端末200から選択情報取得部26に対して,ユーザが代表画像と同類であると認識している境界画像の選択情報が入力される。このため,画像処理装置100は,ユーザにより選択された境界画像が代表画像と同類であり,選択されなかった境界画像が代表画像と同類ではない(非同類)であると判断できる。なお,前述したとおり,ユーザ端末200から選択情報取得部26には,ユーザが代表画像と非同類であると認識している境界画像の選択情報が入力されてもよい。
【0035】
続いて,再構築部27は,ユーザ端末200から取得した選択情報に基づいて,識別子空間におけるクラスの境界を再構築する(ステップS6)。図7及び図8は,あるクラスの境界が再構築される場合の例を示している。再構築部27は,ユーザによる選択情報に基づいて,あるクラスの境界画像のうち,代表画像と同類であると判断された境界画像と,代表画像と非同類であると判断された境界画像を特定する。そして,再構築部27は,ユーザにより代表画像と同類であると判断された境界画像が当該代表画像の代表するクラスに含まれ,ユーザにより代表画像と非同類であると判断された境界画像が当該代表画像の代表するクラスに含まれないように,当該クラスの境界を再構築する。例えば,図7に示した例では,あるクラスの領域は,再構築部27によって2つの領域に分割されている。なお,ユーザによる選択の結果によっては,あるクラスの領域は分割されないこともあるし,または3つ以上の領域に分割されることもあり得る。また,分類境界の再構築にあたっては,上記したk-meansなどの公知のクラスタリング手法を採用できる。
【0036】
その後,再構築部27は,今回の再構築処理によって,各クラスの境界が最適化されたか否かを判断する(ステップS7)。十分な最適化がなされたか否かの判断は,ユーザに行わせることもできる。例えば,ユーザ端末200から画像処理装置100に対して最適化完了を知らせる制御信号が入力された場合に,再構築部27は,十分な最適化がなされたと判断する。また,再構築処理(ステップS6)の前後での分類領域の差分を定量化し,その差分が予め設定した閾値以下となった場合に,再構築部27は,十分な最適化がなされたと判断してもよい。また,例えば,ユーザに提示されたすべての境界画像が代表画像と同類であると判断された場合に,再構築部27は,十分な最適化がなされたと判断してもよい。
【0037】
他方で,最適化処理が未だ完了していないと再構築部27が判断した場合,画像処理装置100は,分類処理(ステップS1)以降の処理を再度実行する。この処理を最適化が完了するまで繰り返し行う。
【0038】
分類境界の最適化が完了した場合,再構築部27は,最適化後の境界に基づいて分類された各クラスに関する情報を最適化分類画像DB12に記録する。最適化分類画像DB12には,図1に示されるように,最適化後のクラスごとに,そのクラスに属する画像データに関する情報が記録されている。また,最適化分類画像DB12には,ユーザ端末200に入力された画像やクラスのメタデータを記録しておくこともできる。
【0039】
続いて,図9に示されるように,画像処理部28は,最適化分類画像DB12においてクラスごとに分類して記録されている画像データを読み出して,ダイジェスト動画を生成する(ステップS8)。例えば,最適化分類画像DB12から,ある特定のクラスに属する複数の画像データを読み出し,この画像データを繋ぎ合わせることで,同類の画像をまとめたダイジェスト動画が生成される。例えば,ある動画(入力画像)の中から特定の人物が写っているシーンを抜き出したダイジェスト動画を精度良く生成することができる。また,動画生成にあたって,最適化分類画像DB12に記録されているメタデータを利用してもよい。例えば,メタデータを利用すれば,ダイジェスト動画のタイトルを自動生成できる。
【0040】
画像処理部28は,ここで生成したダイジェスト動画を出力画像DB13に記録する。出力画像DB13は,画像処理装置100を構成するコンピュータに備わっていてもよいし,外部記憶装置であってもよい。また,出力画像DB13としては,インターネット上で公開されている画像DBを利用することもできる。また,ダイジェスト動画をインターネット上のサーバ装置に自動的にアップロードすることもできる。
【0041】
また,最適化分類画像DB12の利用方法は,上記したダイジェスト動画の生成に限られない。最適化分類画像DB12は,ユーザの選択情報に基づいて画像データが精度良く分類されている。このため,例えば,ある入力画像を,この最適化分類画像DB12に分類されている画像データとパターンマッチングすることで,その入力画像を精度良く画像認識することができる。例えば,本発明によって生成された最適化分類画像DB12を,監視カメラシステムや車載カメラに取って撮影された動画に適用することで,分類処理の高度化,通常と違う危険状態の検出の精度を高めることができる。
【0042】
以上,本願明細書では,本発明の内容を表現するために,図面を参照しながら本発明の実施形態の説明を行った。ただし,本発明は,上記実施形態に限定されるものではなく,本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。
【産業上の利用可能性】
【0043】
本発明は,画像群を複数のクラスに分類するための画像処理において好適に利用することができる。
【符号の説明】
【0044】
11…入力画像DB 12…最適化分類画像DB
13…出力画像DB 21…画像取得部
22…分類処理部 22a…前処理部
22b…特徴空間生成部 22c…特徴分類部
23…代表画像决定部 24…境界画像决定部
25…画像表示部 26…選択情報取得部
27…再構築部 28…画像処理部
100…画像処理装置 200…ユーザ端末
【要約】
【課題】画像分類の最適化処理を効率化する。
【解決手段】画像データ群を分類する画像処理装置100であって,画像データ群を複数のクラスに分類する分類処理部22と,各クラスに属する画像データの中から当該クラスを代表する代表画像を決定する代表画像决定部23と,各クラスに属する画像データの中から当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する境界画像决定部24と,複数の境界画像の中から代表画像と同類又は非同類のものをユーザに選択させるために代表画像及び複数の境界画像をユーザ端末200に表示させる画像表示部25と,ユーザ端末200からユーザによる境界画像の選択情報を取得する選択情報取得部26と,選択情報に基づいて1以上のクラスの境界を再構築する再構築部27とを有する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9