特許 6240199 画像における対象物の識別方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6240199

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】画像における対象物の識別方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20171120BHJP

【ＦＩ】

   G06T7/00 300F

【請求項の数】8

【全頁数】10

(21)【出願番号】特願2015-532287(P2015-532287)

(86)(22)【出願日】2013年9月16日

(65)【公表番号】特表2015-532988(P2015-532988A)

(43)【公表日】2015年11月16日

(86)【国際出願番号】CN2013083578

(87)【国際公開番号】WO2014044158

(87)【国際公開日】20140327

【審査請求日】2016年8月4日

(31)【優先権主張番号】201210360651.2

(32)【優先日】2012年9月21日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】509024525

【氏名又は名称】ゼットティーイー コーポレーション

【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100080001

【弁理士】

【氏名又は名称】筒井 大和

(74)【代理人】

【識別番号】100093023

【弁理士】

【氏名又は名称】小塚 善高

(74)【代理人】

【識別番号】100117008

【弁理士】

【氏名又は名称】筒井 章子

(72)【発明者】

【氏名】王 ▲キ▼▲貴▼

(72)【発明者】

【氏名】彭 云

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特表２０１２−５０７７６１（ＪＰ，Ａ）

【文献】 特開２００９−２０１０６４（ＪＰ，Ａ）

【文献】 特開２０１２−０５８７８７（ＪＰ，Ａ）

【文献】 特開２０００−２４４８１４（ＪＰ，Ａ）

【文献】 高橋 常悦、外３名，“物体認識機能搭載画像処理装置 ＭＥＩＳＣＯＰＥ−ＩＩＩ”，明電時報，株式会社明電舎，１９９４年１０月１８日，No.5，pp.50-54

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割することと、
各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、マッチング度が設定閾値を超えたサブセットを確定することと、
設定閾値を超えた前記サブセットに対応するエリア及びラインをハイライト表示することと、
を含み、
前記画像がパノラマ画像である場合、前記画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割することは、具体的には、
パノラマ画像をフレームごとに分析し、フレームごとの画像上のエリア及びラインに基づき、フレームごとの画像上のポイントを複数のサブセットに分割することを含み、
前記設定閾値を超えた前記サブセットに対応するエリア及びラインをハイライト表示することは、具体的には、
直前フレームの画像には、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインと同じエリア及びラインがすでに表示されているか否かを確定し、そうである場合、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインを表示せず、そうでない場合、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインをハイライト表示することを含む、
画像における対象物の識別方法。

【請求項2】

前記画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割することは、具体的には、
ガウスラプラスＬＯＧアルゴリズムによって画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割することである請求項１に記載の方法。

【請求項3】

前記設定閾値を超えた前記サブセットに対応するエリア及びラインをハイライト表示することは、具体的には、
設定閾値を超えた前記サブセットに対応するエリア及びラインに対して強調レンダリングを行うこと、及び／または
設定閾値を超えた前記サブセットに対応する情報を表示することを含む請求項１に記載の方法。

【請求項4】

設定閾値を超えた前記サブセットに対応する情報を表示する前に、さらに、
前記データベースから設定閾値を超えた前記サブセットに対応する情報を取得すること、または
利用者により入力された、設定閾値を超えた前記サブセットに対応する情報を取得することを含む請求項３に記載の方法。

【請求項5】

画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割するように構成されている分割ユニットと、
各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、マッチング度が設定閾値を超えたサブセットを確定するように構成されているマッチングユニットと、
設定閾値を超えた前記サブセットに対応するエリア及びラインをハイライト表示するように構成されている表示ユニットと、
を含み、
前記画像がパノラマ画像である場合、
前記分割ユニットは、具体的には、
パノラマ画像をフレームごとに分析し、フレームごとの画像上のエリア及びラインに基づき、フレームごとの画像上のポイントを複数のサブセットに分割するように構成されており、
前記表示ユニットは、具体的には、
直前フレームの画像には、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインと同じエリア及びラインがすでに表示されているか否かを確定し、そうである場合、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインを表示せず、そうでない場合、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインをハイライト表示するように構成されている、
画像における対象物の識別装置。

【請求項6】

前記分割ユニットは、具体的には、
ガウスラプラスＬＯＧアルゴリズムによって画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割するように構成されている請求項５に記載の装置。

【請求項7】

前記表示ユニットは、具体的には、
設定閾値を超えた前記サブセットに対応するエリア及びラインに対して強調レンダリングを行う、及び／または
設定閾値を超えた前記サブセットに対応する情報を表示するように構成されている請求項５に記載の装置。

【請求項8】

前記表示ユニットは、さらに、
設定閾値を超えた前記サブセットに対応する情報を表示する前に、前記データベースから設定閾値を超えた前記サブセットに対応する情報を取得する、または、
設定閾値を超えた前記サブセットに対応する情報を表示する前に、利用者により入力された、設定閾値を超えた前記サブセットに対応する情報を取得するように構成されている
請求項７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関し、特に画像における対象物の識別方法及び装置に関する。

【背景技術】

【0002】

現在、画像をみるとき、オリジナル・ショートによって形成されたパターンしか直接見ることはできないが、例えば、建築研究において、画像の中の建物を焦点にして見たいなどのような特別な場面で、利用者が、１グループの画像の中のある物体を焦点として見ようとすることがある。

【0003】

利用者は画像の中の特定の物体を焦点として見ようとする場合、人工的に画像から当該物体を探すしかなく、見落としがちで、利用者エクスペリエンスがよくない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、画像における対象物の識別及びハイライト表示を実現するための画像中の対象物の識別方法及び装置を提供する。

【課題を解決するための手段】

【0005】

本発明の一態様によると、
画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割することと、
各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、マッチング度が設定閾値を超えたサブセットを確定することと、
設定閾値を超えた前記サブセットに対応するエリア及びラインをハイライト表示することと、
を含む画像における対象物の識別方法を提供する。

【0006】

本発明のもう一つの態様によると、
画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割するように構成されている分割ユニットと、
各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、マッチング度が設定閾値を超えたサブセットを確定するように構成されているマッチングユニットと、
設定閾値を超えた前記サブセットに対応するエリア及びラインをハイライト表示するように構成されている表示ユニットと、
を含む画像における対象物の識別装置を提供する。

【0007】

本発明の実施例に係る画像における対象物の識別方法及び装置は、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割し、各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、画像からデータベース中のデータに対応する対象物を選択し、さらに、設定閾値を超えたサブセットに対応するエリア及びラインをハイライト表示する、即ち、対象物をハイライト表示することで、画像における対象物の識別及びハイライト表示を実現する。

【図面の簡単な説明】

【0008】

【図1】本発明の実施例に係る画像における対象物の識別方法のフローチャート図である。

【図2】本発明の実施例に係る好適な画像における対象物の識別方法のフローチャート図である。

【図3】本発明の実施例に係る画像における対象物の識別装置の構成を示す図である。

【発明を実施するための形態】

【0009】

本発明の実施例に係る画像における対象物の識別方法及び装置は、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割し、各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、画像からデータベース中のデータに対応する対象物を選択し、さらに、設定閾値を超えたサブセットに対応するエリア及びラインをハイライト表示する、即ち、対象物をハイライト表示することで、画像における対象物の識別及びハイライト表示を実現する。

【0010】

図１に示すように、本発明の実施例に係る画像における対象物の識別方法は、
ステップＳ１０１：画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割することと、
ステップＳ１０２：各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、マッチング度が設定閾値を超えたサブセットを確定することと、
ステップＳ１０３：設定閾値を超えたサブセットに対応するエリア及びラインをハイライト表示することと、
を含む。

【0011】

このように、画像を表示するとき、まず、画像を分析し、データベース中のデータにマッチングするエリア及びラインデータを確定し、さらにこれらのエリア及びラインをハイライト表示することで、利用者による対象物の識別が容易になる。

【0012】

ステップＳ１０１において、画像を分析し、画像上のポイントを異なるサブセットに分割し、これらのサブセットは、孤立したポイント、連続的な曲線、または連続的なエリアを含む。よく用いられている画像分析の方法は、ＬＯＧ（Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎ、ガウスラプラス）、Ｏｔｓｕ（最大尤度しきい値選定法、大津の二値法ともいう）、Ｂｅｒｎｓｅｎ（バーンセンアルゴリズム）、ＬＥＶＢＢ（Ｌｏｃａｌ Ｅｘｔｒｅｍｅ Ｖａｌｕｅ Ｂａｓｅｄ Ｂｉｎａｒｉｚａｔｉｏｎ、ローカル極値に基づいたファースト二値化アルゴリズム）などがある。

【0013】

そのうち、Ｏｔｓｕアルゴリズムは、交互の対象物と背景画素濃淡値を有する単峰または多峰画像であるヒストグラムに対して、二値化エラーが生ずることがあり、Ｂｅｒｎｓｅｎアルゴリズムは、正しく二値化することができるが、ゴースト現象が大量生成し、且つノイズに対する感度が高く、対象物の一部欠如や、ゴースト（ｇｈｏｓｔ）などの欠点や問題がある。ＬＥＶＢＢアルゴリズムは、効果が割りとよく、Ｂｅｒｎｓｅｎアルゴリズムで生成するゴースト現象を効果的に除去でき、ノイズに対する感度も低いが、光の照射の変化が強い場合、結果に正しくない部分があり、テキストの筆画がはっきりしない。

【0014】

ＬＯＧアルゴリズムは、光の照射の激しい変化やノイズの干渉に対抗でき、対象物のオリジナル様態がよく維持され、よりよい効果が得られる。ＬＯＧアルゴリズムにより、画像のエッジゼロクロスを検出し、エッジゼロクロス点の両側の画素が対象物かそれとも背景かを確定し、画像における均一領域（背景または対象物）について、近隣属性（ｎｅｉｇｈｂｏｒｈｏｏｄ ａｔｔｒｉｂｕｔｅｓ）によりその帰属を確定する。当該方法はＢｅｒｎｓｅｎによる対象物の一部欠如やゴースト現象を解消できると共に、Ｏｔｓｕ法ではノイズや光の照射の不均衡の影響を受けやすいことも克服でき、ＬＥＶＢＢアルゴリズムよりも効果がよい。

【0015】

システムは、処理速度、記憶容量、及び安定性などにおいて、高いレベルを有する場合、ＬＯＧ特徴点が理想的な選択であり、ＬＯＧ特徴点を抽出することで、サブセットの分割を実現することができる。

【0016】

従って、ステップＳ１０１において、画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割することは、具体的には、
ラプラス-ガウスＬＯＧアルゴリズムによって画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割することである。

【0017】

それに応じて、ステップＳ１０２において、データベースには、具体的な対象物のＬＯＧ特徴サンプルデータが記憶され、当該データは、様々な環境的変化（スケール、回転、光の照射、遮蔽など）による画像への影響をカバーしている。通常の場合、記憶されているサンプルデータは、これらの変化に対する高い適応性やロバスト性を確保できる。例えば、決定樹構造により構成されたＦｅｒｎｓ分類器を用いて、画像のＬＯＧ特徴サンプルに対して教師あり学習を行わば、記憶されたサンプルデータは、これらの変化に対する高い適応性やロバスト性を一層確保することができる。

【0018】

ステップＳ１０３において、設定閾値を超えたサブセットに対応するエリア及びラインをハイライト表示することは、具体的に、
設定閾値を超えたサブセットに対応するエリア及びラインに対して強調レンダリング（Ｅｎｈａｎｃｅｄ ｒｅｎｄｅｒｉｎｇ）をすること、及び／または
設定閾値を超えたサブセットに対応する情報を表示することを含む。

【0019】

そのうち、強調レンダリングをする際に、レンダラーに入力されるデータはポジション行列であってもよく、レンダラーから出力されるデータは強調レンダリングされた画像データである。

【0020】

識別された対象物について、その関連情報が表示され、即ち設定閾値を超えたサブセットに対応する情報が表示されても良い。関連情報は、文字、ピクチャ、及びビデオ・オーディオを含む。データベースに関連情報が記憶されていない場合、利用者により当該関連情報を入力することができる。この場合、設定閾値を超えたサブセットに対応する情報を表示する前に、さらに、
データベースから設定閾値を超えたサブセットに対応する情報を取得すること、または
利用者により入力された、設定閾値を超えたサブセットに対応する情報を取得することを含む。

【0021】

なお、対象物をハイライト表示する方法は、例えば、特定のマークを表示することや、枠で囲むことなどの多くの方法があるが、ここでは詳しく説明しない。

【0022】

画像がパノラマ画像である場合、パノラマ画像のフレームごとにそれぞれ画像を分析することになり、具体的には、
画像がパノラマ画像である場合、ステップＳ１０１において、画像を分析し、画像上のエリアとラインに基づき画像上のポイントを複数のサブセットに分割することは、具体的には、
パノラマ画像をフレームごとに分析し、フレームごとの画像上のエリアとラインに基づきフレームごとの画像上のポイントを複数のサブセットに分割することを含み、
ステップＳ１０３において、設定閾値を超えたサブセットに対応するエリア及びラインをハイライト表示することは、具体的には、
直前フレームの画像には、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインと同じエリア及びラインがすでに表示されているか否かを確定し、そうである場合、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインを表示せず、そうでない場合、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインをハイライト表示することを含む。

【0023】

以下、パノラマ画像に対して対象物識別を行うことを例として、本発明の実施例に係る画像における対象物の識別方法を詳しく説明する。図２に示すように、以下のようなステップを含む。

【0024】

ステップＳ２０１：ＬＯＧ特徴点を抽出することで、パノラマ画像のフレームごとに画像の特徴情報を分析し、画像上のエリア及びラインに基づき画像上のポイントを複数のサブセットに分割する。

【0025】

ステップＳ２０２：各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、マッチング度が設定閾値を超えたサブセットを確定し、マッチングする際に、様々な環境的変化（スケール、回転、光の照射、遮蔽など）による画像への影響を考慮して、決定樹構造により構成されたＦｅｒｎｓ分類器を用いて、画像のＬＯＧ特徴サンプルに対して教師あり学習を行い、十分な教師あり学習によって、アルゴリズムの、これらの変化に対する高い適応性及びロバスト性を確保でき、場面の識別が実現できる。

【0026】

ステップＳ２０３：識別された対象物に対して、強調レンダリングするとともに、文字、ピクチャ、及びビデオ・オーディオを含む関連情報を表示する。

【0027】

強調レンダリングする際に、継ぎ合わせる前後２つの画像フレームについて、前の画像フレームに対象物情報がすでに表示された場合、次の画像フレームには、対象物情報が表示されないことになる。

【0028】

ステップＳ２０４：識別された対象物に対して、利用者により入力された、文字、ピクチャ、及びビデオ・オーディオを含む関連情報を受信する。

【0029】

本発明の実施例は、さらに、画像における対象物を識別する装置を提供する。図３に示すように、当該装置は、
画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割するように構成されている分割ユニット３０１と、
各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、マッチング度が設定閾値を超えたサブセットを確定するように構成されているマッチングユニット３０２と、
設定閾値を超えたサブセットに対応するエリア及びラインをハイライト表示するように構成されている表示ユニット３０３と、
を含む。

【0030】

そのうち、分割ユニット３０１は、具体的には、
ラプラス-ガウスＬＯＧアルゴリズムによって画像を分析し、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割するように構成されている。

【0031】

表示ユニット３０３は、具体的には、
設定閾値を超えたサブセットに対応するエリア及びラインに対して強調レンダリングを行う、及び／または
設定閾値を超えたサブセットに対応する情報を表示するように構成されている。

【0032】

表示ユニット３０３は、さらに、
設定閾値を超えたサブセットに対応する情報を表示する前に、データベースから設定閾値を超えたサブセットに対応する情報を取得する、または
設定閾値を超えたサブセットに対応する情報を表示する前に、利用者により入力された、設定閾値を超えたサブセットに対応する情報を取得するように構成されている。

【0033】

画像がパノラマ画像である場合、分割ユニット３０１は、具体的には、
パノラマ画像をフレームごとに分析し、フレームごとの画像上のエリア及びラインに基づき、フレームごとの画像上のポイントを複数のサブセットに分割するように構成されている。

【0034】

表示ユニット３０３は、具体的には、
直前フレームの画像に、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインと同じエリア及びラインがすでに表示されているか否かを確定し、そうである場合、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインを表示せず、そうでない場合、現在フレームの画像における設定閾値を超えた当該サブセットに対応するエリア及びラインをハイライト表示するように構成されている。

【0035】

本発明の実施例に係る画像における対象物の識別方法及び装置は、画像上のエリア及びラインに基づき、画像上のポイントを複数のサブセットに分割し、各サブセットにおけるデータと、データベースに記憶されている対象物データとに対してデータマッチングを行い、画像からデータベース中のデータに対応する対象物を選択し、さらに、設定閾値を超えたサブセットに対応するエリア及びラインをハイライト表示する、即ち、対象物をハイライト表示することで、画像における対象物の識別及びハイライト表示を実現する。

【0036】

なお、当業者であれば分かるように、本発明の実施例は、方法、システム、またはコンピュータプログラムとして提供されることができる。したがって、本発明は、ハードウェア実施例、ソフトウェア実施例、またはハードウェアとソフトウェアとが結合した実施例を採用することができる。また、本発明は、コンピュータ装置が実行可能なプログラムコードが含まれている１つまたは複数のコンピュータ用記憶媒体（ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリなどを含むが、これらに限らない）で実行するコンピュータプログラム製品として利用されてもよい。

【0037】

本発明は、本発明の実施例に係る方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図、及び／またはブロック図を参照して説明したものである。コンピュータプログラム指令により、フローチャート図及び／またはブロック図における各手順及び／またはブロック、及びフローチャート図及び／またはブロック図における手順及び／またはブロックの組み合わせを実現することが可能である。これらのコンピュータプログラム指令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、または他のプログラム可能なデータ処理装置のプロセッサーに提供して機器を生成し、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサーにより実行される指令によって、フローチャート図の１つまたは複数の手順、及び／またはブロック図における１つまたは複数のブロックにおいて特定した機能を実現する装置を生成してもよい。

【0038】

これらのコンピュータプログラム指令は、コンピュータまたは他のプログラム可能なデータ処理装置を所定の方式で動作させるようにガイドするコンピュータ読み取り可能なメモリに記憶されてもよく、当該コンピュータ読み取り可能なメモリに記憶されている指令により、フローチャート図における１つまたは複数の手順、及び／またはブロック図における１つまたは複数のブロックにおいて特定した機能を実現する指令装置を含む製品が生成される。

【0039】

これらのコンピュータプログラム指令は、コンピュータまたは他のプログラム可能なデータ処理装置にインストールされてもよく、これにより、コンピュータまたは他のプログラム可能な装置で一連の操作ステップが実行され、コンピュータにより実現される処理が生成され、コンピュータまたは他のプログラム可能な装置で実行される指令により、フローチャート図における１つまたは複数の手順、及び／またはブロック図における１つまたは複数のブロックにおいて特定した機能を実現するステップが提供される。

【0040】

以上、本発明の好適な実施例を説明したが、当業者は、基本的な創造的コンセプトが得られると、これらの実施例に他の変更や修正を行うことが可能である。したがって、特許請求の範囲は、好適な実施例、及び本発明の範囲に含まれているすべての変更や修正を含むように解釈される。

【0041】

言うまでも、当業者であれば、本発明の精神や原則を逸脱しない様々な変更や変形を行うことが可能である。こうして、本発明のこれらの変更や変形は本発明の特許請求の範囲及びその同等技術の範囲内にある場合、これらの変更や変形も本発明の保護範囲内に含まれる。

【符号の説明】

【0042】

３０１ 分割ユニット
３０２ マッチングユニット
３０３ 表示ユニット

【図1】

【図2】

【図3】