特許 6245317 情報処理装置、工作物作成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6245317

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】情報処理装置、工作物作成方法及びプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20171204BHJP

   G06T 7/00 20170101ALI20171204BHJP

   G06T 1/00 20060101ALI20171204BHJP

【ＦＩ】

   G06T7/60 300A

   G06T7/00 300D

   G06T1/00 280

【請求項の数】13

【全頁数】18

(21)【出願番号】特願2016-119748(P2016-119748)

(22)【出願日】2016年6月16日

(62)【分割の表示】特願2012-128876(P2012-128876)の分割

【原出願日】2012年6月6日

(65)【公開番号】特開2016-181276(P2016-181276A)

(43)【公開日】2016年10月13日

【審査請求日】2016年7月19日

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】村田 淳

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００４−０８２４１４（ＪＰ，Ａ）

【文献】 特開平１０−１０５０４５（ＪＰ，Ａ）

【文献】 松田 紘、外２名，“大量の漫画画像に基づくパラパラアニメーションの生成”，インタラクション２０１１予稿集，日本，一般社団法人情報処理学会，２０１１年 ３月１０日，pp.1-2

【文献】 兒玉 松男，“静止画が動き出すような新しい映像体験を提供する「ＡＲアプリケーション」”，ＢＵＳＩＮＥＳＳ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，日本，株式会社ビジネスコミュニケーション社，２０１１年 １月 １日，Vol.48, No.1，pp.96-97

【文献】 鶴田 直也、外３名，“幼児向け折り紙作品の創作支援システム”，インタラクション２０１１予稿集，日本，一般社団法人情報処理学会，２０１１年 ３月１０日，pp.1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０，１３／８０

Ｈ０４Ｎ ５／２３２，５／２６５

(57)【特許請求の範囲】

【請求項1】

ユーザにより描画されたぬり絵を含む媒体の画像データを取得する画像データ取得手段と、
生物等の対象の種別を特定するキャラクターであって、ユーザにより描画されたぬり絵が示すキャラクターを、取得した前記画像データに基づいて決定する判別手段と、
決定されたキャラクターに係る展開図であって、紙を折る作業を含む工作作業をユーザに行わせることで当該キャラクターの工作物を作成することができる前記展開図に対し、ユーザがぬり絵で塗った色を当該キャラクターの位置に合わせて反映する反映手段と、
前記反映手段によりユーザの塗った色が反映された前記展開図を印刷させる印刷手段と、
を有する情報処理装置。

【請求項2】

取得した前記画像データから、前記ユーザの描画したぬり絵の描画オブジェクトを抽出する抽出手段、
を有し、
前記判別手段は、前記描画オブジェクトを解析した結果に基づき、前記ぬり絵のキャラクターを決定する請求項１に記載の情報処理装置。

【請求項3】

前記判別手段は、前記画像データから取得される２次元コードに基づき、前記ぬり絵のキャラクターを決定する請求項１又は２に記載の情報処理装置。

【請求項4】

特定される前記キャラクターに関して、当該キャラクターにより特定される対象の種別を構成する複数のパーツの構造関係を特徴付けた特徴データを予め保持する保持手段、
を有し、
前記反映手段は、構造関係が特定されたぬり絵のキャラクターに係る前記展開図に対し、ユーザがぬり絵で塗った色を反映する、
請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

ユーザにより描画されたぬり絵を含む媒体の画像データを取得する画像データ取得手順と、
生物等の対象の種別を特定するキャラクターであって、ユーザにより描画されたぬり絵が示すキャラクターを、取得した前記画像データに基づいて決定する判別手順と、
決定されたキャラクターに係る展開図であって、紙を折る作業を含む工作作業をユーザに行わせることで当該キャラクターの工作物を作成することができる前記展開図に対し、ユーザがぬり絵で塗った色を当該キャラクターの位置に合わせて反映する反映手順と、
前記反映手順によりユーザの塗った色が反映された前記展開図を印刷させる印刷手順と、
をコンピュータが実行する工作物作成方法。

【請求項6】

取得した前記画像データから、前記ユーザの描画したぬり絵の描画オブジェクトを抽出する抽出手順、
を有し、
前記判別手順は、前記描画オブジェクトを解析した結果に基づき、前記ぬり絵のキャラクターを決定する請求項５に記載の工作物作成方法。

【請求項7】

前記判別手順は、前記画像データから取得される２次元コードに基づき、前記ぬり絵のキャラクターを決定する請求項５又は６に記載の工作物作成方法。

【請求項8】

特定される前記キャラクターに関して、当該キャラクターにより特定される対象の種別を構成する複数のパーツの構造関係を特徴付けた特徴データを予め保持する保持手順、
を有し、
前記反映手順は、構造関係が特定されたぬり絵のキャラクターに係る前記展開図に対し、ユーザがぬり絵で塗った色を反映する、
請求項５乃至７のいずれか１項に記載の工作物作成方法。

【請求項9】

ユーザにより描画されたぬり絵を含む媒体の画像データを取得する画像データ取得手順と、
生物等の対象の種別を特定するキャラクターであって、ユーザにより描画されたぬり絵が示すキャラクターを、取得した前記画像データに基づいて決定する判別手順と、
決定されたキャラクターに係る展開図であって、紙を折る作業を含む工作作業をユーザに行わせることで当該キャラクターの工作物を作成することができる前記展開図に対し、ユーザがぬり絵で塗った色を当該キャラクターの位置に合わせて反映する反映手順と、
前記反映手順によりユーザの塗った色が反映された前記展開図を印刷させる印刷手順と、
をコンピュータに実行させるためのプログラム。

【請求項10】

取得した前記画像データから、前記ユーザの描画したぬり絵の描画オブジェクトを抽出する抽出手順、
を有し、
前記判別手順は、前記描画オブジェクトを解析した結果に基づき、前記ぬり絵のキャラクターを決定する請求項９に記載のプログラム。

【請求項11】

前記判別手順は、前記画像データから取得される２次元コードに基づき、前記ぬり絵のキャラクターを決定する請求項９又は１０に記載のプログラム。

【請求項12】

特定される前記キャラクターに関して、当該キャラクターにより特定される対象の種別を構成する複数のパーツの構造関係を特徴付けた特徴データを予め保持する保持手順、
を有し、
前記反映手順は、構造関係が特定されたぬり絵のキャラクターに係る前記展開図に対し、ユーザがぬり絵で塗った色を反映する、
請求項９乃至１１のいずれか１項に記載のプログラム。

【請求項13】

請求項９乃至１２のいずれか１項に記載のプログラムが記録されたコンピュータ読取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置、画像認識方法及びプログラムに関する。

【背景技術】

【0002】

静止画像や動画像を撮影し、撮影された画像内のオブジェクトを認識する画像認識技術として、画像マッチング方式や特徴点方式などが知られている。画像マッチング方式では、認識するオブジェクトの画像データを予め登録し、登録された画像データと撮影された画像内のオブジェクトとを比較することにより、撮影された画像内のオブジェクトが何であるかを判定する。特徴点方式では、オブジェクトの形状を特徴点としてオブジェクト毎に予め登録し、登録された特徴点と撮影された画像内のオブジェクトの特徴点とを比較することにより、撮影された画像内のオブジェクトが何であるかを判定する。

【0003】

例えば、特許文献１には、撮像して読み込んだ画像内に描かれたオブジェクトの外形の良否を判別するために、オブジェクトを撮像して読み込んだ画像からオブジェクトの外形を特徴付ける円を抽出する技術が開示されている。この技術では、対象画像のオブジェクトの外形の内側に前記円の中心点を探索するための探索領域を設定し、この探索領域内の複数の点をそれぞれ中心点とする円のうち、所定の条件を満たす円を前記オブジェクトの外形を特徴付ける円として抽出することを特徴とする。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の画像マッチング方式や特徴点方式では、対象となる画像の全体の形状が、登録された画像データの特徴点と細かく近似していないとオブジェクトの判定が困難になる。たとえば、子供が描いた動物の絵を対象画像とした場合、子供の描く絵は多少変形して描かれているため、従来の画像マッチング方式や特徴点方式では判定が困難か、データベースの検索及びマッチング処理に膨大な時間がかかる。例えば、特許文献１に示した撮影画像からオブジェクトの外形を特徴付ける円を抽出する方法の場合、子供の描く絵のように多少変形して描かれたオブジェクトが何であるかを認識することは困難である。

【0005】

上記課題に鑑み、本発明の目的とするところは、読取画像に含まれるオブジェクトの画像を認識することが可能な画像認識装置、画像認識方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の一態様によれば、ユーザにより描画されたぬり絵を含む媒体の画像データを取得する画像データ取得手段と、生物等の対象の種別を特定するキャラクターであって、ユーザにより描画されたぬり絵が示すキャラクターを、取得した前記画像データに基づいて決定する判別手段と、決定されたキャラクターに係る展開図であって、紙を折る作業を含む工作作業をユーザに行わせることで当該キャラクターの工作物を作成することができる前記展開図に対し、ユーザがぬり絵で塗った色を当該キャラクターの位置に合わせて反映する反映手段と、前記反映手段によりユーザの塗った色が反映された前記展開図を印刷させる印刷手段と、を有する情報処理装置が提供される。

【発明の効果】

【0007】

本発明によれば、読取画像に含まれるオブジェクトの画像を認識することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る画像認識装置の機能構成図。

【図2】第１実施形態に係る画像認識処理のフロー図。

【図3】第１実施形態に係るいぬの外接円の設定を説明するための図。

【図4】第１実施形態に係るいぬの円弧データの生成を説明するための図。

【図5】第１実施形態に係るモデルデータベースの一例を示した図。

【図6】第１実施形態に係るきりんの外接円の設定を説明するための図。

【図7】第１実施形態に係るきりんの円弧データの生成を説明するための図。

【図8】第１実施形態に係る円弧データの解析を説明するための図。

【図9】第１実施形態に係る中点の相関を説明するための図。

【図10】第２実施形態に係る画像認識装置の機能構成図。

【図11】第２実施形態に係る画像認識処理のフロー図。

【図12】第２実施形態に係る円弧データの生成を説明するための図。

【図13】第１実施形態による画像認識処理を利用したアプリケーション例。

【図14】第１実施形態による画像認識処理を利用したアプリケーション例。

【図15】第１実施形態による画像認識処理を利用したアプリケーション例。

【発明を実施するための形態】

【0009】

以下、本発明の好適な実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
＜第１実施形態＞
［画像認識装置の全体構成］
まず、本発明の第１実施形態に係る画像認識装置について、図１を参照しながら説明する。図１は、第１実施形態に係る画像認識装置の機能構成図である。画像認識装置は、携帯端末、タブレット、ノートＰＣ、その他の電子機器で構成されることができる。

【0010】

本実施形態に係る画像認識装置１は、画像読取部１０、オブジェクト分割部１１、内接円抽出部１２、外接円設定部１３、円弧データ生成部１４、抽出部１５、モデルデータベース１６、判定部１７を有している。

【0011】

画像読取部１０は、画像を取り込み可能な装置を用いて画像を画像認識装置内に取り入れる。画像を取り込み可能な装置としては、撮像装置や読取装置が挙げられる。撮像装置としては、例えば、携帯端末に内臓されたカメラやビデオカメラ等が挙げられ、読取装置としては、例えば、スキャナ等が挙げられる。読み取られる画像は、子供が描いた塗り絵等の静止画像であってもよく、アニメーション等の動画像であってもよい。

【0012】

オブジェクト分割部１１は、入力された静止画像や動画像の１フレームからウェーブレット（Ｗａｖｅｌｅｔ）手法等による信号処理を用いたオブジェクトの抽出を行い、必要に応じて抽出したオブジェクトを複数のオブジェクトに分割する。

【0013】

例えば、図３の犬の絵の例では、犬の顔部のみの絵が撮影された画像が入力された場合、犬の顔部のオブジェクトＢに対する円弧データが解析される。ここでは顔部のオブジェクトＢに加えて、耳部のオブジェクトＣに対する円弧データの解析も行われる。

【0014】

一方、犬の体全体の絵が撮影された画像が入力された場合、犬の顔部に加え、犬の体全体のオブジェクトＡに対する円弧データが解析される。解析の結果、オブジェクトＡに対する円弧データは、犬の体全体についての特徴を表し、オブジェクトＢに対する円弧データは、犬の顔部についての特徴を表し、オブジェクトＣに対する円弧データは、犬の耳部についての特徴を表す。

【0015】

このように、図３では、犬というオブジェクトが、犬の体全体のオブジェクトＡ、犬の顔部のオブジェクトＢ、犬の耳部のオブジェクトＣの３つのオブジェクトに分割された例を示すが、これに限られない。オブジェクト分割部１１がオブジェクトの分割を実行しても、結果として得られるオブジェクトは、１つ（オブジェクトが分割されない）であることもあり、２以上であることもある。分割されたオブジェクトは、それぞれが独立して画像認識の対象となる。なお、オブジェクトの分割には、例えば、輪郭抽出処理等の公知の技術を利用することができる。オブジェクトの分割処理は実行されなくてもよいが、実行した方がオブジェクトの認識精度が向上し好ましい。

【0016】

内接円抽出部１２は、読取画像内のオブジェクトに内接する円を抽出する。例えば、内接円抽出部１２は、オブジェクトに対して面積が最大となる内接円を抽出する。内接円抽出部１２は、オブジェクト分割部１１により分割されたオブジェクトに対して面積が最大となる内接円をそれぞれ抽出する。例えば、図３には、犬の体全体のオブジェクトＡに対して面積が最大となる内接円ＡＩが計算され、犬の顔部のオブジェクトＢに対して面積が最大となる内接円ＢＩが計算され、犬の耳部のオブジェクトＣに対して面積が最大となる内接円ＣＩが計算される。

【0017】

外接円設定部１３は、内接円の中心点を外接円の中心点とした、オブジェクトに外接する外接円を設定する。例えば外接円設定部１３は、犬の体全体のオブジェクトＡに対して内接円の中心点ａ０を外接円の中心点として、オブジェクトＡに外接する外接円ＡＯを設定する。外接円設定部１３は、内接円の中心点ａ０を外接円の中心点とすることにより、オブジェクトの多少の形の変化に依存しない中心点を導くことができる。図３では、オブジェクトＡは、犬の鼻先で外接円ＡＯと外接している。

【0018】

外接円設定部１３は、犬の顔部のオブジェクトＢに対しても内接円の中心点ｂ０を外接円の中心点として、オブジェクトＢに外接する外接円ＢＯを設定する。なお、犬の耳部のオブジェクトＣに対しても同様であるが、図３ではオブジェクトＢに外接する外接円は図示していない。

【0019】

円弧データ生成部１４は、外接円に対するオブジェクトの外形の相対位置に基づき、オブジェクトに応じた波形を生成するデータ生成部に相当する。具体的には、円弧データ生成部１４は、外接円の中心点から半径方向に伸びる線とオブジェクトの外形（輪郭）との交点、及び外接円の中心点から半径方向に伸びる線と外接円との交点とを用いてオブジェクトの外形に応じた波形を生成する。

【0020】

例えば円弧データ生成部１４は、犬の体全体のオブジェクトＡに対して、外接円の中心点ａ０から半径方向に伸びる線ａ１とオブジェクトＡの外形（図３では、しっぽ部分）との交点ａ１１、及び前記線ａ１と外接円ＡＯとの交点ａ０１とに基づき、オブジェクトＡに応じた波形を構成する一点を生成する。具体的には、円弧データ生成部１４は、外接円ＡＯの中心点ａ０に対するオブジェクトＡの外形上の交点の位置、及び外接円の中心点ａ０に対する外接円の交点の位置の相対位置関係に基づき、オブジェクトＡの外形を外接円ＡＯの円周に対する相対位置を示す波形として生成する。

【0021】

同様にして、線ａ２〜ａ６とオブジェクトＡの外形との交点、及び線ａ２〜ａ６と外接円ＡＯとの交点とに基づき、オブジェクトＡに応じた波形の各点を生成する。このようにて、円弧データ生成部１４は、外接円の中心点ａ０から半径方向に伸びる３６０°の線とオブジェクトＡの外形との交点、及び前記３６０°の線と外接円ＡＯとの交点とに基づき、オブジェクトＡに応じた円弧状の波形（以下、円弧データともいう。）を生成する。

【0022】

図３の犬の体全体のオブジェクトＡの円弧データを図4に示す。線ａ１〜ａ６とオブジェクトＡの外形との交点（又は接点）ａ１１〜ａ６６は、オブジェクトＡの外形のうちの比較的突出した部分を示し、円弧データのグラフの特徴点として表されている。なお、図４のグラフの横軸は外接円の円周方向の位置、縦軸は円弧データの値を示す。図４のグラフでは、図３の犬の体全体のオブジェクトＡに示された始点から円周方向に３６０°、外接円ＡＯに対するオブジェクトＡの外形の相対位置が解析され、その結果が波形として示されている。よって、円弧データの始点と終点とは一致する。

【0023】

以上に説明したように、円弧データ生成部１４は、オブジェクトの中心点から外接円への直線上にあるオブジェクトの交点と外接円上の交点を求め、一つのオブジェクトに関する円弧の配列を生成する。

【0024】

円弧データ生成部１４は、分割された複数のオブジェクトのそれぞれに対して上記円弧状の波形を生成する。図３では、オブジェクトＡ、オブジェクトＢ、オブジェクトＣに対して、それぞれ内接円抽出→外接円設定→円弧データ生成の処理が行われることになる。

【0025】

抽出部１５は、生成されたオブジェクトの波形に対応するテンプレート候補を、モデルデータベース１６に蓄積された複数のテンプレートの波形から抽出する。

【0026】

モデルデータベース１６には、様々なオブジェクトのテンプレートの波形がテンプレートに関連付けられて、予め登録されている。例えば、図５に示したように、モデルデータベース１６には、ねこ、ぶた、いぬ、きりん、円、四角形・・・等の様々な図示しないテンプレートに対応する円弧データが格納されている。各テンプレート自体は、これらに対応する円弧データに関連付けてモデルデータベース１６又はその他の画像認識装置の内部の記憶領域又は画像認識装置の外部の記憶領域に蓄積されている。

【0027】

例えば、モデルデータベース１６には、「いぬ」と「きりん」の基本的なテンプレートの波形が円弧データとして保存されている。テンプレートの波形の生成方法は、上記円弧データ生成部による生成方法と同じである。

【0028】

これに対して、例えば、子供が図３に示した「いぬ」と図６に示した「きりん」とを描いた場合について考える。本実施形態に係る画像認識を用いて、円弧データ生成部１４により「いぬの絵」から図４の円弧データが生成され、「きりんの絵」から図７の円弧データが生成される。

【0029】

すなわち、「きりんの絵」のオブジェクトも同様に、図６に示したオブジェクトの内接円ＤＩの中心点ｄ０を中心点とする外接円ＤＯを作成し、中心点ｄ０から半径方向に伸びる線ときりんの外形との交点及び前記線と外接円ＤＯとの交点の比率を配列として保持する。この結果、子供が書いた「きりんの絵」から抽出される円弧データは図７に示す円弧データとなる。

【0030】

外接円に対するオブジェクトの外形の相対位置は、例えば、オブジェクトの中心点から半径方向に伸びる線とオブジェクトの外形との交点と、線と外接円との交点との割合で表される。例えば、外接円に対するオブジェクトの外形の相対位置は、外接円の中心点からオブジェクトの外形の交点までの長さとオブジェクトの外形の交点から外接円の交点までの長さの比率であってもよい。また、例えば、外接円に対するオブジェクトの外形の相対位置は、外接円の中心点からオブジェクトの外形の交点までの長さと外接円の中心点から外接円の交点までの長さの比率であってもよい。また、例えば、外接円の中心点から外接円の交点までの半径の長さを１として外接円の中心点からオブジェクトの外形の交点までの長さを１に対する長さの割合として正規化した値としてもよい。

【0031】

生成された「いぬの絵」の円弧データ、「きりんの絵」の円弧データは、モデルデータベース１６に保存された複数のテンプレートの円弧データと比較される。

【0032】

図４の「いぬの絵」の円弧データは顔と四肢としっぽが特徴点（ａ１１、ａ２２、ａ３３、ａ４４、ａ５５、ａ６６）として波形に示され、図７の「きりんの絵」の円弧データは首と、その先についた顔とつのと耳が特徴点（ｄ５５、ｄ６６、ｄ７７）として波形に示される。

【0033】

これに対して、図５の「いぬ」のテンプレートの円弧データは、図７の「きりんの絵」の円弧データが持っている長い首に関連する特徴点（ｄ５５、ｄ６６、ｄ７７）を有しない。一方、図５の「きりん」のテンプレートの円弧データは、図７の「きりんの絵」の円弧データが持っている特徴点を有する類似した波形である。

【0034】

同様に、図５の「きりん」のテンプレートの円弧データは、図４の「いぬの絵」の円弧データが持っている顔と四肢としっぽに相当する特徴点（ａ１１、ａ２２、ａ３３、ａ４４、ａ５５、ａ６６）を有しない。一方、図５の「いぬ」のテンプレートの円弧データは、図４の「いぬの絵」の円弧データが持っている特徴点を有する類似した波形である。

【0035】

したがって、図４の「いぬ」の円弧データは、図５の「いぬ」の円弧データに類似し、図７の「きりん」の円弧データは、図５の「きりん」の円弧データに類似すると認識される。

【0036】

このように、オブジェクトの外形を、外接円を基準とした円弧データとして抽出し、テンプレートの円弧データと比較することにより、高速に画像認識処理を実行することができ、かつ多少の変形したオブジェクトであってもそのオブジェクトの画像認識を可能とする。また、オブジェクトを認識するための特徴点を、中間データとして機能する円弧データに変換して表し、変換後の中間データ同士を比較するため、オブジェクトの外形の特徴を維持したまま、描かれたオブジェクトの大きさに関係なく比較することができる。また、円弧データに対する一定の閾値を設けることにより、描かれた足の位置など、多少の変化に関してもオブジェクト全体の特徴に基づき、モデルデータベース１６を柔軟に検索して円弧データが類似するテンプレートをモデルデータベース１６から高速に抽出できる。なお、抽出部１５は、分割された複数のオブジェクトの少なくともいずれかの波形に対応するテンプレート候補を抽出してもよい。ただし、抽出部１５は、分割された複数のオブジェクトのすべてについてその波形に対応するテンプレート候補を抽出することにより、テンプレート候補をより絞り込むことができる。

【0037】

更に、抽出部１５は、モデルデータベース１６に蓄積された複数のテンプレートの波形上のいずれかの点を始点として、生成されたオブジェクトの波形と比較することができる。前述のように、オブジェクトの特徴は円弧状の波形として示され、始点と終点とを有さない。よって、テンプレートと比較する際、オブジェクトの波形の始点を固定位置にする必要はなく、波形のいずれの点を始点としてテンプレートの波形との比較を開始することができる。画像読み取り時、通常、撮像方向や撮像角度はそのときによって一定しない。よって、オブジェクトが正面から撮られていない、例えばオブジェクトが背面から撮られたような場合も生じる。このような場合であっても、オブジェクトの波形の始点を、概ね物体を正面から表現したテンプレートの波形の始点にあわせることにより両者の波形の比較が可能になる。

【0038】

抽出部１５は、モデルデータベース１６に蓄積された複数のテンプレートに対応する波形と円弧データ生成部１４により生成された波形とをマッチングする際、例えば、各波形の高周波成分と低周波成分とに分ける等の周波数解析し、解析結果に基づき生成されたオブジェクトの波形に対応するテンプレート候補を抽出する。

【0039】

円弧データのマッチングの技術としては、例えば、比較対象となる２つの円弧データの波形の特徴を抽出して、一致するか否かを判定する。一例としては、図８（ａ）〜図８（ｃ）に示した波形のピークの位置と変化の少ないピーク間中央位置と分けて抽出し、抽出された波形のピークの位置は高周波解析、変化の少ないピーク間中央位置は低周波解析を実行してもよい。

【0040】

図８（ａ）は、モデルデータベース１６に記憶された、「いぬ」のテンプレートの円弧データの波形の一例である。図８（ｂ）は、図４で示した「いぬの絵」の円弧データの波形である。図８（ｃ）は、図７で示した「きりんの絵」の円弧データの波形である。

【0041】

上記解析法では、図８（ａ）の波形の高周波成分ＨＴと図８（ｂ）の波形の高周波成分ＨＡと図８（ｃ）の波形の高周波成分ＨＤを抽出して、高周波解析する。また、図８（ａ）の波形の低周波成分ＬＴと図８（ｂ）の波形の低周波成分ＬＡと図８（ｃ）の波形の低周波成分ＬＤを抽出して、低周波解析する。

【0042】

これにより、読取画像内のオブジェクトの波形がどのテンプレートの波形に類似しているかを判断し、テンプレート候補を選択する。この例では、図８（ｂ）の「いぬの絵」の波形が図８（ａ）の「いぬ」のテンプレートの波形に類似していると判定し、図８（ａ）の「いぬ」のテンプレートを「いぬの絵」に対するテンプレート候補の一つとする。一方、この例では、図８（ｃ）の「きりんの絵」の波形は、図８（ａ）の「いぬ」のテンプレートの波形に類似していないと判定する。よって、図８（ａ）の「いぬ」のテンプレートは、「きりんの絵」に対するテンプレート候補の一つとされない。

【0043】

以上のようにして、生成したオブジェクトの円弧データを、登録されているテンプレートの円弧データと比較し、読み込んだオブジェクトに対するテンプレートの候補をモデルデータベース１６から複数抽出する。たとえば、単純な正四角形の円弧データは９１．２５度ずつにピークが表現されるが、正四角形が構成要素となっているオブジェクトは、抽出部１５により候補となるテンプレートは抽出できるが、複数の候補から一つのテンプレートを確定することはできない。

【0044】

判定部１７は、分割されたオブジェクト間の外接円の中心点の相関情報に基づき、前記テンプレート候補から前記読取画像内のオブジェクトに対応するテンプレート候補を絞り込む。例えば、図３において、分割されたオブジェクトＡとオブジェクトＢについて、図９に示したように、抽出部１５により抽出した円弧データのオブジェクトＡの外接円ＡＯと、オブジェクトＢの中心点ｂ０の相関情報に基づき、モデルデータベース１６の円弧データと比較することにより、対象のオブジェクトが何であるか判断する。複数の円弧の中心点の関連性を保持することによって、入力画像が、あるオブジェクトの一部であっても、その一部の情報に特有の形を有していれば、オブジェクトの判定が可能であり、また、膨大なデータからある程度絞りこむことが可能である。

【0045】

［画像認識処理］
次に、第１実施形態に係る画像認識装置１により実行される画像認識処理の動作について、図２を参照しながら説明する。

【0046】

画像認識装置１による画像認識処理が開始されると、ステップＳ１０にて、画像読取部１０は、画像を入力する。画像の入力方法には、カメラによる画像の撮像やスキャナ装置による画像の読込みの他画像の受信もありうる。

【0047】

次に、ステップＳ１１にて、オブジェクト分割部１１は、入力画像に含まれるオブジェクトの抽出を行い、抽出したオブジェクトを複数のオブジェクトに分割する。

【0048】

次に、ステップＳ１２にて、内接円抽出部１２は、分割されたオブジェクトのそれぞれに対して、面積が最大となる内接円を描く。

【0049】

次に、ステップＳ１３にて、外接円設定部１３は、内接円の中心点を中心とし、オブジェクトの最外点に接する外接円を設定する。

【0050】

次に、ステップＳ１４にて、円弧データ生成部１４は、中心点から外接円への直線上にあるオブジェクトの交点と外接円上の交点を求め、オブジェクトに関する円弧の配列（円弧データ）を生成する。

【0051】

次に、ステップＳ１５にて、抽出部１５は、分割したすべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行したかを判定する。すべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行していない場合、ステップＳ１１に戻り、処理していないオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行する。すべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行した場合、ステップＳ１６に進み、抽出部１５は、入力画像内のオブジェクトに類似するオブジェクトのテンプレート候補をモデルデータベース１６から検索する。

【0052】

次に、ステップＳ１７にて、判定部１７は、抽出したオブジェクトが重なりあうオブジェクトについて、ステップＳ１４によって抽出した円弧データの中点との、相対位置を基にデータベースと比較し、対象のオブジェクトが何であるか判断する。複数の円弧の中点の関連を保持することで、入力された画像が、あるオブジェクトの一部であっても、その一部の情報に特有の形を有していれば、オブジェクトの判定が可能であり、また、膨大なデータからある程度絞りこむことが可能である。

【0053】

以上に説明したように、本実施形態に係る画像認識装置１によれば、入力画像のオブジェクトに内接する円のうち最大面積の内接円を抽出し、その内接円の中心点を中心とした、オブジェクトの最外点に接する外接円を描く。そして、外接円を基準としたオブジェクトの外形の相対位置を示す円弧状の特徴データを抽出し、波形として生成する。

【0054】

このようにして、オブジェクトの外形全体の特徴を波形に変換し、同様にして予め変換したモデルデータベース１６に登録されているテンプレートの波形と比較する。これにより、子供が手書きした絵等、読取画像に含まれるオブジェクトが多少変形していても、オブジェクトの外形全体の特徴を表す波形とテンプレートの波形とを比較することによって、オブジェクトをより精度良く画像認識することができ、オブジェクトに対応するテンプレート候補を的確に絞り込むことができる。

【0055】

特に、本実施形態では、オブジェクトの特徴は外接円に対するオブジェクトの外形の位置の比率として表される。よって、オブジェクトが実際に描かれた大きさに関係なく、オブジェクトの波形とテンプレートの波形とを比較することができる。
＜第２実施形態＞
［画像認識装置の全体構成］
次に、本発明の第２実施形態に係る画像認識装置について、図１０を参照しながら説明する。図１０は、第２実施形態に係る画像認識装置の機能構成図である。

【0056】

第１実施形態に係る画像認識装置１では、オブジェクト及びテンプレートは２次元のデータであることを前提に、画像認識処理を行った。これに対して、本実施形態に係る画像認識装置１は、３次元のデータに基づき画像認識処理を実行することができる。

【0057】

本実施形態に係る画像認識装置１は、第１実施形態に係る画像認識装置の機能に加え、視点生成部１８を有している。また、本実施形態では、３次元モデルデータベース１９が使用される。３次元モデルデータベース１９は、テンプレートの波形として２次元データの他、３次元データを有している。

【0058】

その一例として、図１２の３次元モデルデータベース１９に含まれる「いぬ」のテンプレートＦは、正面のテンプレートＦ１、側面のテンプレートＦ２、背面のテンプレートＦ３を有している。また、正面のテンプレートＦ１に対応した正面円弧データ、側面のテンプレートＦ２に対応した側面円弧データ、背面のテンプレートＦ３に対応した背面円弧データを有する。これらは、すべて「いぬ」のテンプレートＦの外形を多視点（ここでは３視点）の円弧データとして示したものである。

【0059】

［画像認識処理］
次に、第２実施形態に係る画像認識装置１により実行される画像認識処理の動作について、図１１を参照しながら説明する。

【0060】

画像認識装置１による画像認識処理が開始されると、ステップＳ１０にて、画像読取部１０は、画像を入力する。画像は、例えば複数視点で読み込まれる。ここでは、「いぬ」のオブジェクトを含む正面、側面、背面の画像が読み込まれる。

【0061】

次に、ステップＳ１１にて、オブジェクト分割部１１は、入力画像に含まれるオブジェクトの抽出を行い、抽出したオブジェクトを複数のオブジェクトに分割する。オブジェクトの分割は、複数視点の各視点のオブジェクトに対してそれぞれ行われる。

【0062】

次に、ステップＳ１２にて、内接円抽出部１２は、各視点の分割されたオブジェクトのそれぞれに対して、面積が最大となる内接円を描く。

【0063】

次に、ステップＳ１３にて、外接円設定部１３は、内接円の中心点を中心とし、各視点のオブジェクトの最外点に接する外接円を設定する。

【0064】

次に、ステップＳ１４にて、円弧データ生成部１４は、外接円を基準としたオブジェクトの外形の相対位置を示す円弧状の特徴データを抽出し、波形として生成する。

【0065】

次に、ステップＳ１５にて、抽出部１５は、分割したすべての視点のオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行したかを判定する。すべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行していない場合、ステップＳ１１に戻り、処理していないオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行する。すべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行した場合、ステップＳ１６に進み、抽出部１５は、入力画像内のオブジェクトに類似するオブジェクトのテンプレート候補をモデルデータベース１６から検索する。

【0066】

また、３次元モデルデータは、ステップＳ１８の視点生成処理を用いて、オブジェクトの３次元画像の３次元データからリアルタイムに生成した円弧データを用いてもよい。

【0067】

次に、ステップＳ１７にて、判定部１７は、抽出したオブジェクトが重なりあうオブジェクトについて、ステップＳ１４によって抽出した円弧データの中点を結んだ大きい円弧データを生成し、データベースと比較し、対象のオブジェクトが何であるか判断する。複数の円弧の中点の関連を保持することで、入力された画像が、あるオブジェクトの１部であっても、その一部の情報に特有の形を有していれば、オブジェクトの判定が可能であり、また、膨大なデータからある程度絞りこむことが可能である。

【0068】

以上に説明したように、本実施形態に係る画像認識装置１によれば、３次元のオブジェクトの外形全体の特徴をそれぞれの波形に変換し、予め変換した３次元モデルデータベース１９に登録されている３次元のテンプレートの波形とそれぞれ比較する。これにより、３次元のオブジェクトの外形全体の特徴を表す波形と３次元のテンプレートの波形とを比較することによって、オブジェクトを更に精度良く画像認識することができ、オブジェクトに対応するテンプレート候補を更に絞り込む又は正確に選択することができる。

【0069】

なお、本実施形態では、３次元モデルデータベース１９は正面、側面、背面の３次元モデルに対応した３次元データを有するが、これに限られず、データベースは３視点以外の複数視点分の円弧データを有していてもよい。これにより、様々な角度で撮影された映像中のオブジェクトであっても画像認識することができる。

【0070】

［アプリケーション例］
最後に、上記実施形態にて説明した画像認識処理を利用したアプリケーション例について説明する。例えば、図１３に示したアプリケーション例では、ステップ１にて、子供のぬり絵を携帯端末で撮る。

【0071】

ステップ２にて、上記実施形態に係る画像認識装置１は、読取画像中のオブジェクトの波形を生成し、テンプレートの波形と比較する。このようにして撮ったぬり絵をオブジェクト認識処理し、テンプレートの波形と比較してテンプレート候補を選び出す。テンプレート候補が複数の場合には、テンプレート候補を携帯端末に表示し、好きなテンプレートを利用者が選ぶようにしてもよい。

【0072】

ステップ３にて、撮ったぬり絵から色を抽出し、テンプレートに反映させる。

【0073】

ステップ４にて、色を反映させたテンプレートに動きを与えるモーション生成処理を実行し、アニメーションとして携帯端末の画面上で動かす。その際、音声もあわせて提供するとより魅力的なアプリケーションとなる。

【0074】

これによれば、映像を円弧データの波形（デジタルデータ）に変換し、その波形とテンプレートの波形とをマッチングし、オブジェクトに類似するテンプレートをデータベースから選び、選ばれたテンプレートのコンテンツに塗り絵の色を付けて画面上で動作させる。このようにして、このアプリケーションでは、ぬり絵からデジタルコンテンツをつくり、書いた絵を動かすことができる。よって、ぬり絵をした子供は、自分の作成したぬり絵が紙から飛び出して、動いたり声を出したりする映像に親近感を持ち、楽しむことができる。

【0075】

なお、ステップ１にて、子供のぬり絵を携帯端末で撮る際、ぬり絵の脇にバーコード等の情報を付してもよい。その場合、携帯端末で撮った画像にはオブジェクトとともにバーコード情報が含まれる。このバーコード情報にオブジェクトに関する情報を埋め込んでおくことにより、ステップ２にてテンプレートを判別する際に、本実施形態の特徴である円弧データの比較結果とバーコード情報とを使用して、テンプレートを判別することができる。これにより、よりオブジェクトに類似するテンプレート候補をより的確に選ぶことができる。

【0076】

ステップ３にて完成した、ぬり絵が反映されたテンプレートを、図１４や図１５に示すように利用するアプリケーション例も考えられる。

【0077】

図１４では、携帯端末に表示された図示しない選択画面から、利用者が「パラパラで遊ぶ」の実行ボタンを押した場合のアプリケーション例である。利用者は、複数のテンプレートから利用者が好きなキャラクタを一つ選ぶことができる。

【0078】

ステップ５にて、「パラパラ」が選択されると、ステップ６にて、ぬり絵が反映されたテンプレートを使ってＭＦＰや家庭用プリンタで１６コマの画像が印刷される。例えば、ぬり絵が反映されたテンプレートが「いぬ」の場合、その「いぬ」が歩くようなモーションをつけた画像が、上記実施形態の画像認識装置から印刷機に送信される。

【0079】

ステップＳ６にて、印刷機はパラパラ漫画のように１６分割した絵を印刷する。ステップ７に示したパラパラ漫画用の１６コマの画像の印刷が出力される。

【0080】

ステップＳ８にて、利用者は完成した印刷物を使って１６コマのパラパラを製作し、楽しむことができる。

【0081】

図１５では、携帯端末に表示された図示しない選択画面から、利用者が「おりがみで遊ぶ」の実行ボタンを押した場合のアプリケーション例である。利用者は、複数のテンプレートから利用者が好きなキャラクタを一つ選ぶことができる。例えば、利用者は、複数のテンプレートから自分がぬり絵したキャラクタを選ぶと自分がぬり絵したものと同じ位置に同じ色が塗られた折り紙を作ることができる。

【0082】

ステップ９にて、「おりがみ」が選択されると、ステップ１０にて、ぬり絵が反映されたテンプレートを使ってＭＦＰや家庭用プリンタでぬり絵が反映されたキャラクタの展開図が印刷される。例えば、ぬり絵が反映されたテンプレートが「いぬ」の場合、その「いぬ」の展開図が印刷される。

【0083】

ステップＳ１１にて、自分のぬり絵が反映された折り紙用の印刷が出力される。

【0084】

ステップＳ１２にて、利用者は完成した印刷物を使って折り紙を楽しむことができる。

【0085】

このようにして、上記実施形態に係る画像認識装置１を利用すれば、カメラで画像認識したいオブジェクトが描かれた紙を撮ると、デジタル的にそのオブジェクトを認識し、テンプレートとマッチングし、オブジェクトと類似するテンプレートを選択することができる。そして、選択されたテンプレートに所望の画像処理を施すことが可能なアプリケーションを利用者に提供することができる。

【0086】

以上、添付図面を参照しながら本発明に係る画像認識装置、画像認識方法の好適な実施形態について詳細に説明したが、本発明に係る画像認識装置、画像認識方法の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明に係る画像認識装置、画像認識方法の技術的範囲に属する。

【0087】

なお、本発明に係る画像認識装置には、図示しないＣＰＵが内蔵されている。ＣＰＵにより実行される各機能を実現するためのプログラムは、図示しないコンピュータに備えられた図示しないＲＯＭあるいはＨＤＤ等の記憶手段に予め格納されてもよい。前記プログラムは、記録媒体であるＣＤ−ＲＯＭあるいはフレキシブルディスク，ＳＲＡＭ，ＥＥＰＲＯＭ，メモリカード等の不揮発性記録媒体（メモリ）に記録されてもよい。本発明に係る画像認識装置の機能は、これらのメモリに記録されたプログラムをＣＰＵに実行させることにより実現され得る。さらに、前記プログラムは、ネットワークに接続され、プログラムを記録した記録媒体を備える外部機器あるいはプログラムを記憶手段に記憶した外部機器からダウンロードすることもできる。

【符号の説明】

【0088】

１ 画像認識装置
１０ 画像読取部
１１ オブジェクト分割部
１２ 内接円抽出部
１３ 外接円設定部
１４ 円弧データ生成部
１５ 抽出部
１６ モデルデータベース
１７ 判定部
１８ 視点生成部
１９ ３次元（３Ｄ）モデルデータベース

【先行技術文献】

【特許文献】

【0089】

【特許文献1】特開２００２−２０８０１５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】