ホーム > 特許ランキング > 株式会社ＰｏｃｋｅｔＲＤ
特開2022-64030３次元画像処理装置、３次元画像処理方法及び３次元画像処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022064030
(43)【公開日】2022-04-25
(54)【発明の名称】３次元画像処理装置、３次元画像処理方法及び３次元画像処理プログラム
(51)【国際特許分類】
G06T 19/20 20110101AFI20220418BHJP
【ＦＩ】
G06T19/20
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2020172516
(22)【出願日】2020-10-13
(11)【特許番号】
(45)【特許公報発行日】2021-05-19
(71)【出願人】
【識別番号】519344969
【氏名又は名称】株式会社ＰｏｃｋｅｔＲＤ
(74)【代理人】
【識別番号】230112911
【弁護士】
【氏名又は名称】三和 圭二郎
(72)【発明者】
【氏名】齋藤 肇
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050AA08
5B050AA09
5B050BA06
5B050BA09
5B050BA12
5B050CA01
5B050CA07
5B050DA04
5B050EA04
5B050EA14
5B050EA19
5B050EA28
5B050FA02
5B050FA05
(57)【要約】
【課題】元画像における特徴部分の一部または全部を維持しつつ、３次元的に自然な形状となる画像処理を行う技術を実現する。
【解決手段】被写体の頭部を３次元的に撮影する撮影部１と、撮影された画像から複数の特徴点を含む３次元画像データである基本画像を生成する基本画像生成部２と、基本画像の画像処理にて使用する指標画像の候補となる画像を記憶する頭部画像データベース３と、記憶された画像の中から指標画像を選択する指標画像候補抽出部４と、基本画像から指標画像へ向かう特徴点の変位の経路に関する情報であって所定の変数を含む形状遷移情報を生成する遷移情報生成部５と、基本画像の特徴点のうち特異点を抽出する特異点抽出部６と、抽出された特異部分に応じて形状遷移情報の変数に対し変換処理を行う変数変換部７と、遷移情報に基づき３次元データの形状を調整する形状調整部８とを備える。
【選択図１】
図１
【解決手段】被写体の頭部を３次元的に撮影する撮影部１と、撮影された画像から複数の特徴点を含む３次元画像データである基本画像を生成する基本画像生成部２と、基本画像の画像処理にて使用する指標画像の候補となる画像を記憶する頭部画像データベース３と、記憶された画像の中から指標画像を選択する指標画像候補抽出部４と、基本画像から指標画像へ向かう特徴点の変位の経路に関する情報であって所定の変数を含む形状遷移情報を生成する遷移情報生成部５と、基本画像の特徴点のうち特異点を抽出する特異点抽出部６と、抽出された特異部分に応じて形状遷移情報の変数に対し変換処理を行う変数変換部７と、遷移情報に基づき３次元データの形状を調整する形状調整部８とを備える。
【選択図１】
図１
【特許請求の範囲】
【請求項1】
特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理装置であって、
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成手段と、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出手段と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整手段と、
を備えたことを特徴とする画像処理装置。
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成手段と、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出手段と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記特異点検出手段は、前記基本画像における特徴点の中から、基準位置からの離隔値が第１の閾値以上となる特徴点を特異点として検出し、
前記形状調整手段は、特異点の変位量を特異点以外の所定の特徴点の変位量にて除算した値が、前記離隔値を前記第１の閾値にて除算した値以下となるよう、前記基本画像の変形処理を行うことを特徴とする請求項１記載の画像処理装置。
前記形状調整手段は、特異点の変位量を特異点以外の所定の特徴点の変位量にて除算した値が、前記離隔値を前記第１の閾値にて除算した値以下となるよう、前記基本画像の変形処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項3】
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が第２の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出手段をさらに備え、
前記遷移情報生成手段は、前記指標画像候補抽出手段によって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする請求項１又は２記載の画像処理装置。
前記遷移情報生成手段は、前記指標画像候補抽出手段によって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする請求項１又は２記載の画像処理装置。
【請求項4】
特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理装置であって、
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成ステップと、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出ステップと、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整ステップと、
を備えたことを特徴とする画像処理方法。
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成ステップと、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出ステップと、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整ステップと、
を備えたことを特徴とする画像処理方法。
【請求項5】
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が第２の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出ステップをさらに含み、
前記遷移情報生成ステップにおいて、前記指標画像候補抽出ステップによって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする請求項４記載の画像処理方法。
前記遷移情報生成ステップにおいて、前記指標画像候補抽出ステップによって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする請求項４記載の画像処理方法。
【請求項6】
特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、コンピュータに形状調整処理を行わせる画像処理プログラムであって、
前記コンピュータに対し、
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成機能と、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出機能と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整機能と、
を実現させることを特徴とする画像処理プログラム。
前記コンピュータに対し、
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成機能と、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出機能と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整機能と、
を実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元頭部画像の画像処理技術に関するものである。
【背景技術】
【0002】
近年、人物の顔写真について自動的に補正・加工処理を行う技術が利用されている。例えば、求職活動時に提出する履歴書に貼付する顔写真や見合いの際に用意する写真について、髪型の乱れの修正、眼の下の隈や吹出物の除去といった軽微な修正のほか、好印象を与える目的で瞳を大きくする、自然な笑顔にするといった画像処理がしばしば行われている。履歴書の写真等の他にも、例えば遊戯施設に設置された写真撮影機（プリント倶楽部（登録商標）等）では、撮影した自己画像にについて目全体を大きくする、鼻の穴を小さくする、顎の輪郭を削って小顔化する等の画像処理が行われている。これらの画像処理は、かつては専門家が手作業で行っていたものの、近年はコンピュータを利用した画像処理技術の活用により、自動化あるいは半自動化した処理にて行われるケースも増加している。
【0003】
特許文献１は、このような画像処理に関する技術について開示する。具体的には、カメラのアプリケーションとして被写体の目を大きくする、顔のサイズを小さくする、目の中にキャッチライトを付加する等の機能を付加し、ユーザに対し、自分好みの画像を提供することを可能としている。また、特許文献２は、実際に撮影した画像を画面に表示した上で、利用者による目や顔の大きさ、肌の明るさ等に関する選択内容に応じた画像処理が行われる技術を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－８６５３２号公報
【特許文献2】特開２０２０－３６３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１、２にて示された従来の技術は２次元の顔画像に関するものであって、３次元の頭部画像に関する補正・加工処理においては、そのまま適用することは妥当ではない。すなわち、近年は２次元のみならず３次元画像についても広く利用される傾向にあるところ、３次元の頭部画像は正面以外の角度からも確認できるため、２次元画像のように正面像についてのみ最適化された画像処理では十分ではなく、側面、背面等の異なる方向の画像についても最適化された画像処理を行う必要がある。しかしながら、そのような３次元の頭部画像に対する画像処理に関する技術は、いまだ開発されていない。
【0006】
また、顔写真の加工処理においては、履歴書に貼付する写真として好印象を与える内容に加工する場合も、変身願望等に基づき普段とは異なる態様となるよう加工する場合も、客観的な自己画像との同一性が担保できるように、ある程度は元画像における被写体の特徴を残す必要がある。加工処理の程度が大きいほど理想的な頭部画像の作成が可能である一方、元画像の被写体との関係性が消滅する程度にまで加工処理が行われると本末転倒である。実際には、元画像の特徴をどの程度残し、他の部分についてどの程度加工するかの調整が必要であるところ、熟練した専門家が手作業にて加工処理を行う場合であればともかく、自動化あるいは半自動化した処理において、元画像に現れた被写体の特徴をある程度残存させつつ画像処理を行うことは容易ではない。特許文献１、２においても、元画像における特徴を残しつつ画像処理を行う技術については、一切開示されていない。
【0007】
本発明は上記の課題に鑑みてなされたものであって、３次元の頭部画像の画像処理において、元画像における特徴部分の一部または全部を維持しつつ、３次元的に自然な形状となる画像処理を行う技術を実現することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、請求項１にかかる画像処理装置は、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理装置であって、同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成手段と、前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出手段と、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整手段とを備えたことを特徴とする。なお、「頭部」とは広義の意味であって頭髪部分のみならず顔面も含み、端的には首から上の部分を含む領域を意味する。また、「特徴点」とは、頭部の３次元画像の形状を特徴づける部位に応じて定められる複数の点であり、目尻、鼻頭、口角等の外観的に明らかなもののみならず、皮膚下に存在する表情筋、骨格構造に起因した特徴部分に対応した点をも含みうる概念である。「経路」とは、２次元又は３次元的な直線あるいは曲線を意味するところ、連続的な直線・曲線のみならず直線・曲線の途中で不連続に変位するものや、連続しているものの変化率が不連続に変化するものも含む。また、当該「経路」は、必ずしも特徴点そのものを経路上に含むものに限定されない。「基準位置」とは、平均的な形状からなる頭部における各特徴点の位置を意味し、例えば、一定数以上の数の頭部における各特徴点の位置を平均化することによって定められるが、これに限定することなく、例えば性別、年齢、人種等の属性に応じるなどして予め各特徴点の位置を任意に定めて、これを「基準位置」と定義してもよい。
【0009】
また、上記目的を達成するため、請求項２にかかる画像処理装置は、上記の発明において、前記特異点検出手段は、前記基本画像における特徴点の中から、基準位置からの離隔値が第１の閾値以上となる特徴点を特異点として検出し、前記形状調整手段は、特異点の変位量を特異点以外の所定の特徴点の変位量にて除算した値が、前記離隔値を前記第１の閾値にて除算した値以下となるよう、前記基本画像の変形処理を行うことを特徴とする。
【0010】
また、上記目的を達成するため、請求項３にかかる画像処理装置は、上記の発明において、互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が第２の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出手段をさらに備え、前記遷移情報生成手段は、前記指標画像候補抽出手段によって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする。
【0011】
また、上記目的を達成するため、請求項４にかかる画像処理方法は、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理装置であって、同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成ステップと、前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出ステップと、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整ステップとを備えたことを特徴とする。
【0012】
また、上記目的を達成するため、請求項５にかかる画像処理方法は、上記の発明において、互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が第２の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出ステップをさらに含み、前記遷移情報生成ステップにおいて、前記指標画像候補抽出ステップによって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする。
【0013】
また、上記目的を達成するため、請求項６にかかる画像処理プログラムは、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、コンピュータに形状調整処理を行わせる画像処理装置であって、前記コンピュータに対し、同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成機能と、前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出機能と、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整機能とを実現させることを特徴とする。
【発明の効果】
【0014】
本発明によれば、３次元の頭部画像の画像処理において、元画像における特徴部分の一部または全部を維持しつつ、３次元的に自然な形状となる画像処理を行えるという効果を奏する。
【図面の簡単な説明】
【0015】
【図1】実施の形態１にかかる画像処理装置の構成を示す模式図である。
【図2】実施の形態１にかかる画像処理装置の動作について示すフローチャートである。
【図3】実施の形態２にかかる画像処理装置の構成を示す模式図である。
【図4】実施の形態２における指標画像抽出動作について示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の実施の形態においては、本発明の実施の形態として最も適切と考えられる例について記載するものであり、当然のことながら、本発明の内容を本実施の形態にて示された具体例に限定して解すべきではない。同様の作用・効果を奏する構成であれば、実施の形態にて示す具体的構成以外のものであっても、本発明の技術的範囲に含まれることは勿論である。
【0017】
（実施の形態１）
まず、実施の形態１にかかる３次元画像処理装置について説明する。図１に示すとおり、本実施の形態１にかかる３次元画像処理装置は、被写体の頭部を３次元的に撮影するための撮影部１と、撮影部１にて撮影された画像から複数の特徴点を含む３次元画像データである基本画像を生成する基本画像生成部２と、基本画像の画像処理にて使用する指標画像の候補となる画像を記憶する頭部画像データベース３と、頭部画像データベース３に記憶された画像の中から指標画像を選択する指標画像候補抽出部４と、基本画像から指標画像へ向かう特徴点の変位の経路に関する情報であって所定の変数を含む形状遷移情報を生成する遷移情報生成部５と、基本画像の特徴点のうち特異部分に対応する特異点を抽出する特異点抽出部６と、抽出された特異部分に応じて形状遷移情報の変数に対し変換処理を行う変数変換部７と、遷移情報に基づき３次元データの形状を調整する形状調整部８とを備える。
まず、実施の形態１にかかる３次元画像処理装置について説明する。図１に示すとおり、本実施の形態１にかかる３次元画像処理装置は、被写体の頭部を３次元的に撮影するための撮影部１と、撮影部１にて撮影された画像から複数の特徴点を含む３次元画像データである基本画像を生成する基本画像生成部２と、基本画像の画像処理にて使用する指標画像の候補となる画像を記憶する頭部画像データベース３と、頭部画像データベース３に記憶された画像の中から指標画像を選択する指標画像候補抽出部４と、基本画像から指標画像へ向かう特徴点の変位の経路に関する情報であって所定の変数を含む形状遷移情報を生成する遷移情報生成部５と、基本画像の特徴点のうち特異部分に対応する特異点を抽出する特異点抽出部６と、抽出された特異部分に応じて形状遷移情報の変数に対し変換処理を行う変数変換部７と、遷移情報に基づき３次元データの形状を調整する形状調整部８とを備える。
【0018】
撮影部１は、本発明における画像処理の対象となる基本画像の元画像となる画像を取得するためのものである。具体的には、撮影部１は、被写体の頭部に関し複数の異なる方向からの画像を取得する機能を有し、これらの画像を合成することによって被写体に関する３次元画像が生成可能となる。撮影部１の構成としては、全方向から画像を取得するための複数のカメラ及び合成処理を行う電子計算機によって構成されることが望ましいが、例えば、単一もしくは少数のカメラを撮影時に適宜移動させることによって全方向から画像を取得する構成等としてもよい。
【0019】
基本画像生成部２は、撮影部１によって取得された元画像に基づき、表面形状に関する特徴点を含む被写体の頭部の３次元画像データである基本画像を生成するためのものである。基本画像の構成としては、いわゆるモデリング処理を行い、所定数の頂点及び頂点間の接続態様を規定することによって、表面の３次元形状を表現した形式とすることが望ましい。モデリング処理を行った場合、頂点及び頂点間の接続態様に関する情報に基づき頂点間を結ぶ辺が形成され、３本以上の辺によって囲まれた領域が面（ポリゴン）として定義され、面の集合（メッシュ）によって、被写体の頭部に関する表面形状が特定される。
【0020】
基本画像生成部２は、モデリング処理等を行った結果抽出された頂点のうち、頭部形状を構成する各要素に対応した頂点について、その意味内容も含めて「特徴点」として記録する。具体的には、例えば、目、鼻、口等の部位における特定箇所及び各部位における詳細な位置関係（目尻、瞳、鼻頭、口角等）を示す特徴点に該当する頂点については、当該頂点が特徴点であることに加え、そこが目である等の情報及び目尻に相当すること等の情報が付された形式にて記録される。なお、特徴点は必ずしも外観的な特徴部分についてのみ定義される必要はなく、表情筋に起因し表情変化時等に特徴的に機能する部分や、骨格に起因して動作時に特徴的に機能する部分についても、特徴点として定義することが可能である。
【0021】
また、特徴点の位置情報の形式は、３次元座標系における位置情報でもよいし、uv座標系等の表面形状を２次元展開した座標系における位置座標としてもよい。本実施の形態においては、理解を容易にするため３次元座標系にて位置を表現するものとする。３次元座標系の原点は、例えば両目の目頭間を結んだ線分の中点を原点とし、当該線分の方向の軸をｘ軸、ｘ軸を含む水平な平面上にｙ軸を設定し、ｘ軸、ｙ軸に垂直な方向にｚ軸を設定する。また、本実施の形態においては、こちらも理解を容易にする目的で、基本画像生成部２にて生成される基本画像及び頭部画像データベース３に記憶される頭部画像は、サイズに関して正規化処理（例えば、頭部の体積が等しい値となるよう必要に応じて拡大・縮小する。）が行われているものとする。
【0022】
なお、基本画像生成部２は、モデリング処理によるメッシュ構造の生成に加え、メッシュ構造そのものには記録されない表面の微小な凹凸等の質感について２次元的に再現した質感情報や、表面の模様・色彩等に関する画像情報についても生成するものとする。基本画像生成部２によって生成されたこれらのデータを利用することによって、被写体の頭部に関する画像について、画像処理に適した低データ量であって、高精細な基本画像を実現している。
【0023】
頭部画像データベース３は、画像処理時に指標画像として使用する候補となる複数の頭部画像を記録するためのものである。頭部画像データベース３に記録される頭部画像の構成は、基本画像と同じく頭部の３次元画像データであって、頭部形状を構成する各要素に対応した特徴点の位置が特定されているものとする。なお、記録される頭部画像の内容としては、実在の人物に関するものでも、創作されたものでも、さらには人間以外のキャラクターに関するものであってもよい。データ形式に関しても、基本画像と同じ形式とすることが望ましいものの、異なるデータ形式にて保存されたものを使用することも可能である。
【0024】
指標画像候補抽出部４は、頭部画像データベース３に記録された画像の中から、画像処理時に指標画像として利用する頭部画像を選択するためのものである。本実施の形態１においては、指標画像候補抽出部４は、記録されている頭部画像（記録数が多い場合は被写体の性別、年齢、人種等で共通点を有する一部のものを抽出したものとする。）を一覧表示する機能を有し、その後利用者の好み等に応じて任意の頭部画像が指定されることによって、指標画像の選択が行われるものとする。
【0025】
遷移情報生成部５は、基本画像と指標画像との間において同一要素に関するそれぞれにおける特徴点の位置に基づき定まる経路に関する情報を含む形状遷移情報を生成するためのものである。具体的には、頭部画像について第１形状から第２形状に変化する際に、任意の特徴点（例えば右目の目尻に対応した特徴点）の位置がどのように遷移するかについて定めた情報である。なお、本実施の形態１では理解を容易にするため、経路において基本画像及び指標画像上の特徴点を含む態様するが、これに限定されず、いずれか一方又は双方を含まない構成としてもよい。また、経路は２次元又は３次元の直線又は曲線によって構成されるところ、一部に変化率が不連続となる箇所や、位置が不連続に変化する箇所が含まれてもよい。
【0026】
本実施の形態１においては第１形状を基本画像、第２形状を指標画像とした上で、任意の特徴点の第１形状における位置を（ｘ０、ｙ０、ｚ０）、第２形状における位置を（ｘ１、ｙ１、ｚ１）とした場合に、当該特徴点に関する形状遷移情報は、（ｘ、ｙ、ｚ）＝（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））としてｘ（０）＝ｘ０、ｙ（０）＝ｙ０、ｚ（０）＝ｚ０、ｘ（１）＝ｘ１、ｙ（１）＝ｙ１、ｚ（１）＝ｚ１かつ変数ｔについて０≦ｔ≦１を満たす経路に関する数式にて与えられるものとする。
【0027】
形状遷移情報の具体的構成としては、例えば、（ｘ、ｙ、ｚ）＝（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））を第１形状における位置と第２形状における特徴点の位置を結んだ線分が考えられる。また、形状遷移中（上式における０＜ｔ＜１）のあらゆるｔの値において自然な形状となるように（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））が直線状ではなく独自に設定された曲線状の数式とする構成でもよいし、変数ｔの増減に対する（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））の変位量について、一定値ではなく変数ｔの具体値に応じて不規則に変化させる構成としてもよい。
【0028】
特異点抽出部６は、被写体の基本画像に含まれる特徴点の中から特異な位置にあるものを特異点として抽出するためのものである。本実施の形態１において特異点抽出部６は、予め用意した標準的な頭部画像である標準画像における各特徴点の位置（＝基準位置）と、基本画像における各特徴点の位置の間の距離（＝離隔値）の導出後、第１段階として距離の絶対値が予め定めた閾値以上となる特徴点を特異点として抽出し、第１段階で特徴点が抽出されなかった場合には、第２段階として他の特徴点と比較して基準位置からの距離が最も大きな値となった特徴点と、２番目に大きな値となった特徴点を特異点として抽出する機能を有する。
【0029】
なお、標準画像の内容としては、多数の頭部画像の中から平均的な印象を与えるものを任意に選択したものとしてもよいし、標準的と思われる頭部画像を創作してもよいが、本実施の形態では頭部画像データベース３内に多数の頭部画像が保存されているため、これら多数の頭部画像の平均値をとることにより標準画像を生成することとする。また、特異点抽出において重要となるのは特徴点の位置の比較であることから、画像データとしての標準画像を生成することは必須ではなく、標準的な特徴点の位置である基準位置のみを算出して記録する態様も好ましい。
【0030】
変数変換部７は、特異点抽出部６にて抽出された特異点に関する形状遷移情報について、変数変換処理を行うためのものである。具体的には、変数変換部７は、特異点に関する形状遷移情報を構成する数式における変数ｔをｔ／ａ（ａは１より大きい実数）に変換する処理を行う。ａが１より大きい実数であるため、変数変換部７による変数変換処理により、特異点においては変数ｔの増減に伴う変位量が抑制される。例えば、形状遷移情報を第１形状における位置と第２形状における位置を直線で結んだ線分を変数ｔの値に応じて按分した位置とする構成の場合、ｘ座標の値は変数変換処理の前後を通じてｘ（０）＝ｘ０で変わらない一方、ｔ＝１については、変換処理前であればｘ（１）の値がｘ１であったのに対し、変換処理後はｘ１ではなくｘ０とｘ１の間の値であるｘ０＋（ｘ１－ｘ０）／ａとなり、変位量が少なくなる。
【0031】
実数ａの値については、実数かつ１より大きければ任意の値とすることが可能であるが、より好ましくは、特異点の基準位置からの離隔値を閾値で除算した値とする。このようにａを設定することにより、離隔値が大きいほどａの値が大きくなり、ｔ＝１における特異点の移動量が少なくなる。このように構成することにより、後述する形状調整部８における形状調整処理において、変数ｔに対するｘ、ｙ、ｚの変化率が同等となる特徴点間においては、特異点の変位量を他の特徴点の変位量にて除算した値が、閾値を離隔値にて除算した値よりも小さくなり、離隔値（＝基準位置からのずれ）が大きい特異点ほど、形状調整時の変位量が小さくなる。
【0032】
また、最も特徴点間距離が大きい特異点についてａ１、次に大きい特異点についてａ１より小さい値であるａ２、その次に大きい特異点についてａ２よりも小さい値であるａ３・・・のように設定してもよい。この場合も、離隔値が大きいほどａの値が大きくなり、形状調整部８による形状調整処理の際に、離隔値が大きい特異点ほど変位量が小さくなる。
【0033】
形状調整部８は、被写体の基本画像の形状について、調整を行うためのものである。具体的には、形状調整部６は、基本画像中の各特徴点に対し形状遷移情報中の変数を変化させることにより、第１形状たる基本画像と、第２形状たる指標画像との間における所定形状からなる頭部画像を生成する。例えば、ｔ＝０と指定した場合は被写体の基本画像そのものとなり、ｔ＝１とした場合は、特異点以外の特徴点はすべて第２形状たる指標画像と一致した頭部画像データが生成され、０＜ｔ＜１の範囲で変数ｔを変化させた場合は、第１形状と第２形状の特徴を併せ持った頭部画像データが生成される。
【0034】
なお、特異点に関しては変数ｔに関する変動量が１／ａとなるため、他の特徴点と比較して第１形状の特徴が多く残存されることとなる。例えば、形状遷移情報を第１形状における位置と第２形状における特徴点の位置を結んだ線分とし、変数変換処理においてａ＝２とした場合に、ｔ＝０．５とすると通常の特徴点については第１形状と第２形状のほぼ中間の位置となる一方、特異点の形状に関しては第１形状での位置と第２形状での位置を１：３に内分した位置となり、第１形状における特徴を大きく残す形式となる。
【0035】
次に、本実施の形態１にかかる３次元画像処理装置の動作について、図２に示すフローチャートを参照しつつ説明する。まず、本実施の形態１にかかる３次元画像処理装置は、撮像部１によって被写体の頭部に関する画像が取得され（ステップＳ１０１）、基本画像生成部２によって被写体の基本画像が生成され（ステップＳ１０２）、同じく基本画像生成部２によって基本画像中の特徴点の抽出が行われる（ステップＳ１０３）。次に、指標画像候補抽出部４によって抽出された画像の中から指標画像が選定（ステップＳ１０４）された後に、遷移情報生成部５によって、基本画像を第１形状、指標画像を第２形状として、特徴点ごとに、第１形状時の位置から第２形状時の位置までの移動経路に関する形状遷移情報が生成される（ステップＳ１０５）。
【0036】
その後、特異点抽出部６によって、基本画像の特徴点の中から、標準画像において対応する特徴点（＝基準位置）との距離である離隔値が閾値以上となるものの有無を判定する（ステップＳ１０６）。閾値以上となる特徴点が存在した場合（ステップＳ１０６、Ｙｅｓ）はそのまま特異点として抽出し（ステップＳ１０７）、閾値以上のものが存在しなかった場合（ステップＳ１０６、Ｎｏ）は、離隔値が最も大きいもの及び２番目に大きいものを判定し（ステップＳ１０８）、特異点として抽出する（ステップＳ１０９）。
【0037】
その後、抽出された特異点の移動経路に関する形状遷移情報に関して、変数変換部７によって、変数の変動に対し特異点の変位量を抑制するような変数変換処理が行われる（ステップＳ１１０）。最後に、形状調整部８によって、基本画像上の各特徴点について、形状遷移情報における変数ｔを変化させることを通じた形状調整が行われる（ステップＳ１１１）。特異点以外の特徴点が変数ｔによって通常どおりに変位（ｔ＝０で第１形状における位置、ｔ＝１で第２形状における位置）するのに対し、変数変換処理が行われた特異点では変位量が１／ａに留まり、他の特徴点と比較して第１形状における位置と近似した位置に留まることとなる。以上で、本実施の形態１にかかる３次元画像処理装置による画像処理動作が終了する。
【0038】
次に、本実施の形態１にかかる３次元画像処理装置の利点について説明する。まず、本実施の形態１にかかる３次元画像処理装置では、実際に被写体を撮影した画像を基本画像とすることにより、画像処理の際に被写体の特徴を生かしつつ新たな頭部画像を生成できるという利点を有する。３次元画像では正面のみならず側面・背面の画像や凹凸まで表現する必要があるため、予め撮影した３次元画像に基づき画像処理を行うことで、被写体の３次元的な特徴を表現した元画像を使用できるという利点がある。
【0039】
また、本実施の形態１にかかる３次元画像処理装置は、基本画像と指標画像における同一要素に関する特徴点の位置に基づき形状遷移情報を生成し、形状遷移情報における変数を特定の値とすることにより形状調整を行っている。指標画像を設定し形状遷移情報に基づく画像処理を行うことにより半自動的な処理が可能となり、専門家による手作業等を要せずに高度な形状調整を行うことが可能となるという利点を有する。
【0040】
また、本実施の形態１にかかる３次元画像処理装置は、基準位置から離隔した特徴点である特異点について、形状調整部８による形状調整処理の際に、他の特徴点よりも変位量を少なくする構成を採用している。基準位置とは標準的な頭部画像における特徴点の位置を示すものであり、基本画像における特徴点が基準位置から離隔することは、当該特徴点に対応する頭部形状の要素が標準的な形状から逸脱していることを意味する。すなわち、特異点とは基本画像における特異性ないし個性を表すものであり、本実施の形態では特異点の変位量を抑制しつつ形状調整処理を行うことで、指標画像を利用して形状調整処理を行いつつも、基本画像の特徴部分を残存させることを可能とする。これにより、本実施の形態１にかかる画像処理装置は、原画像の本質的な特徴の同一性を維持しつつ、指標画像の特徴を取り入れたた新たな画像を作出できるという利点を有する。
【0041】
また、本実施の形態１では、離隔値が閾値よりも大きな値となった特異点に関して、特異点の変位量を特異点以外の特徴点の変位量にて除算した値が、基準位置からの離隔値を閾値にて除算した値以下となるよう形状調整処理を行うこととしている。離隔値が大きいほど標準画像からの逸脱の程度が大きく、すなわち、基本画像の特異性ないし個性を強く示すものである。離隔値の大きさに応じて特異点の変位量を小さくすることにより、特異性ないし個性として際立った部分ほど基本画像における特徴部分強く残存させることが可能となり、本実施の形態にかかる画像処理装置は、さらに原画像の本質的な特徴の同一性を維持できるという利点を有する。
【0042】
（実施の形態２）
次に、実施の形態２にかかる３次元画像処理装置について説明する。実施の形態２において、実施の形態１と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１における構成要素と同一の機能を発揮するものとする。
次に、実施の形態２にかかる３次元画像処理装置について説明する。実施の形態２において、実施の形態１と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１における構成要素と同一の機能を発揮するものとする。
【0043】
本実施の形態２にかかる３次元画像処理装置は、指標画像を選択する際において、被写体の基本画像と共通した特徴部分を有する頭部画像を抽出する構成を有する。図３は、実施の形態２にかかる３次元画像処理装置の構成を示す模式図である。図３に示すとおり、実施の形態２にかかる３次元画像処理装置は、実施の形態１の構成に加え、基本画像の特異点に対し、対応する特徴点の位置が近似する頭部画像を指標画像候補として抽出する指標画像候補抽出部１２を新たに備える。
【0044】
指標画像候補抽出部１２は、頭部画像データベース３に記録された頭部画像の中から、特徴点の位置座標に基づき、被写体の基本画像に適した指標画像の候補を抽出するためのものである。具体的には、指標画像候補抽出部１２は、被写体の基本画像において特異点抽出部６によって特異点として抽出された特徴点（例えば鼻頭の位置を示す特徴点）に対し、同一の要素に関する特徴点（同じく鼻頭の位置を示す特徴点）の位置が近似する頭部画像を、指標画像候補として選択する機能を有する。本実施の形態２において「位置が近似する」とは、第１の意義としては双方における特徴点間の距離が所定の閾値以下であることを意味し、第２の意義としては頭部画像データベース３に記録された頭部画像の中で特徴点間の距離が相対的に小さいこと（例えば、距離が最も小さいものと２番目に小さいこと）を意味する。また、被写体の基本画像において特異点が複数存在する場合は、「位置が近似する」とは、第１の意義としてそれぞれの特異点に関する特徴点間距離が所定の閾値以下であること、第２の意義としてそれぞれの特異点に関する特徴点間距離の平均値が別の閾値以下であること、第３の意義として特徴点間距離の平均値が相対的に小さいことを意味する。
【0045】
次に、本実施の形態２にかかる画像処理装置の動作のうち、指標画像候補抽出部１２による抽出動作について、図４のフローチャートを参照しつつ説明する。まず、特異点抽出部６によって抽出された基本画像中の特異点を把握し（ステップＳ２０１）、特異点の個数が複数であるか否かを判定する（ステップＳ２０２）。
【0046】
単数の場合（ステップＳ２０２、Ｎｏ）は、当該特異点と同一の要素に関する特徴点同士の距離が閾値以下となる頭部画像が頭部画像データベース３の中に記録されているか否かを判定し（ステップＳ２０３）、記録されている場合（ステップＳ２０３、Ｙｅｓ）は、その頭部画像を指標画像候補として抽出する（ステップＳ２０４）。特徴点同士の距離が閾値以下となる頭部画像が記録されていなかった場合（ステップＳ２０３、Ｎｏ）は、記録されている頭部画像のうち、特異点と同一の要素に関する特徴点同士の距離が相対的に小さいもの（例えば１番小さいもの及び２番目に小さいもの）を抽出し（ステップＳ２０５）、抽出した頭部画像を指標画像として選択する。
【0047】
また、被写体の基本画像における特異点の個数が複数の場合（ステップＳ２０２、Ｙｅｓ）は、複数の特異点それぞれについて、特異点と同一の要素に関する特徴点同士の距離のすべてが閾値以下となる頭部画像が頭部画像データベース３の中に記録されているか否かを判定し（ステップＳ２０６）、記録されている場合（ステップＳ２０６、Ｙｅｓ）は、その頭部画像を指標画像候補として抽出する（ステップＳ２０４）。記録されていない場合（ステップＳ２０６、Ｎｏ）は、基本画像の複数の特異点それぞれに関する特徴点同士の距離の平均値が所定の閾値以下となる頭部画像が記録されているか否かを判定し（ステップＳ２０７）、記録されている場合（ステップＳ２０７、Ｙｅｓ）は、その頭部画像を指標画像候補として抽出する（ステップＳ２０４）。記録されていなかった場合（ステップＳ２０７、Ｎｏ）は、記録されている頭部画像のうち、特異点と同一の要素に関する特徴点同士の距離の平均値が相対的に小さいもの（例えば１番小さいもの及び２番目に小さいもの）を抽出し（ステップＳ２０８）、抽出した頭部画像を指標画像候補として抽出する（ステップＳ２０４）。
【0048】
次に、本実施の形態２にかかる画像処理装置の利点について説明する。本実施の形態２にかかる画像処理装置は、実施の形態１における利点に加えて以下の利点を有する。
【0049】
すなわち、本実施の形態２にかかる画像処理装置は、形状調整処理に利用される指標画像の候補を選択する際に、基本画像にて特異点となる特徴点に関して、対応する特徴点の位置が近似する頭部画像を選択することとしている。上述のとおり特異点とは基本画像における特異性ないし個性を表すものであり、本実施の形態では特異点の変位量を抑制しつつ形状調整処理を行うことで、指標画像を利用して形状調整処理を行いつつも、基本画像の特徴部分を残存させることが可能である。
【0050】
そのため、本実施の形態２においては、指標画像の候補を抽出する際に、形状調整処理の際に特異点に関する変位が小さくなるよう、特異点に対応した特徴点と同一の要素に関する特徴点の位置が近似する頭部画像を抽出することとしている。特徴点同士の位置が近似していれば、当該特徴点間で変位させる形状調整処理において、変位量を低減することが可能である。
【0051】
また、特徴点同士の位置が近似する事実は、すなわち基本画像と指標画像が、同じ特徴点について同じ傾向の特異性ないし個性を有していることを意味している。本実施の形態２にかかる画像処理装置は、特異性ないし個性について基本画像と共通性を有する指標画像を利用して形状調整処理を行うことによって、より特異性・個性を自然な形で残しつつ、他の部分については形状調整の目的等に応じて大幅な改変等を行うことが可能となるという利点を有する。
【0052】
以上、実施の形態において本発明の内容について説明したが、もとより本発明の技術的範囲は実施の形態に記載した具体的構成に限定して解釈されるべきではなく、本発明の機能を実現できるものであれば、上記実施の形態に対する様々な変形例、応用例についても、本発明の技術的範囲に属することはもちろんである。
【0053】
例えば、基本画像及び指標画像等の頭部画像の具体的な構成として、表面全体をボクセル等の微小単位の集合と規定し各微小単位の位置情報を記録した形式としてもよい。この場合、微小単位を点と近似した上で、所定の領域に対応したものを特徴点と設定した上で本発明における画像処理を行うことも可能である。また、被写体の基本画像と頭部画像データベース３に記録された頭部画像とは、異なるデータ形式からなるものとしてもよい。
【0054】
また、形状遷移情報における特徴点の位置座標は、上述したｘｙｚ座標系、ｕｖ座標系のほか、例えば３次元極座標系でも、ベクトル表示の形式でも、任意の形式のものを用いることが可能である。また、各座標における原点の設定や、各座標軸の設定についても、任意のものを用いることが可能である。
【0055】
形状遷移情報の内容についても、実施の形態にて記載した態様に限定して解釈すべきでない。例えば、変数を「ｔ」以外のものとすることはもとより、互いに位置が近接する複数の特徴点からなるグループごとに別個独立の変数を使用する（すなわち、近接しない特徴点においては、それぞれの変数に応じて独立した形状変化がなされる。）こととしてもよいし、すべての特徴点について、それぞれ独自の変数を使用することとしてもよい。特異点に対応した特徴点の変位量低減の方法についても、変数変換処理を行うもの以外に、変数はそのままとして特異点に対応した特徴点についてのみ、別個独立の変数値を入力する方法としてもよい。
【0056】
また、実施の形態１、２における閾値の設定について、条件を満たさないケースが発生しないよう、余裕を持った値で設定することも有効である。例えば、実施の形態１において、各特徴点同士の距離の平均値ないし中央値を閾値とし、当該閾値以上となる特徴点を特異点として抽出してもよい。また、実施の形態２において、特異点に関する特徴点同士の距離の閾値について、全画像に関する当該特徴点同士の距離の平均値又は中央値としてもよい。このように閾値を設定した場合、必ず条件を満たすものが存在することから、さらなる対応を行うことなく処理を行うことが可能である。
【0057】
さらに、実施の形態２における特異点に関する特徴点同士の距離の閾値については、特徴点ごとに異なる値の閾値を使用することとしてもよく、距離が相対的に小さいものを選択する際に距離が最も小さい頭部画像のみを選択する、あるいは最も小さいものから５番目に小さいものまで５通りの頭部画像を選択することとしてもよい。また、指標画像候補抽出部４、１２において複数の指標画像の候補を提示してユーザに選択させる態様のみならず、指標画像候補抽出部４、１２が単一の頭部画像を選択し、選択したものをそのまま指標画像として使用する態様とすることも可能である。
【0058】
また、指標画像候補抽出部４、１２については、複数の頭部画像を候補として抽出する機能のみならず、指標画像として単一の頭部画像を指定する構成としてもよい。本実施の形態１、２では複数の候補画像から利用者の好み等を反映したものを選択する構成を採用しているが、当初より単一の頭部画像を指標画像として選択する構成としてもよいし、複数の候補を抽出した後、所定の条件を満たす画像を指標画像として選択する構成としてもよい。
【0059】
また、本実施の形態では具体的な「装置」として本発明の説明を行ったが、もとより本発明の形態は「装置」に限定されるのではなく、「方法」又は「コンピュータプログラム」によって実現することも可能である。
【産業上の利用可能性】
【0060】
本発明は、３次元の頭部画像の画像処理技術として利用可能である。
【符号の説明】
【0061】
１ 撮影部
２ 基本画像生成部
３ 頭部画像データベース
４、１２ 指標画像候補抽出部
５ 遷移情報生成部
６ 特異点抽出部
７ 変数変換部
８ 形状調整部
２ 基本画像生成部
３ 頭部画像データベース
４、１２ 指標画像候補抽出部
５ 遷移情報生成部
６ 特異点抽出部
７ 変数変換部
８ 形状調整部
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2021-03-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理装置であって、
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成手段と、
前記基本画像における特徴点の中から、基準位置からの離隔値が第１の閾値以上となる特徴点を特異点として検出する特異点検出手段と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行うと共に、特異点の変位量を特異点以外の所定の特徴点の変位量にて除算した値が、前記離隔値を前記第１の閾値にて除算した値以下となるよう、前記基本画像の変形処理を行う形状調整手段と、
を備えたことを特徴とする画像処理装置。
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成手段と、
前記基本画像における特徴点の中から、基準位置からの離隔値が第１の閾値以上となる特徴点を特異点として検出する特異点検出手段と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行うと共に、特異点の変位量を特異点以外の所定の特徴点の変位量にて除算した値が、前記離隔値を前記第１の閾値にて除算した値以下となるよう、前記基本画像の変形処理を行う形状調整手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が第２の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出手段をさらに備え、
前記遷移情報生成手段は、前記指標画像候補抽出手段によって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする請求項１記載の画像処理装置。
前記遷移情報生成手段は、前記指標画像候補抽出手段によって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする請求項１記載の画像処理装置。
【請求項3】
特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理方法であって、
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出ステップと、
同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出ステップにて抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成ステップと、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出ステップと、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整ステップと、
を備えたことを特徴とする画像処理方法。
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出ステップと、
同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出ステップにて抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成ステップと、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出ステップと、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整ステップと、
を備えたことを特徴とする画像処理方法。
【請求項4】
特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、コンピュータに形状調整処理を行わせる画像処理プログラムであって、
前記コンピュータに対し、
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出機能と、
同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出機能により抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成機能と、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出機能と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整機能と、
を実現させることを特徴とする画像処理プログラム。
前記コンピュータに対し、
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出機能と、
同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出機能により抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成機能と、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出機能と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整機能と、
を実現させることを特徴とする画像処理プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
上記目的を達成するため、請求項１にかかる画像処理装置は、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理装置であって、同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成手段と、前記基本画像における特徴点の中から、基準位置からの離隔値が第１の閾値以上となる特徴点を特異点として検出する特異点検出手段と、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行うと共に、特異点の変位量を特異点以外の所定の特徴点の変位量にて除算した値が、前記離隔値を前記第１の閾値にて除算した値以下となるよう、前記基本画像の変形処理を行う形状調整手段とを備えたことを特徴とする。なお、「頭部」とは広義の意味であって頭髪部分のみならず顔面も含み、端的には首から上の部分を含む領域を意味する。また、「特徴点」とは、頭部の３次元画像の形状を特徴づける部位に応じて定められる複数の点であり、目尻、鼻頭、口角等の外観的に明らかなもののみならず、皮膚下に存在する表情筋、骨格構造に起因した特徴部分に対応した点をも含みうる概念である。「経路」とは、２次元又は３次元的な直線あるいは曲線を意味するところ、連続的な直線・曲線のみならず直線・曲線の途中で不連続に変位するものや、連続しているものの変化率が不連続に変化するものも含む。また、当該「経路」は、必ずしも特徴点そのものを経路上に含むものに限定されない。「基準位置」とは、平均的な形状からなる頭部における各特徴点の位置を意味し、例えば、一定数以上の数の頭部における各特徴点の位置を平均化することによって定められるが、これに限定することなく、例えば性別、年齢、人種等の属性に応じるなどして予め各特徴点の位置を任意に定めて、これを「基準位置」と定義してもよい。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
また、上記目的を達成するため、請求項２にかかる画像処理装置は、上記の発明において、互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が第２の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出手段をさらに備え、前記遷移情報生成手段は、前記指標画像候補抽出手段によって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
また、上記目的を達成するため、請求項３にかかる画像処理方法は、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理方法であって、互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出ステップと、同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出ステップにて抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成ステップと、前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出ステップと、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整ステップとを備えたことを特徴とする。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【0013】
また、上記目的を達成するため、請求項４にかかる画像処理プログラムは、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、コンピュータに形状調整処理を行わせる画像処理プログラムであって、前記コンピュータに対し、互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出機能と、同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出機能により抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成機能と、前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出機能と、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整機能とを実現させることを特徴とする。