特開2023-147643画像処理装置、情報処理装置、画像処理方法及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023147643
(43)【公開日】2023-10-13
(54)【発明の名称】画像処理装置、情報処理装置、画像処理方法及びコンピュータプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20231005BHJP
G06T 7/70 20170101ALI20231005BHJP
G06V 10/24 20220101ALI20231005BHJP
【ＦＩ】
G06T1/00 200D
G06T7/70 Z
G06V10/24
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2022055275
(22)【出願日】2022-03-30
(71)【出願人】
【識別番号】509070463
【氏名又は名称】株式会社コロプラ
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100173565
【弁理士】
【氏名又は名称】末松 亮太
(74)【代理人】
【識別番号】100201743
【弁理士】
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】金子 基
(72)【発明者】
【氏名】ジン シュハン
【テーマコード（参考）】
5B050
5L096
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA07
5B050BA10
5B050BA13
5B050CA01
5B050DA04
5B050EA05
5B050EA07
5B050EA18
5B050EA19
5B050FA02
5B050FA05
5B050GA08
5L096AA06
5L096CA04
5L096DA01
5L096FA09
5L096FA66
5L096FA67
5L096FA69
5L096MA03
(57)【要約】
【課題】レプリカなどの被写体の撮像画像と実物の撮像画像との間のズレを制作者に正確に認識させることを可能とする画像処理装置を提供する。
【解決手段】画像処理装置は、１つ以上の第１のマーカが付された被写体の撮像画像を撮像部から連続的に取得する第１の画像取得部と、１つ以上の第２のマーカが付された参照物体画像を画像記憶部から取得する第２の画像取得部と、前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出し、当該検出された第１及び第２のマーカを用いて撮像画像に現れる被写体を参照物体画像に現れる参照物体と比較して比較結果を生成する画像処理部とを備える。画像処理部は、前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存する。
【選択図】図１
【解決手段】画像処理装置は、１つ以上の第１のマーカが付された被写体の撮像画像を撮像部から連続的に取得する第１の画像取得部と、１つ以上の第２のマーカが付された参照物体画像を画像記憶部から取得する第２の画像取得部と、前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出し、当該検出された第１及び第２のマーカを用いて撮像画像に現れる被写体を参照物体画像に現れる参照物体と比較して比較結果を生成する画像処理部とを備える。画像処理部は、前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存する。
【選択図】図１
【特許請求の範囲】
【請求項1】
１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像を取得するように構成された第１の画像取得部と、
１つ以上の第２のマーカが付された被写体の撮像画像を撮像部から連続的に取得するように構成された第２の画像取得部と、
前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出し、前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するように構成された画像処理部と
を備え、
前記画像処理部は、前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存することを特徴とする画像処理装置。
１つ以上の第２のマーカが付された被写体の撮像画像を撮像部から連続的に取得するように構成された第２の画像取得部と、
前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出し、前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するように構成された画像処理部と
を備え、
前記画像処理部は、前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存することを特徴とする画像処理装置。
【請求項2】
請求項１に記載の画像処理装置であって、前記画像処理部は、前記自動撮像画像と前記参照物体の形状の特徴を表す特徴画像とを重ね合わせて合成画像を生成するように構成されている、画像処理装置。
【請求項3】
請求項１または２に記載の画像処理装置であって、
前記画像処理部は、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定し、
前記被写体の姿勢情報及び前記被写体までの距離の組と、前記参照物体の姿勢情報及び前記参照物体までの距離の組との差分を前記比較結果として生成する
ように構成されており、
前記所定の一致条件は、前記差分が所定の数値範囲内にあるとの条件を含む、画像処理装置。
前記画像処理部は、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定し、
前記被写体の姿勢情報及び前記被写体までの距離の組と、前記参照物体の姿勢情報及び前記参照物体までの距離の組との差分を前記比較結果として生成する
ように構成されており、
前記所定の一致条件は、前記差分が所定の数値範囲内にあるとの条件を含む、画像処理装置。
【請求項4】
請求項３に記載の画像処理装置であって、前記画像処理部は、あらかじめ用意された３次元モデルをさらに用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、あらかじめ用意された３次元モデルをさらに用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するように構成されている、画像処理装置。
【請求項5】
請求項１または２に記載の画像処理装置であって、前記画像処理部は、前記所定の一致条件を満たすように誘導するガイドを生成して前記ガイドをディスプレイに表示するように構成されている、画像処理装置。
【請求項6】
請求項５に記載の画像処理装置であって、
前記画像処理部は、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離とを推定し、
前記参照物体の姿勢情報及び前記参照物体までの距離の組を幾何学的に表す第１のガイド線と、前記被写体の姿勢情報及び前記被写体までの距離の組を幾何学的に表す第１のガイド線との組を前記ガイドとして生成する
ように構成されている、画像処理装置。
前記画像処理部は、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離とを推定し、
前記参照物体の姿勢情報及び前記参照物体までの距離の組を幾何学的に表す第１のガイド線と、前記被写体の姿勢情報及び前記被写体までの距離の組を幾何学的に表す第１のガイド線との組を前記ガイドとして生成する
ように構成されている、画像処理装置。
【請求項7】
請求項１から６のうちのいずれか１項に記載の画像処理装置であって、
当該連続的に取得された撮像画像は、現在の撮像画像と前記現在の撮像画像よりも前に取得された以前の撮像画像とを含み、
前記画像処理部は、前記現在の撮像画像から前記第２のマーカが検出されないとき、前記以前の撮像画像から検出された当該第２のマーカの位置情報を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するように構成されている、画像処理装置。
当該連続的に取得された撮像画像は、現在の撮像画像と前記現在の撮像画像よりも前に取得された以前の撮像画像とを含み、
前記画像処理部は、前記現在の撮像画像から前記第２のマーカが検出されないとき、前記以前の撮像画像から検出された当該第２のマーカの位置情報を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するように構成されている、画像処理装置。
【請求項8】
請求項１から６のうちのいずれか１項に記載の画像処理装置であって、
当該連続的に取得された撮像画像は、現在の撮像画像と前記現在の撮像画像よりも前に取得された以前の撮像画像とを含み、
前記画像処理部は、前記現在の撮像画像から検出された当該第２のマーカの現在の画像座標を、前記以前の撮像画像から検出された当該第２のマーカの以前の画像座標と比較して、前記現在の画像座標と前記以前の画像座標との間の対応付けに成功したときは、前記以前の画像座標に割り当てられているピンマーカ識別子を前記現在の画像座標に割り当てるように構成されている、画像処理装置。
当該連続的に取得された撮像画像は、現在の撮像画像と前記現在の撮像画像よりも前に取得された以前の撮像画像とを含み、
前記画像処理部は、前記現在の撮像画像から検出された当該第２のマーカの現在の画像座標を、前記以前の撮像画像から検出された当該第２のマーカの以前の画像座標と比較して、前記現在の画像座標と前記以前の画像座標との間の対応付けに成功したときは、前記以前の画像座標に割り当てられているピンマーカ識別子を前記現在の画像座標に割り当てるように構成されている、画像処理装置。
【請求項9】
請求項８に記載の画像処理装置であって、前記画像処理部は、前記現在の画像座標と前記以前の画像座標との間の対応付けに失敗したときは、前記現在の画像座標を使用せず、前記以前の画像座標と前記以前の画像座標に割り当てられているピンマーカ識別子との組を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するように構成されている、画像処理装置。
【請求項10】
請求項２に記載の画像処理装置であって、前記画像処理部は、当該検出された第２のマーカを前記撮像画像から削除して得られる画像と前記特徴画像とを重ね合わせて合成画像を生成するように構成されている、画像処理装置。
【請求項11】
請求項１０に記載の画像処理装置であって、
前記第２のマーカは、あらかじめ選択された特定の色を有し、
前記画像処理部は、前記撮像画像から前記特定の色を成分とする色空間画像を抽出し、前記色空間画像を用いて、当該検出された第２のマーカを前記撮像画像から削除するように構成されている、画像処理装置。
前記第２のマーカは、あらかじめ選択された特定の色を有し、
前記画像処理部は、前記撮像画像から前記特定の色を成分とする色空間画像を抽出し、前記色空間画像を用いて、当該検出された第２のマーカを前記撮像画像から削除するように構成されている、画像処理装置。
【請求項12】
請求項１から１１のうちのいずれか１項に記載の画像処理装置と、前記撮像部と、前記画像記憶部とを備えることを特徴とする情報処理装置。
【請求項13】
単数または複数のプロセッサにより実施されるべき画像処理方法であって、
１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像を取得するステップと、
１つ以上の第２のマーカが付された被写体の撮像画像を撮像部から連続的に取得するステップと、
前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出するステップと、
前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するステップと、
前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存するステップと
を備えることを特徴とする画像処理方法。
１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像を取得するステップと、
１つ以上の第２のマーカが付された被写体の撮像画像を撮像部から連続的に取得するステップと、
前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出するステップと、
前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するステップと、
前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存するステップと
を備えることを特徴とする画像処理方法。
【請求項14】
請求項１３に記載の画像処理方法であって、前記自動撮像画像と前記参照物体の形状の特徴を表す特徴画像とを重ね合わせて合成画像を生成するステップをさらに備える画像処理方法。
【請求項15】
請求項１３または１４に記載の画像処理方法であって、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定するステップと、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するステップと
をさらに備え、
前記比較結果は、前記被写体の姿勢情報及び前記被写体までの距離の組と、前記参照物体の姿勢情報及び前記参照物体までの距離の組との差分として生成され、
前記所定の一致条件は、前記差分が所定の数値範囲内にあるとの条件を含む、画像処理方法。
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定するステップと、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するステップと
をさらに備え、
前記比較結果は、前記被写体の姿勢情報及び前記被写体までの距離の組と、前記参照物体の姿勢情報及び前記参照物体までの距離の組との差分として生成され、
前記所定の一致条件は、前記差分が所定の数値範囲内にあるとの条件を含む、画像処理方法。
【請求項16】
請求項１５に記載の画像処理方法であって、
前記参照物体の姿勢情報と前記参照物体までの距離とは、あらかじめ用意された３次元モデルをさらに用いて推定され、
前記被写体の姿勢情報と前記被写体までの距離とは、あらかじめ用意された３次元モデルをさらに用いて推定される、画像処理方法。
前記参照物体の姿勢情報と前記参照物体までの距離とは、あらかじめ用意された３次元モデルをさらに用いて推定され、
前記被写体の姿勢情報と前記被写体までの距離とは、あらかじめ用意された３次元モデルをさらに用いて推定される、画像処理方法。
【請求項17】
請求項１３または１４に記載の画像処理方法であって、前記所定の一致条件を満たすように誘導するガイドを生成して前記ガイドをディスプレイに表示するステップをさらに備える画像処理方法。
【請求項18】
請求項１７に記載の画像処理方法であって、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定するステップと、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するステップと
をさらに備え、
前記ガイドは、前記参照物体の姿勢情報及び前記参照物体までの距離の組を幾何学的に表す第１のガイド線と、前記被写体の姿勢情報及び前記被写体までの距離の組を幾何学的に表す第２のガイド線とを含む、画像処理方法。
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定するステップと、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するステップと
をさらに備え、
前記ガイドは、前記参照物体の姿勢情報及び前記参照物体までの距離の組を幾何学的に表す第１のガイド線と、前記被写体の姿勢情報及び前記被写体までの距離の組を幾何学的に表す第２のガイド線とを含む、画像処理方法。
【請求項19】
請求項１３から１８のうちのいずれか１項に記載の画像処理方法であって、
当該連続的に取得された撮像画像のうちの現在の撮像画像から前記第２のマーカが検出されないとき、当該連続的に取得された撮像画像のうち前記現在の撮像画像よりも前に取得された以前の撮像画像から検出された当該第２のマーカの位置情報を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するステップをさらに備える画像処理方法。
当該連続的に取得された撮像画像のうちの現在の撮像画像から前記第２のマーカが検出されないとき、当該連続的に取得された撮像画像のうち前記現在の撮像画像よりも前に取得された以前の撮像画像から検出された当該第２のマーカの位置情報を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するステップをさらに備える画像処理方法。
【請求項20】
請求項１３から１８のうちのいずれか１項に記載の画像処理方法であって、当該連続的に取得された撮像画像のうちの現在の撮像画像から検出された当該第２のマーカの現在の画像座標を、当該連続的に取得された撮像画像のうち前記現在の撮像画像よりも前に取得された以前の撮像画像から検出された当該第２のマーカの以前の画像座標と比較して、前記現在の画像座標と前記以前の画像座標との間の対応付けに成功したときは、前記以前の画像座標に割り当てられているピンマーカ識別子を前記現在の画像座標に割り当てるステップをさらに備える画像処理方法。
【請求項21】
請求項２０に記載の画像処理方法であって、前記現在の画像座標と前記以前の画像座標との間の対応付けに失敗したときは、前記現在の画像座標を破棄し、前記以前の画像座標と前記以前の画像座標に割り当てられているピンマーカ識別子との組を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するステップをさらに備える画像処理方法。
【請求項22】
請求項１４に記載の画像処理方法であって、前記合成画像は、当該検出された第２のマーカを前記撮像画像から削除して得られる画像と前記特徴画像とを重ね合わせて生成される、画像処理方法。
【請求項23】
請求項２２に記載の画像処理方法であって、
前記第２のマーカは、あらかじめ選択された特定の色を有し、
当該画像処理方法は、
前記撮像画像から前記特定の色を成分とする色空間画像を抽出するステップと、
前記色空間画像を用いて、当該検出された第２のマーカを前記撮像画像から削除するステップと
をさらに備える画像処理方法。
前記第２のマーカは、あらかじめ選択された特定の色を有し、
当該画像処理方法は、
前記撮像画像から前記特定の色を成分とする色空間画像を抽出するステップと、
前記色空間画像を用いて、当該検出された第２のマーカを前記撮像画像から削除するステップと
をさらに備える画像処理方法。
【請求項24】
不揮発性メモリから読み出されて実行されるべきコンピュータプログラムであって、請求項１３から請求項２３のうちのいずれか１項に記載の画像処理方法を単数または複数のプロセッサに実施させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、実物を模したレプリカなどの被写体の撮像画像を、あらかじめ用意された参照物体画像と比較してその比較結果を生成するための画像処理技術に関する。
【背景技術】
【0002】
動植物や美術品などの実物（実世界の物体）を模したレプリカ（たとえば、ドールや彫刻品）を制作する過程で、レプリカの制作者が、レプリカの完成度合いを確認するためにカメラを用いる手法が知られている。具体的には、その手法は、制作者が、実物の撮像画像をあらかじめ用意しておき、カメラを用いて被写体であるレプリカの撮像画像を取得し、そのレプリカの撮像画像と実物の撮像画像とを比較してレプリカの完成度合いを確認するというものである。制作者は、レプリカの撮像画像と実物の撮像画像との間のズレを認識し、そのズレを小さくするようにレプリカを修正することによりレプリカの完成度を高めることができる。
【0003】
近年のコンピュータ技術とソフトウェア技術の発達に伴い、制作者は、ＰＣ（パーソナル・コンピュータ）やタブレット型コンピュータなどのディジタル機器を操作して、当該ディジタル機器にレプリカの撮像画像と実物の撮像画像とを並べて表示させたり、重畳させて表示させたりすることが容易にできるので、制作者は、両者間のズレを簡便に認識することが可能である。
【0004】
なお、実物の画像データを基に３Ｄプリンタなどの加工装置を用いてレプリカを造形する技術は既に知られている（たとえば、特許文献１：特開平０８－０１６７８６号公報）。しかしながら、この技術では、制作者がレプリカの撮像画像と実物の撮像画像との間のズレを認識し、そのズレを小さくするように制作者自らがレプリカを修正するプロセスが存在しない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平０８－０１６７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
前述のとおり、制作者は、レプリカの撮像画像と実物の撮像画像との間のズレを認識し、当該認識されたズレを小さくするようにレプリカを修正することができる。しかしながら、制作者は、そのズレを必ずしも正確に認識できているとは限らないので、かかる場合、レプリカの完成度を高めることが難しいという課題がある。
【0007】
上記に鑑みて本開示の目的は、レプリカなどの被写体の撮像画像と実物の撮像画像との間のズレを制作者に正確に認識させることを可能とする画像処理装置、情報処理装置、画像処理方法及びコンピュータプログラムを提供する点にある。
【課題を解決するための手段】
【0008】
本開示の第１の態様による画像処理装置は、１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像を取得するように構成された第１の画像取得部と、１つ以上の第２のマーカが付された被写体の撮像画像を撮像部から連続的に取得するように構成された第２の画像取得部と、前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出し、前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するように構成された画像処理部とを備え、前記画像処理部は、前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存することを特徴とする。
【0009】
本開示の第２の態様による情報処理装置は、上記第１の態様による画像処理装置と、前記撮像部と、前記画像記憶部とを備えることを特徴とする。
【0010】
本開示の第３の態様による画像処理方法は、単数または複数のプロセッサにより実施されるべき画像処理方法であって、１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像を取得するステップと、１つ以上の第２のマーカが付された被写体の撮像画像を撮像部から連続的に取得するステップと、前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出するステップと、前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するステップと、前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存するステップとを備えることを特徴とする。
【0011】
本開示の第４の態様によるコンピュータプログラムは、不揮発性メモリから読み出されて実行されるべきコンピュータプログラムであって、上記第３の態様による画像処理方法を単数または複数のプロセッサに実施させるように構成されていることを特徴とする。
【発明の効果】
【0012】
本開示の第１～第４の態様によれば、参照物体画像及び被写体の撮像画像からそれぞれを検出された第１のマーカ及び第２のマーカを用いて、撮像画像に現れる被写体と参照物体画像に現れる参照物体との間の比較結果が生成され、当該比較結果が所定の一致条件を満たすときの当該撮像画像が自動撮像画像として保存される。これにより、被写体と参照物体との間のズレをユーザが認識するのに適した自動撮像画像を生成することが可能となる。実物を模したレプリカを制作する際、当該レプリカを被写体とし、当該実物を参照物体として選択すれば、ユーザは、自動撮像画像に基づいてレプリカと実物との間のズレを正確に認識することができるので、当該認識されたズレを小さくするようにレプリカを修正することにより当該レプリカの完成度を高めることができる。
【図面の簡単な説明】
【0013】
【図1】本開示の一実施形態の情報処理装置の構成を概略的に示すブロック図である。
【図2】画像処理装置を実現するハードウェア構成例を概略的に示すブロック図である。
【図4】レプリカの造形作業の一例を説明するための図である。
【図5】ピンマーカが付されたレプリカの状態を示す図である。
【図6】画像処理装置による画像処理の手順の一例を概略的に示すフローチャートである。
【図7】画像処理装置による画像処理の手順の一例を概略的に示すフローチャートである。
【図10】被写体であるレプリカと第１及び第２のガイド線とを表示するディスプレイ画面を例示する図である。
【図11】被写体であるレプリカと第１及び第２のガイド線とを表示する別のディスプレイ画面を例示する図である。
【図14】合成画像を例示する図である。
【図15】別の合成画像を例示する図である。
【図17】他の実施形態に係る画像処理の手順の一例を概略的に示すフローチャートである。
【図18】他の実施形態に係る画像処理の手順の一例を概略的に示すフローチャートである。
【図20】参照用位置情報の構成を表す図である。
【図23】さらに他の実施形態に係る画像処理の手順の一例を概略的に示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照しつつ、本開示に係る種々の実施形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。
【0015】
図１は、本開示の一実施形態の情報処理装置１の構成を概略的に示すブロック図である。図１に示される情報処理装置１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの撮像センサを有する撮像部１０と、撮像部１０で得られた撮像画像を一時的に格納する画像バッファ１１と、撮像部１０から画像バッファ１１を介して撮像画像を取得して当該撮像画像に画像処理を施すように構成された画像処理装置２０と、画像処理装置２０に利用される各種データが記憶されているストレージ３０と、画像処理装置２０から出力される画像データを表示するディスプレイ４０と、通信部４１と、操作入力部４２とを備えて構成されている。操作入力部４２は、キー入力デバイスやタッチパネル型入力デバイスを有している。ユーザは、操作入力部４２を操作することで画像処理装置２０の動作を指示するための情報を入力することができる。
【0016】
なお、本実施形態では、撮像部１０及びディスプレイ４０はそれぞれ情報処理装置１の構成要素であるが、これに限定されるものではない。撮像部１０及びディスプレイ４０の一方または双方が情報処理装置１の外部に配置されるように情報処理装置１の構成を変更してもよい。
【0017】
通信部４１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）もしくは有線ＬＡＮなどの通信ネットワークを介した通信、赤外線通信、または、ケーブルを介した有線通信により外部通信機器（図示せず）との間でデータの送受信を行うことができる機能を有している。ディスプレイ４０としては、たとえば、液晶ディスプレイ（ＬＣＤ）または有機ＥＬディスプレイが使用可能であるが、これに限定されるものではない。
【0018】
画像処理装置２０は、単数または複数のプロセッサを含むデータ処理装置で実現可能である。具体的には、画像処理装置２０の全部または一部は、不揮発性メモリ（コンピュータ読み取り可能な記録媒体）から読み出されたソフトウェアやファームウェアのプログラムコード（命令群）を実行する、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算ユニットを含む単数または複数のプロセッサで実現されればよい。
【0019】
図２は、画像処理装置２０の全部または一部を実現するハードウェア構成例であるデータ処理装置９０の構成を概略的に示すブロック図である。データ処理装置９０は、プロセッサ９１，ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９２，不揮発性メモリ９３，インタフェース回路９４及び信号路９５を含んで構成されている。信号路９５は、プロセッサ９１，ＲＡＭ９２，不揮発性メモリ９３及びインタフェース回路９４を相互に接続するためのバスである。ＲＡＭ９２は、プロセッサ９１がディジタル信号処理を実行する際に使用されるデータ記憶領域である。プロセッサ９１がＣＰＵやＧＰＵなどの演算装置を内蔵する場合には、不揮発性メモリ９３は、プロセッサ９１により実行されるソフトウェアやファームウェアのプログラムコードが記録されたデータ記録領域を有する。
【0020】
上記情報処理装置１は、パーソナル・コンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＰＣ）、タブレット型コンピュータ、ウェアラブル型コンピュータまたはスマートフォンとして構成可能である。
【0021】
本実施形態の情報処理装置１のユーザとしては、動植物や美術品などの参照物体（ターゲット）を模したレプリカを制作する者が想定されている。レプリカの例としては、人形（ドールともいう。）、手芸作品（たとえば、羊毛フェルトなどのシート状の繊維品）、フィギュア（たとえば、映画や書籍に現れる登場人間、キャラクタ、動物、怪獣、車両または飛行機の立体的な模型）、並びに、彫刻品が挙げられる。ユーザは、参照物体を表すディジタル画像を複数種あらかじめ用意しておき、情報処理装置１を操作して、通信部４１を介してこれらディジタル画像（以下「参照物体画像」ともいう。）をストレージ３０の第１画像記憶部３１に記憶させることができる。参照物体画像は、あらかじめストレージ３０に格納されていてもよい。図３Ａ～図３Ｃは、そのような参照物体画像の例を概略的に示す図である。図３Ａは、猫の参照物体Ｔｇｔの原画像５１を示し、図３Ｂは、原画像５１に現れる参照物体Ｔｇｔに対して、黒丸で示される１２個の参照マーカ（第１のマーカ）Ｍ１～Ｍ１２を電子的に付すことで生成された参照物体画像５２を示し、図３Ｃは、参照物体Ｔｇｔの形状の特徴を表す特徴画像５３を示している。図３Ｃの例では、特徴画像５３は、原画像５１から抽出された参照物体Ｔｇｔの輪郭線を表す輪郭線画像であるが、これに限定されるものではない。
【0022】
ユーザは、原画像５１または参照物体画像５２に現れる参照物体Ｔｇｔに合わせてレプリカを造形することができる。図４は、レプリカＲｐの造形作業の一例を説明するための図である。図４に示されるように、ユーザは、自らの手Ｈｄを用いて、型に羊毛などの材料を植毛することでレプリカＲｐを制作することができる。ユーザは、レプリカＲｐの完成度合いを確認するために、先ず、レプリカＲｐの表面に、図３Ｃの複数の参照マーカＭ１～Ｍ１２にそれぞれ対応する複数のピンマーカ（第２のマーカ）を付加する。図５は、表面に１２個のピンマーカＰ１～Ｐ１２が付されたレプリカＲｐの状態を示す図である。
【0023】
次いで、ユーザは、情報処理装置１を操作して、ピンマーカＰ１～Ｐ１２が付されたレプリカＲｐを被写体として情報処理装置１に連続的に撮像させる。このとき、ユーザは、撮像部１０に対するレプリカＲｐの相対的な姿勢や相対的な位置を適当に変化させる。画像処理装置２０は、連続的に得られる撮像画像（フレーム画像）のうち、参照物体画像５２に現れる参照物体ＴｇｔとレプリカＲｐとの間のズレをユーザに正確に認識させることができる撮像画像（すなわち自動撮像画像）を自動的に選択してそのデータをストレージ３０に保存することができる。従来技術のカメラを用いるだけでは、制作者は、参照物体画像５２に現れる参照物体ＴｇｔとレプリカＲｐとの間のズレを正確に認識することができるような姿勢及び相対距離にあるレプリカＲｐを適切なタイミングで撮像することが難しい。これに対し、本実施形態の画像処理装置２０の機能を用いれば、ユーザは、撮像部１０に対するレプリカＲｐの相対的な姿勢や相対的な位置を適当に変化させるだけで、撮像部１０に対して適切な姿勢及び相対距離にあるレプリカＲｐの撮像画像（すなわち自動撮像画像）を容易に得ることができる。
【0024】
なお、図３Ｂの例では、参照物体画像５２に現れる参照物体Ｔｇｔに対して１２個の参照マーカＭ１～Ｍ１２が付されており、図５の例では、レプリカＲｐに対して１２個のピンマーカＰ１～Ｐ１２が付されているが、これに限定されるものではない。たとえば、参照物体画像に現れる参照物体Ｔｇｔに対して空間的なパターンをもつ単一の参照マーカを付し、レプリカＲｐに対して空間的なパターンをもつ単一のピンマーカを付する形態もあり得る。
【0025】
また、本実施形態では、第１のマーカとしての参照マーカは、原画像のデータに対して電子的に付されているが、これに限定されるものではない。たとえば、物理的に実在するマーカ（たとえば、特定の色及び材質を有するピン）を参照マーカとして参照物体に物理的に付着したうえで当該参照物体を撮像することで参照物体画像が取得されてもよい。また上記のとおり、ユーザは、レプリカＲｐの造形作業の過程でレプリカＲｐの表面にピンマーカを付すことができる。第２のマーカとしてのピンマーカは、物理的に実在するレプリカＲｐの表面に物理的に付されることが好ましいが、これに限定されるものではない。たとえば、一連の撮像画像（フレーム画像）に現れるレプリカＲｐの特徴を画像解析で検出することにより、レプリカＲｐの動きに合わせて各撮像画像内の適当な位置に仮想的なマーカを電子的に付してもよい。
【0026】
以下、情報処理装置１における画像処理装置２０の構成及び動作について詳細に説明する。図１を参照すると、画像処理装置２０は、参照物体画像取得部（第１の画像取得部）２１、撮像画像取得部（第２の画像取得部）２２及び画像処理部２３を備えている。図６及び図７は、画像処理装置２０による画像処理の手順の一例を概略的に示すフローチャートである。図６及び図７は、結合子Ｃ１，Ｃ２，Ｃ３を介して相互に結合されている。
【0027】
撮像部１０は、ユーザによる操作入力に応じて、レプリカＲｐを被写体として連続的に撮像することを開始し、一連の撮像画像（フレーム画像）を画像バッファ１１に出力する。このとき、参照物体画像取得部２１は、１つ以上の参照マーカ（第１のマーカ）が付された参照物体（ターゲット）画像を記憶している第１画像記憶部３１から、当該参照物体画像を取得する（図６のステップＳ１０）。画像処理部２３は、取得された参照物体画像に付された１つ以上の参照マーカの検出を試みる（ステップＳ１１）。図８Ａは、参照物体画像５２を例示する図である。図８Ａに示されるように、参照物体画像５２に現れる参照物体Ｔｇｔに対して１２個の参照マーカＭ１～Ｍ１２が付されている。
【0028】
参照マーカの色としては、背景である参照物体の色とは異なる特定の色をあらかじめ選択しておくことが好ましい。この場合、画像処理部２３は、画像フィルタを用いて、参照物体画像からその特定の色を成分とする色空間画像を抽出し、抽出された色空間画像を用いて参照マーカを高い精度で検出することができる。
【0029】
ステップＳ１１の後、参照物体画像から参照マーカが検出されないときは（ステップＳ１２のＮＯ）、画像処理は終了する。
【0030】
一方、参照物体画像から参照マーカが検出されたときは（ステップＳ１２のＹＥＳ）、画像処理部２３は、検出された参照マーカの位置情報（２次元の画像座標を含む。）と、ストレージ３０の３Ｄモデル記憶部３３内にあらかじめ用意された３次元モデルとを用いて、参照物体画像に現れる参照物体の姿勢情報（たとえば、３次元モデル空間における参照物体の向きベクトル）ｐ１と参照物体までの距離（たとえば、３次元モデル空間における距離）ｄ１とを推定する（ステップＳ１３）。ここで、３次元モデルは、複数の基準マーカの位置情報を有しており、画像処理部２３は、検出された参照マーカの位置情報と３次元モデルの基準マーカの位置情報とを用いて姿勢情報ｐ１及び距離ｄ１を推定することができる。姿勢情報ｐ１及び距離ｄ１を推定する方法としては、公知の姿勢推定アルゴリズム（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）が使用されればよく、特に限定されるものではない。たとえば、下記の非特許文献１に開示されている姿勢推定アルゴリズムを利用することができる。
非特許文献１：Eric Marchand, Hideaki Uchiyama, and Fabien Spindler. Pose Estimation for Augmented Reality: A Hands-On Survey. IEEE Transactions on Visualization and Computer Graphics, 22(12): 2633 - 2651, December 2016.
非特許文献１：Eric Marchand, Hideaki Uchiyama, and Fabien Spindler. Pose Estimation for Augmented Reality: A Hands-On Survey. IEEE Transactions on Visualization and Computer Graphics, 22(12): 2633 - 2651, December 2016.
【0031】
３次元モデルを生成する方法としては、たとえば、フォトグラメトリ（Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ）、または３Ｄ（３次元）スキャン法が使用されればよい。フォトグラメトリは、実際のオブジェクトを様々な方向から撮像することで得られた多数のディジタル画像をコンピュータで解析して点群（ポイントクラウド）データを生成し、当該点群データからテキスチャ付きメッシュと呼ばれる３次元モデルを生成する技術である。３Ｄスキャン法は、３Ｄレーザスキャナを用いて実際のオブジェクトをレーザビームでスキャンすることで３次元座標及び色情報を表す点群（ポイントクラウド）データを収集し、当該点群データから３次元モデルを生成する技術である。テンプレートモデルにデフォーメンション（ｄｅｆｏｒｍａｔｉｏｎ）を施して３次元モデルが生成されてもよい。たとえば、猫や犬などの動物の３次元モデルを用意しようとする場合には、姿勢情報及び距離の推定精度を高めるために、動物の種（ｓｐｅｃｉｅｓ）ごとに３次元モデルを用意することが望ましい。
【0032】
ステップＳ１３の後、画像処理部２３は、参照物体について推定された姿勢情報ｐ１及び距離ｄ１の組を幾何学的に表す第１のガイド線を生成し、生成された第１のガイド線をディスプレイ４０に表示する（ステップＳ１４）。図８Ｂは、第１のガイド線Ｇ１を例示する図である。図８Ｃに示されるように第１のガイド線Ｇ１は、３次元モデル空間（ＸＹＺ空間）の３次元座標に対応付けされている。たとえば、第１のガイド線は、被写体であるレプリカＲｐの撮像画像と重畳された状態でディスプレイ４０に表示されればよい。
【0033】
次に、画像処理部２３は、画像バッファ１１から被写体の撮像画像（フレーム画像）を取得し、取得された撮像画像をディスプレイ４０に表示する（ステップＳ１５）。次いで、画像処理部２３は、その撮像画像から、被写体に付された１つ以上のピンマーカ（第２のマーカ）の検出を試みる（ステップＳ１６）。図９Ａは、撮像画像６１を例示する図である。図９Ａに示されるように、撮像画像６１に現れるレプリカＲｐに対して１２個のピンマーカＰ１～Ｐ１２が付されている。
【0034】
ピンマーカの色としては、背景である被写体の色とは異なる特定の色をあらかじめ選択しておくことが好ましい。この場合、画像処理部２３は、画像フィルタを用いて、撮像画像からその特定の色を成分とする色空間画像を抽出し、抽出された色空間画像を用いてピンマーカを高い精度で検出することができる。
【0035】
ステップＳ１６の後、撮像画像からピンマーカが検出されないときは（ステップＳ１７のＮＯ）、図６のステップＳ１５に処理が戻る。
【0036】
一方、撮像画像から所定数以上の数のピンマーカが検出されたときは（ステップＳ１７のＹＥＳ）、画像処理部２３は、検出されたピンマーカの位置情報（２次元の画像座標を含む。）と、ストレージ３０の３Ｄモデル記憶部３３内にあらかじめ用意された３次元モデルとを用いて、撮像画像に現れる被写体であるレプリカＲｐの姿勢情報（たとえば、３次元モデル空間における参照物体の向きベクトル）ｐ２と被写体までの距離（たとえば、３次元モデル空間における距離）ｄ２とを推定する（ステップＳ４１）。ここで、３次元モデルは、複数の基準マーカの位置情報を有しており、画像処理部２３は、検出されたピンマーカの位置情報と３次元モデルの基準マーカの位置情報とを用いて姿勢情報ｐ２及び距離ｄ２を推定することができる。姿勢情報ｐ２及び距離ｄ２を推定する方法としては、上記した公知の姿勢推定アルゴリズム（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）が使用されればよく、特に限定されるものではない。
【0037】
そして、画像処理部２３は、被写体について推定された姿勢情報ｐ２及び距離ｄ２の組を幾何学的に表す第２のガイド線を生成し、生成された第２のガイド線をディスプレイ４０に表示する（ステップＳ４２）。図９Ｂは、第２のガイド線Ｇ２を例示する図である。図９Ｃに示されるように第２のガイド線Ｇ２は、３次元モデル空間（ＸＹＺ空間）の３次元座標に対応付けされている。たとえば、第２のガイド線は、被写体であるレプリカＲｐの撮像画像及び第１のガイド線の双方と重畳された状態でディスプレイ４０に表示されればよい。
【0038】
図１０は、被写体であるレプリカＲｐと、第１のガイド線Ｇ１及び第２のガイド線Ｇ２の組とを重畳表示するディスプレイ画面Ｄ１を例示する図である。ユーザは、ディスプレイ画面Ｄ１を視つつ、第２のガイド線Ｇ２の十字パターンを第１のガイド線Ｇ１の十字パターンと一致させるように、撮像部１０に対するレプリカＲｐの相対的な姿勢及び相対的な位置を変化させることができる。撮像部１０から離れる方向へレプリカＲｐが移動すると、第１のガイド線Ｇ１の十字パターンに対して第２のガイド線Ｇ２の十字パターンは相対的に小さくなる。撮像部１０に対してレプリカＲｐが回転すると、その回転に合わせて第２のガイド線Ｇ２の十字パターンも回転する。ユーザは、第２のガイド線Ｇ２の十字パターンが第１のガイド線Ｇ１の十字パターンと一致するようにレプリカＲｐの相対的な姿勢及び相対的な距離を調整すれば、レプリカＲｐについて推定された姿勢情報ｐ２及び距離ｄ２の組は、参照物体Ｔｇｔについて推定された姿勢情報ｐ１及び距離ｄ１の組とほぼ等しくなる。
【0039】
第１及び第２のガイド線は、図１０に示した第１及び第２のガイド線Ｇ１，Ｇ２に限定されるものではない。図１１は、被写体であるレプリカＲｐと、第１のガイド線Ｇａ１及び第２のガイド線Ｇａ２の組とを重畳表示する別のディスプレイ画面Ｄ２を例示する図である。図１１に示される第１及び第２のガイド線Ｇａ１，Ｇａ２は、グリッド線（格子線）で構成されている。ユーザは、ディスプレイ画面Ｄ２を視つつ、第２のガイド線Ｇａ２の格子パターンを第１のガイド線Ｇａ１の格子パターンと一致させるように、撮像部１０に対するレプリカＲｐの相対的な姿勢及び相対的な位置を変化させることができる。撮像部１０から離れる方向へレプリカＲｐが移動すると、第１のガイド線Ｇａ１の格子パターンに対して第２のガイド線Ｇａ２の格子パターンは相対的に小さくなる。撮像部１０に対してレプリカＲｐが回転すると、その回転に合わせて第２のガイド線Ｇａ２の格子パターンも回転する。ユーザは、第２のガイド線Ｇ２の格子パターンが第１のガイド線Ｇ１の格子パターンと一致するようにレプリカＲｐの相対的な姿勢及び相対的な距離を調整すれば、レプリカＲｐについて推定された姿勢情報ｐ２及び距離ｄ２の組は、参照物体Ｔｇｔについて推定された姿勢情報ｐ１及び距離ｄ１の組とほぼ等しくなる。
【0040】
ステップＳ４２の後は、画像処理部２３は、被写体について推定された姿勢情報ｐ２及び距離ｄ２の組と、参照物体について推定された姿勢情報ｐ１及び距離ｄ１の組との差分Δを比較結果として生成する（ステップＳ４３）。姿勢情報ｐ１，ｐ２は、それぞれ、参照物体及び被写体の向きを表す３次元の単位ベクトルで表現できる。この場合、差分Δは、単位ベクトルｐ１，ｐ２の内積ｐ１・ｐ２と、距離差の絶対値Δｄ（＝｜ｄ１－ｄ２｜）との組として算出可能である。
【0041】
次いで、画像処理部２３は、差分Δが所定の一致条件を満たすかどうかを判定する（ステップＳ４４）。たとえば、内積ｐ１・ｐ２の値が１近辺の所定の数値範囲内にあり、かつ、絶対値Δｄが０近辺の所定の数値範囲内にあれば、差分Δが所定の一致条件を満たすと判定することができる。
【0042】
差分Δが所定の一致条件を満たさないときは（ステップＳ４４のＮＯ）、画像処理部２３は、処理をステップＳ１５に戻す。一方、差分Δが所定の一致条件を満たしたときは（ステップＳ４４のＹＥＳ）、画像処理部２３は、当該撮像画像を自動撮像画像としてストレージ３０内の第２画像記憶部３２に保存する（ステップＳ４５）。
【0043】
その後、画像処理部２３は、参照物体画像に現れる参照物体に対する、自動撮像画像に現れる被写体の相対的な位置ズレを補正して補正撮像画像を生成する（ステップＳ４６）。具体的には、画像処理部２３は、参照マーカの位置情報（２次元の画像座標）とピンマーカの位置情報（２次元の画像座標）との差分の大きさが全体として最小となるように補正撮像画像を生成することができる。
【0044】
ステップＳ４６では、たとえば、画像処理部２３は、スケーリング処理と中心点移動処理とを実行することで補正撮像画像を生成すればよい。スケーリング処理では、画像処理部２３は、参照物体画像に付された複数の参照マーカの位置情報から、２次元画像座標の最大値の組（ｘｙ直交座標系の場合は、ｘ軸方向の最大値及びｙ軸方向の最大値の組）と、２次元画像座標の最小値の組（ｘｙ直交座標系の場合は、ｘ軸方向の最小値及びｙ軸方向の最小値の組）とをそれぞれスケーリングポイントＰＡ１，ＰＡ２として検出する。また画像処理部２３は、レプリカＲｐの撮像画像に現れる複数のピンマーカの位置情報から、２次元画像座標の最大値の組（ｘｙ直交座標系の場合は、ｘ軸方向の最大値及びｙ軸方向の最大値の組）と、２次元画像座標の最小値の組（ｘｙ直交座標系の場合は、ｘ軸方向の最小値及びｙ軸方向の最小値の組）とをそれぞれスケーリングポイントＰＢ１，ＰＢ２として検出する。図１２Ａは、参照物体画像５２から検出されたスケーリングポイントＰＡ１，ＰＡ２を例示する図であり、図１２Ｂは、レプリカＲｐの撮像画像６１から検出されたスケーリングポイントＰＢ１，ＰＢ２を例示する図である。画像処理部２３は、スケーリングポイントＰＡ１，ＰＡ２間の長さ（対角線長）ＬＡに対するスケーリングポイントＰＢ１，ＰＢ２間の長さ（対角線長）ＬＢの比率（＝ＬＢ／ＬＡ）をスケール率として、自動撮像画像のサイズを拡大または縮小することができる。なお、スケーリングポイントＰＡ１，ＰＡ２は、画像処理の実行前に、あらかじめ検出されていてもよい。
【0045】
一方、中心点移動処理では、画像処理部２３は、参照物体画像に付された複数の参照マーカの位置情報から、２次元画像座標の平均値の組（ｘｙ直交座標系の場合は、ｘ軸方向の平均値及びｙ軸方向の平均値の組）を中心点ＣＰ１として算出する。また画像処理部２３は、レプリカＲｐの撮像画像に現れる複数の参照マーカの位置情報から、２次元画像座標の平均値の組（ｘｙ直交座標系の場合は、ｘ軸方向の平均値及びｙ軸方向の平均値の組）を中心点ＣＰ２として算出する。図１３Ａは、参照物体画像５２から算出された中心点ＣＰ１を例示する図であり、図１３Ｂは、レプリカＲｐの撮像画像６１から算出された中心点ＣＰ２を例示する図である。画像処理部２３は、中心点ＣＰ１に対する中心点ＣＰ２の相対的な位置ズレを無くすように、自動撮像画像全体の座標をシフト量Δ（＝ＣＰ１－ＣＰ２）だけシフトさせて補正撮像画像を生成することができる。なお、中心点ＣＰ１は、画像処理の実行前に、あらかじめ算出されていてもよい。
【0046】
ステップＳ４６の後、画像処理部２３は、補正撮像画像と、参照物体の形状の特徴を表す特徴画像とを重ね合わせて合成画像を生成し（ステップＳ４７）、生成された合成画像を第２画像記憶部３２に保存する（ステップＳ４８）。図１４は、ステップＳ４７で生成される合成画像Ｃ１を例示する図である。合成画像Ｃ１では、特徴画像５３は、参照物体Ｔｇｔの輪郭線を表す輪郭線画像である。あるいは、画像処理部２３は、補正撮像画像からピンマーカを削除して得られる画像と特徴画像とを重ね合わせて合成画像を生成してもよい。図１５は、そのような合成画像Ｃ２を例示する図である。具体的には、ピンマーカがあらかじめ選択された特定の色を有している場合に、画像処理部２３は、画像フィルタを用いて、補正撮像画像からその特定の色を成分とする色空間画像を抽出し、抽出された色空間画像を用いてピンマーカを高い精度で検出し削除することができる。
【0047】
その後、画像処理部２３は、処理を続行するときは（ステップＳ４９のＹＥＳ）、図６のステップＳ１５に処理を移行させ、処理を続行しないときは（ステップＳ４９のＮＯ）、画像処理を終了する。
【0048】
以上に説明したとおり、画像処理装置２０は、参照物体画像及び被写体の撮像画像からそれぞれを検出された第１のマーカ及び第２のマーカを用いて、撮像画像に現れる被写体と参照物体画像に現れる参照物体との間の比較結果を生成し、当該比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存することができる。これにより、被写体と参照物体との間のズレをユーザが認識するのに適した自動撮像画像を生成し保存することが可能となる。実物を模したレプリカＲｐを制作する際、当該レプリカＲｐを被写体とし、当該実物を参照物体として選択すれば、ユーザは、自動撮像画像に基づいてレプリカと実物との間のズレを正確に認識することができるので、当該認識されたズレを小さくするようにレプリカＲｐを修正することによりレプリカＲｐの完成度を高めることができる。
【0049】
また画像処理装置２０は、図１０または図１１に例示されるような、所定の一致条件を満たすように誘導するための第１及び第２のガイド線からなるガイドを生成し、このガイドをディスプレイ４０に表示することができるので、ユーザは、容易に自動撮像画像を得ることができる。
【0050】
また画像処理装置２０は、図１４または図１５に例示されるような、自動撮像画像と参照物体の形状の特徴を表す特徴画像（たとえば、輪郭線画像）とを重ね合わせて合成画像を生成することができるので、ユーザは、合成画像に基づいてレプリカと実物との間のズレをより正確に認識することができる。したがって、ユーザは、レプリカＲｐの完成度をさらに高めることができる。
【0051】
次に、他の実施形態に係る画像処理について以下に説明する。
【0052】
撮像部１０に対するレプリカＲｐの相対的な姿勢や相対的な位置によっては、或るピンマーカを別のピンマーカであると誤って検出する状況が生ずることがある。この場合、レプリカＲｐについての姿勢情報ｐ２及び距離ｄ２の推定精度が低くなる。図１６Ａ及び図１６Ｂは、そのような状況を説明するための図である。図１６Ａは、ピンマーカＰ１～Ｐ１２のすべてを検出可能とする位置及び姿勢を有するレプリカＲｐの撮像画像６１Ｐを示し、図１６Ｂは、ピンマーカＰ１～Ｐ１２のすべてを検出することが難しい位置及び姿勢を有するレプリカＲｐの撮像画像６１Ｃを示す図である。図１６Ｂに示されるように、レプリカＲｐに付されたピンマーカＰ１～Ｐ１２のうち、左側のエリアＡ１内のピンマーカＰ８の大部分がレプリカＲｐに隠れてしまい、ピンマーカＰ８が誤って検出されるおそれがある。図１７及び図１８は、このような状況に対処するための処理手順を示すフローチャートである。図１７，図１８及び図７は、結合子Ｃ１，Ｃ２，Ｃ３，Ｃ４を介して相互に結合されている。図７の処理内容は、上述したとおりである。図１７のフローチャートは、図１７のステップＳ１８，Ｓ１９，Ｓ２０，Ｓ２１を除いて、図６のフローチャートと同じである。
【0053】
図１７を参照すると、現在の撮像画像から所定数以上の数のピンマーカが検出されたとき（ステップＳ１７のＹＥＳ）、画像処理部２３は、後の処理で利用される参照用位置情報が存在するかどうかを判定する（ステップＳ１８）。参照用位置情報が存在しないと判定されたとは（ステップＳ１８のＮＯ）、参照用位置情報を生成するためのステップＳ１９～Ｓ２１が実行され、参照用位置情報が既に存在すると判定されたときは（ステップＳ１８のＹＥＳ）、図１８に示されるステップＳ２３～Ｓ３０が実行される。
【0054】
ステップＳ１９では、画像処理部２３は、ステップＳ１６で現在検出されたピンマーカの画像座標が参照用位置情報の画像座標として適当であるかどうかを判定する。具体的には、画像処理部２３は、各ピンマーカの画像座標が所定の数値範囲内にあれば、現在検出されたピンマーカの画像座標が参照用位置情報の画像座標として適当であると判定することができる（ステップＳ１９のＹＥＳ）。各ピンマーカの画像座標が所定の数値範囲内になければ、画像処理部２３は、現在検出されたピンマーカの画像座標が参照用位置情報の画像座標として適当ではないと判定し（ステップＳ１９のＮＯ）、ステップＳ１５に処理を戻す。図１９Ａ及び図１９Ｂは、それぞれ、現在検出されたピンマーカの画像座標の配列を例示する図である。図１９Ａには、Ｋ個のピンマーカの画像座標Ｃ［０］，Ｃ［１］，・・・，Ｃ［Ｋ－２］，Ｃ［Ｋ－１］の配列が示されており、図１９Ｂには、（Ｋ－２）個のピンマーカの画像座標Ｃ［０］，Ｃ［１］，・・・，Ｃ［Ｋ－２］，Ｃ［Ｋ－１］の配列が示されている。ここで、Ｋは、検出されるべきピンマーカの最大個数を示す正整数である。
【0055】
ステップＳ１９でＹＥＳの場合、画像処理部２３は、現在検出されたピンマーカの画像座標にそれぞれインデックスを割り当る（ステップＳ２０）。インデックスは、ピンマーカ識別子であり、ピンマーカを一意に識別するための整数などの符号であればよい。次いで、画像処理部２３は、現在検出されたピンマーカの現在の画像座標と対応するインデックスとの組を参照用位置情報として一時記憶メモリに保存する（ステップＳ２１）。図２０は、参照用位置情報Ｍｋ＿ｒｅｆの構成を表す図である。図２０に示される参照用位置情報Ｍｋ＿ｒｅｆは、ピンマーカの画像座標Ｒ［０］，Ｒ［１］，・・・，Ｒ［Ｋ－２］，Ｒ［Ｋ－１］とこれらにそれぞれ割り当てられたインデックス０，１，・・・，Ｋ－２，Ｋ－１とを含む。
【0056】
一方、参照用位置情報が既に存在すると判定されたときは（ステップＳ１８のＹＥＳ）、画像処理部２３は、図１８に示されるステップＳ２３～Ｓ３０を実行する。ステップＳ２３では、現在検出されたピンマーカの現在の画像座標Ｃ［ｎ］の番号ｎが初期化される（ステップＳ２３）。次いで、画像処理部２３は、現在の画像座標Ｃ［ｎ］を参照用位置情報の以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］と比較して、以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］の中から当該現在の画像座標Ｃ［ｎ］と対応する画像座標Ｒ［ｋ］（ｋは０～Ｋ－１の範囲内の整数）を見つけ出すことを試みる（ステップＳ２４）。具体的には、たとえば、画像処理部２３は、現在の画像座標Ｃ［ｎ］と以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］との間の距離ベクトルΔＣ［０］（＝Ｃ［ｎ］－Ｒ［０］），ΔＣ［１］（＝Ｃ［ｎ］－Ｒ［１］），・・・，ΔＣ［Ｋ－１］（＝Ｃ［ｎ］－Ｒ［Ｋ－１］）を算出し、さらに距離ベクトルΔＣ［０］，ΔＣ［１］，・・・，ΔＣ［Ｋ－１］それぞれのノルムΓ［０］（＝｜ΔＣ［０］｜），Γ［１］（＝｜ΔＣ［１］｜），・・・，Γ［Ｋ－１］（＝｜ΔＣ［Ｋ－１］｜）の中から最も小さいノルムΓ［ｋ］に対応する画像座標Ｒ［ｋ］を見つけ出すことができる。
【0057】
対応する画像座標Ｒ［ｋ］が見つからなかったときは（ステップＳ２５のＮＯ）、ステップＳ２７に処理が移行する。対応する画像座標Ｒ［ｋ］が見つかったときは（ステップＳ２５のＹＥＳ）、画像処理部２３は、現在の画像座標Ｃ［ｎ］に、参照用位置情報の当該対応する画像座標Ｒ［ｋ］のインデックス（ピンマーカ識別子）ｋを割り当てる（ステップＳ２６）。これにより、以前の撮像画像と現在の撮像画像との間でピンマーカのトラッキングが可能となる。その後、ステップＳ２７に処理が移行する。
【0058】
ステップＳ２７では、番号ｎが、現在検出されたピンマーカの個数Ｎから１を減算した最大数（＝Ｎ－１）に到達したかどうかが判定される。番号ｎが最大数に到達しないときは（ステップＳ２７のＮＯ）、画像処理部２３は、番号ｎをインクリメントして（ステップＳ２８）、ステップＳ２４に処理を戻す。
【0059】
番号ｎが最大数に到達したときは（ステップＳ２７のＹＥＳ）、画像処理部２３は、現在検出されたピンマーカの現在の画像座標Ｃ［０］～Ｃ［Ｎ－１］が参照用位置情報の画像座標として適当かどうかを確かめるために、現在の画像座標Ｃ［０］～Ｃ［Ｎ－１］と参照用位置情報の以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］とが互いに一対一で対応付けされたかどうかを判定する（ステップＳ２９）。たとえば、現在の画像座標Ｃ［０］～Ｃ［Ｎ－１］の個数Ｎが、検出されるべきピンマーカの最大個数Ｋと一致しないときは、当該一対一での互いの対応付けはされていないとの判定が行われる（ステップＳ２９のＮＯ）。個数Ｎが最大個数Ｋと一致していたとしても、現在の画像座標Ｃ［０］～Ｃ［Ｋ－１］のすべてにインデックスを割り当てることに失敗したときは、当該一対一での互いの対応付けはされていないとの判定が行われる（ステップＳ２９のＮＯ）。
【0060】
図２１Ａ及び図２１Ｂは、参照用位置情報Ｍｋ＿ｒｅｆと、現在検出されたピンマーカの位置情報Ｍｋ＿ｃｕｒとの対応関係を例示する図である。図２１Ａ及び図２１Ｂに示されるように、位置情報Ｍｋ＿ｃｕｒにおける現在の画像座標Ｃ［０］，Ｃ［２］，Ｃ［１］，・・・，Ｃ［Ｋ－２］，Ｃ［Ｋ－１］は、参照用位置情報Ｍｋ＿ｒｅｆにおける以前の画像座標Ｒ［０］，Ｒ［１］，Ｒ［２］，・・・，Ｒ［Ｋ－２］，Ｒ［Ｋ－１］とそれぞれ一対一で対応付けされている。しかしながら、現在の画像座標Ｃ［３］は、以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］のいずれとも対応付けされておらず、以前の画像座標Ｒ［３］と対応する現在の画像座標をもつピンマーカは検出されていない。
【0061】
一対一での互いの対応付けはされていないとの判定（ステップＳ２９のＮＯ）に応じて、画像処理部２３は、図７のステップＳ４１に処理を移行させる。ステップＳ４１では、画像処理部２３は、ピンマーカの位置情報（現在の画像座標とこれらに割り当てられたインデックスとの組）と、ストレージ３０の３Ｄモデル記憶部３３内にあらかじめ用意された３次元モデルとを用いて、撮像画像に現れる被写体であるレプリカＲｐの姿勢情報ｐ２と被写体までの距離ｄ２とを推定する。インデックス未割り当ての現在の画像座標は、ステップＳ４１の推定に利用されないので、姿勢情報ｐ２と距離ｄ２を正確に推定することが可能となる。
【0062】
一方、一対一での対応付けがされているとの判定を行ったときは（ステップＳ２９のＹＥＳ）、画像処理部２３は、現在検出されたピンマーカの位置情報で、すなわち、現在の画像座標Ｃ［０］～Ｃ［Ｋ－１］とこれらにそれぞれ割り当てられたインデックス０，１，・・・，Ｋ－２，Ｋ－１との組み合わせで参照用位置情報を更新する（ステップＳ３０）。図２２Ａ及び図２２Ｂは、更新前の参照用位置情報Ｍｋ＿ｒｅｆと、現在検出されたピンマーカの位置情報Ｍｋ＿ｃｕｒとの対応関係を例示する図である。図２２Ａ及び図２２Ｂに示されるように、位置情報Ｍｋ＿ｃｕｒにおける現在の画像座標Ｃ［０］，Ｃ［２］，Ｃ［３］，Ｃ［４］，・・・，Ｃ［Ｋ－２］，Ｃ［Ｋ－１］は、更新前の参照用位置情報Ｍｋ＿ｒｅｆにおける以前の画像座標Ｒ［０］，Ｒ［１］，Ｒ［２］，Ｒ［４］，・・・，Ｒ［Ｋ－２］，Ｒ［Ｋ－１］とそれぞれ一対一で対応付けされている。ステップＳ３０の後は、画像処理部２３は、図７のステップＳ４１に処理を移行させる。
【0063】
以上に説明したとおり、画像処理部２３は、現在の撮像画像から検出されたピンマーカの現在の画像座標を、参照用位置情報の画像座標（すなわち、以前の撮像画像から検出されたピンマーカの以前の画像座標）と比較し（ステップＳ２４～Ｓ２５）、現在の画像座標と以前の画像座標との間の対応付けに成功したときは（ステップＳ２５のＹＥＳ）、以前の画像座標に割り当てられているインデックスすなわちピンマーカ識別子を現在の画像座標に割り当てる（ステップＳ２６）ことができるので、以前の撮像画像と現在の撮像画像との間のピンマーカのトラッキングを行うことが可能となる。インデックス未割り当ての現在の画像座標は、姿勢情報ｐ２及び距離ｄ２の推定に使用されず、信頼性の高い現在の画像座標を用いた推定処理がなされるので、姿勢情報ｐ２及び距離ｄ２の推定精度を高めることができる。
【0064】
次に、さらに他の実施形態に係る画像処理について以下に説明する。
【0065】
撮像部１０に対するレプリカＲｐの相対的な姿勢や相対的な位置によっては、十分な数のピンマーカの検出に失敗する状況が生ずることがある。この場合、レプリカＲｐについての姿勢情報ｐ２及び距離ｄ２の推定精度が低くなる。図２３は、そのような状況に対処するための処理手順を示すフローチャートである。図２３のフローチャートは、ステップＳ３１，Ｓ３２が追加された点を除いて、図１８のフローチャートと同じである。
【0066】
図２３を参照すると、ステップＳ２９で、現在の画像座標Ｃ［０］～Ｃ［Ｎ－１］と参照用位置情報の以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］とを互いに一対一で対応付けすることに成功したとの判定がなされたときは（ステップＳ２９のＹＥＳ）、画像処理部２３は、現在検出されたピンマーカの位置情報で参照用位置情報を更新する（ステップＳ３０）。その後、画像処理部２３は、図７のステップＳ４１に処理を移行させる。
【0067】
一方、現在の画像座標Ｃ［０］～Ｃ［Ｎ－１］と参照用位置情報の以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］とを互いに一対一で対応付けすることに失敗したとの判定がなされたときは（ステップＳ２９のＮＯ）、画像処理部２３は、補間を適用するかどうかを判定する（ステップＳ３１）。このとき、たとえば、あらかじめユーザが補間を適用することを設定していた場合、あるいは、現在の画像座標Ｃ［０］～Ｃ［Ｎ－１］と以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］との間の距離関係が所定の設定条件を満たす場合に、補間を適用する旨が判定されればよい（ステップＳ３１）。補間を適用しない場合は（ステップＳ３１のＮＯ）、画像処理部２３は、図７のステップＳ４１に処理を移行させる。
【0068】
補間を適用する場合は（ステップＳ３１のＹＥＳ）、画像処理部２３は、参照用位置情報を用いて、ステップＳ１６で検出されなかったピンマーカ（未検出ピンマーカ）の位置情報、及び、ステップＳ２６でインデックスが割り当てられなかったピンマーカの位置情報を補間する（ステップＳ３２）。図２４Ａ，図２４Ｂ及び図２４Ｃは、ピンマーカの位置情報の補間を説明するための図である。図２４Ａ及び図２４Ｂに示されるように、現在検出されたピンマーカの位置情報Ｍｋ＿ｃｕｒにおける現在の画像座標Ｃ［０］，Ｃ［２］，Ｃ［１］，・・・，Ｃ［Ｋ－２］，Ｃ［Ｋ－１］は、参照用位置情報Ｍｋ＿ｒｅｆにおける以前の画像座標Ｒ［０］，Ｒ［１］，Ｒ［２］，・・・，Ｒ［Ｋ－２］，Ｒ［Ｋ－１］とそれぞれ一対一で対応付けされている。しかしながら、現在の画像座標Ｃ［３］は、以前の画像座標Ｒ［０］～Ｒ［Ｋ－１］のいずれとも対応付けされておらず、以前の画像座標Ｒ［３］と対応する現在の画像座標をもつピンマーカは検出されていない。このような場合、図２４Ｃに示されるように、画像処理部２３は、参照用位置情報Ｍｋ＿ｒｅｆの画像座標Ｒ［３］，Ｒ［４］を用いて、インデックス「３」，「４」について不足している現在の画像座標を補間することができる。
【0069】
以上に説明したとおり、画像処理部２３は、現在の撮像画像からピンマーカが検出されないとき、参照用位置情報（すなわち、以前の撮像画像から検出されたピンマーカの位置情報）を用いて、現在の撮像画像から検出されるべきピンマーカの位置情報を補間することができる（ステップＳ３２）。また、画像処理部２３は、現在検出されたピンマーカの現在の画像座標と参照用位置情報の以前の画像座標との間の対応付け（インデックスの割り当て）に失敗したときは（ステップＳ２５のＮＯ）、当該現在の画像座標を使用せず、以前の画像座標と当該以前の画像座標に割り当てられているインデックス（ピンマーカ識別子）との組を用いて、現在の撮像画像から検出されるべきピンマーカの位置情報を補間することができる（ステップＳ３２）。したがって、十分な数のピンマーカの検出に失敗する状況が生じたときでも、ピンマーカの位置情報を補間することが可能である。よって、姿勢情報ｐ２及び距離ｄ２の推定精度を高めることができる。
【0070】
以上、図面を参照して本開示に係る種々の実施形態について述べたが、これら実施形態は例示であり、これら実施形態以外の様々な形態を採用することもできる。本開示の範囲内において、上記実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、または各実施形態の任意の構成要素の省略が可能である。
【0071】
また、本発明の趣旨及び範囲から逸脱することなく、上記実施形態の変更、追加及び改良を適宜行うことができることが理解されるべきである。本発明の範囲は、特許請求の範囲の記載に基づいて解釈されるべきであり、さらにその均等物を含むものと理解されるべきである。
【0072】
本開示に係る発明の内容を列記すると以下のとおりである。
【0073】
［項目１］
１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像（５２）を取得するように構成された第１の画像取得部（２１）と、
１つ以上の第２のマーカが付された被写体の撮像画像（６１）を撮像部（１０）から取得するように構成された第２の画像取得部（２２）と、
前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出し、前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するように構成された画像処理部（２３）とを備え、
前記画像処理部は、前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存することを特徴とする画像処理装置（２０）。
１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像（５２）を取得するように構成された第１の画像取得部（２１）と、
１つ以上の第２のマーカが付された被写体の撮像画像（６１）を撮像部（１０）から取得するように構成された第２の画像取得部（２２）と、
前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出し、前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するように構成された画像処理部（２３）とを備え、
前記画像処理部は、前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存することを特徴とする画像処理装置（２０）。
【0074】
［項目２］
項目１に記載の画像処理装置であって、前記画像処理部は、前記自動撮像画像と前記参照物体の形状の特徴を表す特徴画像とを重ね合わせて合成画像を生成するように構成されている、画像処理装置。
項目１に記載の画像処理装置であって、前記画像処理部は、前記自動撮像画像と前記参照物体の形状の特徴を表す特徴画像とを重ね合わせて合成画像を生成するように構成されている、画像処理装置。
【0075】
［項目３］
項目１または２に記載の画像処理装置であって、
前記画像処理部は、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定し、
前記被写体の姿勢情報及び前記被写体までの距離の組と、前記参照物体の姿勢情報及び前記参照物体までの距離の組との差分を前記比較結果として生成する
ように構成されており、
前記所定の一致条件は、前記差分が所定の数値範囲内にあるとの条件を含む、画像処理装置。
項目１または２に記載の画像処理装置であって、
前記画像処理部は、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定し、
前記被写体の姿勢情報及び前記被写体までの距離の組と、前記参照物体の姿勢情報及び前記参照物体までの距離の組との差分を前記比較結果として生成する
ように構成されており、
前記所定の一致条件は、前記差分が所定の数値範囲内にあるとの条件を含む、画像処理装置。
【0076】
［項目４］
項目３に記載の画像処理装置であって、前記画像処理部は、あらかじめ用意された３次元モデルをさらに用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、あらかじめ用意された３次元モデルをさらに用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するように構成されている、画像処理装置。
項目３に記載の画像処理装置であって、前記画像処理部は、あらかじめ用意された３次元モデルをさらに用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、あらかじめ用意された３次元モデルをさらに用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するように構成されている、画像処理装置。
【0077】
［項目５］
項目１または２に記載の画像処理装置であって、前記画像処理部は、前記所定の一致条件を満たすように誘導するガイドを生成して前記ガイドをディスプレイに表示するように構成されている、画像処理装置。
項目１または２に記載の画像処理装置であって、前記画像処理部は、前記所定の一致条件を満たすように誘導するガイドを生成して前記ガイドをディスプレイに表示するように構成されている、画像処理装置。
【0078】
［項目６］
項目５に記載の画像処理装置であって、
前記画像処理部は、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離とを推定し、
前記参照物体の姿勢情報及び前記参照物体までの距離の組を幾何学的に表す第１のガイド線と、前記被写体の姿勢情報及び前記被写体までの距離の組を幾何学的に表す第１のガイド線との組を前記ガイドとして生成する
ように構成されている、画像処理装置。
項目５に記載の画像処理装置であって、
前記画像処理部は、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定し、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離とを推定し、
前記参照物体の姿勢情報及び前記参照物体までの距離の組を幾何学的に表す第１のガイド線と、前記被写体の姿勢情報及び前記被写体までの距離の組を幾何学的に表す第１のガイド線との組を前記ガイドとして生成する
ように構成されている、画像処理装置。
【0079】
［項目７］
項目１から６のうちのいずれか１つの項目に記載の画像処理装置であって、
当該連続的に取得された撮像画像は、現在の撮像画像と前記現在の撮像画像よりも前に取得された以前の撮像画像とを含み、
前記画像処理部は、前記現在の撮像画像から前記第２のマーカが検出されないとき、前記以前の撮像画像から検出された当該第２のマーカの位置情報に基づいて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するように構成されている、画像処理装置。
項目１から６のうちのいずれか１つの項目に記載の画像処理装置であって、
当該連続的に取得された撮像画像は、現在の撮像画像と前記現在の撮像画像よりも前に取得された以前の撮像画像とを含み、
前記画像処理部は、前記現在の撮像画像から前記第２のマーカが検出されないとき、前記以前の撮像画像から検出された当該第２のマーカの位置情報に基づいて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するように構成されている、画像処理装置。
【0080】
［項目８］
項目１から６のうちのいずれか１項目に記載の画像処理装置であって、
当該連続的に取得された撮像画像は、現在の撮像画像と前記現在の撮像画像よりも前に取得された以前の撮像画像とを含み、
前記画像処理部は、前記現在の撮像画像から検出された当該第２のマーカの現在の画像座標を、前記以前の撮像画像から検出された当該第２のマーカの以前の画像座標と比較して、前記現在の画像座標と前記以前の画像座標との間の対応付けに成功したときは、前記以前の画像座標に割り当てられているピンマーカ識別子を前記現在の画像座標に割り当てるように構成されている、画像処理装置。
項目１から６のうちのいずれか１項目に記載の画像処理装置であって、
当該連続的に取得された撮像画像は、現在の撮像画像と前記現在の撮像画像よりも前に取得された以前の撮像画像とを含み、
前記画像処理部は、前記現在の撮像画像から検出された当該第２のマーカの現在の画像座標を、前記以前の撮像画像から検出された当該第２のマーカの以前の画像座標と比較して、前記現在の画像座標と前記以前の画像座標との間の対応付けに成功したときは、前記以前の画像座標に割り当てられているピンマーカ識別子を前記現在の画像座標に割り当てるように構成されている、画像処理装置。
【0081】
［項目９］
項目８に記載の画像処理装置であって、前記画像処理部は、前記現在の画像座標と前記以前の画像座標との間の対応付けに失敗したときは、前記現在の画像座標を使用せず、前記以前の画像座標と前記以前の画像座標に割り当てられているピンマーカ識別子との組を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するように構成されている、画像処理装置。
項目８に記載の画像処理装置であって、前記画像処理部は、前記現在の画像座標と前記以前の画像座標との間の対応付けに失敗したときは、前記現在の画像座標を使用せず、前記以前の画像座標と前記以前の画像座標に割り当てられているピンマーカ識別子との組を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するように構成されている、画像処理装置。
【0082】
［項目１０］
項目２に記載の画像処理装置であって、前記画像処理部は、当該検出された第２のマーカを前記撮像画像から削除して得られる画像と前記特徴画像とを重ね合わせて合成画像を生成するように構成されている、画像処理装置。
項目２に記載の画像処理装置であって、前記画像処理部は、当該検出された第２のマーカを前記撮像画像から削除して得られる画像と前記特徴画像とを重ね合わせて合成画像を生成するように構成されている、画像処理装置。
【0083】
［項目１１］
項目１０に記載の画像処理装置であって、
前記第２のマーカは、あらかじめ選択された特定の色を有し、
前記画像処理部は、前記撮像画像から前記特定の色を成分とする色空間画像を抽出し、前記色空間画像を用いて、当該検出された第２のマーカを前記撮像画像から削除するように構成されている、画像処理装置。
項目１０に記載の画像処理装置であって、
前記第２のマーカは、あらかじめ選択された特定の色を有し、
前記画像処理部は、前記撮像画像から前記特定の色を成分とする色空間画像を抽出し、前記色空間画像を用いて、当該検出された第２のマーカを前記撮像画像から削除するように構成されている、画像処理装置。
【0084】
［項目１２］
項目１から１１のうちのいずれか１つの項目に記載の画像処理装置と、前記撮像部と、前記画像記憶部とを備えることを特徴とする情報処理装置。
項目１から１１のうちのいずれか１つの項目に記載の画像処理装置と、前記撮像部と、前記画像記憶部とを備えることを特徴とする情報処理装置。
【0085】
［項目１３］
単数または複数のプロセッサにより実施されるべき画像処理方法であって、
１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像を取得するステップと、
１つ以上の第２のマーカが付された被写体の撮像画像を撮像部から連続的に取得するステップと、
前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出するステップと、
前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するステップと、
前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存するステップと
を備えることを特徴とする画像処理方法。
単数または複数のプロセッサにより実施されるべき画像処理方法であって、
１つ以上の第１のマーカが付された参照物体画像を記憶している画像記憶部から前記参照物体画像を取得するステップと、
１つ以上の第２のマーカが付された被写体の撮像画像を撮像部から連続的に取得するステップと、
前記参照物体画像及び前記撮像画像を解析することにより前記１つ以上の第１のマーカ及び前記１つ以上の第２のマーカをそれぞれ検出するステップと、
前記参照物体画像及び前記撮像画像を基に、当該検出された第１及び第２のマーカを用いて前記撮像画像に現れる被写体を前記参照物体画像に現れる参照物体と比較して比較結果を生成するステップと、
前記比較結果が所定の一致条件を満たすときの当該撮像画像を自動撮像画像として保存するステップと
を備えることを特徴とする画像処理方法。
【0086】
［項目１４］
項目１３に記載の画像処理方法であって、前記自動撮像画像と前記参照物体の形状の特徴を表す特徴画像とを重ね合わせて合成画像を生成するステップをさらに備える画像処理方法。
項目１３に記載の画像処理方法であって、前記自動撮像画像と前記参照物体の形状の特徴を表す特徴画像とを重ね合わせて合成画像を生成するステップをさらに備える画像処理方法。
【0087】
［項目１５］
項目１３または１４に記載の画像処理方法であって、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定するステップと、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するステップと
をさらに備え、
前記比較結果は、前記被写体の姿勢情報及び前記被写体までの距離の組と、前記参照物体の姿勢情報及び前記参照物体までの距離の組との差分として生成され、
前記所定の一致条件は、前記差分が所定の数値範囲内にあるとの条件を含む、画像処理方法。
項目１３または１４に記載の画像処理方法であって、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定するステップと、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するステップと
をさらに備え、
前記比較結果は、前記被写体の姿勢情報及び前記被写体までの距離の組と、前記参照物体の姿勢情報及び前記参照物体までの距離の組との差分として生成され、
前記所定の一致条件は、前記差分が所定の数値範囲内にあるとの条件を含む、画像処理方法。
【0088】
［項目１６］
項目１５に記載の画像処理方法であって、
前記参照物体の姿勢情報と前記参照物体までの距離とは、あらかじめ用意された３次元モデルをさらに用いて推定され、
前記被写体の姿勢情報と前記被写体までの距離とは、あらかじめ用意された３次元モデルをさらに用いて推定される、画像処理方法。
項目１５に記載の画像処理方法であって、
前記参照物体の姿勢情報と前記参照物体までの距離とは、あらかじめ用意された３次元モデルをさらに用いて推定され、
前記被写体の姿勢情報と前記被写体までの距離とは、あらかじめ用意された３次元モデルをさらに用いて推定される、画像処理方法。
【0089】
［項目１７］
項目１３または１４に記載の画像処理方法であって、前記所定の一致条件を満たすように誘導するガイドを生成して前記ガイドをディスプレイに表示するステップをさらに備える画像処理方法。
項目１３または１４に記載の画像処理方法であって、前記所定の一致条件を満たすように誘導するガイドを生成して前記ガイドをディスプレイに表示するステップをさらに備える画像処理方法。
【0090】
［項目１８］
項目１７に記載の画像処理方法であって、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定するステップと、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するステップと
をさらに備え、
前記ガイドは、前記参照物体の姿勢情報及び前記参照物体までの距離の組を幾何学的に表す第１のガイド線と、前記被写体の姿勢情報及び前記被写体までの距離の組を幾何学的に表す第２のガイド線とを含む、画像処理方法。
項目１７に記載の画像処理方法であって、
当該検出された第１のマーカの位置情報を用いて前記参照物体の姿勢情報及び前記参照物体までの距離を推定するステップと、
当該検出された第２のマーカの位置情報を用いて前記被写体の姿勢情報及び前記被写体までの距離を推定するステップと
をさらに備え、
前記ガイドは、前記参照物体の姿勢情報及び前記参照物体までの距離の組を幾何学的に表す第１のガイド線と、前記被写体の姿勢情報及び前記被写体までの距離の組を幾何学的に表す第２のガイド線とを含む、画像処理方法。
【0091】
［項目１９］
項目１３から１８のうちのいずれか１つの項目に記載の画像処理方法であって、当該連続的に取得された撮像画像のうちの現在の撮像画像から前記第２のマーカが検出されないとき、当該連続的に取得された撮像画像のうち前記現在の撮像画像よりも前に取得された以前の撮像画像から検出された当該第２のマーカの位置情報を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するステップをさらに備える画像処理方法。
項目１３から１８のうちのいずれか１つの項目に記載の画像処理方法であって、当該連続的に取得された撮像画像のうちの現在の撮像画像から前記第２のマーカが検出されないとき、当該連続的に取得された撮像画像のうち前記現在の撮像画像よりも前に取得された以前の撮像画像から検出された当該第２のマーカの位置情報を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するステップをさらに備える画像処理方法。
【0092】
［項目２０］
項目１３から１８のうちのいずれか１項目に記載の画像処理方法であって、当該連続的に取得された撮像画像のうちの現在の撮像画像から検出された当該第２のマーカの現在の画像座標を、当該連続的に取得された撮像画像のうち前記現在の撮像画像よりも前に取得された以前の撮像画像から検出された当該第２のマーカの以前の画像座標と比較して、前記現在の画像座標と前記以前の画像座標との間の対応付けに成功したときは、前記以前の画像座標に割り当てられているピンマーカ識別子を前記現在の画像座標に割り当てるステップをさらに備える画像処理方法。
項目１３から１８のうちのいずれか１項目に記載の画像処理方法であって、当該連続的に取得された撮像画像のうちの現在の撮像画像から検出された当該第２のマーカの現在の画像座標を、当該連続的に取得された撮像画像のうち前記現在の撮像画像よりも前に取得された以前の撮像画像から検出された当該第２のマーカの以前の画像座標と比較して、前記現在の画像座標と前記以前の画像座標との間の対応付けに成功したときは、前記以前の画像座標に割り当てられているピンマーカ識別子を前記現在の画像座標に割り当てるステップをさらに備える画像処理方法。
【0093】
［項目２１］
項目２０に記載の画像処理方法であって、前記現在の画像座標と前記以前の画像座標との間の対応付けに失敗したときは、前記現在の画像座標を破棄し、前記以前の画像座標と前記以前の画像座標に割り当てられているピンマーカ識別子との組を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するステップをさらに備える、画像処理方法。
項目２０に記載の画像処理方法であって、前記現在の画像座標と前記以前の画像座標との間の対応付けに失敗したときは、前記現在の画像座標を破棄し、前記以前の画像座標と前記以前の画像座標に割り当てられているピンマーカ識別子との組を用いて、前記現在の撮像画像から検出されるべき当該第２のマーカの位置情報を補間するステップをさらに備える、画像処理方法。
【0094】
［項目２２］
項目１４に記載の画像処理方法であって、前記合成画像は、当該検出された第２のマーカを前記撮像画像から削除して得られる画像と前記特徴画像とを重ね合わせて生成される、画像処理方法。
項目１４に記載の画像処理方法であって、前記合成画像は、当該検出された第２のマーカを前記撮像画像から削除して得られる画像と前記特徴画像とを重ね合わせて生成される、画像処理方法。
【0095】
［項目２３］
項目２２に記載の画像処理方法であって、
前記第２のマーカは、あらかじめ選択された特定の色を有し、
当該画像処理方法は、
前記撮像画像から前記特定の色を成分とする色空間画像を抽出するステップと、
前記色空間画像を用いて、当該検出された第２のマーカを前記撮像画像から削除するステップと
をさらに備える画像処理方法。
項目２２に記載の画像処理方法であって、
前記第２のマーカは、あらかじめ選択された特定の色を有し、
当該画像処理方法は、
前記撮像画像から前記特定の色を成分とする色空間画像を抽出するステップと、
前記色空間画像を用いて、当該検出された第２のマーカを前記撮像画像から削除するステップと
をさらに備える画像処理方法。
【0096】
［項目２４］
不揮発性メモリから読み出されて実行されるべきコンピュータプログラムであって、項目１３から２３のうちのいずれか１つの項目に記載の画像処理方法を単数または複数のプロセッサに実施させることを特徴とするコンピュータプログラム。
不揮発性メモリから読み出されて実行されるべきコンピュータプログラムであって、項目１３から２３のうちのいずれか１つの項目に記載の画像処理方法を単数または複数のプロセッサに実施させることを特徴とするコンピュータプログラム。
【符号の説明】
【0097】
１：情報処理装置、１０：撮像部、１１：画像バッファ、２０：画像処理装置、２１：参照物体画像取得部、２２：撮像画像取得部、２３：画像処理部、３０：ストレージ、３１：第１画像記憶部、３２：第２画像記憶部、３３：３Ｄモデル記憶部、４０：ディスプレイ、４１：通信部、４２：操作入力部、５１：原画像、５２：参照物体画像、５３：特徴画像、９０：データ処理装置、９１：プロセッサ、９２：ランダムアクセスメモリ（ＲＡＭ）、９３：不揮発性メモリ、９４：インタフェース回路、９５：信号路。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】