(58)【調査した分野】(Int.Cl.,DB名)
第1の多角形と、前記第1の多角形の内側に配置される第2の多角形と、を含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を、撮影装置に撮影されるように投影する投影部を備え、
前記第1の多角形の少なくとも一つの辺が前記第2の多角形の各辺と非平行であり、
前記第2の多角形の頂点数は、前記第1の多角形の頂点数以下である、
ことを特徴とする投影制御装置。
第1の多角形と、前記第1の多角形の内側に配置される第2の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影制御装置により投影する工程と、
複数の前記補正用画像を撮影装置により撮影する工程と、
前記マーカを検出させる工程と、
を含み、
前記第1の多角形の少なくとも一つの辺は、前記第2の多角形の各辺と非平行であり、
前記マーカを検出させる工程は、
前記撮影装置が撮影した前記補正用画像の輪郭を抽出する工程と、
抽出された輪郭から選択した第1処理対象の輪郭の頂点数が予め定めた第1条件であった場合に、前記第1処理対象の輪郭よりも内側の輪郭を抽出する工程と、
前記内側の輪郭から選択した第2処理対象の輪郭の頂点数が予め定めた第2条件であった場合に、前記第1処理対象の輪郭の面積と、前記第2処理対象の輪郭の面積との比率を求める工程と、
前記比率が予め定めた範囲である場合に前記第1処理対象と前記第2処理対象の各輪郭を前記マーカとして求める工程と、
を含む、
ことを特徴とするマーカ検出方法。
【発明を実施するための形態】
【0013】
以下、本発明を実施するための形態について述べる。
図1は投影システム1の概要を示す図である。投影システム1は、カーテンや壁等の投影対象物30の投影面31に画像を投影する投影装置10(投影制御装置)と、投影面31に投影された画像を撮影するデジタルカメラやカメラ付き携帯電話、等の撮影装置20とを有する。なお、撮影装置20としては、携帯用の画像入力機能付きデジタル機器であれば良く、ビデオカメラ、スマートフォン(高機能携帯電話),タブレット端末等でも良い。本実施形態では投影対象物30としてカーテンを示している。投影対象物30は図示しないレール等に吊支され、主として横方向に沿った表面に波状のうねりを有している。また投影面31には色や模様が形成されている。
【0014】
投影装置10は、撮影装置20と異なる位置に配置される。
図1の投影装置10は、投影面31に対して左側に配置され、画像を斜めの方向から投影している。撮影装置20は、投影面31に対して略正面等、投影面31に投影された画像を鑑賞するユーザの位置に配置される。従って、撮影装置20が撮影した画像とユーザが視認する画像とは、画角が略一致するように構成することができる。撮影装置20はユーザによって把持されてもよい。
【0015】
投影システム1の動作の概要について説明する。投影装置10により投影される投影画像は、投影されたままの状態では、投影面31の形状・模様等の影響や、投影装置10の投影方向とユーザの視線方向との差の影響により、ユーザの視点からは元の画像データとは異なる色や形状で観測される。そこで、本実施形態では、ユーザが、ユーザの視点から好適に投影画像を視認可能なように、処理部12が画像データの補正を行う。投影装置10が後述する補正用画像111を投影面31に投影すると、撮影装置20は投影された補正用画像111を撮影する。撮影装置20は、投影装置10が投影した補正用画像111と、撮影装置20が撮影した撮影画像60における補正用画像111と、のずれに基づいて、画像補正情報を求めて、投影装置10に対して有線又は無線の通信を介して送信する。上述の処理により、投影装置10は、画像補正情報に基づいて基の画像データが、観測者であるユーザにとって意図された態様で視認されるように、画像を投影することができる。
【0016】
図2は投影システム1の構成を示す図である。投影装置10は、記憶部11、処理部12、投影部13、操作部14、通信部15、音声処理部16を備え、各々内部バスにより接続されている。記憶部11は、例えば、SSD(Solid State Drive)やSRAM(Static Randam Access Memory)で構成される。記憶部11は、図示しない鑑賞用の画像データ、この画像データを補正するための補正用画像111、及び投影装置10の制御プログラム112等を記憶する。
【0017】
処理部12は、記憶部11に記憶される制御プログラム112を読み出し、投影装置10を統括して制御する。また、処理部12には画像補正処理部121が含まれる。画像補正処理部121は、記憶部11から補正用画像111を取得して投影部13に送信する。また画像補正処理部121は、撮影装置20から受信した画像補正情報25aに基づいて記憶部11に記憶された鑑賞用の画像データを補正し、補正後の変換された画像を投影部13に送信する。
【0018】
投影部13は、画像補正処理部121を含む処理部12から送られてきた補正用画像111のデータ或いは鑑賞用の画像データを、予め設定した画像フォーマットに従ったフレームレートで投影する。投影部13は、一つのフレーム内で画素毎に異なる色の光を出射することにより画像を形成する。画素毎の色は、複数の異なる波長帯域の光を時分割で出射することにより表現することができる。本実施形態の投影装置10は、投影部13をDLP(登録商標)(Digital Light Processing)プロジェクタの投影部として構成しているが、液晶プロジェクタ等の他の方式としてもよい。投影部13から送信された画像は、
図1の投影面31に投影される。
【0019】
操作部14は、投影装置10の筐体に備える操作キー等から操作信号を受け付けて、その操作信号を、バスを介して処理部12に送信する。処理部12は、操作部14からの操作信号に応じて投影処理等の各種の機能を実行する。
【0020】
通信部15は、図示しないリモートコントローラからの赤外線変調信号等による操作信号を受信し、その操作信号を処理部12に送信する。また、通信部15は撮影装置20の通信部25とデータの送受信を行うことができる。また、通信部15は、外部入力端子を備えることができ、外部機器から鑑賞用の画像データを入力させることができる。投影装置10の通信部15による撮影装置20の通信部25との通信は、有線又は無線により行うことができる。
【0021】
音声処理部16は、PCM音源などの音源回路を備え、スピーカ17を駆動して音を拡散放音させる。音声処理部16は、投影する画像データに音声信号が含まれていた場合、投影動作時にその音声信号をアナログ変換してスピーカ17を介して音を出力する。
【0022】
撮影装置20は、撮影部21、処理部22、入出力制御部23、記憶部24、通信部25を備え、各々内部バスにより接続される。撮影部21は、
図1の投影面31に投影される画像を撮影する。
【0023】
処理部22は、撮影装置20を制御する機能を有する。処理部22には測定処理部221が含まれる。測定処理部221は、撮影部21により撮影された補正用画像111を含む撮影画像60を解析する。測定処理部221は、補正用画像111の解析結果を画像補正情報25aとして通信部25を介して投影装置10に送信する。
【0024】
入出力制御部23は、ユーザが操作ボタン231から入力した操作指示を受け付けて処理部22へ送信する。表示装置232は、入出力制御部23から出力された画像を表示させる画面や表示灯等である。
【0025】
記憶部24は、輪郭情報テーブル241や撮影装置20の制御プログラムを記憶する。制御プログラムにはマーカ検出プログラム242が含まれる。また、記憶部24は、撮影部21が撮影した撮影画像60を記憶する。
【0026】
次に、
図3(a)乃至
図3(f)に基づいて、投影装置10の記憶部11に記憶される補正用画像111について説明する。補正用画像111a〜111fは、投影モードに応じたアスペクト比の矩形状の画像とすることができ、本図では全体を横長の矩形形状としている。各補正用画像111a〜111fは画像全体の四隅に画像位置識別用のマーカ41を有し、その他の領域を測定領域42としている。
【0027】
図4は、各補正用画像111a〜111fのマーカ41の構成を示す図である。マーカ41は、第1の多角形43と、この第1の多角形43の内側に配置される第2の多角形44とにより構成される。第1の多角形43は、対向する辺が各々平行且つ同一長さで各内角が90度である正四角形に形成される。第1の多角形43の各辺は、外側の縁辺431a〜431dと内側の縁辺432a〜432dとにより黒に彩色された所定の幅を有し、縁辺432a〜432dに囲われる第1の多角形43の内側は白に彩色される。外側の縁辺431a〜431dで区切られる第1の多角形43の外側は、補正用画像111の測定領域42(
図3参照)に応じた色で彩色される。第2の多角形44は、第1の多角形43の内側の縁辺432a〜432dに囲われた領域に形成される。第2の多角形44は、各縁辺441a〜441cが同一長さの正三角形に形成される。第2の多角形44の各縁辺441a〜441cに囲われる内部は、第1の多角形と同色の黒に彩色される。本実施形態では、第1の多角形43の縁辺432a〜432dと、第2の多角形44の縁辺441a〜441cを撮影装置20に検出させて、マーカ41を特定する。
【0028】
第1の多角形43の上下の縁辺431a,431b,432a,432bは、第2の多角形44の下側の縁辺441cと平行に配置される。また、第1の多角形43の各縁辺431a〜431d,432a〜432dは、第2の多角形44の左右の縁辺441a,441bと非平行となるように形成される。このように、マーカ41は、第1の多角形43と第2の多角形44とが異なる頂点数を有しながら、第1の多角形43の少なくとも一つの辺が、第2の多角形44の各辺と非平行となるように形成され、第1の多角形43の上記一つの辺と異なる他の辺が、第2の多角形44の何れかの辺と平行に形成される。
【0029】
図3(a)〜(c)は投影面31の色補正用の補正用画像111a〜111cである。補正用画像111a、補正用画像111b及び補正用画像111cは、略全面の測定領域42を各々黒色、灰色及び白色としている。投影装置10は、補正用画像111a〜111cを投影面31に投影して撮影装置20に撮影させ、撮影装置20に投影面31に形成される模様や投影面31の歪みに起因した色の変化を検出させる。
【0030】
図3(d)〜(f)は投影対象物30に投影された画像の歪み補正用の補正用画像111d〜111fである。補正用画像111d、補正用画像111e及び補正用画像111fは、略全面の測定領域42に略正方形の白の四角形及び黒の四角形を縦方向及び横方向に交互に配置した市松模様を有する。補正用画像111d〜111fは、市松模様の大きさによる異なる分解能で投影面31の歪みを検出することができる。投影装置10は、補正用画像111d〜111fを投影面31に投影して撮影装置20に撮影させる。撮影装置20は、複数の補正用画像111d〜111fを組み合わせて投影面31全体の歪みを検出することができる。
【0031】
図5は輪郭情報テーブル241の構成を示す図である。輪郭情報テーブル241は、輪郭番号51と、下位階層輪郭個数52と、下位階層輪郭番号53とを対応して記憶する。各データの取得方法については
図6のフローチャート図で後述する。輪郭番号51は、輪郭抽出処理(
図6のステップS20)で抽出される輪郭毎に設定される識別番号である。下位階層輪郭個数52は、輪郭番号51に対応する輪郭が閉領域であった場合に、その輪郭の一つ内側の階層に、いくつの輪郭が包含されるかを示している。下位階層輪郭番号53は、下位階層輪郭個数52でカウントされる各輪郭に設定された識別番号である。このように、輪郭情報テーブル241は、各輪郭の階層構成を記憶することができる。
【0032】
次に、補正用画像111a〜111fを使用したマーカ検出方法について概説する。まず、
図2の投影装置10の画像補正処理部121は、記憶部11に記憶された補正用画像111(111a〜111f)を取得する。画像補正処理部121は取得した補正用画像111を予め定めた順番で投影部13へ送信する。投影部13は受信した補正用画像111を投影面31に投影する。本実施形態では、投影装置10は、黒色の補正用画像111a、灰色の補正用画像111b、白色の補正用画像111c、大型の市松模様の補正用画像111d、中型の市松模様の補正用画像111e、及び小型の市松模様の補正用画像111fを、順に投影する。この際、サイズの異なる市松模様の各補正用画像111d、111e、111fの四角形の角部は、投影時に互いに重ならない位置になっている。
【0033】
撮影装置20は、投影面31に投影された複数の補正用画像111a〜111fを時分割で撮影する。このとき、撮影装置20は、
図1に示すように投影された補正用画像111より広い範囲を撮影して、
図7(a)に示す撮影画像60aを取得する。撮影画像60aは、補正用画像111aを撮影したときの画像であり、補正用画像111aと、補正用画像111aの周囲の外部領域60a1とを含む。なお撮影画像60aの例では、周辺環境を比較的暗くしているため、外部領域60a1は測定領域42と略同等の黒色の領域として取得される。また、補正用画像111が投影された2点鎖線で示す領域内には、投影面31に形成された模様31aがマーカ41とともに撮影されている。撮影した各補正用画像111a〜111fに対応する撮影画像60a〜60fは、記憶部24に記憶される。本実施形態では、各撮影画像60a〜60f内のマーカ41の位置を検出して、時分割で投影及び撮影された複数の補正用画像111a〜111fの位置ずれを検出してオフセット補正する。
図3に示した補正用画像111a〜111fは、いずれも画像の四隅の同じ位置にマーカ41が配置されているため、測定処理部221は、各補正用画像111a〜111f間のマーカ41の位置ずれを検出することにより、補正用画像111a〜111fの平行成分及び回転成分の位置ずれを検出する。次に、マーカ41の検出処理について説明する。
【0034】
図6は測定処理部221(処理部22)が実行するマーカ検出プログラムのフローチャート図である。本図では
図7(a)の撮影画像60aを処理する例について説明するが、補正用画像111b〜111fを撮影した撮影画像60b〜60fについても同様に処理することができる。測定処理部221は、まず、記憶部24に記憶された撮影画像60aを読み込む。ステップS10で、測定処理部221は、撮影画像60aを適宜の方法により2値化する撮影画像変換処理を行う。
【0035】
ステップS20で、測定処理部221は、ステップS10で変換した2値化画像から階層情報を持った輪郭抽出処理を行う。輪郭抽出処理は、例えば、OpenCVライブラリのfindContours関数を用いて行うことができる。具体例として、測定処理部221は、2値化画像の黒画素と白画素の境界を輪郭として検出する。
図7(b)は、輪郭抽出処理の結果を視覚化した輪郭抽出画像61aを示している。本図の例では、マーカ41に対応する8個の輪郭711〜718と、模様31aに対応する5個の輪郭721〜725が抽出される様子を示している。測定処理部221は、検出した輪郭に、例えば輪郭抽出画像61aの外側から順に識別情報として輪郭番号を設定する。本図では、撮影範囲710内の輪郭711〜714に対し、順に輪郭番号a1〜a4が設定される。輪郭711〜714の各内側に抽出された輪郭715〜718に対しても、順に輪郭番号a6〜a9が設定される。また、輪郭721に対しては輪郭番号a5が設定され、輪郭722〜725に対しては輪郭番号a10〜a13が設定される。
【0036】
また、測定処理部221は、各輪郭711〜718,721〜725の階層の情報として、下位階層輪郭の個数と、下位階層の輪郭番号を、輪郭情報テーブル241の下位階層輪郭個数52及び下位階層輪郭番号53として対応して記憶する。これにより、ある輪郭が他の輪郭による閉じられた領域内に入れ子状に配置される場合の内外の位置関係を把握することができる。
【0037】
ステップS30で、測定処理部221は、マーカ検出のための処理がされていない未処理の輪郭が有るか判定する。測定処理部221は、未処理の輪郭が有る場合(S30,YES)ステップS40の処理に進み、未処理の輪郭が無い場合(S30,NO)処理を終了する。測定処理部221は、初期状態では輪郭711〜718,721〜725の処理が行われていないため(S30,YES)、ステップS40の処理に進む。
【0038】
ステップS40で、測定処理部221は、処理対象の輪郭C0(第1処理対象)を決定する。測定処理部221は、例えば、輪郭情報テーブル241から、輪郭番号51のうち最も数字の値の小さい輪郭番号の輪郭を、処理対象の輪郭C0として決定する。輪郭抽出画像61aの例では、初期状態の場合、測定処理部221により、輪郭番号51の中から最も数字の小さい輪郭番号51「a1」の輪郭711が、処理対象の輪郭C0として抽出される。
【0039】
ステップS50で、測定処理部221は、抽出された輪郭C0に対して、閉領域の設定が可能な直線近似処理を行う。直線近似処理は、例えばOpenCVライブラリのapproxPolyDP関数を用いて行うことができる。
図7(c)は、ステップS10〜S40で抽出した輪郭711及び輪郭715の拡大図である。処理対象の輪郭C0が輪郭711の場合、4つの線分711a〜711dで閉じられた四角形状に直線近似される。
【0040】
ステップS60で、測定処理部221は、輪郭C0が頂点数「4」の閉じた線分であるか(第1条件)判定する。測定処理部221は、輪郭C0が頂点数「4」であると判定した場合(S60,YES)ステップS70の処理に進み、輪郭C0が頂点数「4」であると判定しない場合(S60,NO)ステップS30の処理に戻る。処理対象の輪郭C0が輪郭711である場合、頂点数は「4」であるため(S60,YES)処理はステップS70へ進む。
【0041】
ステップS70で、測定処理部221は、処理対象である輪郭C0の内側の一つ下位の階層の輪郭を抽出する。例えば、処理対象の輪郭C0が輪郭711である場合、測定処理部221は、
図5の輪郭情報テーブル241を参照し、輪郭番号51「a1」に対応する下位階層輪郭個数52が「1」以上であるか判定し、「1」以上であれば輪郭番号51「a1」に対応する下位階層輪郭番号53「a6」の輪郭715を抽出する。なお、輪郭番号51「a5」のように複数の下位階層輪郭番号53が記憶されている場合は、複数の下位階層輪郭番号が抽出される。また、下位階層輪郭個数52が「0」である場合は下位階層の輪郭番号は抽出されない。
【0042】
ステップS80で、測定処理部221は、ステップS70で抽出した輪郭の中に未処理の輪郭が有るか判定する。測定処理部221は、未処理の輪郭が有ると判定した場合(S80,YES)ステップS90の処理に進み、未処理の輪郭が有ると判定しない場合(S80,NO)ステップS30の処理へ戻る。
【0043】
ステップS90で、測定処理部221は、輪郭C0の内側にあるステップS70で抽出された輪郭のうち、未処理の輪郭の中から処理対象の輪郭C1(第2処理対象)を決定する。処理対象の輪郭C1として、未処理の輪郭から最も輪郭番号の小さい輪郭を選択することができる。例えば、ステップS70で輪郭711の内側にある下位階層輪郭番号53「a6」の輪郭715が抽出され、処理が行われていない場合は、輪郭715が処理対象の輪郭C1として決定される。
【0044】
ステップS100で、測定処理部221は、ステップS90で決定した輪郭C1に対して、閉領域の設定が可能な直線近似処理を行う。直線近似処理は、ステップS50と同様に、OpenCVライブラリのapproxPolyDP関数を用いて行うことができる。処理対象の輪郭C1が輪郭715であれば、
図7(c)に示す3つの線分715a〜715cで閉じられた3角形に直線近似される。
【0045】
ステップS110で、測定処理部221は、輪郭C1が頂点数「3」の閉じた線分であるか(第2条件)判定する。測定処理部221は、輪郭C1が頂点数「3」であると判定した場合(S110,YES)ステップS120の処理に進み、輪郭C1が頂点数「3」であると判定しない場合(S110,N)ステップS80の処理に戻る。処理対象の輪郭C1が輪郭715である場合、頂点数は「3」であるため(S110,YES)、処理はステップS120へ進む。
【0046】
ステップS120で、測定処理部221は、輪郭C0の面積S0と輪郭C1の面積S1を各々算出する。輪郭C0が輪郭711であり、輪郭C1が輪郭715である例では、ステップS120で、頂点数「4」の輪郭711(輪郭C0)の面積S0と、頂点数「3」の輪郭715(輪郭C1)の面積S1が算出される。
【0047】
ステップS130で、測定処理部221は、面積S0を面積S1で除算した値(面積S0と面積S1との比率)が、予め定めた最小面積比Rminより大きく且つ最大面積比Rmaxより小さいか判定する。測定処理部221は、面積S0を面積S1で除算した値が、最小面積比Rminより大きく且つ最大面積比Rmaxより小さい場合(S130,YES)ステップS140の処理に進む。一方、測定処理部221は、面積S0を面積S1で除算した値が、最小面積比Rmin以下又は最大面積比Rmax以上の場合(S130,NO)ステップS80の処理に戻る。最小面積比Rminと最大面積比Rmaxの範囲は、マーカデザイン上の四角形の面積と、三角形の面積を基に、撮影装置20による撮影能力や計測誤差を加味して定めることができる。
【0048】
ステップS140で、測定処理部221は、現在選択されている輪郭C0と輪郭C1の組み合わせを、マーカ候補として抽出し、記憶部24に記憶する。
【0049】
なお、ステップS40〜S60において処理対象の輪郭C0が
図7(b)に示すマーカ41とは無関係の輪郭721(輪郭番号「a5」)である場合、頂点数が「4」であることから、処理はステップS70に進む。ステップS70〜S90では輪郭番号51「a5」に対応する下位階層輪郭番号53から輪郭C1として輪郭番号「a10」又は「a11」に対応する輪郭722又は輪郭723が抽出されるが、輪郭722及び輪郭723はいずれも頂点数が「3」ではないため(S110,NO)、輪郭721と、輪郭722又は輪郭723との組み合わせはマーカ候補からは除かれることになる。
【0050】
同様に、ステップS40〜S60の処理対象の輪郭C0が輪郭722又は輪郭723であっても、それらの内側に配置された輪郭724及び輪郭725が頂点数「3」ではないため(S110,NO)、輪郭722と輪郭724との組み合わせ、及び輪郭723と輪郭725との組み合わせは、マーカ候補からは除かれることになる。
【0051】
以上のステップS30〜S140により、
図7(b)の輪郭抽出画像61aからは、マーカ候補として、輪郭711と輪郭715の組み合わせ、輪郭712と輪郭716の組み合わせ、輪郭713と輪郭717の組み合わせ、及び輪郭714と輪郭718の組み合わせがマーカ41の候補として抽出される。測定処理部221は、抽出された4つのマーカ候補を投影装置10が投影したマーカ41として判定することができる。
【0052】
測定処理部221は、補正用画像111b〜111fを撮影した残りの撮影画像60b〜60fについても同様にステップS10〜S140のマーカ検出処理を行う。これにより、各撮影画像60a〜60f内の補正用画像111a〜111fのずれがマーカ41の位置を一致させてオフセット補正される。
【0053】
各撮影画像60a〜60fのマーカ41位置を検出した後、撮影装置20は、撮影画像60d〜60fにより、市松模様の交点(角部)の座標を検出して、投影装置10が投影した補正用画像111a〜111fの歪み度合いを求めることができる。また、撮影装置20は、撮影画像60a〜60cにより、撮影画像60d〜60fと組み合わせて、投影面31の位置毎の色の変化を求めることができる。測定処理部221は、これらの情報を画像補正情報25aとして、通信部25を介して投影装置10へ送信する。これにより、投影装置10は、鑑賞用の画像データを画像補正処理部121で補正して、意図された画像がユーザに視認できるように投影することができる。
【0054】
なお、
図6の処理の後に、ステップS10〜S140で抽出したマーカ候補を、別途の判定手段により更に絞り込み、画像位置識別用のマーカ41と判定する構成としてもよい。例えば、測定処理部221は、ステップS140でマーカ候補として抽出された輪郭C0及び輪郭C1の組み合わせ(例えば輪郭711及び輪郭715)を最終的に補正用画像111a〜111f間の画像位置調整に使用するか判定することができる。判定方法としては、以下の(1)線分長さによる判定や、(2)線分の傾きによる判定を用いることができる。
【0055】
(1)線分長さによる判定
線分長さによる判定では、測定処理部221は、まず、輪郭711及び輪郭715の各線分711a〜711d,715a〜715cの長さを算出する。測定処理部221は、各線分711a〜711d,715a〜715cの長さが予め定めた閾値範囲である場合にマーカとして判定することができる。線分711a〜711dと線分715a〜715cとに適用される閾値範囲はそれぞれ異なる範囲に設定することができる。各線分711a〜711d,715a〜715cに適用される閾値範囲は、輪郭711や輪郭715で各々異なっていてもよい。なお、線分長さによる判定では、各線分711a〜711d,715a〜715cの相対的な長さに基づいて閾値範囲を定めてもよい。
【0056】
(2)線分の傾きによる判定
線分の傾きによる判定では、測定処理部221は、各線分711a〜711d,715a〜715cの傾きが予め定めた閾値範囲内である場合にマーカ41として判定することができる。各線分711a〜711d,715a〜715cに適用される閾値範囲は、各々異なっていてもよい。また、閾値範囲は、ある線分の特定の他の線分との相対的な傾きにより定めることができる。例えば、第1の多角形43の一つの線分は、少なくとも第2の多角形44の各線分と平行でない場合に、マーカであると判定することができる。
図7(c)の例では、第1の多角形43の輪郭711の一つの線分711a,711bと、第2の多角形44の輪郭715の線分715cとは略平行であるが、第1の多角形43の輪郭711の一つの線分711c,711dと、第2の多角形44の輪郭715の線分715a〜715cとは平行な関係に無いため、輪郭711と輪郭715の組み合わせがマーカであると判定することができる。
【0057】
また、上述した線分長さによる判定と線分の傾きによる判定を組み合わせて、画像位置調整用のマーカとして使用するか判定を行ってもよい。
【0058】
以上のように、マーカを抽出すれば、補正用画像111に配置した数と異なる数のマーカ候補が抽出された場合や、撮影画像のマーカ41が不鮮明な位置や形状で検出された場合、そのマーカ候補を取り除くことができる。このようにマーカ41の検出精度を高めて補正用画像111間の位置補正の精度を向上させることができる。
【0059】
なお、第2の多角形44の頂点数を、第1の多角形43の頂点数以下とした構成として、第1の多角形を四角形とし、第2の多角形を第1の多角形より小さい相似の四角形で所定の角度だけ傾けた(例えば45°回転)構成としてもよい。また、第1の多角形43及び第2の多角形44は各々
図4に示した正多角形に限らず不等辺多角形とすることができる。
【0060】
また、第2の多角形44は、第1の多角形43の中に複数配置してもよい。例えば、第1の多角形43を四角形とし、その四角形の中に第2の多角形44である三角形を複数配置してもよい。或いは、マーカ41は、第1の多角形の内側の第2の多角形の内側に、更に多角形を含めた2重以上の入れ子状に形成してもよい。
【0061】
また、抽出された第1の多角形43と第2の多角形44をマーカ41候補として絞り込む条件としては、面積S0と面積S1との比率による判定、線分長さによる判定、及び線分の傾きによる判定のいずれか一つ又は複数を組み合わせて行うことができる。
【0062】
また、本実施形態では、撮影装置20がマーカ検出プログラム242を備えて
図6のマーカ検出処理を実行する例について説明したが、マーカ検出プログラム242は、投影装置10に記憶されており、撮影装置20が撮影した撮影画像60を投影装置10に送信することで、投影装置10が
図6のマーカ検出処理を実行してもよい。
【0063】
また、本実施形態では、第1の多角形43を黒色の枠状で内部を白色に形成し、第2の多角形44を黒色に形成したが、第1の多角形43を白色の枠状で内部を黒色に形成し、第2の多角形44を白色に形成してもよい。
【0064】
以上説明したように、本発明の実施形態の投影制御装置は、第1の多角形43と、第1の多角形43の内側に配置される第2の多角形44とを含む画像位置識別用のマーカ41を予め定めた位置に配した補正用画像111を、撮影装置20に撮影されるように投影する投影部13を備える。そして、第1の多角形43の少なくとも一つの辺は、第2の多角形44の各辺と非平行とした。
【0065】
そのため、繰り返しパターンが形成される投影面31の模様等と区別することが比較的容易となり、マーカ検出処理の誤検出を少なくして検出精度を向上させることができる。よって、複数の補正用画像111の位置合わせを容易とすることができる。
【0066】
また、第2の多角形44の頂点数が第1の多角形43の頂点数以下である投影制御装置は、マーカの構成を単純としつつ第2の多角形44の判定処理を第1の多角形43の判定処理と同等以下にして、マーカ検出処理の負荷を低減することができる。
【0067】
また、第1の多角形43が四角形状であり、第2の多角形44が三角形状である投影制御装置は、マーカ41を構成する形状の組み合わせが単純であるため形状検出処理が簡単になり、処理能力の低い装置を用いる等プログラムの実装環境の自由度を増やすことができる。
【0068】
また、第1の多角形43が枠状に形成され、第2の多角形44が第1の多角形43と同色に塗りつぶされて形成される投影制御装置は、マーカ判定処理の際に、第2の多角形44内に更なる輪郭が抽出させることを防いで第2の多角形44の輪郭が判定された後に更に下位層の輪郭判定を行う必要が無くなり、輪郭抽出処理の負荷を低減させることができる。
【0069】
また、第1の多角形43の一つの辺と異なる他の辺が第2の多角形44の何れかの辺と平行である投影制御装置は、第1の多角形43と第2の多角形44の共通性を減らし、マーカ41の誤検出を更に低減させることができる。
【0070】
また、マーカ41を検出させる工程は、補正用画像111の輪郭を抽出する工程と、抽出された輪郭から選択した第1処理対象の輪郭の頂点数が予め定めた第1条件であった場合に、第1処理対象の輪郭よりも内側の輪郭を抽出する工程と、内側の輪郭から選択した第2処理対象の輪郭の頂点数が予め定めた第2条件であった場合に、第1処理対象の輪郭の面積と、第2処理対象の輪郭の面積との比率を求める工程と、その比率が予め定めた範囲である場合に第1処理対象と第2処理対象の各輪郭を前記マーカとして求める工程と、を含む。これにより、マーカは投影面31の模様と区別することが比較的容易であるため、マーカ検出処理のエラーやリトライ等によるマーカ検出の処理負担を低減させることができる。
【0071】
なお、以上説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0072】
以下に、本願出願の最初の特許請求の範囲に記載された発明を付記する。
[1] 第1の多角形と、前記第1の多角形の内側に配置される第2の多角形と、を含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を、撮影装置に撮影されるように投影する投影部を備え、
前記第1の多角形の少なくとも一つの辺が前記第2の多角形の各辺と非平行である、
ことを特徴とする投影装置。
[2] 前記第2の多角形の頂点数は、前記第1の多角形の頂点数以下であることを特徴とする上記[1]に記載の投影装置。
[3] 前記第1の多角形は四角形状であり、
前記第2の多角形は三角形状である、
ことを特徴とする上記[1]又は上記[2]に記載の投影装置。
[4] 前記第1の多角形は枠状に形成され、
前記第2の多角形は前記第1の多角形と同色に塗りつぶされて形成される、
ことを特徴とする上記[1]乃至上記[3]の何れかに記載の投影装置。
[5] 前記第1の多角形の前記一つの辺と異なる他の辺は、前記第2の多角形の何れかの辺と平行であることを特徴とする上記[1]乃至上記[4]の何れかに記載の投影装置。
[6] 第1の多角形と、前記第1の多角形の内側に配置される第2の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影装置により投影する工程と、
複数の前記補正用画像を撮影装置により撮影する工程と、
前記マーカを検出させる工程と、
を含み
前記第1の多角形の少なくとも一つの辺は、前記第2の多角形の各辺と非平行である、
ことを特徴とするマーカ検出方法。
[7] 前記マーカを検出させる工程は、
前記撮影装置が撮影した前記補正用画像の輪郭を抽出する工程と、
抽出された輪郭から選択した第1処理対象の輪郭の頂点数が予め定めた第1条件であった場合に、前記第1処理対象の輪郭よりも内側の輪郭を抽出する工程と、
前記内側の輪郭から選択した第2処理対象の輪郭の頂点数が予め定めた第2条件であった場合に、前記第1処理対象の輪郭の面積と、前記第2処理対象の輪郭の面積との比率を求める工程と、
前記比率が予め定めた範囲である場合に前記第1処理対象と前記第2処理対象の各輪郭を前記マーカとして求める工程と、
を含むことを特徴とする上記[6]に記載のマーカ検出方法。
[8] コンピュータが実行するプログラムであって、前記コンピュータを、
第1の多角形と、前記第1の多角形の内側に配置される第2の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影させる手段、
複数の前記補正用画像を撮影させる手段、及び、
前記マーカを検出させる手段、
として機能させ、
前記第1の多角形の少なくとも一つの辺は、前記第2の多角形の各辺と非平行である、
ことを特徴とするプログラム。