特許 7520614 画像処理装置、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】画像処理装置、及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/49 20170101AFI20240716BHJP

   G06T 7/60 20170101ALI20240716BHJP

【ＦＩ】

G06T7/49

G06T7/60 200K

【請求項の数】 3

(21)【出願番号】P 2020125837

(22)【出願日】2020-07-22

(65)【公開番号】P2022021927

(43)【公開日】2022-02-03

【審査請求日】2023-06-28

(73)【特許権者】

【識別番号】000003621

【氏名又は名称】株式会社竹中工務店

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】深沢 茂臣

(72)【発明者】

【氏名】菊池 亮人

(72)【発明者】

【氏名】松原 道彦

(72)【発明者】

【氏名】山本 正人

(72)【発明者】

【氏名】菅田 昌宏

(72)【発明者】

【氏名】佐久間 康如

(72)【発明者】

【氏名】杉山 和也

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０２０－１０２１６９（ＪＰ，Ａ）

【文献】特開２０１３－００８３１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

実空間において２方向の直線群によって一様に区画される目地の画像を取得する取得部と、
前記取得部により取得された前記画像に対してエッジ検出処理を行い、前記画像に対応するエッジ画像を生成するエッジ検出部と、
前記エッジ画像に対して、予め設定した矩形テンプレートによるマッチング処理を行い、矩形領域を複数含む矩形領域画像を生成する生成部と、
前記生成部により生成された前記矩形領域画像に含まれる各矩形領域に対して位置情報を付与する位置情報付与部と、
前記位置情報付与部により得られた前記位置情報を用いて、グリッド線候補を複数生成するグリッド線候補生成部と、
任意の２つの前記グリッド線候補を選択し、その交点を表す消失点候補を生成することを繰り返し、複数の前記消失点候補を生成する消失点候補生成部と、
複数の前記消失点候補の中央値、又は平均値に相当する点を消失点として設定する消失点設定部と、
前記消失点から、複数の前記矩形領域に対してグリッド線を引くグリッド線生成部と、
前記グリッド線に応じて、前記矩形領域画像内の複数の前記矩形領域に位置を再設定する矩形領域設定部と、
を含む画像処理装置。

【請求項2】

前記目地は、建築物外壁のタイル目地である請求項１に記載の画像処理装置。

【請求項3】

実空間において２方向の直線群によって一様に区画される目地の画像を取得し、
取得された前記画像に対してエッジ検出処理を行い、前記画像に対応するエッジ画像を生成し、
前記エッジ画像に対して、予め設定した矩形テンプレートによるマッチング処理を行い、矩形領域を複数含む矩形領域画像を生成し、
生成された前記矩形領域画像に含まれる各矩形領域に対して位置情報を付与し、
得られた前記位置情報を用いて、グリッド線候補を複数生成し、
任意の２つの前記グリッド線候補を選択し、その交点を表す消失点候補を生成することを繰り返し、複数の前記消失点候補を生成し、
複数の前記消失点候補の中央値、又は平均値に相当する点を消失点として設定し、
前記消失点から、複数の前記矩形領域に対してグリッド線を引き、
前記グリッド線に応じて、前記矩形領域画像内の複数の前記矩形領域に位置を再設定する、
処理をコンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、構造物の壁面をカメラ等で撮像し、それにより得られた画像を用いて壁面等を検出する技術が知られている。

【0003】

例えば、鳥瞰画像からビルの窓領域候補を抽出し、抽出した窓領域候補から窓パターンを特定し、窓パターン及び窓領域候補の位置情報を用いて当該ビルの消失点を導出して、鳥瞰画像を正面化、及び欠損窓を補完する技術が知られている（特許文献１）。

【0004】

また、長方形を有した構造物を斜めから撮影したパノラマ画像において、パノラマ画像に映っている長方形を用いて、斜めから撮影したパノラマ画像から正置画像を生成する技術が知られている（特許文献２）。

【0005】

また、平面上に描かれた２組の斜交した平行線からなる焦点距離較正用パターンを撮影して得られた画像から２組の斜交した平行線の消失点を算出し、消失点から焦点距離を導出する技術が知られている（特許文献３）。

【0006】

また、任意の入射角からカメラによって撮影された画像から画像に存在する４つの（物理的、プロットされた、又は印刷された輪郭）パターンを抽出し、当該パターンの相対位置から幾何学的な変形を算出して、原データを生成する技術が知られている（特許文献４）。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１３－００８３１０号公報

【文献】特許６４６７６１２号公報

【文献】特公平７－９９３２７号公報

【文献】特開２００７－５３１０９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、実空間において２方向の直線群によって一様に区画される目地を画像処理によって認識することができれば、様々な対象物に適用可能であり有用である。

【0009】

例えば、実空間において２方向の直線群によって一様に区画される目地の一例として、建築物のタイル壁面の目地が挙げられる。建築物のタイル壁面のタイル浮きを精度よく検出しようとする場合には、目地により形成されている１枚１枚のタイルを事前に認識しておく必要がある。

【0010】

この点、上記特許文献１から上記特許文献４の技術は、消失点を利用して画像中の対象領域を認識する（例えば、特許文献１の請求項１、特許文献２の段落００６９、特許文献３の請求項１、及び特許文献４の段落００６５等を参照）。

【0011】

しかし、例えば、撮像された画像には様々なノイズが含まれており、そのような画像から推定された消失点の確度は低いと考えられる。また、消失点の確度は、その算出する際に用いられる情報（例えば、特許文献１の「各窓領域候補の位置情報」等）の精度にも依存する。

【0012】

このため、上記特許文献１から上記特許文献４の技術を端に用いたとしても、画像に映っている目地から形成されている矩形領域を精度よく認識することができない、という課題がある。

【0013】

そこで、本件発明は、実空間において２方向の直線群によって一様に区画される目地の画像から、当該画像に映っている目地から形成されている矩形領域を精度良く認識することを目的とする。

【課題を解決するための手段】

【0014】

上記目的を達成するために、本発明の画像処理装置は、実空間において２方向の直線群によって一様に区画される目地の画像を取得する取得部と、前記取得部により取得された前記画像に対してエッジ検出処理を行い、前記画像に対応するエッジ画像を生成するエッジ検出部と、前記エッジ画像に対して、予め設定した矩形テンプレートによるマッチング処理を行い、矩形領域を複数含む矩形領域画像を生成する生成部と、前記生成部により生成された前記矩形領域画像に含まれる各矩形領域に対して位置情報を付与する位置情報付与部と、前記位置情報付与部により得られた前記位置情報を用いて、グリッド線候補を複数生成するグリッド線候補生成部と、任意の２つの前記グリッド線候補を選択し、その交点を表す消失点候補を生成することを繰り返し、複数の前記消失点候補を生成する消失点候補生成部と、複数の前記消失点候補の中央値、又は平均値に相当する点を消失点として設定する消失点設定部と、前記消失点から、複数の前記矩形領域に対してグリッド線を引くグリッド線生成部と、前記グリッド線に応じて、前記矩形領域画像内の複数の前記矩形領域に位置を再設定する矩形領域設定部と、を含んでいる。

【発明の効果】

【0015】

本発明によれば、タイル浮きを検出する際に、１枚１枚のタイルを事前に精度良く認識することができる、という効果が得られる。

【図面の簡単な説明】

【0016】

【図1】本実施形態に係るタイル画像生成装置のハードウェア構成の一例を示すブロック図である。

【図2】本実施形態に係るタイル画像生成装置の機能構成の一例を示すブロック図である。

【図3】本実施形態に係る画像の生成の説明に供する目地画像及び矩形領域画像の一例を示す図である。

【図4】本実施形態に係るアドレッシングの説明に供する矩形領域画像の一例を示す模式図である。

【図5】本実施形態に係る消失点の候補の生成の説明に供する矩形領域画像の一例を示す模式図である。

【図6】本実施形態に係るグリッド線の補正の説明に供する矩形領域画像の一例を示す模式図である。

【図7】本実施形態に係る欠損領域の推定の説明に供する矩形領域画像の一例を示す模式図である。

【図8】本実施形態に係るグリッド線の推定の説明に供する矩形領域画像の一例を示す模式図である。

【図9】本実施形態に係るタイル画像生成処理の一例を示すフローチャート図である。

【発明を実施するための形態】

【0017】

［本発明の実施形態］
以下、図面を参照して、本発明の実施形態のタイル画像生成装置について説明する。タイル画像生成装置は、本発明の画像処理装置の一例である。

【0018】

図１は、本実施形態に係るタイル画像生成装置１０のハードウェア構成の一例を示すブロック図である。図１に示すように、本実施形態に係るタイル画像生成装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、モニタ１６、及び通信インターフェース（通信Ｉ／Ｆ）１７を含んで構成されている。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ストレージ１４、入力部１５、モニタ１６、及び通信Ｉ／Ｆ１７の各々はバス１８により相互に接続されている。

【0019】

ＣＰＵ１１は、タイル画像生成装置１０の全体を統括し、制御する。ＲＯＭ１２は、本実施形態で用いるタイル画像生成プログラムを含む各種プログラム及びデータ等を記憶している。ＲＡＭ１３は、各種プログラムの実行時のワークエリアとして用いられるメモリである。ＣＰＵ１１は、ＲＯＭ１２に記憶されたプログラムをＲＡＭ１３に展開して実行することにより、タイル画像生成処理を行う。ストレージ１４は、一例としてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はフラッシュメモリ等である。なお、ストレージ１４には、タイル画像生成プログラム等を記憶してもよい。入力部１５は、文字の入力等を受け付けるキーボード及びマウス等である。モニタ１６は、画像データ等を表示する。通信Ｉ／Ｆ１７は、データの送受信を行う。

【0020】

次に、図２を参照して、タイル画像生成装置１０の機能構成について説明する。図２は、本実施形態に係るタイル画像生成装置１０の機能的な構成の一例を示すブロック図である。

【0021】

図２に示すように、タイル画像生成装置１０は、取得部２１、エッジ検出部２２、生成部２３、位置情報付与部２４、グリッド線候補生成部２５、消失点候補生成部２６、消失点設定部２７、グリッド線生成部２８、及び矩形領域設定部２９を有する。ＣＰＵ１１がタイル画像生成プログラムを実行することで取得部２１、エッジ検出部２２、生成部２３、位置情報付与部２４、グリッド線候補生成部２５、消失点候補生成部２６、消失点設定部２７、グリッド線生成部２８、及び矩形領域設定部２９として機能する。

【0022】

取得部２１は、ユーザによって撮影された実空間において２方向の直線群によって一様に区画される目地（例えば、建築物外壁のタイル目地）の画像（以下、「目地画像」という。）を取得する。目地画像は、例えば、赤外線カメラによって撮像される画像である。

【0023】

エッジ検出部２２は、取得部２１により取得された目地画像に対してエッジ検出処理を行い、目地画像から、タイル目地に対応するエッジを含んだ画像（以下、「エッジ画像」という。）を生成する。

【0024】

生成部２３は、エッジ検出部２２によって生成されたエッジ画像を用いて、エッジ画像に含まれるエッジと、予め定められた矩形テンプレートとをマッチングさせ、複数の矩形領域を含む画像（以下、「矩形領域画像」という。）を生成する。生成部２３は、既知の画像処理技術を用いて矩形領域画像を生成する。

【0025】

位置情報付与部２４は、生成部２３により生成された矩形領域画像に含まれる各々の矩形領域に対して位置情報を付与する。具体的には、位置情報付与部２４は、矩形領域画像に含まれる任意の矩形領域からＸ軸方向、及びＹ軸方向への相対的な位置を示す座標を各々の矩形領域に設定し、矩形領域の四隅の座標を各々の矩形領域に設定する。なお、本実施形態では、相対的な位置を示す座標、及び矩形領域の四隅の座標を位置情報として説明する。また、本実施形態では、幅方向をＸ軸、高さ方向をＹ軸として説明する。

【0026】

グリッド線候補生成部２５は、位置情報付与部２４により設定された位置情報を用いて、グリッド線の候補を複数生成する。具体的には、グリッド線候補生成部２５は、矩形領域画像からＸ軸方向、及びＹ軸方向に隣接した４つの矩形領域を抽出し、隣接した４つの矩形領域の各々に設定されている四隅の座標を用いて、４つの矩形領域の代表点を導出する。グリッド線候補生成部２５は、導出した代表点を用いて、Ｘ軸方向、及びＹ軸方向にグリッド線の候補を生成する。ここで、グリッド線の候補は、代表点を用いて最小二乗法によって導出された回帰直線である。

【0027】

消失点候補生成部２６は、２点透視図法に基づいて、グリッド線候補生成部２５によって生成されたＸ軸方向、又はＹ軸方向の複数のグリッド線の候補から任意の２つのグリッド線の候補を選択し、２つのグリッド線の候補の交点を消失点の候補として設定する。ここで、消失点の候補は、Ｘ軸方向、及びＹ軸方向の２方向に各々設定される。なお、Ｘ軸方向の消失点の候補とは、Ｘ軸方向に設定された２つのグリッド線の候補の交点であり、Ｙ軸方向の消失点の候補とは、Ｙ軸方向に設定された２つのグリッド線の候補の交点である。また、消失点の候補の設定の実行回数は、グリッド線の候補の全ての組み合わせであってもよいし、予め定められた組み合わせの数（例えば、一万通り）であってもよい。つまり、グリッド線の候補の全ての組み合わせの数、又は予め定められた組み合わせの数と同数の消失点の候補が設定される。

【0028】

消失点設定部２７は、消失点候補生成部２６によって設定された複数の消失点の候補を用いて、Ｘ軸方向、及びＹ軸方向の消失点を各々設定する。消失点設定部２７は、複数の消失点の候補の座標を取得し、複数の消失点の候補の中央値を導出して、消失点を設定する。具体的には、消失点設定部２７は、各々の消失点の候補のＸ座標、及びＹ座標の値を用いて、Ｘ座標、及びＹ座標の中央値を導出し、導出した値を消失点のＸ座標、及びＹ座標として設定する。

【0029】

なお、本実施形態では、消失点の候補の中央値を消失点に設定する形態について説明した。しかし、これに限定されない。例えば、消失点の候補の座標を用いて、消失点の中点、又は平均値を導出してもよいし、消失点の候補に重みを付けて、消失点候補の重心を導出して設定してもよい。また、消失点の候補の座標毎に頻出回数を計測して頻出回数の平均値、又は中央値を導出して、該当する消失点の候補から消失点を選択して設定してもよい。

【0030】

グリッド線生成部２８は、消失点設定部２７によって設定された消失点から、複数の矩形領域に対してグリッド線を引いて生成する。具体的には、グリッド線生成部２８は、グリッド線の候補が消失点設定部２７によって設定された消失点を通るように、グリッド線の候補の傾きを変更して、グリッド線を生成する。より詳細には、例えば、グリッド線生成部２８は、回帰直線であるグリッド線の候補上の任意の１点を起点として、消失点を通るようにグリッド線の候補の傾きを変更する。

【0031】

矩形領域設定部２９は、グリッド線生成部２８によって生成されたグリッド線に囲まれた矩形領域に対して、位置情報を再設定して矩形領域を設定する。例えば、矩形領域設定部２９は、４つの矩形領域の代表点がグリッド線を通るように、各矩形領域の位置情報を再設定して矩形領域を設定する。

【0032】

次に、タイル画像生成装置１０の作用について説明する前に、図３から図８を参照して、本実施形態に係るタイルを認識する手法について説明する。

【0033】

まず、図３を参照して、矩形領域画像の生成について説明する。図３は、本実施形態に係る画像の生成の説明に供する目地画像及び矩形領域画像の一例を示す図である。図３（ａ）は、タイル画像生成装置１０に入力される目地画像の一例を示す図であり、図３（ｂ）は、タイル画像生成装置１０によって生成される矩形領域画像の一例を示す図である。

【0034】

一例として、図３（ａ）に示す目地画像を取得した場合、タイル画像生成装置１０は、目地画像に対して平滑化（例えば、ガウス平滑化）を行い、輝度の勾配を算出して、エッジを検出する。タイル画像生成装置１０は、エッジが途切れている箇所の補強、及び目地ではない余分なエッジを取り除く等のノイズの除去を行い、エッジ画像を生成する。

【0035】

タイル画像生成装置１０は、エッジ画像に含まれるエッジと、予め定められた矩形テンプレートとのパターンマッチングを行い、エッジに対して矩形テンプレートを適応して、図３（ｂ）に示すように、複数の矩形領域を含む矩形領域画像を生成する。

【0036】

なお、本実施形態では、目地画像を用いて、矩形領域画像を生成する形態について説明した。しかし、これに限定されない。物体の温度分布を示した画像（例えば、サーモグラフィ、及び熱画像等）を用いて、矩形領域画像を生成してもよい。

【0037】

次に、図４を参照して、矩形領域に応じて設定される代表点について説明する。図４は、本実施形態に係るアドレッシングの説明に供する矩形領域画像の一例を示す模式図である。

【0038】

一例として、図４に示すように、タイル画像生成装置１０は、矩形領域画像に含まれる各々の矩形領域３１に対して、矩形領域画像に含まれる任意の矩形領域３１からＸ軸方向、及びＹ軸方向への相対的な位置を示す座標を設定する。また、タイル画像生成装置１０は、矩形領域３１の四隅の座標を各々の矩形領域３１に設定する。

【0039】

タイル画像生成装置１０は、矩形領域画像に含まれる矩形領域３１の各々に位置情報を付与した場合、破線矩形３２に囲まれた、Ｘ軸方向、及びＹ軸方向に隣接した４つの矩形領域３１を抽出する。

【0040】

タイル画像生成装置１０は、各々の矩形領域３１に設定されている四隅の座標を用いて、隣接した４つの矩形領域３１の代表点を導出する。ここで、代表点を導出する場合、タイル画像生成装置１０は、破線矩形３２の中心に近い各々の矩形領域３１の四隅の座標を用いる。例えば、破線矩形３２に囲まれた矩形領域３１の代表点を導出する場合において、座標（０，１０）の矩形領域３１の場合は、右上に位置する隅の座標、座標（０，１１）の矩形領域３１の場合は、右下に位置する隅の座標を用いる。なお、本実施形態では、矩形領域３１の四隅の座標を用いて、代表点を導出する形態について説明した。しかし、これに限定されない。矩形領域３１の中心の座標を用いて、代表点を導出してもよい。

【0041】

次に、図５を参照して、消失点の候補の生成について説明する。図５は、本実施形態に係る消失点候補の生成の説明に供する矩形領域画像の一例を示す模式図である。

【0042】

一例として、図５に示すように、タイル画像生成装置１０は、各々の矩形領域３１に設定されている四隅の座標を用いて、隣接した４つの矩形領域３１の代表点３３を複数導出する。

【0043】

タイル画像生成装置１０は、複数の代表点３３を用いて、最小二乗法によって複数の代表点における回帰直線を導出し、導出された回帰直線をグリッド線の候補３４として設定する。

【0044】

タイル画像生成装置１０は、任意の２つのグリッド線の候補３４を選択して、２つのグリッド線の候補３４の交点を消失点の候補３５として設定する。タイル画像生成装置１０は、Ｘ軸方向、及びＹ軸方向の消失点の候補３５を設定する処理をグリッド線の候補３４の組み合わせの数だけ行う。

【0045】

タイル画像生成装置１０は、複数の消失点の候補の座標を用いて、消失点の候補の中央値を導出し、中央値点を消失点として設定する。タイル画像生成装置１０は、導出した消失点を通るようにグリッド線の候補３４（回帰直線）の傾きを変更して、グリッド線を再設定する。例えば、グリッド線生成部２８は、グリッド線の候補３４上の任意の代表点３３を起点とし、消失点を通るようにグリッド線の候補３４の傾きを変更して、グリッド線を再設定する。

【0046】

次に、図６、及び図７を参照して、欠損した矩形領域の補完について説明する。図６は、本実施形態に係るグリッド線の補正の説明に供する矩形領域画像の一例を示す模式図である。図７は、本実施形態に係る欠損領域３７の推定の説明に供する矩形領域画像の一例を示す模式図である。

【0047】

タイル画像生成装置１０は、再設定されたグリッド線による矩形領域と、位置情報が付与された矩形領域画像おける矩形領域３１と、が対応するように位置情報を再設定する。

【0048】

一例として、図６に示すように、矩形領域画像に対してグリッド線、及び位置情報を再設定した場合、矩形領域画像には、消失点から引かれたグリッド線３６と、位置情報が付与された矩形領域３１が表示される。

【0049】

タイル画像生成装置１０は、矩形領域画像から矩形領域が欠損している領域（以下、「欠損領域」という。）３７を推定して、矩形領域画像を補完する。例えば、グリッド線３６によって囲まれた領域、かつ位置情報が付与されていない領域がある場合、タイル画像生成装置１０は、欠損領域３７であると判定し、位置情報を付与する。なお、本実施形態では、欠損領域３７は、位置情報が付与されていない領域である形態について説明した。しかし、これに限定されない。例えば、グリッド線３６によって囲まれた領域、かつ位置情報が付与されていない領域が連続して２つ以内である場合、欠損領域３７であると判定してもよい。つまり、位置情報が付与されていない領域が連続して３つ以上ある場合、タイルが設置されていないと判定する。これにより、タイルが設置されていない領域、及び壁面に機器が設置されている領域等が検出される。なお、本実施形態では、位置情報が付与されていない領域が連続して２つ以内である場合、欠損領域３７である形態について説明した。しかし、これに限定されない。位置情報が付与されていない領域が１つであってもよいし、３つ以上連続してもよいし、いくつ連続していてもよい。

【0050】

欠損領域３７を推定して位置情報を付与することによって、一例として、図７に示すように、矩形領域画像が補完され、タイルの位置情報が精度よく設定される。

【0051】

なお、本実施形態では、グリッド線３６に囲まれた領域を欠損領域３７として、矩形領域、及び位置情報を補完する形態について説明した。しかし、これに限定されない。グリッド線３６を補完してもよい。

【0052】

例えば、矩形領域３１が広い範囲で検出されなかった場合、当該範囲ではグリッド線３６が設定されないため、欠損領域３７の推定が行われない。そこで、設定されたグリッド線３６を用いて、矩形領域３１が検出されなかった範囲におけるグリッド線を推定することで、欠損領域３７を推定して矩形領域画像を補完する。

【0053】

次に、図８を参照して、グリッド線の推定について説明する。図８は、本実施形態に係るグリッド線の推定の説明に供するタイル画像の一例を示す模式図である。

【0054】

一例として、図８に示すように、タイル画像生成装置１０は、各々のグリッド線３６から消失点３８までの距離（以下、距離」という。）ｄｉを導出する。本実施形態に係る距離ｄｉは、矩形領域画像に含まれる２つの消失点のうち、一方の消失点３８を通るように引かれたグリッド線３６と、他方の消失点３８との間の最短距離である。例えば、Ｘ軸方向に設定されたグリッド線３６の場合、距離ｄｉは、Ｘ軸方向に設定されたグリッド線３６からＹ軸方向に設定された消失点３８までの最短距離を示している。

【0055】

タイル画像生成装置１０は、各々のグリッド線３６と消失点３８との間の距離ｄｉを用いて、グリッド線３６が設定されていない範囲のグリッド線（以下、「欠損グリッド線」という。）３９を推定する。欠損グリッド線３９は、以下に示す式によって表される。

【0056】

【数1】

【0057】

【数2】

【0058】

ここで、ｄｉは、ｉ番目のグリッド線と消失点３８との間の距離である。また、ｒは、隣接するｎ番目のグリッド線と消失点３８との間の距離ｄｎと、ｍ番目のグリッド線と消失点３８との間の距離ｄｍと、の比率である。また、ｄ（ｉ－１）は、ｉ番目のグリッド線に隣接するｉ－１番目のグリッド線と消失点３８との間の距離である。また、ｄｎは、ｎ番目のグリッド線と消失点３８との間の距離であり、ｄｍは、ｍ番目のグリッド線と消失点３８との間の距離であり、ｉ、ｎ、及びｍは任意の整数である。

【0059】

上述した式（１）に示すように、ｉ番目の距離ｄｉは、隣接するｉ－１番目の距離ｄ（ｉ－１）に、比率ｒを掛けて導出される。比率ｒは、上述した式（２）に示すように、任意の２つの距離ｄｎ、及びｄｍを用いて、導出される。

【0060】

つまり、図８に示すように、欠損グリッド線３９と消失点３８との間の距離ｄｉは、グリッド線３６の距離ｄ（ｉ－１）に比率ｒを乗じて導出され、消失点を通る距離ｄｉのグリッド線を生成することによって、欠損グリッド線３９が推定される。欠損グリッド線３９の距離ｄｉを用いて、さらに、欠損グリッド線３９の距離ｄ（ｉ＋１）を導出し、新たな欠損グリッド線３９を推定することによって、矩形領域３１が検出されなかった範囲であっても、グリッド線が設定される。

【0061】

したがって、Ｘ軸方向、及びＹ軸方向に設定されたグリッド線３６から欠損グリッド線３９が推定され、欠損グリッド線３９に囲まれた領域に欠損領域３７が推定され、矩形領域画像が補完される。

【0062】

次に、図９を参照して、本実施形態に係るタイル画像生成装置１０の作用について説明する。図９は、本実施形態に係るタイル画像生成処理の一例を示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４からタイル画像生成プログラムを読み出し、実行することによって、図９に示すタイル画像生成プログラムが実行される。図９に示すタイル画像生成プログラムは、例えば、ユーザによって、目地画像が入力された場合、タイル画像生成プログラムが実行される。

【0063】

ステップＳ１０１において、ＣＰＵ１１は、ユーザによって入力された目地画像を取得する。

【0064】

ステップＳ１０２において、ＣＰＵ１１は、取得した目地画像から矩形領域画像を生成する。

【0065】

ステップＳ１０３において、ＣＰＵ１１は、パターンマッチングを用いて、矩形領域画像に矩形領域３１を設定し、矩形領域３１に位置情報、及び矩形領域３１の四隅の座標を付与する。

【0066】

ステップＳ１０４において、ＣＰＵ１１は、矩形領域３１に付与された四隅の座標を用いて、Ｘ軸方向、Ｙ軸方向に隣接する４つの矩形領域３１の代表点３３を導出する。

【0067】

ステップＳ１０５において、ＣＰＵ１１は、矩形領域画像において、導出した代表点３３を用いて、複数のグリッド線の候補３４を設定する。

【0068】

ステップＳ１０６において、ＣＰＵ１１は、任意の２つのグリッド線の候補３４の交点を導出し、複数の消失点の候補３５を設定する。

【0069】

ステップＳ１０７において、ＣＰＵ１１は、複数の消失点の候補３５を用いて、消失点の候補３５の中央値を導出する。

【0070】

ステップＳ１０８において、ＣＰＵ１１は、矩形領域画像において、消失点の候補３５から導出された中央値を消失点３８に設定する。

【0071】

ステップＳ１０９において、ＣＰＵ１１は、矩形領域画像において、グリッド線の候補３５が消失点３８を通るように、グリッド線の候補３５の傾きを補正して、グリッド線３６を再設定する。

【0072】

ステップＳ１１０において、ＣＰＵ１１は、矩形領域画像において、グリッド線３６に囲まれた領域に位置情報を再設定する

【0073】

ステップＳ１１１において、ＣＰＵ１１は、矩形領域画像において、グリッド線３６に囲まれた領域から欠損領域３７を推定する。

【0074】

ステップＳ１１２において、ＣＰＵ１１は、各々のグリッド線３６の距離を導出する。

【0075】

ステップＳ１１３において、ＣＰＵ１１は、グリッド線３６の距離からグリッド線の距離の比率を導出する。

【0076】

ステップＳ１１４において、ＣＰＵ１１は、各々のグリッド線３６の距離、及びグリッド線の距離の比率を用いて、欠損グリッド線３９を推定する。

【0077】

ステップＳ１１５において、ＣＰＵ１１は、欠損グリッド線３９に囲まれた欠損領域３７を推定する。

【0078】

ステップＳ１１６において、ＣＰＵ１１は、欠損領域３７に位置情報を付与する。

【0079】

以上、説明したように、本実施形態に係るタイル画像生成装置１０によれば、実空間において２方向の直線群によって一様に区画される目地の画像の一例である目地画像から当該画像に映っている目地から形成されているタイルを精度良く認識することができる。また、壁面のタイルの位置情報を精度良く認識することができる。

【0080】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0081】

本実施形態では、タイルが縦横に規則正しく並べられた芋目地を撮影した目地画像を用いた形態について説明した。しかし、これに限定されない。実空間において２方向の直線群によって一様に区画される目地であれば、どのようなものであってもよい。例えば、馬目地を撮影した目地画像であってもよいし、規則正しく周期的に並べられたタイルであれば如何なる目地画像であってもよい。

【符号の説明】

【0082】

１０ タイル画像生成装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入力部
１６ モニタ
１８ バス
２１ 取得部
２２ エッジ検出部
２３ 生成部
２４ 位置情報付与部
２５ グリッド線候補生成部
２６ 消失点候補生成部
２７ 消失点設定部
２８ グリッド線生成部
２９ 矩形領域設定部
３１ 矩形領域
３２ 破線矩形
３３ 代表点
３４ グリッド線の候補
３５ 消失点の候補
３６ グリッド線
３７ 欠損領域
３８ 消失点
３９ 欠損グリッド線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】