再表 2016-80437 画像処理装置および方法

(19)【発行国】日本国特許庁(JP)

【公報種別】再公表特許(A1)

(11)【国際公開番号】WO/0

(43)【国際公開日】2016年5月26日

【発行日】2017年4月27日

(54)【発明の名称】画像処理装置および方法

(51)【国際特許分類】

   G06F 17/50 20060101AFI20170407BHJP

   G06T 19/00 20110101ALI20170407BHJP

【ＦＩ】

   G06F17/50 634C

   G06F17/50 610C

   G06T19/00 300B

【審査請求】有

【予備審査請求】未請求

【全頁数】19

【出願番号】特願2016-514785(P2016-514785)

(21)【国際出願番号】PCT/0/0

(22)【国際出願日】2015年11月18日

(11)【特許番号】特許第5999802号(P5999802)

(45)【特許公報発行日】2016年9月28日

(31)【優先権主張番号】特願2014-236474(P2014-236474)

(32)【優先日】2014年11月21日

(33)【優先権主張国】JP

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US

(71)【出願人】

【識別番号】399127832

【氏名又は名称】株式会社ネクスト

(74)【代理人】

【識別番号】100144048

【弁理士】

【氏名又は名称】坂本 智弘

(74)【代理人】

【識別番号】100186679

【弁理士】

【氏名又は名称】矢田 歩

(74)【代理人】

【識別番号】100189186

【弁理士】

【氏名又は名称】大石 敏弘

(72)【発明者】

【氏名】秋山 剛

(72)【発明者】

【氏名】池田 和洋

(72)【発明者】

【氏名】上津原 一利

(72)【発明者】

【氏名】上野 哲史

【テーマコード（参考）】

5B046

5B050

【Ｆターム（参考）】

5B046AA03

5B046BA05

5B046DA08

5B046EA06

5B046FA16

5B050AA10

5B050BA08

5B050BA09

5B050BA18

5B050CA07

5B050DA04

5B050EA07

5B050EA09

5B050EA13

5B050EA19

(57)【要約】

ユーザが思いつくままにデザインし、デザインされたものの完成状態を３次元ＣＧ画像上で随時疑似体験できるようにすることを目的とし、画像処理装置１を、部屋空間にレイアウトされたパーツの集合を取り込む画像キャプチャ手段１０１と、色と形状により予め定義されたパーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段１０２と、オブジェクトのそれぞれをレイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段１０４と、により構成した。

【特許請求の範囲】

【請求項1】

部屋空間にレイアウトされたパーツの集合を取り込む入力手段と、
色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、
前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記画像解析手段は、
グリッドを単位に入力情報から予め定義された色毎の占有面積を求め、前記占有面積が所定の割合以上である色のブロックについて、前記定義された形状に基づくブロックマッチング処理を行い前記パーツの存在を判定することを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記画像解析手段は、
前記ブロックマッチング処理により壁要素となるパーツを判定し、前記壁要素の配置によって決まる床要素または天井要素に対し、前記グリッドを縦横に連結した長方形状の区画領域を割り当てることを特徴とする請求項２記載の画像処理装置。

【請求項4】

前記３次元画像生成手段は、
前記画像解析手段から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、前記分割した区画の交点に照明を配置し、所定の点灯条件にしたがい前記照明を点灯した前記３次元画像を生成して出力することを特徴とする請求項１記載の画像処理装置。

【請求項5】

部屋空間にレイアウトされたパーツの集合を取り込む第１のステップと、
色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する第２のステップと、
前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する第３のステップと、を有し、
前記オブジェクトは建材及び／又は家具を含み、
前記第３のステップにおいて、前記オブジェクトは、前記建材及び／又は前記家具の現物の寸法に比例して３次元空間上に配置されることを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、住宅の間取りやシュミレーションゲーム空間などの３次元空間のデザインを、２次元空間上の操作で簡易に制作することができる、画像処理装置および方法に関する。

【背景技術】

【0002】

コンピュータにより住宅、内装、家具などの建物に関する３次元形状データを作成し、この形状データを適宜配置して、間取りの形成や家具の配置を示す３次元ＣＧ（Computer Graphics）画像を生成する技術が知られている。また、表示された３次元ＣＧ画像中の視点を適宜変更して表示する、所謂、ＶＲ（Virtual Reality）によるプレゼンテーション技術も知られている（例えば、特許文献１，２，３参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平０７−２９６０４７号

【特許文献2】特開２００６−３１０４８６号

【特許文献3】特開２００４−１３５００号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１，２，３に開示された技術によれば、ユーザは、住宅メーカあるいは販売メーカ側が予め用意した素材の視聴を強いられ、思いつくままにデザインしたり、デザインされたものの完成状態を３次元空間で疑似体験することが困難であった。一般的に、建物に関するデザインは、専門家主体に進められ、手間と費用がかかり、素人や子供は携われないというイメージがある。新しい部屋や新しい家を考えることは楽しいことであり、専門知識を持たない者であっても、楽しみながら自分の嗜好に合ったデザインを行い、その完成状態を３次元空間で疑似体験できるツールの出現が望まれていた。これは住宅に関するデザインに限らず、シミュレーションゲームのシーンの自作などの３次元空間をデザインする場合に共通した課題であった。

【0005】

本発明は上記した課題を解決するためになされたものであり、ユーザが思いつくままにデザインし、デザインされたものの完成状態を３次元ＣＧ画像上で随時疑似体験できる画像処理装置および方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記した課題を解決するために本発明の画像処理装置は、部屋空間にレイアウトされたパーツの集合を取り込む画像キャプチャ手段と、色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段と、を備えることを特徴とする。

【0007】

本発明の画像処理装置において、前記画像解析手段は、グリッドを単位に入力情報から予め定義された色毎の占有面積を求め、前記占有面積が所定の割合以上である色のブロックについて、前記定義された形状に基づくブロックマッチング処理を行い前記パーツの存在を判定することを特徴とする。

【0008】

本発明の画像処理装置において、前記画像解析手段は、前記ブロックマッチング処理により壁要素となるパーツを判定し、前記壁要素の配置によって決まる床要素または天井要素に対し、前記グリッドを縦横に連結した長方形状の区画領域を割り当てることを特徴とする。

【0009】

本発明の画像処理装置において、前記３次元画像生成手段は、前記画像解析手段から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、前記分割した区画の交点に照明を配置し、所定の点灯条件にしたがい前記照明を点灯した前記３次元画像を生成して出力することを特徴とする。

【0010】

本発明の画像処理方法は、部屋空間にレイアウトされたパーツの集合を取り込む第１のステップと、色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する第２のステップと、前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する第３のステップと、を有し、前記オブジェクトは建材及び／又は家具を意味し、前記第３のステップにおいて、前記オブジェクトは、前記建材及び／又は前記家具の現物の寸法に比例して３次元空間上に配置されることを特徴とする。

【発明の効果】

【0011】

本発明によれば、ユーザ自らが２次元空間上でデザインを行い、デザイン結果を３次元空間で疑似体験でき、その変更も容易な画像処理装置および方法を提供することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。

【図2】図１のパーツリストの一例を示す図である。

【図3】本発明の実施の形態に係る画像処理装置の基本動作フロー図である。

【図4】図３のブロック情報のデータ化処理の詳細フロー図である。

【図5】図３のパーツ−オブジェクト変換処理の詳細フロー図である。

【図6】図３の床要素の生成処理の詳細フロー図である。

【図7】図３の出力データ生成処理の詳細フロー図である。

【図8】図３の３次元ＣＧ画像生成処理の詳細フロー図である。

【図9】天井要素の分割、および照明の自動配置処理の概要を示す模式図である。

【図10】キャプチャ画像の一例を示す図である。

【図11】３次元ＣＧ画像の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態と言う）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。

【0014】

（実施形態の構成）
図１は、本実施形態に係る画像処理装置１の構成を示すブロック図である。図１によれば、本実施形態に係る画像処理装置１は、処理部１０と、記憶部２０と、撮像部３０と、座標入力部４０と、操作部５０と、表示部６０とにより構成される。

【0015】

処理部１０は、記憶部２０のプログラム領域に記憶されたプログラムを実行する。即ち、ユーザによる、例えば、ブロック組立て、手書き、またはＰＣ（Personal Computer）へのデータ入力に従い、部屋空間にレイアウトされたパーツを検出する。次に、パーツの色と形状に基づきパーツのそれぞれをオブジェクトに変換し、オブジェクトとその配置位置を表すオブジェクト情報を基に３次元ＣＧ画像を生成する。処理部１０は、これらの処理を実行するため、画像キャプチャ手段１０１と、画像解析手段１０２と、パーツリスト１０３と、３次元画像生成手段１０４と、を含み構成される。

【0016】

画像キャプチャ手段１０１は、撮像部３０により、グリッド面６１（後述の図１０）上の画像認識面６２（図１０）を撮像し、画像認識面６２（図１０）上に形成された部屋空間６３（図１０）のパーツからなる撮像データを生成する。画像解析手段１０２は、撮像データに基づき、パーツの色と形状を判別し、パーツリスト１０３を参照して予め定義されたオブジェクトに変換し、このオブジェクトをパーツの配置位置に対応する所定の位置に配置し、３次元画像情報を生成するためのオブジェクト情報を生成する。

【0017】

パーツリスト１０３の一例が図２に示されている。ここでは、ブロック（玩具）を使用してパーツが表現されており、ブロックの色と形状により、パーツとしての具体物（オブジェクト）、壁、窓、バスタブ及びベットなどが定義されている。ユーザは、ブロックをレイアウトして、自分の嗜好にあったデザインを作り出す。画像解析手段１０２は、ブロックの色と形状を認識して、パーツの具体物を特定する。ブロックは、図１０に例示されるようなグリッド面６１上の画像認識面６２上に配置することができる。画像認識面６２には、部屋空間６３が形成されている。グリッド面６１は、４６×３６＝１６５６個のグリッドから構成されている。部屋空間６３は、３２×３２＝１０２４個のグリッドから構成されている。仮想空間上、１グリッド当たりの実寸を設定することにより、規格化された仮想空間を生成することができる。これら面のサイズは、適宜変更することができ、また１グリッド当たりの実寸を変更することもできる。一つのグリッドは、正方形状からなり、ブロックをはめ込むための丸い突起を有しているが、その形状は、単なる正方形状、丸のみなど、一つの区画（一単位）を表すことができる形状であれば、どのような形状でも構わない。

【0018】

図２に示すように、例えば、赤、青、緑、白、黄、橙、黒の７色のブロックを複数用意し、その形状によりパーツを定義する。例えば、赤ブロック１個は「壁」オブジェクトを表すパーツ、青ブロック２個は「窓」オブジェクトを表すパーツ、緑ブロック２個は「扉」オブジェクトを表すパーツ、白ブロック２個は「一人掛けソファ」オブジェクトを表すパーツ、黄ブロック２個は「トイレ」オブジェクトを表すパーツ、橙ブロック３個二段は「ローテーブル」オブジェクトを表すパーツ、黒ブロック１個は「観葉植物」オブジェクトを表すパーツ、黒ブロック２個は「ステレオコンポ」オブジェクトを表すパーツなどというような定義がなされている。なお、パーツの一つは、グリッド一つに対応する形状を有する。

【0019】

なお、パーツリスト１０３は、処理部１０ではなく記憶部２０に設けることもできる。

【0020】

画像解析手段１０２は、部屋空間６３の撮像データから１０２４個のグリッドを抽出し、グリッド毎に色判定を行い、色毎に占有面積を求め、色の占有面積が所定の割合以上である区画領域について、同一色であると判定し、その形状を検出し、検出した形状とパーツリスト１０３とのブロックマッチング処理によりパーツを特定する。また、ブロックマッチング処理により壁のパーツや窓のパーツが連続すると判定された場合、連続する壁オブジェクトや窓オブジェクトを一体化する連結処理がなされる。なお、図示されていないが、壁オブジェクト、窓オブジェクト、扉オブジェクトで閉ざされた空間を天井オブジェクトとして閉空間を形成し、天井高の疑似体験を実現することもできる。また、階段オブジェクトを用意して第二の部屋空間に配置し、操作部５０を用いてこの第二の部屋空間を天井オブジェクト上に重ねる指示を入力することにより、階層化されたデザインを実現することができる。また、１グリッド当たりの実寸（３次元ＣＧ画像中の寸法）は、建材や家具（家電製品や観葉植物などの物品も含む）のサイズ規格に合わせて、例えば窓や壁など建材については７５ｃｍもしくは９０ｃｍ、家具であれば７５ｃｍもしくは４５ｃｍといったようにパーツ毎に寸法を設定することができる。９０ｃｍ規格の建材、例えば壁のブロックが４グリッド分（実寸３．６ｍ）が直線上に並べられた場合、３次元ＣＧ画像での寸法も３．６ｍとして表される。オブジェクトは、このように建材及び／又は家具を含んでおり、建材及び／又は家具の現物の寸法に比例して３次元空間上に配置されることとなる。

【0021】

３次元画像生成手段１０４は、画像解析手段１０２から出力されるオブジェクト情報に基づき、オブジェクトを３次元空間上に配置して３次元ＣＧ画像を生成する。この３次元ＣＧ画像は表示部６０に出力される。３次元ＣＧ画像は、３点座標を持つパーツを２次元の座標の仮想スクリーン上に透視投影することにより生成することができる。３次元画像生成手段１０４は、仮想３次元空間上に設けられた仮想スクリーン上に個々のパーツを仮想的に透視投影するために、パーツが持つそれぞれの面を三角形や四角形のようなポリゴンの集合でモデル化し、得られるモデルを仮想３次元空間上に配置する。そして、モデルの形状、位置、そして光の当たり方等を計算（レンダリング）することにより３次元ＣＧ画像を生成する。そしてレンダリングによって得られる画像をレタッチによりコントラストや色味を手直しして最終的な画像として表示部６０へ出力する。

【0022】

なお、３次元画像生成手段１０４は、画像解析手段１０２から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、分割した区画の交点に照明を配置し、所定の点灯条件にしたがい照明を点灯した状態で、３次元ＣＧ画像を生成することもできる。

【0023】

記憶部２０には、半導体メモリが実装されており、上記したプログラム領域の他に、キャプチャ画像、解析処理中の画像、および３次元ＣＧ画像等を記憶する作業領域が割り当てられる。撮像部３０は、グリッド面にレイアウトされたブロック、方眼紙や白紙に描かれが色パターン（ブロックに相当する形状）を撮影するカメラである。座標入力部４０はパーツを表現する情報を入力するペンタブレットやタッチパッド等の入力装置である。操作部５０は、例えば、キーボード、マウス、あるいはジョイステック等の入力装置であり、ユーザによるレイアウト変更、ウォークスルー時の視点の移動等の指定を行う。パーツは、ブロックを利用することなく、方眼紙のマス目（グリッド）を所定の色で塗ることでも表現できる。また、白紙にフリーハンドで線画を描くことでも表現できる。この場合、入力手段として画像キャプチャ手段１０１ではなく、座標入力部４０や操作部５０を用いることになる。フリーハンドで描かれた線画をパーツとして認識する場合、画像解析手段１０２は、揺らぎをもって表現された線を直線として認識する揺らぎ処理を行うことになる。

【0024】

表示部６０は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示デバイスで構成され、例えば、図１０に示すキャプチャ画像や、図１１に示す３次元ＣＧ画像を表示する。また、表示部６０は、ＨＭＤ（Head Mounting Display）を含んでもよく、ＨＭＤにはウォークスルーモードでのＶＲ（Virtual Reality）画像を表示する。

【0025】

（実施形態の動作）
以下、図３以降のフローチャートを参照しながら、図１，図２に示す本実施形態に係る画像処理装置１の動作（画像処理方法）について詳細に説明する。

【0026】

図３に本実施形態に係る画像処理装置１の基本動作がフロー図で示されている。本実施形態に係る画像処理装置１を起動すると（ステップＳ１１“ＹＥＳ”）、処理部１０は、記憶部２０から設定ファイルを読み込んで、例えば、パーツリスト１０３に定義情報を設定し、また、画像解析および３次元画像生成に必要なタイマ値の設定等を行う初期設定を行なう（ステップＳ１２）。ここでは、画像解析手段１０２が１ｓ間隔で画像解析を行い、３次元画像生成手段１０４が３ｓ間隔で３次元ＣＧ画像の更新処理を行うこととする。

【0027】

次に、ユーザによりブロックの組み立て（配置）が行われると（ステップＳ１３“ＹＥＳ”）、処理部１０は、画像キャプチャ手段１０１が、例えば、図１０に一例を示すキャプチャ画像（グリッド面６１全体が撮影されているが、画像認識面６２のみの撮影でもよい）を取り込んで画像解析手段１０２へ引き渡す（ステップＳ１４。第１のステップともいう）。ここでキャプチャされた画像認識面６２の画像は、例えば、表示部６０の画面の右ウインドウに示す操作画面により色補正等が可能である。これを受けて画像解析手段１０２は、例えば、図４にその詳細手順を示すブロック情報のデータ化を行う（ステップＳ１５）。

【0028】

ブロック情報のデータ化にあたり、画像解析手段１０２は、色毎に処理を行う。この場合、赤と、青と、緑と、白に対応するため、４回処理を繰り返すことになる。まず、キャプチャ画像から得られる色設定情報（Ｈ，Ｓ，Ｖ値）を取得する（ステップＳ１５１）。ここでは、色相（Hue）と彩度（Saturation Chroma）と明度（Value Lightness）の３つの成分からなる色空間であるＨＳＶ色空間モデルを使用するものとする。続いて画像解析手段１０２は、取得した色設定情報に基づき、マスクイメージ化を行ない、色単位のブロック化を行う（ステップＳ１５２）。具体的に、画像解析手段１０２は、１個のブロック玩具で定義されるグリッド（格子）を単位に入力情報としてのキャプチャ画像から予め定義された色毎のブロック占有面積を求める（ステップＳ１５３，Ｓ１５４）。そして、その占有面積が所定の割合（例えば、４０％）以上である色ブロックについて、パーツリスト１０３を参照して色に基づく定義ブロックの存在有無を判定する（ステップＳ１５５）。

【0029】

ここで、定義ブロックがあれば（ステップＳ１５５“ＹＥＳ”）、壁要素の有無を判定し（ステップＳ１５６）、壁要素であれば（ステップＳ１５６“ＹＥＳ”）、そのプロックデータを配列とともに記憶部２０の作業領域に記憶し（ステップＳ１５７）、壁要素以外の家具要素であれば（ステップＳ１５６“ＮＯ”）、そのブロックデータを配列とともにデータ化して記憶部の２０の作業領域に記憶する（ステップＳ１５８）。

【0030】

説明を図３の基本動作フロー図に戻す。ブロック情報のデータ化処理が終了すると、画像解析手段１０２は、図５にその詳細手順を示すように、そのブロック情報に基づき、定義パーツをそのパーツの形状を示すオブジェクトに変換する処理を実行する（ステップＳ１６。第２のステップともいう）。図５によれば、画像解析手段１０２は、まず、データ化されたブロック情報からその形状情報を取得する（ステップＳ１６１）。そして、ブロックマッチング処理のため、開始グリッド位置からグリッド単位に縦横方向に走査を開始し（ステップＳ１６２）、パーツリストに定義された特定形状、すなわち図２に示された、ブロック一つで表現される壁、洗面台、スタンドライト、観葉植物以外のブロックの有無を判定する（ステップＳ１６３）。なお、壁を拡張形状と呼び、洗面台、スタンドライト、観葉植物を単一形状と呼ぶ。

【0031】

ブロックマッチング処理により特定形状ブロックが有ると判定されると（ステップＳ１６３“ＹＥＳ”）、その特定形状ブロックを特定するオブジェクトのデータを生成し、記憶部２０の作業領域にその配列とともに記憶する（ステップＳ１６４）。特定形状ブロックでなければ（ステップＳ１６３“ＮＯ”）、拡張形状ブロック、すなわち壁の判定を行う。

【0032】

拡張形状ブロックの判定にあたり、画像解析手段１０２は、まず、角領域の有無を判定する（ステップＳ１６５）。ここで、角領域ありと判定されると（ステップＳ１６５“ＹＥＳ”）角領域のデータ化、すなわち角領域を表すオブジェクトの配置（ステップS１６６）を行う。ステップＳ１６５が“ＮＯ”の場合、グリッドの横方向の連結有無の判定を行う（ステップＳ１６７）。ここで、横方向のグリッドが連結していれば（ステップＳ１６８“ＹＥＳ”）、横サイズをデータ化、例えば横方向に伸びる壁を表すオブジェクトの配置を行い（ステップＳ１６８）、横方向のグリッドが連結されていなければ（ステップＳ１６７“ＮＯ”）、縦方向のグリッドの連結の有無無を判定する（ステップＳ１６９）。縦方向のグリッドが連結されていれば（ステップＳ１６９“ＹＥＳ”）、縦サイズをデータ化、例えば縦方向に伸びる壁を表すオブジェクトの配置を行い、記憶部２０の作業領域に記憶する（ステップＳ１７０）。その後、拡張ブロックのデータ化を行う（ステップＳ１７１）。

【0033】

説明を図３の基本動作フロー図に戻す。ブロック情報に基づくパーツ−オブジェクト変換の後、画像解析手段１０２は、図６にその詳細手順を示す床データの生成を行う（ステップＳ１７）。図６によれば、画像解析手段１０２は、まず、記憶部の作業領域に記憶されてある壁要素のデータを判定対象から除外する（ステップＳ１７５）。そして、或るグリッドについて、３方向が壁要素に囲まれているか判定する（ステップＳ１７６）。この判定処理は、壁要素ではないグリッドの全てに対して繰り返される。繰り返しが完了した場合、判定結果が“ＹＥＳ”のグリッドに対しては、床データを、必要に応じて連結して作成する（ステップＳ１７７）。なお、パーツリスト１０３には定義されていないが、床についても、同様のデータを用意している。さらに、天井についても、同様にデータが用意され、床データにより表される形状に等価な天井データを生成することができる。天井と壁の連結処理においては、連結部分から仮想的な光が入らないように、床の形状よりも一回り大きな形状を生成する処理を行っている。

【0034】

説明を図３の基本動作フロー図に戻す。床データの生成後、画像解析手段１０２は、図７にその詳細手順を示す、３次元画像生成手段１０４へ引き渡すための出力データを作成する（ステップＳ１８）。図７によれば、画像解析手段１０２は、単一形状ブロックの有無の判定を行い単一形状が検出されたら単一形状ブロック（洗面台、スタンドライト、観葉植物）のオブジェクトを生成し、図４，５，６のフロー図に従い生成された、拡張形状ブロック（壁）、特定形状ブロック（窓、扉、キッチン等）、そして床ブロック、更に必要に応じて天井ブロックのオブジェクトを統合し（ステップＳ１８１）、その統合データをウェブ準拠のｊｓｏｎデータ形式に変換する（ステップＳ１８２）。そして、そのｊｓｏｎデータを３次元画像生成手段１０４へ出力する（ステップＳ１８３）。

【0035】

すなわち、画像解析手段１０２は、グリッドを単位に入力情報としてのキャプチャ画像から予め定義された色毎の占有面積を求め、占有面積が所定の割合以上である色のブロックについて、定義された形状に基づくブロックマッチング処理を行いパーツの存在を判定する。また、ブロックマッチング処理により壁要素となるパーツを判定し、壁要素の配置によって決まる床要素または天井要素に対し、グリッドを縦横に連結した長方形状の区画領域を割り当てる処理を実行する。

【0036】

説明を図３の基本動作フロー図に戻す。画像解析手段１０２は、出力データを作成後、ユーザが操作部５０を操作して家具等の配置転換等の要求があれば（ステップＳ１９“ＹＥＳ”）、画像解析手段１０２は、作成した出力データを更新して３次元画像生成手段１０４へ引き渡す（ステップＳ２０）。これを受けて３次元画像生成手段１０４は、変換されたオブジェクトのそれぞれをレイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する（ステップＳ２１。第３のステップともいう）。３次元画像の生成、表示のための詳細な手順が図８に示されている。オブジェクトは、前述のとおり、建材及び／又は家具を含んでおり、第３のステップにおいて、建材及び／又は家具の現物の寸法に比例して３次元空間上に配置されることとなる。

【0037】

図８によれば、３次元画像生成手段１０４は、まず、記憶部２０の作業領域から、画像解析手段１０２により作成されたｊｓｏｎデータを読み出す（ステップＳ２１１）。続いて、そのｊｓｏｎデータに、３ｓ前に読み出したデータとの差分があれば（ステップＳ２１２“ＹＥＳ”）、その差分に基づくデータを更新し（ステップＳ２１３）、３Ｄモデルの配置を行う（ステップＳ２１４）。そして、モデルの形状、位置、そして光の当たり方等を計算（レンダリング）して３次元ＣＧ画像を生成し、表示部６０に表示する。

【0038】

ここで、ユーザが操作部５０を操作することにより、内装の種類や家具の配置変更要求があれば（ステップＳ２１５“ＹＥＳ”）、３次元画像生成手段１０４は、該当パーツの３Ｄモデルを更新し（ステップＳ２１６）、更新後の３次元ＣＧ画像が表示部６０に表示される（ステップＳ２１７）。この時点までは、天井要素を表示しない処理を基本とする。さらにユーザが操作部５０を操作し、ウォークスルーモードでの表示要求があれば（ステップＳ２１８“ＹＥＳ”）、３次元画像生成手段１０４は、画像解析手段１０２から出力される長方形状の天井要素に対して、グリッドを縦横に所定数並べたブロックを単位に縦横に分割し、分割したブロックの交点に照明を配置する（ステップＳ２１９）。

【0039】

図９（ａ）に、天井要素の分割の仕組みが示されている。図９（ａ）に示すように、天井は、長方形になるように分割され、左上を基準に、右方向に向かって連結されるところまでつなげ、次に縦方向につなげる。図９（ｂ）に、照明の自動配置処理の概要を示す模式図が示されている。図９（ｂ）によれば、天井のサイズ７．５［ｍ］基準に閾値を超えたら１個照明が増える仕組みになっている。ここで、閾値は、７．５［ｍ］，１５［ｍ］，２２．５［ｍ］等、７．５［ｍ］の倍数とする。

【0040】

本実施形態によれば、縦横方向共に同じ仕組みで照明が自動配置され、それぞれ７．５［ｍ］を超える毎に２個配置が増える。配置に関しては、照明設置数＋１で天井を縦分割、横分割し、その交点に照明が配置される仕組みになっている。なお、照明の照射範囲は、長辺を基準に端まで照射できるように範囲設計されるものとする。

【0041】

説明を図８に戻す。天井要素の分割、および照明の自動配置処理後、３次元画像生成手段１０４は、例えば、視点位置と明るさの関係によって決まる所定の点灯条件に合致すれば（ステップＳ２２０“ＹＥＳ”）、その照明を点灯した３次元画像を生成する（ステップＳ２２１）。

【0042】

なお、ウォークスルーモードでの３次元ＣＧ画像表示にあたり、３次元画像生成手段１０４は、壁や家具等、住宅に関するＣＧ画像を予めＣＡＤ（Computer Aided Design）等の３次元画像作成支援ソフトウェアにより作成しておき、３次元形状データに対して仮想的な視点位置を設定することができる。例えば、図１１に示すように、部屋空間６３に対応する３次元ＣＧ画像表示６３ａの内部に存在することを疑似体験できる仮想的な視点位置をオペレータの入力操作（矢印カーソル）に応じて３次元形状データに対して停止または所望の方向に移動させる。そして、３次元画像データと視点位置とに基づく演算により間取り等を所定位置から見た状態を擬似的に表現する３次元ＣＧ画像データを生成し、視点位置が停止している場合は静止画像で、視点位置が移動している場合は視野変換（レンダリング）によりＣＧ画像を動画表示（ＶＲ）する（ステップＳ２２２）。

【0043】

すなわち、３次元画像生成手段１０４は、オブジェクトのそれぞれをレイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する。また、画像解析手段１０２から出力される長方形状の天井要素を、グリッドを縦横に所定数並べたブロックを単位に縦横に分割し、前記分割したブロックの交点に照明を配置し、所定の点灯条件にしたがい照明を点灯した３次元ＣＧ画像を生成して出力する。その際、ユーザは、マウス等の操作部５０を使用して入力操作を行うことで視点位置の移動方向、速度を調整し、このことにより、住宅の内外を歩き回りながら観察しているのと同様の感覚で、例えば、壁面の凹凸、質感、壁紙等の模様等を子細に検討し、あるいは評価することができる。また、視点位置を目的位置に接近させることで壁面が拡大表示され、壁面と売り微妙なニュアンスも確認できる。なお、天井要素は、ウォークスルーモードに入る前に結合して３次元画像空間を生成することもできる。この場合、照明もウォークスルーモードに入る前に配置されることになる。

【0044】

（実施形態の効果）
以上説明のように本実施形態に係る画像処理装置１によれば、処理部１０（画像キャプチャ手段１０１）が、部屋空間にレイアウトされたパーツの集合を取り込み、画像解析手段１０２が、色と形状により予め定義されたパーツのそれぞれを画像認識して対応するオブジェクトに変換し、３次元画像生成手段１０４が、当該オブジェクトのそれぞれをレイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する。このため、ユーザは、例えば、２次元空間上でブロック玩具を組み立てるだけで、そのデザインに対応する３次元ＣＧ画像を制作することがで、さらにこの３次元ＣＧ画像空間を移動する疑似体験をすることができる。ユーザは、３次元空間上で、内装や家具の配置等を確認することができる。また、方眼紙や白紙を用いた表記や、操作部５０を用いたパーツ表現でも同様の効果を得ることができ、ユーザがデザインする対象は、パーツリスト１０３の設定を変更して３次元空間上に配置したいオブジェクトとその扱いを適宜定義して、画像解析手段１０２及び３次元画像生成手段１０４にて処理することにより、シミュレーションゲームのシーンの自作などの３次元空間をデザインする場合に対応することができる。

【0045】

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またそのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0046】

１…画像処理装置、１０…処理部、２０…記憶部、３０…撮像部、４０…座標入力部、５０…操作部、６０…表示部、６１…グリッド面、６２…画像認識面、６３…部屋空間、６３ａ…３次元ＣＧ画像表示、１０１…画像キャプチャ手段、１０２…画像解析手段、１０３…パーツリスト、１０４…３次元画像生成手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2016年6月29日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

部屋空間にレイアウトされたパーツの集合を取り込む入力手段と、
色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、
前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段と、
を備え、
前記画像解析手段は、
グリッドを単位に入力情報から予め定義された色毎の占有面積を求め、前記占有面積が所定の割合以上である色のブロックについて、前記定義された形状に基づくブロックマッチング処理を行い前記パーツの存在を判定し、
前記ブロックマッチング処理により壁要素となるパーツを判定し、前記壁要素の配置によって決まる床要素または天井要素に対し、前記グリッドを縦横に連結した長方形状の区画領域を割り当てることを特徴とする画像処理装置。

【請求項2】

部屋空間にレイアウトされたパーツの集合を取り込む入力手段と、
色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、
前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段と、
を備え、
前記３次元画像生成手段は、
前記画像解析手段から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、前記分割した区画の交点に照明を配置し、所定の点灯条件にしたがい前記照明を点灯した前記３次元画像を生成して出力することを特徴とする画像処理装置。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

上記した課題を解決するために本発明の画像処理装置は、部屋空間にレイアウトされたパーツの集合を取り込む画像キャプチャ手段と、色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段と、を備え、前記画像解析手段は、グリッドを単位に入力情報から予め定義された色毎の占有面積を求め、前記占有面積が所定の割合以上である色のブロックについて、前記定義された形状に基づくブロックマッチング処理を行い前記パーツの存在を判定し、前記ブロックマッチング処理により壁要素となるパーツを判定し、前記壁要素の配置によって決まる床要素または天井要素に対し、前記グリッドを縦横に連結した長方形状の区画領域を割り当てることを特徴とする。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】削除

【補正の内容】

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】削除

【補正の内容】

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

本発明の画像処理装置は、部屋空間にレイアウトされたパーツの集合を取り込む入力手段と、色と形状により予め定義された前記パーツのそれぞれを画像認識して対応するオブジェクトに変換する画像解析手段と、前記オブジェクトのそれぞれを前記レイアウトに基づき３次元空間上に配置し、得られる３次元ＣＧ画像を出力する３次元画像生成手段と、を備え、前記３次元画像生成手段は、前記画像解析手段から出力される長方形状の天井要素を、グリッドを縦横に所定数並べた区画を単位に縦横に分割し、前記分割した区画の交点に照明を配置し、所定の点灯条件にしたがい前記照明を点灯した前記３次元画像を生成して出力することを特徴とする。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】削除

【補正の内容】

【国際調査報告】