特許 5937745 画像表示装置、画像表示方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5937745

(24)【登録日】2016年5月20日

(45)【発行日】2016年6月22日

(54)【発明の名称】画像表示装置、画像表示方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20160609BHJP

   G06F 17/50 20060101ALI20160609BHJP

【ＦＩ】

   G06T19/00 A

   G06F17/50 602L

【請求項の数】12

【全頁数】18

(21)【出願番号】特願2015-242444(P2015-242444)

(22)【出願日】2015年12月11日

【審査請求日】2016年1月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】594029207

【氏名又は名称】株式会社東急コミュニティー

(73)【特許権者】

【識別番号】512165628

【氏名又は名称】サイトセンシング株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100169753

【弁理士】

【氏名又は名称】竹内 幸子

(74)【代理人】

【識別番号】100200089

【弁理士】

【氏名又は名称】山田 出

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148149

【弁理士】

【氏名又は名称】渡邉 幸男

(74)【代理人】

【識別番号】100134599

【弁理士】

【氏名又は名称】杉本 和之

(72)【発明者】

【氏名】石川 智也

(72)【発明者】

【氏名】大鐘 大介

(72)【発明者】

【氏名】小島 昌樹

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１１−０７６３８２（ＪＰ，Ａ）

【文献】 特開２００７−０８６７１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００ − １９／２０

Ｇ０６Ｆ １７／５０

(57)【特許請求の範囲】

【請求項1】

構造物の３次元モデル画像を表示する表示部と、
前記３次元モデル画像の視点情報を取得する視点情報取得部と、
前記視点情報取得部が取得した前記視点情報が示す視点における３次元モデル画像を２次元画像に変換する２次元画像変換部と、
前記視点情報取得部が取得した視点情報をコード化した視点情報コードを作成する視点情報コード化部と、
前記２次元画像変換部が変換した前記２次元画像と前記視点情報コード化部が作成した視点情報コードとを同一の紙面で印刷する印刷処理部と、
前記印刷処理部が印刷した紙面の前記２次元画像への書き込みと、前記視点情報コードと、を読み取る画像読取部と、
前記画像読取部で読み取った前記書き込みの情報と、前記３次元モデル画像とが対応する箇所を、前記視点情報コードを用いて判別して、前記書き込みの情報を前記３次元モデル画像に含めて表示する表示制御部と、
を備える画像表示装置。

【請求項2】

前記画像読取部で読み取った前記書き込みの情報は、特定の色を付されたものであり、
前記画像読取部が読み取った前記書き込みの情報から選択した色領域又は線分を含む選択箇所を抽出する選択箇所抽出部と、
前記３次元モデル画像の、前記視点情報が示す視点において視認可能な箇所を示す可視箇所を抽出する可視箇所抽出部と、
前記選択箇所抽出部が抽出する選択箇所と、前記可視箇所抽出部が抽出する可視箇所と、が一致する箇所を判別するマッチング部と、を更に備え、
前記表示制御部は、前記一致する箇所に前記選択箇所抽出部が抽出した選択箇所の情報を含めて表示する、
請求項１に記載の画像表示装置。

【請求項3】

前記可視箇所抽出部は、前記３次元モデル画像の前記視点情報が示す視点において視認可能な平面である可視平面を抽出し、
前記マッチング部は、一致すると判別された箇所の前記可視平面の面積又は長さを計算して出力する、
請求項２に記載の画像表示装置。

【請求項4】

前記選択箇所抽出部は、予め定めた大きさ以上の選択箇所を抽出する、
請求項２又は３に記載の画像表示装置。

【請求項5】

前記マッチング部は、前記可視箇所のエッジと、前記選択箇所のエッジと、に交差する複数の直線上における、前記可視箇所のエッジと前記選択箇所のエッジとの距離の和が予め定めた値以下であるときに、一致すると判別する、
請求項２乃至４のいずれか１項に記載の画像表示装置。

【請求項6】

前記視点情報は、視点の座標、視線方向、焦点距離、及び、視界画像の大きさの少なくとも１つを含む、
請求項１から５のいずれか１項に記載の画像表示装置。

【請求項7】

前記２次元画像変換部が変換する前記２次元画像は、前記３次元モデル画像のエッジを含む線画である、
請求項１から６のいずれか１項に記載の画像表示装置。

【請求項8】

前記２次元画像変換部は、前記視点情報が示す視点における３次元モデル画像において、前記視点と前記３次元モデル画像の間に仮想した視界画像面に対して、前記３次元モデル画像中の視認可能なエッジ、及び、前記３次元モデル画像に示されたテクスチャから抽出したエッジを投影して前記線画に変換する、
請求項７に記載の画像表示装置。

【請求項9】

前記印刷処理部は、前記視点情報コードと前記２次元画像とともに、色校正用枠を印刷し、
前記画像読取部は、前記色校正用枠に書き込まれた色を元に、色の範囲を特定し、特定された範囲の色で書き込まれた前記２次元画像への書き込みを読み取る、
請求項１から８のいずれか１項に記載の画像表示装置。

【請求項10】

前記視点情報コード化部は、マトリックス型の２次元コードである前記視点情報コードを作成する、
請求項１から９のいずれか１項に記載の画像表示装置。

【請求項11】

構造物の３次元モデル画像を表示する表示ステップと、
前記３次元モデル画像の視点情報を取得する視点情報取得ステップと、
前記視点情報取得ステップで取得した前記視点情報が示す視点における３次元モデル画像を２次元画像に変換する２次元画像変換ステップと、
前記視点情報取得ステップで取得した視点情報をコード化した視点情報コードを作成する視点情報コード化ステップと、
前記２次元画像変換ステップで変換した前記２次元画像と前記視点情報コード化ステップで作成した視点情報コードとを同一の紙面で印刷する印刷処理ステップと、
前記印刷処理ステップで印刷した紙面の前記２次元画像への書き込みと、前記視点情報コードと、を読み取る画像読取ステップと、
前記画像読取ステップで読み取った前記書き込みの情報と、前記３次元モデル画像とが対応する箇所を、前記視点情報コードを用いて判別して、前記書き込みの情報を前記３次元モデル画像に含めて表示する表示制御ステップと、
を有する画像表示方法。

【請求項12】

コンピュータを、
構造物の３次元モデル画像を表示する表示部、
前記３次元モデル画像の視点情報を取得する視点情報取得部、
前記視点情報取得部が取得した前記視点情報が示す視点における３次元モデル画像を２次元画像に変換する２次元画像変換部、
前記視点情報取得部が取得した視点情報をコード化した視点情報コードを作成する視点情報コード化部、
前記２次元画像変換部が変換した前記２次元画像と前記視点情報コード化部が作成した視点情報コードとを同一の紙面で印刷する印刷処理部、
前記印刷処理部が印刷した紙面の前記２次元画像への書き込みと、前記視点情報コードと、を読み取る画像読取部、
前記画像読取部で読み取った前記書き込みの情報と、前記３次元モデル画像とが対応する箇所を、前記視点情報コードを用いて判別して、前記書き込みの情報を前記３次元モデル画像に含めて表示する表示制御部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元モデル画像を表示する画像表示装置、画像表示方法及びプログラムに関する。

【背景技術】

【0002】

近年、建築物等の構造物を３次元モデル画像で表示する画像表示装置が様々な用途で用いられている。３次元モデル画像を２次元化して印刷した紙面に元の３次元画像の情報を含めておき、その紙面をスキャナで読み取って、元の３次元モデル画像を取得する装置が提案されている（例えば、特許文献１）。

【0003】

特許文献１に記載の印刷制御装置は、３次元画像を平面に投影した２次元画像を紙面に印刷したとき、画像とともに、３次元画像データの所在を示すアドレス情報を画像化して同一紙面に埋め込む。その画像をスキャナで読み取る際、埋め込まれた画像からアドレス情報を取得し、当該アドレス情報に基づいて３次元データを取得し、３次元画像印刷手段により印刷する。この装置により、紙面に印刷した２次元画像から当該画像の３次元画像を取得して再利用できると説明している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−４１６２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

建築物についての交渉等の場面では、紙面を用い、紙面に情報を記入する場合がある。そういった場面では、３次元モデル画像を２次元化して印刷した紙面を利用する。印刷した紙面に記入した情報を３次元モデル画像に反映するには、操作者が手作業で入力する必要があった。

【0006】

また、建築物を３次元モデル画像で表した場合、構造が複雑であるため、視点位置や焦点距離によって、２次元化したときの２次元画像は大きく異なる。特許文献１に記載の方法で、３次元モデル画像を取得することができても、３次元モデル画像のどの部分を示しているのか把握が困難であり、紙面に記入した情報を反映するのに多くの時間を要し、また、誤った情報を入力してしまう虞があった。

【0007】

本発明は、上記実情に鑑みてなされたものであり、３次元モデル画像を２次元化して印刷した紙面に記入した情報を容易に元の３次元モデル画像に反映して画像表示することのできる画像表示装置等を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の第１の観点に係る画像表示装置は、
構造物の３次元モデル画像を表示する表示部と、
前記３次元モデル画像の視点情報を取得する視点情報取得部と、
前記視点情報取得部が取得した前記視点情報が示す視点における３次元モデル画像を２次元画像に変換する２次元画像変換部と、
前記視点情報取得部が取得した視点情報をコード化した視点情報コードを作成する視点情報コード化部と、
前記２次元画像変換部が変換した前記２次元画像と前記視点情報コード化部が作成した視点情報コードとを同一の紙面で印刷する印刷処理部と、
前記印刷処理部が印刷した紙面の前記２次元画像への書き込みと、前記視点情報コードと、を読み取る画像読取部と、
前記画像読取部で読み取った前記書き込みの情報と、前記３次元モデル画像とが対応する箇所を、前記視点情報コードを用いて判別して、前記書き込みの情報を前記３次元モデル画像に含めて表示する表示制御部と、
を備えることを特徴とする。

【0009】

前記画像読取部で読み取った前記書き込みの情報は、特定の色を付されたものであり、
前記画像読取部が読み取った前記書き込みの情報から選択した色領域又は線分を含む選択箇所を抽出する選択箇所抽出部と、
前記３次元モデル画像の、前記視点情報が示す視点において視認可能な箇所を示す可視箇所を抽出する可視箇所抽出部と、
前記選択箇所抽出部が抽出する選択箇所と、前記可視箇所抽出部が抽出する可視箇所と、が一致する箇所を判別するマッチング部と、を更に備え、
前記表示制御部は、前記一致する箇所に前記選択箇所抽出部が抽出した選択箇所の情報を含めて表示してもよい。

【0010】

前記可視箇所抽出部は、前記３次元モデル画像の前記視点情報が示す視点において視認可能な平面である可視平面を抽出し、
前記マッチング部は、一致すると判別された箇所の前記可視平面の面積又は長さを計算して出力してもよい。

【0011】

前記選択箇所抽出部は、予め定めた大きさ以上の選択箇所を抽出するようにしてもよい。

【0012】

前記マッチング部は、前記可視箇所のエッジと、前記選択箇所のエッジと、に交差する複数の直線上における、前記可視箇所のエッジと前記選択箇所のエッジとの距離の和が予め定めた値以下であるときに、一致すると判別してもよい。

【0013】

前記視点情報は、視点の座標、視線方向、焦点距離、及び、視界画像の大きさの少なくとも１つを含んでもよい。

【0014】

前記２次元画像変換部が変換する前記２次元画像は、前記３次元モデル画像のエッジを含む線画であってもよい。

【0015】

前記２次元画像変換部は、前記視点情報が示す視点における３次元モデル画像において、前記視点と前記３次元モデル画像の間に仮想した視界画像面に対して、前記３次元モデル画像中の視認可能なエッジ、及び、前記３次元モデル画像に示されたテクスチャから抽出したエッジを投影して前記線画に変換してもよい。

【0016】

前記印刷処理部は、前記視点情報コードと前記２次元画像とともに、色校正用枠を印刷し、
前記画像読取部は、前記色校正用枠に書き込まれた色を元に、色の範囲を特定し、特定された範囲の色で書き込まれた前記２次元画像への書き込みを読み取ってもよい。

【0017】

前記視点情報コード化部は、マトリックス型の２次元コードである前記視点情報コードを作成してもよい。

【0018】

また、本発明の第２の観点に係る画像表示方法は、
構造物の３次元モデル画像を表示する表示ステップと、
前記３次元モデル画像の視点情報を取得する視点情報取得ステップと、
前記視点情報取得ステップで取得した前記視点情報が示す視点における３次元モデル画像を２次元画像に変換する２次元画像変換ステップと、
前記視点情報取得ステップで取得した視点情報をコード化した視点情報コードを作成する視点情報コード化ステップと、
前記２次元画像変換ステップで変換した前記２次元画像と前記視点情報コード化ステップで作成した視点情報コードとを同一の紙面で印刷する印刷処理ステップと、
前記印刷処理ステップで印刷した紙面の前記２次元画像への書き込みと、前記視点情報コードと、を読み取る画像読取ステップと、
前記画像読取ステップで読み取った前記書き込みの情報と、前記３次元モデル画像とが対応する箇所を、前記視点情報コードを用いて判別して、前記書き込みの情報を前記３次元モデル画像に含めて表示する表示制御ステップと、
を有することを特徴とする。

【0019】

また、本発明の第３の観点に係るプログラムは、
コンピュータを、
構造物の３次元モデル画像を表示する表示部、
前記３次元モデル画像の視点情報を取得する視点情報取得部、
前記視点情報取得部が取得した前記視点情報が示す視点における３次元モデル画像を２次元画像に変換する２次元画像変換部、
前記視点情報取得部が取得した視点情報をコード化した視点情報コードを作成する視点情報コード化部、
前記２次元画像変換部が変換した前記２次元画像と前記視点情報コード化部が作成した視点情報コードとを同一の紙面で印刷する印刷処理部、
前記印刷処理部が印刷した紙面の前記２次元画像への書き込みと、前記視点情報コードと、を読み取る画像読取部、
前記画像読取部で読み取った前記書き込みの情報と、前記３次元モデル画像とが対応する箇所を、前記視点情報コードを用いて判別して、前記書き込みの情報を前記３次元モデル画像に含めて表示する表示制御部、
として機能させることを特徴とする。

【発明の効果】

【0020】

本発明によれば、３次元モデル画像を２次元化して印刷した紙面に記入した情報を容易に元の３次元モデル画像に反映して画像表示することが可能になる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態１に係る画像表示装置のハードウェア構成を示すブロック図である。

【図2】画像表示装置の機能構成を示す機能ブロック図である。

【図3】３次元モデル画像の表示例を示す図である。

【図4】他の視点の３次元モデル画像の表示例を示す図である。

【図5】３次元モデル画像を変換した線画を示す図である。

【図6】線画の印刷紙面を示す図である。

【図7】印刷紙面に色ペンで記入した状態を示す図である。

【図8】紙面情報反映処理のフローチャートを示す図である。

【図9】３次元モデル画像の線画化処理のフローチャートを示す図である。

【図10】３次元モデル画像のエッジ検出を説明するための図である。

【図11】３次元モデル画像のテクスチャのエッジ検出を説明するための図である。

【図12】選択色領域・選択線分を抽出する方法を説明するための図である。

【図13】選択色領域・選択線分を抽出する処理のフローチャートを示す図である。

【図14】選択色領域・選択線分と可視平面のマッチング処理のフローチャートを示す図である。

【図15】選択色領域・選択線分と可視平面をマッチングする方法を説明するための図である。

【発明を実施するための形態】

【0022】

（実施形態）
本発明の実施形態について図面を参照して詳細に説明する。本実施形態では、３次元構造物が建築物であり、建築物の外観及び内観の３次元データからなる３次元モデル画像を用いる場合について説明する。

【0023】

画像表示装置１００は、３次元モデル画像を表示する表示プログラム及び紙面情報反映処理のプログラムがインストールされたパソコン、サーバ、スマートフォン、タブレット型端末等の任意の情報処理端末から構成される。

【0024】

本実施形態に係る画像表示装置１００は、３次元モデル画像を表示すると共に３次元モデル画像を２次元の線画に変換した紙面に書き込まれた情報を３次元モデル画像に反映する機能を有する情報処理装置である。図１に示すように、画像表示装置１００は、制御部１と、記憶部２と、入力部３と、表示部４と、通信部５と、バス６と、を備える。

【0025】

制御部１は、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、ＣＰＵ（Central Processing Unit）と、を備える。ＲＯＭは、各種初期設定、ハードウェアの検査、プログラムのロード等を行うための初期プログラム等を記憶する。ＲＡＭは、ＣＰＵが実行する各種ソフトウェアプログラム、これらのソフトウェアプログラムの実行に必要なデータ等を一時的に記憶するワークエリアとして機能する。ＣＰＵは、様々な処理及び演算を実行する中央演算処理部である。

【0026】

記憶部２は、例えばハードディスクドライブ又はフラッシュメモリ等のような不揮発性メモリを備える。記憶部２は、建築物の３次元データを３次元モデルで表示するための画像処理プログラム、及び、本実施形態に係る紙面情報反映処理プログラム等の各種プログラムを記憶する。

【0027】

入力部３は、画面上の位置を指定するポインティングデバイス、及び、文字及び数字を入力する文字入力デバイスからなり、入力部３に対するユーザの操作に基づく操作信号を制御部１に出力する。入力部３をタッチパネルで構成し、タッチ操作により、画面上の位置を指定し、文字及び数字を入力するようにしてもよい。

【0028】

表示部４は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等のような表示デバイスを備える。表示部４は、制御部１から画像信号等を取得して表示デバイスの画面に出力する。

【0029】

通信部５は、任意の通信方式で外部機器とデータ信号を送受信する。通信方式は、有線でも無線でもよい。通信部５は、印刷機及びスキャナ又はカメラとデータの送受信を行う。

【0030】

バス６は、制御部１と、記憶部２と、入力部３と、表示部４と、通信部５を接続する。

【0031】

画像表示装置１００の制御部１は、記憶部２に記憶している紙面情報反映処理プログラムを実行することにより、図２に示すように、操作入力取得部１０１、視点情報取得部１０２、３次元データ取得部１０３、表示制御部１０４、線画変換部１０５、視点情報コード化部１０６、印刷処理部１０７、画像読取部１０８、視点情報復元部１０９、選択色領域・選択線分抽出部１１０、可視平面抽出部１１１、マッチング部１１２として機能する。

【0032】

操作入力取得部１０１は、入力部３よりユーザの操作入力を取得する。操作入力取得部１０１は、表示部４に表示されている３次元モデル画像に対して、視点情報に係る操作信号を取得し、視点情報取得部１０２に出力する。また、視点情報に係る操作以外の３次元モデル画像の移動、表示切替等の表示を操作する操作信号を取得し、表示制御部１０４に出力する。

【0033】

視点情報取得部１０２は、操作入力取得部１０１から入力される視点情報に係る操作信号を取得し、３次元モデル画像を表示する際の視点等を決定し、表示制御部１０４に出力する。視点情報は、視点の座標、視線方向、焦点距離、及び、視界画像の大きさの情報を含む。視点情報に係る操作信号は、例えば、視点決定モードに設定した状態で、ユーザがカーソルを動かす操作をした場合に、視点情報取得部１０２は、操作入力取得部１０１から当該操作に基づく操作信号を取得し、カーソルの位置に応じた視点の座標、視線方向を決定し、表示制御部１０４に視点情報を出力する。

【0034】

３次元データ取得部１０３は、記憶部２に記憶されている３次元モデル画像の３次元データを取得し、表示制御部１０４に出力する。３次元データ取得部１０３が取得する３次元データは、３次元モデル画像で表された建築物の表面の３次元座標と、当該座標における色情報を含む。

【0035】

表示制御部１０４は、操作入力取得部１０１、視点情報取得部１０２、３次元データ取得部１０３、マッチング部１１２から入力される各種情報に基づいて、表示部４に３次元モデル画像、印刷画面及びマッチング結果等を表示させる表示制御信号を生成し、表示部４に出力する。

【0036】

表示制御部１０４が出力する表示制御信号に基づいて表示部４に表示された３次元モデル画像は、図３に示すような画像である。本実施形態においては、マンションの３次元モデル画像２００の場合について説明する。図３の３次元モデル画像２００の中央から紙面に垂直手前方向に延びた直線上に視点がある。また、視線方向は、視点から３次元モデル画像２００の中心に延びている。

【0037】

表示部４にはカーソル２１０も表示されており、ユーザが入力部３のポインティングデバイスを操作することによりカーソル２１０を任意の方向に移動させることができ、このカーソル２１０の移動方向に応じて、視点位置が変更され、３次元モデル画像２００は回転する。また、特定のキー入力と同時にカーソル２１０を移動させることにより視線方向を変えるようにしてもよい。

【0038】

表示部４に表示される３次元モデル画像２００は、ユーザが入力部３を操作することにより、ズームイン又はズームアウトすることができる。つまり、視点位置が建築物の表面に向かって近づき又は遠ざかる。例えば、入力部３がマウスホイールを備えたマウスの場合には、マウスホイールを回転させることでズームイン又はズームアウトすることができる。また、入力部３がタッチパネルの場合はピンチインすることでズームアウトし、ピンチアウトすることでズームインすることができる。

【0039】

焦点距離は、３次元モデル画像２００の表面の表示したいところが適切に表示されるように決定する。また、視界画像の大きさは、視点位置と３次元モデル画像２００を表示するウィンドウの大きさ等に基づいて決定する。

【0040】

図３に示したマンションの３次元モデル画像２００に対して、視点情報に係る操作をすることにより、図４に示すような建物の特定の面を正面に向けた３次元モデル画像２２０を表示させることができる。

【0041】

線画変換部１０５は、表示制御部１０４が表示している３次元モデル画像２２０を、視点情報取得部１０２から取得した視点情報を用いて、図５に示すような、２次元平面に線を引いて表した線画２２１に変換して出力する。

【0042】

視点情報コード化部１０６は、視点情報取得部１０２から取得した視点情報をコード化して、視点情報コード２２２を作成する。コード化方法は任意の方法で良いが、情報密度の高い方法が望ましい。例えばマトリックス型の２次元コードであるＱＲコード（登録商標）を用いる。

【0043】

印刷処理部１０７は、図６に示すような、線画変換部１０５が変換した線画２２１と、視点情報コード化部１０６が作成した視点情報コード２２２とを一枚の紙面２３０に配置した印刷ページを生成する。生成した印刷ページを含む印刷情報を、通信部５を介して外部の印刷機に送信する処理を実行する。

【0044】

印刷された紙面２３０に対して、ユーザはまず紙面２３０の隅に設けた色校正用枠２３１の中を、書き込みに用いる色ペンで塗る。そして、線画２２１のうち、選択する領域の外周又は線分を当該色ペンでなぞる。図７の例では、バルコニーの外壁を選択色領域２２３として選択するため、外壁の周りを色ペンでなぞっている状態を示している。

【0045】

画像読取部１０８は、通信部５を介して接続されたスキャナやカメラを用いて、色ペンで書き込んだ紙面２３０の画像を読み取る。

【0046】

視点情報復元部１０９は、画像読取部１０８が読み取った画像から、視点情報コード２２２を抽出し、視点情報コード２２２から視点情報を復元して、視点情報取得部１０２に出力する。

【0047】

選択色領域・選択線分抽出部１１０は、画像読取部１０８から読み取った画像から、色ペンで塗られている領域を抽出し、ユーザが色ペンで書き込むことにより選択した色領域及び線分を抽出する。

【0048】

可視平面抽出部１１１は、表示制御部１０４から、現在表示部４に表示されている３次元モデル画像２２０のうち、視認することができる可視平面を抽出する。

【0049】

マッチング部１１２は、選択色領域・選択線分抽出部１１０で抽出した色領域又は線分と、可視平面抽出部１１１で抽出した可視平面をマッチングする。そして、互いに対応づけられた場合は、当該対応づけられた部分の色を変える等、書き込みが行われた部分であることを示す識別表示を含めた３次元モデル画像２２０を表示させる。

【0050】

以上のように構成された画像表示装置１００の動作について、図８に示すフローチャートに沿って説明する。

【0051】

まず、制御部１の３次元データ取得部１０３が記憶部２から建築物の３次元データを取得し、取得した３次元データに基づいて表示制御部１０４が３次元モデル画像２００を表示部４に表示させる（ステップＳ１１）。このときの３次元モデル画像２００の視点は予め定めた位置である。

【0052】

その後、入力部３に対して、ユーザによる視点情報を変える操作があった場合には、視点情報取得部１０２が視点情報を取得し（ステップＳ１２）、表示制御部１０４に出力する。そして、ユーザの操作に基づいて選択した視点から外観した３次元モデル画像２２０を表示する。本実施形態においては、視点位置、視線方向を選択し、焦点距離、視界画像の大きさを最適化することにより、図４に示すような特定の面を正面に向けた３次元モデル画像２２０を表示させる。

【0053】

その後、線画変換部１０５が表示部４に表示している３次元モデル画像２２０の線画化処理を行い、図５に示すような線画２２１を作成する（ステップＳ１３）。線画化処理は、例えば、図９に示す処理を実行する。

【0054】

まず、現在表示部４に表示している３次元モデル画像２００において視認できるエッジである可視エッジを、視点と３次元モデル画像２００の間に仮想した視界画像面２２４に投影する（ステップＳ１３１）。例えば、図１０に示すように、３次元モデル画像２００と視点２２５の間に仮想した視界画像面２２４にマンションの屋上の２点間の直線が視界画像面２２４に投影される。

【0055】

このような３次元モデル画像２００の各点の３次元座標（Ｘ，Ｙ，Ｚ）から視界画像面２２４への投影で得られる２次元画像の各点の２次元座標（ｘ，ｙ）は、以下の式（１）で表される射影変換により求めることができる。

【0056】

【数1】

【0057】

ここで、［Ｒｔ］は、視点位置・視線方向を表した３×４の行列であり、［ｍ］は、焦点距離や画像の中心を表した３×３の行列である。

【0058】

次に、現在表示部４に表示されている３次元モデル中、３次元形状を有さない２次元の画像からなるテクスチャについて、エッジ検出を行う（ステップＳ１３２）。例えば、図１１（ａ）に示すように窓の部分は、平面に２次元画像を表示させている。窓部分のテクスチャに対してエッジ検出する。そして、テクスチャを図１１（ｂ）のようなエッジ検出画像に変換する（ステップＳ１３３）。変換して得られたエッジ検出画像を視界画像面２２４に投影する（ステップＳ１３４）。このようにして図５に示すような線画２２１を得ることができる。

【0059】

図８のステップＳ１３で線画化処理が終わると、視点情報コード化部１０６は、視点情報取得部１０２から取得した視点情報をコード化する（ステップＳ１４）。視点情報に含まれる視点位置、視線方向、焦点距離、及び、視界画像の大きさを例えばＱＲコード（登録商標）に変換する。

【0060】

ステップＳ１３で取得した線画２２１とステップＳ１４でコード化した視点情報コード２２２を1枚の紙面２３０に配置した、図６に示すような印刷ページを生成する。生成した印刷ページを含む印刷情報を、通信部５を介して外部の印刷機に送信して印刷を実行する（ステップＳ１５）。

【0061】

ステップＳ１５で印刷した紙面に対して、ユーザは、まず色校正用枠２３１を色ペンで塗る。また、ユーザは、その色ペンを用いて、３次元モデル画像の線画２２１上で選択する領域の外周又は線分をなぞる。

【0062】

画像読取部１０８は、ユーザが線画２２１に色ペンで記入した紙面２３０を、通信部５を介して接続されたカメラ又はスキャナで読み取る（ステップＳ１６）。そして視点情報復元部１０９は、紙面２３０に含まれている視点情報コード２２２を読み取って復元し（ステップＳ１７）、復元した視点情報を視点情報取得部１０２に出力する。

【0063】

次に選択色領域・選択線分抽出部１１０が、色校正用枠２３１内の色の平均Ｐ_ave及び標準偏差σを取得する。例えば、横軸を輝度とし、縦軸を頻度とすると、色ペンで塗られた部分は、図１２（ａ）に示すような分布となり、この分布より、色ペンの色の平均Ｐ_ave及び標準偏差σを求めることができる（ステップＳ１８）。

【0064】

ステップＳ１８で求めた平均及び標準偏差を用いて、ユーザが色ペンでなぞって選択した選択色領域及び線分を抽出する（ステップＳ１９）。選択色領域・選択線分の抽出方法は、例えば、図１３に示す処理を実行する。

【0065】

まず、色ペンの色の標準偏差σに対して、２σ以内の範囲内の色であって選択色と判別できる画像を線画２２１から抽出する（ステップＳ１９１）。抽出した画像は互いを識別できる番号でラベリングを行う（ステップＳ１９２）。

【0066】

ラベリングをした画像のうち、予め定めた大きさ以下の画像をノイズとして除去する（ステップＳ１９３）。残った画像について細線化し、輪郭を抽出する（ステップＳ１９４）。その後、細線化した画像の長手方向の長さに対して、長手方向に直交する方向の長さが予め定めた値より小さい場合には、画像は線分であると判定する（ステップＳ１９５）。

【0067】

選択色領域・選択線分の抽出処理について例示すると、まず、図１２（ｂ）に示すように、４つの画像を抽出し（ステップＳ１９１）、それらを図１２（ｃ）に示すように、１〜４の番号を振る（ステップＳ１９２）。そして、図１２（ｄ）に示すようにラベル１、４の画像は予め定めた大きさ以下であるため、ノイズとして除去する（ステップＳ１９３）。その後、、図１２（ｅ）に示すようにラベル２、３の画像を細線化処理する（ステップＳ１９４）。ラベル２、３の画像は、長手方向に直交する方向の長さが予め定めた値より大きいため、画像は線分ではなく選択色領域であると判定する（ステップＳ１９５）。

【0068】

図８のステップＳ１９の後、可視平面抽出部１１１は、３次元モデル画像２２０から、視認できる可視平面を抽出する（ステップＳ２０）。図４に示す３次元モデル画像２２０の場合は、例えば、バルコニーの外壁が視認できる平面として抽出される。

【0069】

ステップＳ１９で抽出した選択色領域・選択線分と、ステップＳ２０で抽出した可視平面とについてマッチング処理を行う（ステップＳ２１）。選択色領域・選択線分と可視平面とのマッチング処理は、例えば、図１４に示す処理を実行する。

【0070】

まず、図１５（ａ）に示すような３次元モデル画像２２０について、可視平面のエッジである可視エッジを視界画像面２２４に投影する（ステップＳ２１１）。視界画像面２２４上には選択色領域も投影されており、選択色領域と可視エッジを重ね合わせる。

【0071】

そして、図１５（ｂ）に示すように、可視エッジに直交する複数の線を等間隔で引き、各線上で可視エッジと選択色領域の枠線との距離を計算し、それらの和を求める（ステップＳ２１２）。この和が予め定めた値より小さい場合は、対応する可視平面を選択色領域として検出する（ステップＳ２１３）。

【0072】

同様に可視エッジに直交する複数の線を等間隔で引き、各線上で可視エッジと選択線分との距離を計算し、それらの和が予め定めた値より小さい場合は、対応する可視エッジが選択線分であるとして検出する（ステップＳ２１４）。なお、ステップＳ２１３、Ｓ２１４で用いる複数の線は可視エッジ及び選択色領域の枠線又は選択線分に直交するとしたが、所定の角度で交差する直線であれば、直交には限られない。

【0073】

図８のステップＳ２１でマッチングした結果、マッチング部１１２は、３次元モデル画像２２０の中で選択色領域、選択線分として検出した部分を図１５（ｃ）のように識別表示する。つまり、印刷した紙面２３０に対する書き込みの情報が３次元モデル画像２２０に含めて表示される。そして、当該領域の面積又は当該線分の長さを計算し、出力する（ステップＳ２２）。

【0074】

このように、図８に示す紙面情報反映処理により、紙面２３０への書き込み情報を３次元モデル画像に反映させることとなる。

【0075】

以上説明したように、本実施形態においては、画像表示装置１００の制御部１が特定の視点における３次元モデル画像２２０を線画化し、視点情報をコード化した視点情報コード２２２とともに同一紙面２３０に印刷する。印刷した紙面２３０に対し、ユーザが色ペンで記入した画像を読取り、選択色領域・選択線分の抽出処理を行う。抽出した選択色領域と選択線分を、３次元モデル画像の可視平面とマッチングし、合致した場合には、可視平面を選択色領域として、又は、可視エッジを選択線分として識別表示し、面積・長さを求めることとした。これにより、３次元モデル画像２２０を線画化して印刷した紙面２３０に記入した情報を容易に元の３次元モデル画像２２０に反映して画像表示することができる。

【0076】

このように本発明は、３次元モデル画像の視点情報を取得し、視点情報が示す視点における３次元モデル画像を２次元画像に変換し、視点情報をコード化した視点情報コードを作成し、変換した２次元画像と視点情報コードとを同一の紙面で印刷する。印刷した紙面の２次元画像への書き込みと、視点情報コードと、を読み取り、読み取った書き込みの情報と、３次元モデル画像とが対応する箇所を、視点情報コードを用いて判別して、書き込みの情報を３次元モデル画像に含めて表示することとした。これにより、３次元モデル画像を２次元化して印刷した紙面に記入した情報を容易に元の３次元モデル画像に反映して画像表示することが可能になる。

【0077】

なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。

【0078】

例えば、３次元モデル画像を印刷する際に線画に変換するとしたが、任意の２次元画像であってもよい。例えば、線画２２１中のエッジ検出画像にテクスチャを挿入した２次元画像であっても良い。

【0079】

また、１つの画像表示装置１００が３次元モデル画像を線画化するという処理と、線画が印刷された紙面に対して、ユーザが記入した情報を読み取り、選択色領域・選択線分と、可視平面をマッチングして、可視平面を選択する処理を実行するとしたが、線画化する処理と、選択色領域等を可視平面と選択する処理と、は、異なる２以上の情報処理装置で実行するようにしてもよい。処理負担が軽減され、高効率化が図れる。

【0080】

また、制御部４が実行した処理のプログラムを、既存のコンピュータ等の情報端末で実行させることにより、当該情報端末を本発明に係る画像表示装置１００として機能させることも可能である。

【0081】

このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。

【符号の説明】

【0082】

１…制御部
２…記憶部
３…入力部
４…表示部
５…通信部
１００…画像表示装置
１０１…操作入力取得部
１０２…視点情報取得部
１０３…３次元データ取得部
１０４…表示制御部
１０５…線画変換部
１０６…視点情報コード化部
１０７…印刷処理部
１０８…画像読取部
１０９…視点情報復元部
１１０…選択色領域・選択線分抽出部
１１１…可視平面抽出部
１１２…マッチング部
２００，２２０…３次元モデル画像
２１０…カーソル
２２１…線画
２２２…視線情報コード
２２３…選択色領域
２２４…視界画像面
２２５…視点
２３０…紙面
２３１…色校正用枠

【要約】

【課題】３次元モデル画像を２次元化して印刷した紙面に記入した情報を容易に元の３次元モデル画像に反映して画像表示することができる画像表示装置等を提供する。
【解決手段】画像表示装置１００の制御部１が特定の視点における３次元モデル画像を線画化し、視点情報をコード化した視点情報コードとともに同一紙面に印刷する。印刷した紙面に対し、ユーザが色ペンで記入した画像を読取り、選択色領域・選択線分の抽出処理を行う。抽出した選択色領域と選択線分を、３次元モデル画像の可視平面とマッチングし、合致した場合には、可視平面を選択色領域として、可視エッジを選択線分として識別表示し、面積・長さを求める。
【選択図】図２

【図1】

【図2】

【図8】

【図9】

【図12】

【図13】

【図14】

【図3】

【図4】

【図5】

【図6】

【図7】

【図10】

【図11】

【図15】