特許 6575003 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6575003

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190909BHJP

   G06Q 50/08 20120101ALI20190909BHJP

   G06Q 50/10 20120101ALI20190909BHJP

【ＦＩ】

   G06T19/00 600

   G06Q50/08

   G06Q50/10

【請求項の数】9

【全頁数】33

(21)【出願番号】特願2018-35390(P2018-35390)

(22)【出願日】2018年2月28日

(65)【公開番号】特開2019-152900(P2019-152900A)

(43)【公開日】2019年9月12日

【審査請求日】2018年3月9日

【新規性喪失の例外の表示】特許法第３０条第２項適用 国土交通記者会（東京都千代田区霞が関２−１−３） 国土交通省建設専門紙記者会（東京都千代田区霞が関２−１−３） 国土交通省交通運輸記者会（東京都千代田区霞が関２−１−３） 筑波研究学園都市記者会（茨城県つくば市竹園２−２０−５） 平成２９年８月３０日 発表

(73)【特許権者】

【識別番号】501198039

【氏名又は名称】国土交通省国土技術政策総合研究所長

(74)【代理人】

【識別番号】100104215

【弁理士】

【氏名又は名称】大森 純一

(74)【代理人】

【識別番号】100196575

【弁理士】

【氏名又は名称】高橋 満

(74)【代理人】

【識別番号】100168181

【弁理士】

【氏名又は名称】中村 哲平

(74)【代理人】

【識別番号】100117330

【弁理士】

【氏名又は名称】折居 章

(74)【代理人】

【識別番号】100160989

【弁理士】

【氏名又は名称】関根 正好

(74)【代理人】

【識別番号】100168745

【弁理士】

【氏名又は名称】金子 彩子

(74)【代理人】

【識別番号】100176131

【弁理士】

【氏名又は名称】金山 慎太郎

(74)【代理人】

【識別番号】100197398

【弁理士】

【氏名又は名称】千葉 絢子

(74)【代理人】

【識別番号】100197619

【弁理士】

【氏名又は名称】白鹿 智久

(72)【発明者】

【氏名】高橋 暁

(72)【発明者】

【氏名】眞方山 美穂

(72)【発明者】

【氏名】佐藤 英明

(72)【発明者】

【氏名】中西 浩

(72)【発明者】

【氏名】小林 英之

【審査官】 松尾 俊介

(56)【参考文献】

【文献】 特開２０１４−１９１３６７（ＪＰ，Ａ）

【文献】 特開２００４−３１７４５７（ＪＰ，Ａ）

【文献】 特開平０７−２７９４３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｑ ５０／００−５０／１０

(57)【特許請求の範囲】

【請求項1】

建築物の少なくとも１つの面の形状及び位置座標を示す三次元データと、前記面において落下または倒壊の危険性がある劣化箇所を示す劣化箇所データとを記憶する記憶部と、
前記三次元データ及び前記劣化箇所データを基に、前記三次元データ上に前記劣化箇所を示す図形を配置した劣化情報付三次元データを生成するとともに、前記劣化箇所が前記建築物の周辺空間に及ぼす影響範囲を立体的に示す影響範囲図形を生成し当該影響範囲図形の位置座標を示すデータと共に前記三次元データに付加した影響範囲情報付三次元データを生成する制御部と、
前記劣化箇所を示す図形の三次元データおよび前記影響範囲を示す図形の三次元データを表示装置へ出力する出力部と
を具備する情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記表示装置は、当該表示装置の現在の位置座標と、前記劣化箇所を示す図形の三次元データに含まれる前記位置座標とを基に、当該表示装置が撮像した前記建築物の画像上に前記劣化箇所を示す図形を重畳して表示する
情報処理装置。

【請求項3】

請求項１に記載の情報処理装置であって、
前記制御部は、前記影響範囲図形として、前記劣化箇所を示す図形の各画素を頂点とし前記建築物の周囲の地面を底面とする円錐形の和集合として生成する
情報処理装置。

【請求項4】

請求項１に記載の情報処理装置であって、
前記制御部は、前記影響範囲図形を、地面の格子点毎に上方に存在し影響を及ぼす前記劣化箇所の面積を示すメッシュデータとして生成する
情報処理装置。

【請求項5】

請求項１に記載の情報処理装置であって、
前記表示装置は、当該表示装置の現在の位置座標と、前記影響範囲図形の三次元データに含まれる前記位置座標とを基に、当該表示装置が撮像した前記建築物の画像の前記面上に前記影響範囲図形を重畳して表示する
情報処理装置。

【請求項6】

建築物の少なくとも１つの面の形状及び位置座標を示す三次元データと、前記面において落下または倒壊の危険性がある劣化箇所を示す劣化箇所データとを記憶する記憶部と、
前記三次元データ及び前記劣化箇所データを基に、前記三次元データ上に前記劣化箇所を示す図形を配置した劣化情報付三次元データを生成する制御部と、
前記劣化箇所を示す図形の三次元データを表示装置へ出力する出力部と
を具備し、
前記記憶部は、ＭＭＳ（Mobile Mapping System）により取得された点群データを記憶し、
前記制御部は、前記点群データのデータフォーマットの欠陥の有無を検査して欠陥部分を特定し、当該特定された欠陥部分をスキップして当該欠陥部分以外の前記点群データを読み込み解読することで、複数の前記建築物の少なくとも１つの面の形状及び位置座標を示す前記三次元データを生成する
情報処理装置。

【請求項7】

建築物の少なくとも１つの面の形状及び位置座標を示す三次元データと、前記面において落下または倒壊の危険性がある劣化箇所を示す劣化箇所データとを記憶する記憶部と、
前記三次元データ及び前記劣化箇所データを基に、前記三次元データ上に前記劣化箇所を示す図形を配置した劣化情報付三次元データを生成する制御部と、
前記劣化箇所を示す図形の三次元データを表示装置へ出力する出力部と
を具備し、
前記記憶部は、前記劣化箇所データを示す図形として、外壁の劣化箇所が所定色で彩色された外壁診断図の紙図面から作成したスキャン画像を記憶し、
前記制御部は、前記スキャン画像を認識し、前記彩色された少なくとも１つの箇所のカラー値を教師データとして学習し前記スキャン画像から前記彩色された領域を抽出することで、劣化箇所と劣化箇所以外とを二値表現したテクスチャデータを生成し、当該テクスチャデータを前記三次元データの前記面にマッピングすることで前記劣化情報付三次元データを生成する
情報処理装置。

【請求項8】

建築物の少なくとも１つの面の形状及び位置座標を示す三次元データと、前記面において落下または倒壊の危険性がある劣化箇所を示す劣化箇所データとを記憶し、
前記三次元データ及び前記劣化箇所データを基に、前記三次元データ上に前記劣化箇所を示す図形を配置した劣化情報付三次元データを生成するとともに、前記劣化箇所が前記建築物の周辺空間に及ぼす影響範囲を立体的に示す影響範囲図形を生成し当該影響範囲図形の位置座標を示すデータと共に前記三次元データに付加した影響範囲情報付三次元データを生成し、
前記劣化箇所を示す図形の三次元データおよび前記影響範囲を示す図形の三次元データを表示装置へ出力する
情報処理方法。

【請求項9】

情報処理装置に、
建築物の少なくとも１つの面の形状及び位置座標を示す三次元データと、前記面において落下または倒壊の危険性がある劣化箇所を示す劣化箇所データとを記憶するステップと、
前記三次元データ及び前記劣化箇所データを基に、前記三次元データ上に前記劣化箇所を示す図形を配置した劣化情報付三次元データを生成するとともに、前記劣化箇所が前記建築物の周辺空間に及ぼす影響範囲を立体的に示す影響範囲図形を生成し当該影響範囲図形の位置座標を示すデータと共に前記三次元データに付加した影響範囲情報付三次元データを生成するステップと
前記劣化箇所を示す図形の三次元データおよび前記影響範囲を示す図形の三次元データを表示装置へ出力するステップと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建築物が有する落下または倒壊の危険性を可視化することが可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来から、ユーザに対して事故等の危険性を通知するシステムが存在する。例えば下記特許文献１及び２には、拡張現実アプリケーションをユーザに提供するユーザ端末が、当該拡張現実アプリケーションの提供のために使用される実空間の入力画像の画像認識の結果に基づいて、実空間においてユーザに接近する自動車や道路工事等の前方に存在するリスクを検知した場合に当該リスクをユーザに報知したり、拡張現実アプリケーションを中断または停止させたりすることが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１５５６５４号公報

【特許文献2】特開２０１２−１５５６５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１に記載の技術では、ユーザが存在する現場の入力画像から認識可能な危険性はユーザに認識させることができるが、例えば建築物の外壁の落下や倒壊等、当該入力画像から識別できない不可視の危険性についてはユーザに認識させることはできない。

【0005】

以上のような事情に鑑み、本発明の目的は、建築物が潜在的に有する落下または倒壊の危険性を可視化することが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上述の課題を解決するため、本発明の一形態に係る情報処理装置は、記憶部、制御部及び出力部を有する。上記記憶部は、建築物の少なくとも１つの面の形状及び位置座標を示す三次元データと、上記面において落下または倒壊の危険性がある劣化箇所を示す劣化箇所データとを記憶する。上記制御部は、上記三次元データ及び上記劣化箇所データを基に、上記三次元データ上に上記劣化箇所を示す図形を配置した劣化情報付三次元データを生成する。上記出力部は、上記劣化箇所を示す図形の三次元データを表示装置へ出力する。

【0007】

これにより情報処理装置は、三次元データに劣化情報を付加して出力することで、建築物が潜在的に有する落下または倒壊の危険性を可視化し、表示装置のユーザに危険性を示すことができる。

【0008】

上記表示装置は、当該表示装置の現在の位置座標と、上記劣化箇所を示す図形の三次元データに含まれる上記位置座標とを基に、当該表示装置が撮像した上記建築物の画像上に上記劣化箇所を示す図形を重畳して表示してもよい。

【0009】

これにより情報処理装置は、表示装置のユーザが存在する場所における建築物の危険性を認識させることができる。

【0010】

上記制御部は、上記劣化箇所が上記建築物の周辺空間に及ぼす影響範囲を立体的に示す影響範囲図形を生成し当該影響範囲図形の位置座標を示すデータと共に上記三次元データに付加した影響範囲情報付三次元データを生成してもよい。

【0011】

これにより情報処理装置は、建築物の危険性が周辺空間に及ぼす影響範囲をユーザに容易に把握させることができる。

【0012】

上記制御部は、上記影響範囲図形を、上記劣化箇所を示す図形の各画素を頂点とし上記建築物の周囲の地面を底面とする円錐形の和集合として生成してもよい。

【0013】

上記制御部は、上記影響範囲図形を、地面の格子点毎に上方に存在し影響を及ぼす上記劣化箇所の面積を示すメッシュデータとして生成してもよい。

【0014】

上記表示装置は、当該表示装置の現在の位置座標と、上記影響範囲図形の三次元データに含まれる上記位置座標とを基に、当該表示装置が撮像した上記建築物の画像の上記面上に上記影響範囲図形を重畳して表示してもよい。

【0015】

上記記憶部は、ＭＭＳ（Mobile Mapping System）により取得された点群データを記憶してもよい。この場合上記制御部は、上記点群データのデータフォーマットの欠陥の有無を検査して欠陥部分を特定し、当該特定された欠陥部分をスキップして上記点群データを読み込み解読することで、複数の上記建築物の少なくとも１つの面の形状及び位置座標を示す上記三次元データを生成してもよい。

【0016】

これにより情報処理装置は、フォーマットに関して欠陥がある点群データからも有意な情報を取り出して最大限利用することができ、欠陥のためにデータ全体が読み込みエラーとして処理され利用できなくなるのを防ぐことができる。

【0017】

上記記憶部は、上記劣化箇所データを示す図形として、外壁診断図の紙図面から作成したノイズまたは色ムラのあるスキャン画像を記憶してもよい。この場合上記制御部は、上記スキャン画像を認識し、劣化箇所と劣化箇所以外とを二値表現したテクスチャデータを生成し、当該テクスチャデータを上記三次元データの上記面にマッピングすることで上記劣化情報付三次元データを生成してもよい。

【0018】

これにより情報処理装置は、建築物の壁面等の診断結果を記録した紙図面、画像ファイル、ＣＡＤデータ等の任意の記憶媒体から、劣化箇所を認識して、欠陥の有無を二値化したテクスチャデータに変換することで、ユーザに劣化箇所の存在と分布を認識させることができる。

【0019】

本発明の他の形態に係る情報処理方法は、
建築物の少なくとも１つの面の形状及び位置座標を示す三次元データと、上記面において落下または倒壊の危険性がある劣化箇所を示す劣化箇所データとを記憶し、
上記三次元データ及び上記劣化箇所データを基に、上記三次元データ上に上記劣化箇所を示す図形を配置した劣化情報付三次元データおよび／または前記劣化箇所が前記建築物の周辺空間に及ぼす影響範囲を立体的に示す影響範囲図形を配置した影響範囲情報付三次元データを生成し、
上記劣化箇所を示す図形の三次元データおよび／または上記影響範囲を示す図形の三次元データを表示装置へ出力する、ことを含む。

【0020】

本発明の他の形態に係るプログラムは、情報処理装置に、
建築物の少なくとも１つの面の形状及び位置座標を示す三次元データと、上記面において落下または倒壊の危険性がある劣化箇所を示す劣化箇所データとを記憶するステップと、
上記三次元データ及び上記劣化箇所データを基に、上記三次元データ上に上記劣化箇所を示す図形を配置した劣化情報付三次元データおよび／または前記劣化箇所が前記建築物の周辺空間に及ぼす影響範囲を立体的に示す影響範囲図形を配置した影響範囲情報付三次元データを生成するステップと
上記劣化箇所を示す図形の三次元データおよび／または上記影響範囲を示す図形の三次元データを表示装置へ出力するステップと、を実行させる。

【0021】

以上のように、本発明によれば、建築物が潜在的に有する落下または倒壊の危険性を可視化することができる。しかし当該効果は本発明を限定するものではない。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る建築物危険性可視化システムの構成を示した図である。

【図2】本発明の一実施形態に係るＰＣのハードウェア構成を示した図である。

【図3】本発明の一実施形態に係る携帯端末のハードウェア構成を示した図である。

【図4】本発明の一実施形態に係るＰＣによる建築物可視化処理の大まかな流れを示したフローチャートである。

【図5】本発明の一実施形態に係るＰＣによる、建物・町並の３次元データの生成処理の概要を示した図である。

【図6】本発明の一実施形態に係るＰＣによる点群データを用いた３次元モデルの構築処理の流れを示したフローチャートである。

【図7】本発明の一実施形態に係るＰＣによる点群データを用いた３次元モデルの構築処理におけるメタファイル生成処理の流れを示したフローチャートである。

【図8】本発明の一実施形態に係るＰＣによる、点群データの欠陥ブロックに関する読込処理の流れを示したフローチャートである。

【図9】本発明の一実施形態に係るＰＣによる、点群データからの線分の抽出処理の流れを示したフローチャートである。

【図10】本発明の一実施形態に係るＰＣによる、点群データから抽出した線分からの面の抽出処理の流れを示したフローチャートである。

【図11】本発明の一実施形態に係るＰＣによる、点群データからの建物細部の３次元モデルの構築処理の流れを示したフローチャートである。

【図12】本発明の一実施形態に係るＰＣによる、点群データからの壁面細部の３次元モデルの構築処理の流れを示したフローチャートである。

【図13】本発明の一実施形態に係るＰＣによる、外壁剥落の診断結果を表現するテクスチャの生成処理の概要を示した図である。

【図14】本発明の一実施形態に係るＰＣによる、外壁剥落の診断結果を表現するテクスチャの生成処理の流れを示したフローチャートである。

【図15】本発明の一実施形態に係るＰＣによる、上記テクスチャの生成処理における診断図のカラー分析処理の流れを示したフローチャートである。

【図16】本発明の一実施形態に係るＰＣによる、上記テクスチャの生成処理におけるテクスチャの切出し処理の流れを示したフローチャートである。

【図17】本発明の一実施形態に係るＰＣによる、建物各部への上記テクスチャの配置処理の概要を示した図である。

【図18】本発明の一実施形態に係るＰＣによる、建物各部への上記テクスチャの配置処理の流れを示したフローチャートである。

【図19】本発明の一実施形態に係るＰＣによる、建物の危険性を可視化する立体の作成処理の概要を示した図である。

【図20】本発明の一実施形態に係るＰＣによる、建物の危険性を可視化する立体の作成処理の流れを示したフローチャートである。

【図21】本発明の一実施形態に係るＰＣによる、建物の危険性を可視化する立体の作成処理のうち、１点からのリスク立体作成処理の流れを示したフローチャートである。

【図22】本発明の一実施形態に係るＰＣによる、建物の危険性を可視化する立体の作成処理のうち、一壁面からのリスク立体作成処理の流れを示したフローチャートである。

【図23】本発明の一実施形態に係るＰＣによる、建物の危険性を可視化する立体の作成処理のうち、一建物からのリスク立体作成処理の流れを示したフローチャートである。

【図24】本発明の一実施形態に係るＰＣによる、建物の危険性を可視化する立体の作成処理のうち、町並み全体からのリスク立体作成処理の流れを示したフローチャートである。

【図25】本発明の一実施形態に係るＰＣによる、建物の危険性の地面への影響範囲の解析処理の概要を示した図である。

【図26】本発明の一実施形態に係るＰＣによる、建物の危険性の地面への影響範囲の解析処理の流れを示したフローチャートである。

【図27】本発明の一実施形態に係るＰＣによる、建物の危険性の地面への影響範囲の解析処理のうち、一壁面からの影響範囲の解析処理の流れを示したフローチャートである。

【図28】本発明の一実施形態に係るＰＣによる、建物の危険性の地面への影響範囲の解析処理のうち、一建物からの影響範囲の解析処理の流れを示したフローチャートである。

【図29】本発明の一実施形態に係るＰＣによる、建物の危険性の地面への影響範囲の解析処理のうち、町並全体からの影響範囲の解析処理の流れを示したフローチャートである。

【図30】本発明の一実施形態に係る携帯端末による、建物の危険性のＡＲ表示処理の概要を示した図である。

【図31】本発明の一実施形態に係るＰＣによる、携帯端末への現場確認用データの転送処理の流れを示したフローチャートである。

【図32】本発明の一実施形態に係る携帯端末による、現場確認用データを用いたＡＲ表示処理の流れを示したフローチャートである。

【図33】本発明の一実施形態に係る携帯端末による、現場確認用データを用いたＡＲ表示処理のうち通常表示処理の流れを示したフローチャートである。

【図34】本発明の一実施形態に係る携帯端末による、現場確認用データを用いたＡＲ表示処理のうち特区における表示処理の流れを示したフローチャートである。

【図35】本発明の一実施形態に係る携帯端末による、現場確認用データを用いたＡＲ表示処理のうち回転表示処理の流れを示したフローチャートである。

【発明を実施するための形態】

【0023】

以下、本発明に係る実施形態を、図面を参照しながら説明する。

【0024】

図１は、本実施形態に係る建築物危険性可視化システムの構成を示した図である。

【0025】

同図に示すように、本システムは、ＰＣ１００と携帯端末２００とから構成される。

【0026】

当該ＰＣ１００と携帯端末２００とは、例えばＵＳＢ（Universal Serial Bus）ケーブルその他の有線ケーブルまたは無線通信インタフェース等の接続手段５０を介して接続可能である。

【0027】

ＰＣ１００は、建築物が潜在的に有する、外壁や天井等の落下または倒壊の危険性を可視化したデータ（危険性情報付三次元データ）を生成するための情報処理を実行し、当該データを携帯端末２００に転送する。

【0028】

携帯端末２００は、具体的には、タブレット端末やスマートフォン等の携帯型の情報処理装置であり、上記ＰＣ１００によって生成されたデータを受信し、ユーザが存在する屋外等の現場においえ、カメラで撮像した実景と共に上記データをＡＲ（Augmented Reality）表示する。

【0029】

これにより、建築物が潜在的に有する落下や倒壊の危険性を建築物の所有者・管理者へ伝えることで、建築物の適切な維持管理を促すことができ、また当該建築物の近傍を通る歩行者等の安全を確保するための施策を取ることが可能となる。

【0030】

［ＰＣのハードウェア構成］
図２は、上記ＰＣ１００のハードウェア構成を示した図である。同図に示すように、ＰＣ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。

【0031】

ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながらＰＣ１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

【0032】

入出力インタフェース１５には、表示部１６、操作受付部１７、記憶部１８、通信部１９等が接続される。

【0033】

表示部１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic ElectroLuminescence Display）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

【0034】

操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。

【0035】

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。

【0036】

特に本実施形態では、記憶部１８は、ＰＣ１００が建物の上記危険性の可視化処理を実行するためのアプリケーションその他のプログラム、及び、当該処理に必要な点群データ、建物の劣化箇所の診断結果データ、各建物及び町並の３次元データ、危険性を示すテクスチャデータ等のデータを記憶している。

【0037】

通信部１９は、例えばEthernet用のＮＩＣ（Network Interface Card）や無線ＬＡＮ等の無線通信用の各種モジュールであり、上記携帯端末２００との間の通信処理を担う。
［携帯端末のハードウェア構成］
図３は、本実施形態に係る携帯端末のハードウェア構成を示したブロック図である。

【0038】

同図に示すように、携帯端末２００は、ＣＰＵ２１、ＲＡＭ２２、不揮発メモリ２３、表示部２４、通信部２５、カメラ２６、ＧＰＳセンサ２７、磁気センサ（電子コンパス）２８、及び加速度センサ２９を有する。

【0039】

ＣＰＵ１２１は、必要に応じてＲＡＭ２２等に適宜アクセスし、各種演算処理を行いながら携帯端末２００の各ブロック全体を統括的に制御する。ＲＡＭ２２は、ＣＰＵ２１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データ（後述の三次元データ、撮像画像データ、座標データ、補正値等）を一時的に保持する。

【0040】

不揮発メモリ２３は、例えばフラッシュメモリやＲＯＭ（Read Only Memory）であり、ＣＰＵ２１に実行させるＯＳ、各種プログラムや各種パラメータなどのファームウェアを固定的に記憶する。

【0041】

特に本実施形態において、不揮発メモリ２３は、建物の危険性を可視化するＡＲ（Augmented Reality）表示処理を実行するためのアプリケーションを記憶する。

【0042】

表示部２４は、例えばＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic ElectroLuminescence Display）であり、カメラ２６による撮像画像や、当該撮像画像に建物の危険性を示す情報を合成した合成画像等を表示する。典型的には、表示部２４は、タッチパネルと一体とされており、ユーザのタッチ操作を受け付け可能である。すなわち表示部２４は、操作検出部としても機能する。

【0043】

図示しないが、携帯端末２００は、上記操作検出部として、例えば電源ボタン等のハードウェアボタンも有する。

【0044】

通信部２５は、ＷｉＦｉ（Wireless Fidelity）等の無線ＬＡＮ（IEEE802.11等）や移動通信用の３Ｇや４Ｇのネットワークを用いて、他の装置と通信する。

【0045】

カメラ２６は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等の撮像素子により、静止画（写真）及び動画を撮像する。当該カメラ２６は、例えば夜景モードや人物モード等の各種撮影モードの選択機能、パノラマ撮影機能、３Ｄ撮影機能、ホワイトバランス調整機能、絞り調整機能等の様々な機能を有し、ユーザは上記表示部２４（タッチパネル）等を操作してそれらの機能の設定を行うことができる。

【0046】

ＧＰＳセンサ２７は、３つ以上の衛星からの電波を捕捉し、それぞれの衛星までの距離に基づいて、携帯端末２００が存在する位置を地球座標系で記述した座標を算出し、これを地球楕円体の上に当てはめて、携帯端末２００の位置情報（緯度・経度・標高情報）を検出する。

【0047】

当該ＧＰＳセンサ２７が用いられる代わりに、通信部２５による無線通信により、基地局との間で三辺測量が行われることで、上記位置情報が検出されてもよい。

【0048】

磁気センサ（方位センサ）２８は、携帯端末２００から見た磁北の向きを検出可能である。加速度センサ２９は、鉛直（重力）方向を検出可能である。これら検出された磁北の向き及び鉛直の向きから、携帯端末２００の姿勢（カメラ２６のアングル）が算出される。

【0049】

［システムの動作］
次に、以上のように構成されたシステムＰＣ１００の動作について説明する。当該動作は、ＰＣ１００のＣＰＵ１１等のハードウェアと、記憶部１８に記憶されたソフトウェアとの協働により実行される。以下の説明では、便宜上、ＣＰＵ１１を動作主体とする。

【0050】

図４は、ＰＣ１００による建築物可視化処理の大まかな流れを示したフローチャートである。

【0051】

同図に示すように、ＰＣ１００による建築物可視化処理は、以下の処理で構成されている。
（Ｓ１）建物・町並の３次元モデルデータの構築処理
（Ｓ２）建築物の劣化箇所の診断結果を表現するテクスチャデータの生成処理
（Ｓ３）当該テクスチャデータの上記３次元モデルへの適用処理
（Ｓ４）建築物が有する落下または崩壊の危険性を可視化する立体（以下、「リスク立体」と称する）の生成処理
（Ｓ５）上記危険性が地面へ及ぼす影響範囲の解析処理
（Ｓ６）現場確認用データの編集処理

【0052】

当該各処理により生成されたデータを用いて、携帯端末２００による現場確認処理（Ｓ７）が実行される。

【0053】

以下、各処理について詳細に説明する。

【0054】

（３次元データの構築処理）
図５は、ＰＣ１００による、建物・町並の３次元データの生成処理の概要を示した図である。

【0055】

同図（Ａ）に示すように、町並の壁面を示す３次元データは、同図（Ａ）に示すように、移動体計測車を用いたＭＭＳ（Mobile Mapping System）を用いて計測された沿道壁面の点群データ（ＭＭＳデータ）から生成される。

【0056】

また同図（Ｂ）に示すように、個別の建物の壁面の３次元データは、建物の設計ＣＡＤ（Computer-Aided Design）データ（２次元）やＢＩＭ（Building Information Modeling）データ（３次元）からも構築することができる。この処理の詳細については割愛する。

【0057】

図６は、ＰＣによる点群データを用いた３次元モデルの構築処理の流れを示したフローチャートである。

【0058】

同図に示すように、ＣＰＵ１１は、オルソ画像による確認処理（ステップ６１）を経た上で、点群データのフォーマット検査を実行する（ステップ６２）。

【0059】

続いてＣＰＵ１１は、上記フォーマット検査後の点群データから、線分を抽出し（ステップ６３）、当該抽出した線分を基にさらに面を抽出する（ステップ６４）。

【0060】

続いてＣＰＵ１１は、建物細部の詳細なデータの生成が必要か否かを判断し（ステップ６５）、必要と判断した場合（Ｙｅｓ）、建物細部の３次元データを作成する（ステップ６６）。

【0061】

以下、各処理の詳細について説明する。

【0062】

図７は、ＰＣ１００による点群データを用いた３次元モデルの構築処理におけるメタファイル生成処理の流れを示したフローチャートである。当該メタファイルは、点群データのフォーマット検査においてフォーマットに欠陥が見つかった部分をスキップして解読する処理を定義するものである。

【0063】

同図に示すように、ＣＰＵ１１は、まず点群データのフォーマットに欠陥があるか否かの検査を実行する（ステップ７１）。

【0064】

点群データにおける各計測点は、ＣＳＶ（Comma-Separated Values）形式の１行で記述されており、１行は７つの数値から構成されている。１点を記述する１行の最初の３つの浮動小数値は、北緯３６度０分、東経１３９度５０分を原点とする平面直角座標系の座標値である。１つの整数パラメータ、カラー（ＲＧＢ）を示す４３つの整数パラメータ（０−２５５）がこれらに続く。

【0065】

３０万点弱の計測点がブロックとして束ねられており、各ブロックの先頭に行数が１０進数で記述されている。１つのファイルにはこのブロックが１００個格納されており、１つの走行区間は５つのファイルで記述されている。

【0066】

ところが、実際のデータでは、１行に７つ以上の数値が記述されている（コンマの数が６以上である）場合や、ブロックの先頭にある点の総数と実際の行数とが一致しないような場合（フォーマットの欠陥）がしばしば見られる。

【0067】

本実施形態では、このようなフォーマットの欠陥部分があっても、そこをスキップして、ファイルが包含する有意な情報を全て取り出して利用できることが望ましい。

【0068】

このような観点から、本実施形態では、フォーマット検査として、点群データを構成する各ブロックの全ての行について、セパレータ（スペースまたはコンマ）の数をカウントして分析する。セパレータが無い場合、ブロックの先頭とみなして整数値を取得する。

【0069】

そして、ブロック内の行に関して、１行に記述された数値が７ではない行の開始位置と終了位置を検出する。また、ブロック内の行数と先頭の整数値を比較し、一致を確認する。所定の行数に至る前に、１行のデータ数が１つしかない行が検出された場合には、次のブロックがそこから開示されるものと解釈する。

【0070】

ＣＰＵ１１は、以上の検査結果に基づいて、データファイルごとに欠陥区間をスキップしてデータを読み込むメタファイルのテンプレートを作成する（ステップ７２）。このテンプレートにおいては、１つの点のデータが正常に取得された場合には、その値（座標値とカラー値）を因数としてpoint関数を呼び出す。point関数はひとまず処理内容が空のテンプレート関数として作成しておき、どのような処理を行うかについては、目的に応じて別途コーディングする。

【0071】

続いてＣＰＵ１１は、データファイルごとに作成したメタファイルに、必要な処理内容を追記して保存する。具体的には、線分の抽出処理の追記の他、後述するように、個別の建物の存在範囲を包摂する立体や、個別の壁面との包含関係を判定する関数を自動生成してメタファイルに追記した（ステップ７３〜７８）。

【0072】

そしてＣＰＵ１１は、これらのメタファイルと点群データを用いて、点群データの線群データへの変換処理へと進む（ステップ７９）。

【0073】

本実施形態では、上記検査の結果、フォーマットに欠陥が見つからなかった部分の処理については詳細を割愛し、欠陥が見つかった部分の処理について詳細を説明する。図８は、ＰＣ１００による、点群データの欠陥ブロックに関する読込処理の流れを示したフローチャートである。上述したように、当該処理は上記メタファイルによる内部処理である。

【0074】

同図に示すように、ＣＰＵ１１はまず、点群データのブロックのヘッダーを読み込み、ブロック内の点の数Ｎを取得する（ステップ８１）。

【0075】

続いてＣＰＵ１１は、検査で検出された欠陥区間を除いた点の数Ｎ´をＮとする（ステップ８２）。

【0076】

続いてＣＰＵ１１は、現在の行が欠陥区間の開始行か否かを判断する（ステップ８３）。

【0077】

現在の行が欠陥区間の開始行であると判断した場合（Ｙｅｓ）、ＣＰＵ１１は、当該欠陥区間の行数を読み飛ばす（スキップする）（ステップ８４）。

【0078】

一方、現在の行が欠陥区間の開始行ではないと判断した場合（Ｎｏ）、１行（１点）を入力し（ステップ８５）、当該入力した点がＮ個に達したか否かを判断する（ステップ８６）。

【0079】

ＣＰＵ１１は、上記ステップ８３以降の処理を、点の数がＮ個に達する（ステップ８６のＹｅｓ）まで繰り返す。

【0080】

図９は、上記のようにフォーマット欠陥部分をスキップしながら解読した点群データから、線分を抽出する処理の流れを示したフローチャートである。当該処理は、上記のようにメタファイルテンプレートに線分抽出用の追記がされた解読用メタファイルによって実行される。

【0081】

点群データの特徴として、ＭＭＳにおいては斜めの軸の周りに回転するセンサが反射パルスを取得しているため、壁面や軒裏等の平面に関しては、直線上に連続する座標値が密に並ぶ。一方、建物の手前に樹木などの複雑かつ空隙のある物体が存在する場合には、計測値は断続的となり、座標値は大きく振れる。そこで本実施形態では、隣接間隔が一定値以内の一連の直線上に並ぶ点群は同一の物体を照射しているものとみなして線分として抽出し、両端以外の中間点を捨象する処理を行った。これにより元の点群データを遥かに小さなファイルサイズに圧縮することが可能となる。

【0082】

同図に示すように、ＣＰＵ１１はまず、距離が所定の閾値以下の直線上に並んだ点群配列区間を抽出する（ステップ９１）。

【0083】

続いてＣＰＵ１１は、上記抽出した点群配列区間の開始点と終了点により線分を定義しバッファリングすることで、複数の線分からなる折れ線区間を生成する（ステップ９２）。

【0084】

続いてＣＰＵ１１は、上記複数の線分について、連続する３点の成す角度が所定の閾値（例えば４５度）以上である場合には上記折れ線区間が終了し、閾値未満であれば折れ線区間が継続しているものとみなして、複数の線分群を生成する（ステップ９３）。

【0085】

そしてＣＰＵ１１は、上記生成した線分群をメモリ（ＲＡＭ１３）に出力する（ステップ９４）。

【0086】

図１０は、上記線分群から面を抽出する処理の流れを示したフローチャートである。

【0087】

点群から取得された線分群は、壁面等の平面的形状に対応した部分においては、ハッチラインのような分布となっている。そこで、水平面への投影形が重畳する線分群を、垂直な平面を構成する線分としてグルーピングし、その外周を獲得することにより、壁面を取得することとした。

【0088】

同図に示すように、ＣＰＵ１１はまず、メモリ上の線分群から比較元の線分Ｌ１を取り出す（ステップ１０１）。

【0089】

続いてＣＰＵ１１は、当該線分Ｌ１が最後の線分か否かを判断し（ステップ１０２）、最後でない場合（Ｙｅｓ）、別の線分Ｌ２を取り出す（ステップ１０３）。

【0090】

続いてＣＰＵ１１は、当該線分Ｌ２が最後の線分か否かを判断し（ステップ１０４）、最後でない場合（Ｙｅｓ）、Ｌ１とＬ２の水平投影が重なるか否かを判断する（ステップ１０５）。

【0091】

Ｌ１とＬ２の水平投影が重なると判断した場合（Ｙｅｓ）、ＣＰＵ１１は、Ｌ２をＬ１に帰属させ、使用済フラグを立てることで、Ｌ２を再選択できないように設定する（ステップ１０６）。

【0092】

以上の処理を、メモリ上の全線分について繰り返すことで、複数の線分群が生成されることになる。

【0093】

続いてＣＰＵ１１は、メモリから線分群Ｌｇを取り出す（ステップ１０７）。

【0094】

続いてＣＰＵ１１は、当該線分群Ｌｇが最後の線分群か否かを判断し（ステップ１０８）、最後でない場合（Ｎｏ）、線分群が面を形成するのに十分な数か（所定の閾値以上か）を判断する（ステップ１０９）。

【0095】

線分群が十分な数でない場合（Ｎｏ）には、上記ステップ１０７以降の処理が繰り返される。

【0096】

線分群が十分な数である場合（Ｙｅｓ）、ＣＰＵ１１は、当該線分群の幅と高さから長方形を生成し（ステップ１１０）、当該正方形により面のオブジェクトを生成する（ステップ１１１）。

【0097】

上記の処理により、町並全体の概略三次元モデルが得られる。これを用いて、個別の建物の範囲が識別可能となる。本実施形態では、個別の建物を包摂する立体を用いて、元データの全ての点群から、樹木などを含めた建物に関係する点を抽出し、これを用いて、個別の建物の細部をモデリングすることとした。

【0098】

図１１は、上記建物細部の３次元モデルの構築処理の流れを示したフローチャートである。この処理は、元の点群ファイルから、建物周囲の点群を抽出する処理である。

【0099】

同図に示すように、ＣＰＵ１１はまず、上記線分群から生成された町並の壁面群が表された状態で、個別建物を包摂する立体を作成する（ステップ１２１）。

【0100】

続いてＣＰＵ１１は、ある座標値が上記作成した立体の内部に存在するか否かを判定する関数を作成する（ステップ１２２）。

【0101】

続いてＣＰＵ１１は、図７でも示したように、メタファイルのテンプレートに上記判定関数を組み込んで、建物周囲の点群だけを抽出し表示するメタファイルを作成する（ステップ１２３）。

【0102】

そしてＣＰＵ１１は、上記メタファイルを用いて点群ファイルを解読し、当該建物周囲の詳細な表示を得る（ステップ１２４）。

【0103】

図１２は、点群データからの壁面細部の３次元モデルの構築処理の流れを示したフローチャートである。当該処理は、個別壁面に属する点群を元の点群ファイルから抽出する処理である。

【0104】

同図に示すように、ＣＰＵ１１はまず、上記と同様、線分群から生成された町並の壁面群が表された状態で、個別建物を包摂する立体を作成する（ステップ１３１）。

【0105】

続いてＣＰＵ１１は、図形演算により上記立体の外部のオブジェクトを全て削除する（ステップ１３２）。

【0106】

続いてＣＰＵ１１は、立体の内部に存在する壁面のそれぞれについて、座標値が近傍にあるか否かを判定する関数を作成する（ステップ１３３）。

【0107】

続いてＣＰＵ１１は、図７でも示したように、メタファイルのテンプレートに上記判定関数を組み込んで、壁面近傍の点群だけを抽出し表示するメタファイルを作成（ステップ１３４）。

【0108】

そしてＣＰＵ１１は、上記メタファイルを用いて点群ファイルを解読し、壁面（群）の詳細な表示を得る（ステップ１３５）。

【0109】

（建築物の劣化箇所の診断結果を表現するテクスチャデータの生成処理）
次に、建物の劣化箇所の診断結果データを基に、劣化箇所と劣化箇所以外とを二値表現したテクスチャデータを生成する処理について説明する。

【0110】

図１３は、建物の外壁剥落の診断結果を表現するテクスチャの生成処理の概要を示した図である。

【0111】

同図に示すように、この処理では、例えば打診検査機や赤外線センサ等によって計測された外壁の剥落危険個所（劣化箇所）の診断結果報告書（紙データ）のスキャンデータ（ＰＤＦデータ等）を解析して、当該データ（劣化箇所データ）を、剥落危険個所Ｐに対応するテクスチャＴを有するテクスチャデータに変換する。

【0112】

上記診断結果では、例えば立面図の上に剥落危険個所Ｄがハッチや段彩により描かれて表現されている。この図（画像データ）から、剥落危険箇所を１、それ以外を０とするテクスチャを作成し、壁面毎に割り付けることにより、剥落危険箇所の三次元的な位置を明らかにすることができる。

【0113】

図１４は、上記テクスチャの生成処理の概要的な流れを示したフローチャートである。

【0114】

同図に示すように、ＣＰＵ１１はまず、上記診断結果の画像ファイルを選択する（ステップ１４１）。

【0115】

続いてＣＰＵ１１は、上記画像ファイルがＰＤＦ形式か否かを判断する（ステップ１４２）。

【0116】

上記画像ファイルがＰＤＦ形式であると判断した場合（Ｙｅｓ）、ＣＰＵ１１は、当該ＰＤＦファイルに含まれている画像ファイル（JPEG等）を個別の画像ファイルに分解してメモリに保存する（ステップ１４３）。

【0117】

続いてＣＰＵ１１は、上記画像データを入力し（ステップ１４４）、そのカラー分析処理を実行する（ステップ１４５）。

【0118】

そしてＣＰＵ１１は、上記カラー分析の結果を基に壁面ごとのテクスチャを切り出し、メモリに保存する（ステップ１４６）。

【0119】

図１５は、上記テクスチャの生成処理におけるカラー分析処理の流れを示したフローチャートである。

【0120】

上記診断結果の画像ファイルにおいて、カラー値は(int R, int G, int B)で表現され、R（赤）、G（緑）、B（青）のそれぞれが0〜255の値を持つ。

【0121】

ここで教師データを(Rt,Gt,Bt)としたときに、あるカラー値(R,G,B)の教師データからの隔たりを計測した「色距離」Dを、
D= √((R-Rt)2 + (G-Gt)2 + (B-Bt)2)
で定義すると、Dは最大で255×√3≒442存在する。

【0122】

そこで、長さ442の配列Si[442]を用意し、１つの画像を構成する全てのピクセルのカラー値と教師データとの距離を整数値に丸めることで、分布を集計することができる。

【0123】

次に、全てのピクセルのカラー値がランダムであった場合の分布を見るために、R,G,Bを0〜255の範囲で変化させた時のDの集計結果を配列Sr[442]に求める。Sn[i] = Si[i]＊2563/Sr[i]/総ピクセル数を計算することにより、画像全体におけるピクセルの色分布の偏りを見ることができる。

【0124】

外壁診断結果を図示した画像の場合には、欠陥部分の色、地色（多くは白に近い）、囲み線の色、書込み文字の色などがあり、それぞれが中心となる色彩の周辺に集中する分布となることから、上記の集計結果は、いくつかのピークを持つ分布となる。

【0125】

これを用いて、教師データとその周辺の分布だけを切り出し、その色の集団の中央値と分布範囲を求めることにより、色彩を判定する関数を作成することができる。

【0126】

このような原理に基づき、ＣＰＵ１１は、まず、例えばユーザ入力に基づいて教師データを指定する（ステップ１５１）。

【0127】

続いてＣＰＵ１１は、ランダムな色分布を仮定した場合の教師データの周りの色分布Sr[442]を集計する（ステップ１５２）。

【0128】

続いてＣＰＵ１１は、診断図画像の全ピクセルに関する教師データの周りの色分布Si[442]を集計する（ステップ１５３）。

【0129】

続いてＣＰＵ１１は、教師データの周りの正規化された色分布Sr[442]を集計する（ステップ１５４）。

【0130】

続いてＣＰＵ１１は、上記集計結果を表示部１６に表示した上で（ステップ１５５）、上記教師データが有効か否かを判断する（ステップ１５６）。

【0131】

上記教師データが有効でないと判断した場合（Ｎｏ）、上記ステップ１５１〜１５５の処理を繰り返す。

【0132】

上記教師データが有効であると判断した場合（Ｙｅｓ）、ＣＰＵ１１は、教師データの周りの正規化された色分布における代表カラーCを求める（ステップ１５７）。

【0133】

そしてＣＰＵ１１は、代表カラーと判定する色距離閾値Dを求める（ステップ１５８）。

【0134】

以上の処理により、診断結果において壁面の剥落危険箇所を示す色塗りの典型的な場所をユーザがクリックして教師データとすることにより、そのカラーで塗り分けられた領域を正確に抽出することができる。

【0135】

図１６は、上記カラー分析に基づくテクスチャの切出し処理の流れを示したフローチャートである。

【0136】

同図に示すように、ＣＰＵ１１はまず、診断図に表示されている画面上のユーザ操作に基づいて、１つの壁面範囲の指定する（ステップ１６１）。

【0137】

続いてＣＰＵ１１は、上記指定された壁面範囲を切り出した部分画像を作成する（ステップ１６２）。

【0138】

続いてＣＰＵ１１は、上記部分画像の全ピクセルに関して、カラー代表値Cから色距離閾値D以内にあるカラーを有するピクセルをカラー１、それ以外をカラー0に変換する（ステップ１６３）。

【0139】

そしてＣＰＵ１１は、変換結果をファイルに保存する（ステップ１６４）。

【0140】

ここで、剥落危険部分を明示的に表示したい場合、元図をカラー１を黒（０，０，０）、カラー２を白（２５５，２５５，２５５）としてもよい。

【0141】

また、剥落危険部分を明示的に表示しない場合、カラー１とカラー２のＲＧＢ値を元の値のままとし、カラー１のアルファ値を２５５、カラー２のアルファ値を２５４としてもよい。

【0142】

図１７は、上記作成したテクスチャの建物各部への配置処理の概要を示した図である。

【0143】

同図に示すように、建物の３次元モデルＢの１つの壁面上に、上記作成した剥落危険箇所を示すテクスチャＴを立体的に配置する。これにより、建物の３次元データに、当該建物が有する劣化箇所の危険性を示す情報が付加された危険性情報（劣化情報）付３次元データが生成される。

【0144】

図１８は、建物各部への上記テクスチャの配置処理の流れを示したフローチャートである。

【0145】

同図に示すように、ＣＰＵ１１はまず、ユーザの操作に基づいて、配置するテクスチャデータを選択する（ステップ１８１）。

【0146】

続いてＣＰＵ１１は、ユーザの操作に基づいて、記憶部１８に記憶されている建物の３次元モデルデータの中からテクスチャを配置する壁面を選択する（ステップ１８２）。

【0147】

そしてＣＰＵ１１は、上記選択された壁面に沿って、図１７で示したようにテクスチャをマッピングする（ステップ１８３）。

【0148】

テクスチャのポリゴン（多角形）への適用に際しては、頂点毎にテクスチャ座標の定義が必要であるが、垂直な長方形の壁面の場合には、テクスチャ座標を単純に簡単に（0,0),(1,0),(1,1),(0,1)とすればよく、壁面を１つ選択する上記の簡単なユーザ操作のみで実行が可能である。

【0149】

（リスク立体の生成処理）
次に、上記テクスチャを配置した壁面の危険性を可視化するリスク立体の生成処理について説明する。図１９は当該リスク立体の作成処理の概要を示した図である。

【0150】

同図に示すように、上記図１７で示したようなテクスチャデータＴとして表現された剥落危険箇所１ドット毎に、影響範囲を示す円錐型のリスク立体Ｒを生成する。このリスク立体Ｒの和集合を求めることにより、一つの壁面、一つの建物全体、及び町並全体についての危険な範囲を求めることができる。

【0151】

図２０は、上記リスク立体の作成処理の大まかな流れを示したフローチャートである。

【0152】

同図に示すように、ＣＰＵ１１は、リスク立体生成処理として、１点からのリスク立体の生成処理（ステップ２０１）、１壁面からのリスク立体の生成処理（ステップ２０２）、１建物からのリスク立体の生成処理（ステップ２０３）及び町並からのリスク立体の生成処理（ステップ２０４）を実行する。以下、それぞれの処理について説明する。

【0153】

図２１は、１点からのリスク立体作成処理の流れを示したフローチャートである。

【0154】

同図に示すように、ＣＰＵ１１はまず、平面図表示の画面に対するユーザのクリック操作を受け付けることで、対象点のＸＹ座標を取得する（ステップ２１１）。

【0155】

続いてＣＰＵ１１は、立面図表示の画面に対するユーザのクリック操作を受け付けることで、対象点のＺ座標を取得する（ステップ２１２）。

【0156】

そしてＣＰＵ１１は、取得したＸＹＺ座標値で定義される頂点を有し、側面の勾配が１：２の円錐形のリスク立体Ｒを生成する（ステップ２１３）。円錐形の底面は地面（Ｚ座標０）と同一面に形成される。

【0157】

ここで、円錐形のリスク立体Ｒは、背景となる建物の３次元モデルＢと区別が付きやすいように、建築物にはあまり使われない紫色等に着色すると共に、後ろの建物の３次元モデルＢが透けて見えるように透過率を設定する。

【0158】

図２２は、一壁面からのリスク立体作成処理の流れを示したフローチャートである。

【0159】

同図に示すように、ＣＰＵ１１はまず、ユーザの操作に基づいて、ある建物の壁面を選択する（ステップ２２１）。

【0160】

続いてＣＰＵ１１は、選択された壁面のテクスチャから、１つの列を取り出す（ステップ２２２）。

【0161】

続いてＣＰＵ１１は、上記列の中の最も上方のリスク源を探索する（ステップ２２３）。

【0162】

続いてＣＰＵ１１は、テクスチャ上のピクセル座標と、壁面の空間座標から、ピクセルの空間座標を補間計算する（ステップ２２４）。

【0163】

続いてＣＰＵ１１は、上記ピクセルの空間座標を頂点とする円錐形のリスク立体Ｒを生成する（ステップ２２５）。

【0164】

ＣＰＵ１１は、以上の処理を、全ての列について繰り返す（ステップ２２６）。

【0165】

なお、１つのリスク源の真上に別のリスク源がある場合、前者から生成されるリスク立体は後者から生成されるリスク立体に包含されるため、ＣＰＵ１１は前者に関する処理を無視することができる。

【0166】

図２３は、一建物からのリスク立体作成処理の流れを示したフローチャートである。

【0167】

同図に示すように、ＣＰＵ１１はまず、ユーザの操作に基づいて、１つの建物を選択する（ステップ２３１）。

【0168】

続いてＣＰＵ１１は、上記選択された建物から、１つの壁面を取り出す（ステップ２３２）。

【0169】

続いてＣＰＵ１１は、取り出した１壁面について、上記図２２で示したリスク立体Ｒの生成処理を実行する（ステップ２３３）。

【0170】

ＣＰＵ１１は、以上の処理を、全ての壁面について繰り返す（ステップ２３４）。

【0171】

図２４は、町並み全体からのリスク立体作成処理の流れを示したフローチャートである。

【0172】

同図に示すように、ＣＰＵ１１はまず、町並から１つの建物を取り出す（ステップ２４１）。

【0173】

続いてＣＰＵ１１は、図２３で示した１建物からのリスク立体の生成処理を実行する（ステップ２４２）。

【0174】

ＣＰＵ１１は、以上の処理を、町並に含まれる全ての建物について繰り返す（ステップ２４３）。

【0175】

（危険性が地面へ及ぼす影響範囲の解析処理）
次に、上記剥落危険箇所の危険性が地面へ及ぼす影響範囲を解析する処理について説明する。図２５は、当該解析処理の概要を示した図である。

【0176】

当該処理では、建物の３次元モデルＢの周囲の地面を例えば0.1mのメッシュに分割し、それぞれの地点に影響を及ぼす可能性のある上方の剥落危険箇所の面積（上記リスク立体Ｒの底面の面積）を集計することにより、地点毎に危険性のレベルをある程度定量的に計算し、それをリスク画像Ｓとして表現することができる。この地面は水平面である必要はなく、坂道などであってもよい。

【0177】

図２６は、上記地面への影響範囲の解析処理の大まかな流れを示したフローチャートである。

【0178】

同図に示すように、ＣＰＵ１１は、当該影響範囲の解析処理として、１壁面からの影響範囲の解析処理（ステップ２６１）、１建物からの影響範囲の解析処理（ステップ２６２）、町並全体からの影響範囲の解析処理（ステップ２６３）を実行する。以下、それぞれの処理について説明する。

【0179】

図２７は、１壁面からの影響範囲の解析処理の流れを示したフローチャートである。

【0180】

同図に示すように、ＣＰＵ１１はまず、壁面の３次元モデルの上辺の座標値と最低標高から、十分に広い地面の範囲を含む長方形領域を作成する（ステップ２７１）。

【0181】

続いてＣＰＵ１１は、上記長方形領域をメッシュに分割する（ステップ２７２）。

【0182】

続いてＣＰＵ１１は、メッシュ毎にリスク源（剥落危険箇所）の面積集計用の配列を用意する（ステップ２７３）。

【0183】

続いてＣＰＵ１１は、上記メッシュから１つの点(X,Y)を取り出す（ステップ２７４）。

【0184】

続いてＣＰＵ１１は、上記３次元モデルにおける地面を検索して標高Zを求める（ステップ２７５）。

【0185】

続いてＣＰＵ１１は、壁面のテクスチャから１つのリスク源を取り出す（ステップ２７６）。

【0186】

続いてＣＰＵ１１は、上記取り出したリスク源が上記点(X,Y,Z)に影響するか否かを判断する（ステップ２７７）。

【0187】

上記リスク源が上記点に影響すると判断した場合（Ｙｅｓ）、ＣＰＵ１１は、当該リスク源に対応する壁面の面積を加算する（ステップ２７８）。

【0188】

続いてＣＰＵ１１は、次のリスク源はあるか否かを判断する（ステップ２７９）。

【0189】

次のリスク源が有ると判断した場合（Ｙｅｓ）には、ＣＰＵ１１は、上記ステップ２７６以降の処理を繰り返し、全てのリスク源について同様の処理を実行する。

【0190】

次のリスク源が無い（全てのリスク源について処理を実行した）と判断した場合（Ｎｏ）、ＣＰＵ１１は、次のメッシュ点はあるか否かを判断する（ステップ２８０）。

【0191】

次のメッシュ点が有ると判断した場合（Ｙｅｓ）には、ＣＰＵ１１は、上記ステップ２７４以降の処理を繰り返し、全てのメッシュ点について同様の処理を実行する。

【0192】

次のメッシュ点が無い（全てのメッシュ点について処理を実行した）と判断した場合（Ｎｏ）、ＣＰＵ１１は、メッシュ点毎のリスク源面積を画像ファイルとして保存（ステップ２８１）。

【0193】

図２８は、１建物からの影響範囲の解析処理の流れを示したフローチャートである。

【0194】

同図に示すように、ＣＰＵ１１はまず、建物の３次元モデルの上面の座標値と最低標高から、十分に広い地面の範囲を含む長方形領域を作成する（ステップ２９１）。

【0195】

続いてＣＰＵ１１は、長方形領域をメッシュに分割する（ステップ２９２）。

【0196】

続いてＣＰＵ１１は、メッシュ毎にリスク源（剥落危険箇所）の面積集計用の配列を用意する（ステップ２９３）。

【0197】

続いてＣＰＵ１１は、上記メッシュから1つの点(X,Y)を取り出す（ステップ２９４）。

【0198】

続いてＣＰＵ１１は、上記３次元モデルにおける地面を検索して標高Zを求める（ステップ２９５）。

【0199】

続いてＣＰＵ１１は、建物から１つの壁面を取り出す（ステップ２９６）。

【0200】

続いてＣＰＵ１１は、上記図２７に示した処理により、壁面に含まれるリスク源の面積を求め、集計用配列に加算する（ステップ２９７）。

【0201】

続いてＣＰＵ１１は、次の壁面はあるか否かを判断する（ステップ２９８）。

【0202】

次の壁面が有ると判断した場合（Ｙｅｓ）には、ＣＰＵ１１は、上記ステップ２９６以降の処理を繰り返し、全ての壁面について同様の処理を実行する。

【0203】

次の壁面が無い（全ての壁面について処理を実行した）と判断した場合（Ｎｏ）、ＣＰＵ１１は、次のメッシュ点はあるか否かを判断する（ステップ２９９）。

【0204】

次のメッシュ点が有ると判断した場合（Ｙｅｓ）には、ＣＰＵ１１は、上記ステップ２９４以降の処理を繰り返し、全てのメッシュ点について同様の処理を実行する。

【0205】

次のメッシュ点が無い（全てのメッシュ点について処理を実行した）と判断した場合（Ｎｏ）、ＣＰＵ１１は、メッシュ点毎のリスク源面積を画像ファイルとして保存する（ステップ３００）。

【0206】

図２９は、町並全体からの影響範囲の解析処理の流れを示したフローチャートである。

【0207】

同図に示すように、ＣＰＵ１１はまず、全建物の３次元モデルの上面の座標値と最低標高から、十分に広い地面の範囲を含む長方形領域を作成する（ステップ３０１）。

【0208】

続いてＣＰＵ１１は、長方形領域をメッシュに分割する（ステップ３０２）。

【0209】

続いてＣＰＵ１１は、メッシュ毎にリスク源（剥落危険箇所）の面積集計用の配列を用意する（ステップ２９３）。

【0210】

続いてＣＰＵ１１は、上記メッシュから1つの点(X,Y)を取り出す（ステップ３０４）。

【0211】

続いてＣＰＵ１１は、上記３次元モデルにおける地面を検索して標高Zを求める（ステップ３０５）。

【0212】

続いてＣＰＵ１１は、町並から１つの建物を取り出す（ステップ３０６）。

【0213】

続いてＣＰＵ１１は、上記図２８に示した処理により、建物に含まれるリスク源の面積を求め、集計用配列に加算する（ステップ３０７）。

【0214】

続いてＣＰＵ１１は、次の建物はあるか否かを判断する（ステップ３０８）。

【0215】

次の建物が有ると判断した場合（Ｙｅｓ）には、ＣＰＵ１１は、上記ステップ３０６以降の処理を繰り返し、全ての建物について同様の処理を実行する。

【0216】

次の建物が無い（全ての建物について処理を実行した）と判断した場合（Ｎｏ）、ＣＰＵ１１は、次のメッシュ点はあるか否かを判断する（ステップ３０９）。

【0217】

次のメッシュ点が有ると判断した場合（Ｙｅｓ）には、ＣＰＵ１１は、上記ステップ３０４以降の処理を繰り返し、全てのメッシュ点について同様の処理を実行する。

【0218】

次のメッシュ点が無い（全てのメッシュ点について処理を実行した）と判断した場合（Ｎｏ）、ＣＰＵ１１は、メッシュ毎のリスク源面積を、ＧＩＳ（Geographic Information System）に入力可能なファイルとして保存する（ステップ３１０）。ＧＩＳに入力可能なファイルとして生成することで、自動車における自動危険回避制御への活用も可能となる。

【0219】

（現場確認用データの編集処理及び現場確認）
次に、上記生成した危険性情報（劣化箇所を示す図形および／または影響範囲を示す図形の現場確認用データ）の編集処理及び現場での確認処理について説明する。

【0220】

図３０は、上記携帯端末３００による、建物の危険性のＡＲ表示処理の概要を示した図である。

【0221】

この処理にあたっては、ＰＣ１００から、これにＵＳＢケーブルで接続された携帯端末２００にデータ（危険性情報）を転送した上でユーザが現場に携行することにより、現実の建物の表面では直接目視することができない見えないリスク源としての劣化箇所（テクスチャＴを付した壁面データ）、および／または、そこから下方に及ぶ影響範囲（リスク立体Ｒ）、および地面への影響範囲（リスク画像Ｓ）などを現場で背景画像とリアルタイムで合成して表示・確認することができる。同図の例では、危険性情報としてリスク立体Ｒが転送され合成表示されている。

【0222】

図３１は、ＰＣ１００による、携帯端末２００への現場確認用データの転送処理の流れを示したフローチャートである。

【0223】

同図に示すように、ＣＰＵ１１はまず、現場確認用データ（危険性情報）を編集する（ステップ３１１）。具体的には、建物の３次元モデル毎のリスク立体Ｒのファイル名と、各建物の３次元モデルの座標原点の緯度経度標高のリストを作成する。

【0224】

続いてＣＰＵ１１は、現場確認用データを確認表示する（ステップ３１２）。すなわち、ＰＣ１００上で動作するエミュレータで上記リストから建物を選択し、リスク立体Ｒを表示する。

【0225】

続いてＣＰＵ１１は、携帯端末２００へ現場確認用データを、ＵＳＢケーブル等を介して転送する（ステップ３１３）。

【0226】

続いて、携帯端末２００を用いた現場作業（確認・記録）が実行される（ステップ３１４）。具体的には、携帯端末２００が、ユーザの視点（カメラ２６の撮像面）の移動に応じて、カメラ２６で取得した現場の背景画像と、上記受信したリスク立体Ｔとを合成（ＡＲ）表示する。ユーザは、必要に応じてシャッターを操作し、現場写真と視点情報を記録する。

【0227】

続いてＣＰＵ１１は、携帯端末２００から現場で記録したデータを、上記ＵＳＢケーブル等を介して回収する（ステップ３１５）。

【0228】

続いてＣＰＵ１１は、現場記録データを表示部１６で再生表示（ステップ３１６）。すなわち、現場で記録された写真と視点情報に基づき、上記エミュレータ上で合成表示を再現する。

【0229】

図３２は、携帯端末２００による、現場確認用データを用いたＡＲ表示処理の流れを示したフローチャートである。当該処理の前提として、携帯端末２００のユーザは、現場確認用のアプリケーションを起動し、上記ＰＣ１００から転送された建物のリストからいずれかの建物を選択する。これによりＡＲ表示処理が開始される。

【0230】

同図に示すように、まず携帯端末２００のＣＰＵ２１は、緯度経度情報が取得されているか否かを判断する（ステップ３２１）。緯度経度情報が取得できない場合とは、ＧＰＳセンサ２７がオフになっている場合、または、ＧＰＳセンサ２７がＧＰＳ衛星を検索中の状態の場合である。

【0231】

緯度経度情報が取得できている場合（Ｎｏ）、ＣＰＵ２１は、当該緯度経度が所定の特区内であるか否かを判断する（ステップ３２２）。

【0232】

緯度経度が特区外であると判断した場合（Ｎｏ）、ＣＰＵ２１は、通常のＡＲ表示（通常表示）を実行する（ステップ３２４）。

【0233】

通常表示とは、３次元モデルの原点の緯度経度標高と、ＧＰＳセンサ２７が計測した緯度経度標高との差から、３次元モデル座標系における視点位置を求め、この視点位置を用いて、レンダリングを行なう処理である。

【0234】

緯度経度が特区内であると判断した場合（Ｙｅｓ）、ＣＰＵ２１は、ＰＣ１００から転送された建物の３次元モデルの位置座標を確認し当該位置座標が特区周辺であるか否かを判断する（ステップ３２３）。

【0235】

上記３次元モデルが特区周辺に存在すると判断した場合（Ｙｅｓ）、ＣＰＵ２１は、通常表示を実行する（ステップ３２４）。

【0236】

上記３次元モデルが特区周辺には存在しないと判断した場合（Ｎｏ）、ＣＰＵ２１は、特区表示を実行する（ステップ３２５）。

【0237】

特区表示とは、特区（本実施形態に係るＡＲ技術上の特別な場所）内に定義した原点の緯度経度標高と、ＧＰＳセンサ２７が計測した緯度経度標高の差から、３次元モデル座標系における視点位置を求め、この視点位置を用いて、レンダリングを行なう処理である。例えば、３次元モデルに対応する建物が実際に存在する位置が、ユーザが存在する場所から遠く離れている場合には、ユーザの近傍に設定した特区において、擬似的に近傍に存在する物件のようにＡＲ表示を体験することができる。なお、本実施形態では、「特区」は、本出願人が存する施設の中央のオープンスペースに設定され、「特区周辺」は、同施設の敷地全体に相当するエリアに設定された。

【0238】

また、上記ステップ３２１において緯度経度情報が取得できなかった場合（Ｙｅｓ）、ＣＰＵ２１は、回転表示を実行する（ステップ３２６）。

【0239】

回転表示とは、携帯端末２００の表示面に直交するベクトルの各成分（X＝東西成分、Ｙ＝南北成分、Ｚ＝鉛直成分）を、加速度センサ２９と磁気センサ２８の値から求めるとともに、３次元モデル（地区）を包摂する球の半径Ｒを計算し、レンダリングのための視点位置を、３次元モデルの原点から上記ベクトルの方向に距離１．５Ｒの地点に求め、この視点位置を用いてレンダリングを行なう処理である。

【0240】

図３３は、携帯端末２００によるＡＲ表示処理のうち上記通常表示処理の流れを示したフローチャートである。

【0241】

同図に示すように、ＣＰＵ２１はまず、３次元モデルの座標軸の原点の緯度経度標高(1)を取り出す（ステップ３３１）。

【0242】

続いてＣＰＵ２１は、ＧＰＳセンサ２７が取得した携帯端末の緯度経度標高(2)を取り出す（ステップ３３２）。

【0243】

続いてＣＰＵ２１は、上記(1)と(2)から３次元モデルの座標系における携帯端末の位置(x,y,z)を計算する（ステップ３３３）。

【0244】

続いてＣＰＵ２１は、算出した携帯端末２００の位置と姿勢を用いて３次元モデルの透視図を作成する（ステップ３３４）。

【0245】

そしてＣＰＵ２１は、上記作成した透視図をカメラ２６の背景画像と合成して表示する（ステップ３３５）。

【0246】

図３４は、携帯端末２００によるＡＲ表示処理のうち、特区における表示処理の流れを示したフローチャートである。

【0247】

同図に示すように、ＣＰＵ２１はまず、特区の原点の緯度経度標高(1)を取り出す（ステップ３４１）。

【0248】

続いてＣＰＵ２１は、ＧＰＳセンサ２７が取得した携帯端末の緯度経度標高(2)を取り出す（ステップ３４２）。

【0249】

続いてＣＰＵ２１は、上記(1)と(2)から３次元モデルの座標系における携帯端末２００の位置(x,y,z)を計算する（ステップ３４３）。

【0250】

続いてＣＰＵ２１は、算出した携帯端末２００の位置と姿勢を用いて３次元モデルの透視図を作成する（ステップ３４４）。

【0251】

そしてＣＰＵ２１は、作成した透視図をカメラ２６の背景画像と合成して表示する（ステップ３４５）。

【0252】

図３５は、携帯端末２００によるＡＲ表示処理のうち回転表示処理の流れを示したフローチャートである。

【0253】

同図に示すように、ＣＰＵ２１はまず、３次元モデル座標系におけるモデルの存在範囲（3座標の最小値と最大値）を求める（ステップ３５１）。

【0254】

続いてＣＰＵ２１は、３次元モデルの中心の座標値と存在範囲を含む半径Ｒを求める（ステップ３５２）。

【0255】

続いてＣＰＵ２１は、３次元モデルの中心から携帯端末２００のカメラ軸と逆の方向にＲ離れた地点を求め、それを携帯端末２００の位置とする（ステップ３５３）。

【0256】

続いてＣＰＵ２１は、算出した携帯端末２００の位置と姿勢を用いて、３次元モデルの透視図を作成する（ステップ３５４）。

【0257】

そしてＣＰＵ２１は、作成した透視図をカメラ２６の背景画像と合成して表示する（ステップ３５５）。

【0258】

結果的にこの処理により、一般的な３次元モデラーにおいてモデルを回転させて表示するような視覚効果が得られる。その際の視点移動の入力手段として、携帯端末２００の加速度センサ２９と磁気センサ２８を使用していることになる。

【0259】

［まとめ］
以上説明したように、本実施形態によれば、建築物が潜在的に有する落下または倒壊の危険性を危険性情報（劣化箇所情報／影響範囲情報）として生成し、携帯端末２００によるＡＲ表示で可視化することができる。具体的には、上記テクスチャＴ（が付された壁面データ）のＡＲ表示により現場の建物の劣化箇所が可視化され、上記リスク立体Ｒにより現場の建物の周辺に危険性が及び立体的範囲が可視化され、上記リスク画像Ｓにより現場の建物の周辺に危険性が及ぶ地面範囲が可視化される。なお、これらテクスチャＴ、リスク立体Ｒ及びリスク画像Ｓは、広義にはいずれも「建物の劣化箇所を示す図形」ということができる。

【0260】

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。

【0261】

上述の実施形態においては、ＰＣ１００が上記図４で示したＳ１〜Ｓ６の全ての処理を実行する例を示した。しかし、ＰＣ１００は、これらの処理のうち全てを実行する必要は無い。例えば、三次元モデルの構築処理やテクスチャの作成処理は他の装置が担い、ＰＣ１００が当該三次元モデル及びテクスチャデータを利用して、Ｓ３〜Ｓ６に示した処理を実行してもよい。

【0262】

上述の実施形態では、建物の外壁等の剥離及び落下による危険性を可視化する処理について主に説明したが、危険性はそれらに限られず、例えば地震により倒壊しそうな建物や落下のおそれがある看板等の付属物、漏出の虞れがある有害物質、落下後も高電圧を生じうる発電設備等も同様に危険性情報を示す３次元データとして可視化してもよい。

【0263】

また、建物の外部のみならず、内部の天井が有する危険性についても同様に処理が可能であり、例えば天井の剥落危険箇所からリスク立体Ｒが床に向けて表示されるように危険性情報の３次元データを生成することも可能である。

【0264】

また、リスク立体Ｒを地面（床）に向けて表示するのみならず、例えば剥落物が地面に落下した場合に割れて飛散する様子等が可視化されてもよい。この場合、剥落危険箇所の面積に応じて飛散面積が大きくなるような所定の計算式が用いられてもよい。

【0265】

また上述の実施形態では、危険性を示す情報として、劣化箇所が建築物の周辺空間に及ぼす影響範囲を示す影響範囲情報であるリスク立体Ｒのみが携帯端末２００へ転送される例が示されたが、劣化箇所を示す図形であるテクスチャＴを付した壁面データとリスク立体Ｒ（またはリスク画像Ｓ）の両方が携帯端末２００へ転送され現場で表示されてもよいし、テクスチャＴを付した壁面データまたはリスク画像Ｓのみが携帯端末２００へ転送され現場で合成表示されてもよい。

【0266】

上述の実施形態の各フローチャートで示した処理は一例であり、それ以外の処理によっても本発明の目的を達成することができる。

【0267】

本願の特許請求の範囲に記載された発明のうち、「情報処理方法」と記載された発明は、その各ステップを、ソフトウェアによる情報処理によりコンピュータ等の少なくとも１つの装置が自動的に行うものであり、人間がコンピュータ等の装置を用いて行うものではない。すなわち、当該「情報処理方法」は、コンピュータ・ソフトウェアによる情報処理方法であって、コンピュータという計算道具を人間が操作する方法ではない。

【符号の説明】

【0268】

１１、２１…ＣＰＵ
１８…記憶部
１９…通信部
１００…ＰＣ
２００…タブレット端末
Ｒ…リスク立体
Ｓ…リスク画像
Ｔ…テクスチャ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】