特開 2025-7360 画像生成装置、画像生成装置を用いた診断装置、データ記憶システム、画像生成方法および画像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025007360

(43)【公開日】2025-01-17

(54)【発明の名称】画像生成装置、画像生成装置を用いた診断装置、データ記憶システム、画像生成方法および画像生成プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20250109BHJP

   G06T 7/12 20170101ALI20250109BHJP

   G06V 10/26 20220101ALI20250109BHJP

   H04N 5/222 20060101ALI20250109BHJP

   H04N 23/40 20230101ALI20250109BHJP

   G06Q 50/10 20120101ALI20250109BHJP

【ＦＩ】

H04N23/60 500

G06T7/12

G06V10/26

H04N5/222 100

H04N23/60 300

H04N23/40 300

G06Q50/10

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023108699

(22)【出願日】2023-06-30

(71)【出願人】

【識別番号】510084297

【氏名又は名称】株式会社ブロードリーフ

(74)【代理人】

【識別番号】100129159

【弁理士】

【氏名又は名称】黒沼 吉行

(72)【発明者】

【氏名】大山 堅司

【テーマコード（参考）】

5C122

5L049

5L050

5L096

【Ｆターム（参考）】

5C122DA12

5C122EA55

5C122FA01

5C122FA03

5C122FA08

5C122FH10

5C122FH11

5C122FH14

5C122FH16

5C122FH20

5C122GC52

5C122GD01

5C122GD11

5C122GE01

5C122GG01

5C122HA13

5C122HA35

5C122HA75

5C122HA82

5C122HB01

5C122HB05

5L049CC11

5L050CC11

5L096BA03

5L096BA04

5L096CA02

5L096FA06

5L096FA09

5L096GA19

(57)【要約】

【課題】 狭く暗い等危険な空間に、移動可能なカメラを投入し、人が目視によって得られる情報以上の情報処理を実現化可能とする画像生成装置、画像生成装置を用いた診断装置、データ記憶システム、画像生成方法および画像生成プログラムを提供する。
【解決手段】 観察対象１０ｕの下を移動しながら検出したデータに基づき、該観察対象の観察対象範囲の輪郭１０Ｌを識別する輪郭設定部Ｐ１と、当該画像データに基づき、部品が示す特徴点を抽出し、部品を特定する部品特定部Ｐ２と、識別した観察対象範囲の輪郭内に複数の区画１０Ｓの配列からなるマップ１０Ｍを割り当てるマップ割り当て処理部Ｐ３と、該マップの各区画に、当該画像データを割り当てて該観察対象の下面画像１００に統合するマップ設定処理部Ｐ４と、部品特定部Ｐ２が特定した各部品の異常箇所を判定して検査を行う部品検査処理部Ｐ８と、を備えた画像生成プログラム８。
【選択図】図５

【特許請求の範囲】

【請求項1】

観察対象の下面画像を生成する画像生成装置であって、
観察対象の下側を撮像機が移動して撮像した画像データに基づき、該観察対象における観察対象範囲の輪郭を識別して、輪郭内の領域を輪郭エリアとして設定する輪郭設定部と、
当該輪郭エリア内のうち、画像データを取得した画像取得領域と、画像データを取得していない画像未取得領域とを出力する画像出力部と、を備える画像生成装置。

【請求項2】

前記輪郭エリア内の前記画像データに基づき、観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出部と、
抽出した該特徴点から部品を特定する部品特定部とを備える、請求項１に記載の画像生成装置。

【請求項3】

前記輪郭設定部が設定した輪郭エリア内に複数の区画を配列したマップを割り当てるマップ割り当て処理部と、
該マップの各区画に、前記画像データを設定して該観察対象の下面画像を生成するマップ設定処理部と、
前記部品特定部が特定した各部品をもとに、該部品の形状、色、大きさ及び位置の少なくとも何れかの検査を行う部品検査処理部とを備える、請求項２記載の画像生成装置。

【請求項4】

前記輪郭設定部は、
前記観察対象ごとに設定された一定距離範囲内で撮像できる観察対象の位置を輪郭の特徴点として抽出し、該特徴点を線状に繋ぎ合わせて観察対象範囲の輪郭を識別する、請求項１記載の画像生成装置。

【請求項5】

前記部品特定部が特定した部品の標準画像を取得する部品情報取得処理部と、
前記部品特定部が特定した部品の画像と、前記部品情報取得処理部が取得した部品の標準画像とを比較する部品比較処理部と、
前記部品比較処理部における比較結果から、前記部品特定部が特定した部品の部品状態を判断する判断処理部とを備える、請求項２記載の画像生成装置を用いた診断装置。

【請求項6】

前記判断処理部による部品の部品状態をもとに、該部品状態の更新作業にかかる費用に関する見積書と該更新作業に関する作業票とのうち少なくとも一方を作成する書類作成処理部を備える、請求項５記載の診断装置。

【請求項7】

請求項１記載の画像生成装置と、
画像生成装置が生成した下面画像を記憶する画像記憶装置と
を具備し、
前記画像生成装置は、下面画像の送信部を備え、
前記画像記憶装置は、下面画像を取得し、当該下面画像を生成した観察対象を特定する特定情報とを関連付けて保持する記憶部を備える、データ記憶システム。

【請求項8】

更に、
観察対象を撮影するカメラを搭載し、走行駆動源又は浮揚移動源を有する移動体と、
該カメラが前記観察対象の観察対象範囲を撮影するために該移動体の移動制御を行う移動制御部と、を備える請求項７に記載のデータ記憶システム。

【請求項9】

コンピュータで実行され、観察対象の下面画像を生成する画像生成方法であって、
観察対象の下側を移動して撮像した画像データに基づき、該観察対象における観察対象範囲の輪郭を識別して、輪郭内の領域を輪郭エリアとして設定する輪郭設定ステップと、
前記輪郭エリア内の前記画像データに基づき、観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出ステップと、
前記特徴点から部品を特定する部品特定ステップと、を備える画像生成方法。

【請求項10】

観察対象の下面画像を生成する画像生成プログラムであって、
観察対象の下側を移動して撮像した画像データに基づき、該観察対象における観察対象範囲の輪郭を識別して、輪郭内の領域を輪郭エリアとして設定する輪郭設定ステップと、
前記輪郭エリア内の前記画像データに基づき、観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出ステップと、
前記特徴点から部品を特定する部品特定ステップと、を備える画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両や建築物その他の人工物の下面部分等の確認が困難場所の画像データを処理可能とする画像生成装置、画像生成装置を用いた診断装置、データ記憶システム、画像生成方法および画像生成プログラムに関する。

【背景技術】

【0002】

自動車の定期点検等の見積価格を算出する場合には、車体及び各部品を目視確認し、整備、交換の必要箇所を確認する必要がある。特に、車体の下回りを確認する場合は、対象車両をジャッキリフトや地下ピット上まで移動し、安全を確保した上、整備士が車体の下に入り、各部品を目視確認し、整備、交換の必要箇所を確認する必要があった。車両の不具合箇所の確認、及び、部品を手配する場合も同様の確認作業が必要であった。また、中古車の買取り査定や販売価格の設定等を行う場合も同様である。

【0003】

近年は、ガソリンエンジン、ディーゼルエンジン、ハイブリッド車に留まらず、水素エンジンや燃料電池自動車等、車種毎に様々な部品が搭載されており、部品点数が増え、構造が複雑化し、多様化している。特に、新車で納車されてから経過年数が短いような車両や、走行距離が短い車両等は、比較的、故障確率が低いにも係わらず、点検項目が増え、整備士の点検作業量が増加している。

【0004】

また、労働環境の改善に伴い、整備士の作業時間が短縮されている。更に、労働人口の減少に伴い、整備士の人材不足が危惧されている。自動車の整備に留まらず、建築物の床下、天井下又は天井裏の設備の点検等にも同様の課題があった。

【0005】

例えば、特許文献１（特開２００５－２００８４４号公報）には、道路トンネル内の上部に配置される作業デッキと、作業デッキの幅方向の両側に夫々設けられ、下部に車輪を備えた複数の脚部と、車輪の動力を供給する駆動部とを有し、道路トンネルの幅方向の両側部に跨って、しかも、道路トンネル内の車両通行領域を除く領域に配置され、その内側を車両が通行可能であり、道路トンネルが使用中の場合でも、車両の通行を阻止せずに作業できる。また、自走式なので、動力を供給するケーブル等が必要なくなる。また、作業デッキ上で作業するので、作業性を向上できる、自走式トンネル内作業用台車が示されている。

【0006】

また、例えば、特許文献２（特開２０２２－１５１６１号公報）に示されたペット用自走カメラは、複数の車輪で設置面を走行する筐体と、筐体に収容されるカメラと、筐体に固定されたカメラを回転自在に支持するシャシと、車輪を駆動する車輪駆動源と、カメラを回転させるカメラ回転駆動源と、設置面に吸着して筐体の転倒を規制する吸盤と、吸盤に穿設された通気孔を開閉する開閉バルブと、開閉バルブを開閉駆動する開閉機構とを備えており、車両の下や建築物の床下等の狭い空間を自由に移動し、撮影する技術として応用できる可能性がある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００５－２００８４４号公報

【特許文献2】特開２０２２－１５１６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

前記特許文献１の自走式トンネル内作業用台車は、トンネルの天井面のような高所の下面部分の点検や作業に有効である。しかし、車両の下や建築物の床下や天井裏（吊り天井内）等の狭い空間内で、上方に位置する下面部分を点検するのには有効でない。

【0009】

また、前記特許文献２のペット用自走カメラは、車両の下や建築物の床下や天井裏（吊り天井内）等の狭い空間内を移動しながら上方に位置する下面部分を撮影することが可能なものとなっている。しかしながら、その撮影の対象は動き回るペットであり、車両や建築物の下面部分の点検には、そのまま利用できないものであった。

【0010】

本発明は、斯かる実情に鑑み、所定の対象物の下面画像を生成できる画像生成装置、画像生成装置を用いた診断装置、データ記憶システム、画像生成方法および画像生成プログラムを提供することを目的とする。

【0011】

また、本発明は、人が入り込むにはジャッキリフトや地下ピット等の大掛かりな施設を要するか、又は作業員が暗く狭い空間に危険を冒して潜り込む必要のある場所等においても所定の対象物の下面画像を生成できる画像生成装置、画像生成装置を用いた診断装置、データ記憶システム、画像生成方法および画像生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

前記課題の少なくとも何れかを解決するべく、本発明では車両の下回りなどの下面画像や、天井面などの部屋空間の下面画像などを、輪郭を特定することによって高精度に画像データを取得できる画像生成装置、これを用いた診断装置、データ記憶システム、画像生成方法および画像生成プログラムを提供する。
即ち本発明では、観察対象の下面画像を生成する画像生成装置であって、観察対象の下側を撮像機が移動して撮像した画像データに基づき、該観察対象における観察対象範囲の輪郭を識別して、輪郭内の領域を輪郭エリアとして設定する輪郭設定部と、当該輪郭エリア内のうち、画像データを取得した画像取得領域と、画像データを取得していない画像未取得領域とを出力する画像出力部と、を備え、輪郭エリア内で取得した画像データから下面画像を生成する画像生成装置を提供する。

【0013】

輪郭設定部は、当該画像生成プログラムの実行を開始する初期の段階に観察対象範囲の輪郭を識別する。輪郭設定部は、撮像機の測距部が測定した測距データに基づき、観察対象範囲の輪郭を識別することができる。また、輪郭設定部は、撮像機のカメラが撮影した画像データに基づき、色や明暗などの違いから観察対象範囲の輪郭を識別することができる。

【0014】

上記画像生成装置は、前記輪郭エリア内の前記画像データに基づき、観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出部と、抽出した該特徴点から部品を特定する部品特定部とを備えることができる。

【0015】

前記部品特定部は、観察対象の撮像画像上の部品を特定するものであり、画像データに基づき、観察対象の部品が示す特徴点を抽出し、その特徴点から部品を特定することができる。部品が示す特徴点は、特徴情報とも称し、各部品の様々な車両に共通する基本的形状や、車両毎に異なる部品寸法等、個々の部品を識別するのに有効な画像上の特徴的要素を抽出して識別することができる。例えば、エギゾーストパイプであれば、画像データから、基本的形状が曲線で連なるパイプ形状から部品の全体形状を判断し、更に、ボルト・ナットで結合されたフランジ部間の距離から、部品寸法を読み取ることができる。サスペンションの場合には、画像データから懸架方式を識別し、その構成部品毎に、例えば、コイルスプリング、ショックアブソーバー、ロアアーム、アッパーアーム、ブッシュ、ブーツ、スタビライザー、車軸、オイルパン、触媒、マフラー、サイレンサー、ボルト・ナット等を判別することができる。

【0016】

また上記画像生成装置は、前記輪郭設定部が設定した輪郭エリア内に複数の区画を配列したマップを割り当てるマップ割り当て処理部と、該マップの各区画に、前記画像データを設定して該観察対象の下面画像を生成するマップ設定処理部と、前記部品特定部が特定した各部品をもとに、該部品の形状、色、大きさ及び位置の少なくとも何れかの検査を行う部品検査処理部とを備えることができる。

【0017】

前記マップ割り当て処理部は、観察対象範囲の輪郭内に複数の区画の配列からなるマップを割り当てる。マップの区画は平面上に配列された二次元マップとすることができる。マップの区画は、例えば、矩形桝状とすることができる他、正三角形、平行四辺形、正六角形等とすることができる。マップの区画は立体空間に配列された三次元マップとすることができる。マップの区画は、例えば、立方体、正三角柱、四角柱、正六角柱等の立体形状とすることができる。

【0018】

前記マップ設定処理部は、マップの各区画に、当該画像データを割り当てて観察対象の下面画像に統合する。統合された下面画像は、二次元マップには二次元画像を割り当て、三次元マップには三次元画像を割り当てることができる。また、三次元マップに二次元画像を画像処理して割り当てることができる。

【0019】

前記部品検査処理部は、特定した各部品の検査を行う。各部品の形状や寸法、色等の画像情報に基づき、部品の変形や傷、摩耗、亀裂、破損、劣化、オイル漏れ、液漏れ、焼損等、様々な故障状態（部品状態）の画像サンプルと比較し、それらの画像サンプルの何れかに合致する画像パターンを発見した場合に、部品に異常があると判断することができる。

【0020】

前記輪郭設定部は、撮像機から、前記観察対象ごとに設定された一定距離範囲内で撮像できる観察対象の位置を輪郭の特徴点として抽出し、該特徴点を線状に繋ぎ合わせて観察対象範囲の輪郭を識別することができる。

【0021】

輪郭設定部は、観察対象範囲の輪郭の特徴点が設定されると、観察対象範囲の輪郭を判断できる。輪郭設定部は、撮像機が観察対象の下を移動しながら同撮像機に搭載された測距部が測定した測距データに基づき、該観察対象の観察対象範囲の輪郭を識別することができる。輪郭設定部は、測距部の測距データに基づき、観察対象の観察対象範囲の輪郭の内側と外側との測距データ上の違いを判断し、該輪郭の特徴点として抽出する。観察対象範囲の輪郭を示す特徴点が、測距データ上の距離の長短の差が大きく変化する点状位置とされ、この点状位置の連なりを観察対象範囲の輪郭と認識することができる。

【0022】

輪郭設定部は、距離範囲入力部に入力された距離範囲に基づき、観察対象範囲の輪郭を判別することができる。距離範囲入力部は、撮像機から観察対象までの距離範囲を設定入力する。距離範囲入力部は、データ蓄積システムに設けることができる。距離範囲入力部は、撮像機、撮像機のリモコン、又は故障箇所特定端末のディスプレイに表示された入力欄等とすることができる。該距離範囲入力部は、撮像機から観察対象までの最短距離と、最長距離とを入力することができる。この場合、入力された最短距離と、最長距離との間に存在するものが観察対象として認識される。

【0023】

輪郭設定部は、カメラが撮影した静止画又は動画の画像データに基づき、観察対象範囲の輪郭の内側と外側との画像上の違いを判断し、該輪郭の特徴点として抽出することができる。観察対象範囲の輪郭を示す特徴点が、画像データ上の明暗、又は、色の濃淡等が大きく変化する点状位置とされ、この点状位置の連なりを観察対象範囲の輪郭と認識することができる。

【0024】

そして本発明では、前記画像生成装置を用いた診断装置を提供する。
即ち、前記部品特定部が特定した部品の標準画像を取得する部品情報取得処理部と、前記部品特定部が特定した部品の画像と、前記部品情報取得処理部が取得した部品の標準画像とを比較する部品比較処理部と、前記部品比較処理部における比較結果から、前記部品特定部が特定した部品の状態を判断する判断処理部とを備える前記画像生成装置を用いた診断装置を提供する。

【0025】

また観察対象の下面画像について、その標準画像を取得する下面情報取得処理部を備える場合には、前記画像生成装置が作成した下面画像と、当該下面情報取得処理部が取得した下面画像の標準画像との対比により、各部品の取り付け位置の変化（ズレ）や変形などの不具合状態（部品状態の一例である不具合状態）を判断することができる。もちろん、各部品の取り付け位置の変化（ズレ）や変形などの不具合が生じていない正常状態（部品状態の一例である正常状態）若しくはこれらの不具合とは認められない通常使用状態（部品状態の一例である通常使用状態）を判断することができる。

【0026】

かかる診断装置では、前記部品特定部が特定した各部品の検査を行う部品検査処理部と、前記マップ設定処理部が統合した観察対象の下面画像と部品情報取得処理部が取得した部品の標準情報が紐付けされた部品画像との重ね合わせ画像を生成する画像生成処理部を備えることもできる。また前記判断処理部は、観察対象の下面画像、各部品の比較情報、及び、検査の結果を含む画像検査データを取得し、表示又は保存することができる。

【0027】

部品情報取得処理部は、特定した部品の標準情報を取得し、下面情報取得処理部は検査対象の下面画像の標準情報を取得する。部品の標準情報は、部品の検査基準（比較対象）となる情報であり、工場出荷状態（新品）の部品の各部の数値、形状、色などの情報とすることができる。また下面画像の標準情報は、当該検査対象が新品の状態における下面画像である他、同種の検査対象について作成された下面画像における共通部分を組み合わせて形成した下面画像とすることができる。これら標準情報は、例えば、故障箇所特定端末に保存されたファイルから取得する他、ネットワークで接続された他の装置から取得することができる。具体的には、検査対象を特定する情報に関連付けて標準情報を記録されている記録手段から取得することができ、検査対象を特定する型番などの情報を検索キーとして検索することにより取得することができる。なお、標準情報が、得られない場合には、撮像画像から破損や亀裂、摩耗等の劣化状態を判断することもできる。

【0028】

画像生成処理部は、観察対象の統合された下面画像と、部品の標準情報としての部品標準画像との重ね合わせ画像を生成する。生成された重ね合わせ画像は、少なくとも一方の画像が半透明化され、重ね合わせられた画像同士を比較して各部のズレや変形を目視確認できる状態とすることができる。部品の標準情報としての部品の標準画像は、部品の向きや外郭形状が、下面画像の中の該当部品と一致するよう、各部品の標準画像の向きや縮尺比率等が調節されていることが望ましい。

【0029】

部品比較処理部は、特定した部品の画像と、取得した部品の標準画像とを比較し、異なる部分を判断する。部品比較処理部は、二つの画像データの違いを判別することができる。部品比較処理部は、下面画像の中の部品の配置位置が、取得した正しく配置された部品の配置情報と一致しているか（正しい位置に配置されているか）否かを判断することができる。
部品比較処理部は、下面画像の中の部品の形や色が、取得した正常な（例えば新品の）部品の形や色と一致しているか否か、又は、変形、摩耗、亀裂、退色、汚れ等の不具合がどの程度進んでいるかを判断し、各部品の劣化や破損具合を識別することができる。すなわち、部品の使用にかかる破損状態（部品状態）を判断することができる。
部品比較処理部は、例えば、部品毎に比較対象となる劣化の段階毎のサンプル画像（劣化状態の説明、調整又は交換の要否、等の情報が紐付けされた画像とすることができる。）を常時又は一時的に記憶し、下面画像の中の部品に最も近いサンプル画像を選択することで、部品の劣化具合を判別することができる。劣化の段階毎のサンプル画像は、故障箇所特定プログラム中のファイルに保存されたものである他、例えば、サーバ、インターネット上のＷｅｂサイト、クラウド等から取得したものでも良い。

【0030】

部品検査処理部は、部品の画像の照合結果に基づき、各部品の検査を行う。具体的には、部品夫々の状態を、配置位置、形、寸法、色等の差異に基づき、各部品の交換又はメンテナンスの要、不要を判断することができる。部品検査処理部は、例えば、下面画像の中の部品夫々の配置位置、形、寸法、色等を数値化し、取得した部品夫々の標準情報から、配置位置、形、寸法、色等を数値化し、数値差を算出し、部品毎に予め設定された良否判定の基準値（例えばｍｍ単位）に基づき、整備の要、不要を判定することができる。部品検査処理部は、例えば、下面画像の中の部品の画像データと、部品情報取得処理部が取得した部品の標準画像データとを、ピクセル単位のＲＢＧ値で比較し、微妙な色の違いを差分として検出しないよう補正処理し、大きな差の有る部品を赤色点滅するよう表示したり、部品の寸法の大きな差の有る部分を赤色点滅する円で囲み表示したりするよう制御することができる。

【0031】

判断処理部が取得した該観察対象の下面画像、各部品の比較情報、及び、検査の結果を含む画像検査データ等の情報は、故障箇所特定端末のディスプレイに表示することができる。また、判断処理部が取得した各種情報は、撮像機、故障箇所特定端末、又は、それに接続された、外部記憶装置、他の故障箇所特定端末、サーバ、インターネット上のＷｅｂサイト、クラウド等に保存することができる。

【0032】

部品の比較情報は、撮像した部品の画像データと、該当する部品の標準情報の画像データとを重ね合わせて比較した情報とすることができる。又、部品の比較情報は、撮像した部品の画像データから抽出した数値と、該当する部品の標準情報の該当する数値とを比較した情報とすることができる。

【0033】

また前記診断装置は、前記判断処理部の保存データに基づき、見積書及び作業票の少なくとも一方を作成し、記憶する書類作成処理部を備えることができる。

【0034】

書類作成処理部は、前記判断処理部による部品の部品状態をもとに、該部品状態の更新作業にかかる費用に関する見積書と該更新作業に関する作業票とのうち少なくとも一方を作成する書類作成処理部を備える。書類作成処理部は、作成した見積書や作業票などの書類を故障箇所特定端末のディスプレイに出力するか、プリンターに印刷物として出力することができる。書類作成処理部は、作成した見積書や作業票などの書類のデジタル情報（ファイル）を電子的に送信しても良い。

【0035】

また本発明では、前記画像生成装置を利用したデータ蓄積システムを提供する。
即ち、画像生成装置と、画像生成装置が生成した下面画像を記憶する画像記憶装置とを具備し、前記画像生成装置は、下面画像の送信部を備え、前記画像記憶装置は、下面画像を取得し、当該下面画像を生成した観察対象を特定する特定情報とを関連付けて保持する記憶部を備える、データ記憶システムを提供する。

【0036】

複数の画像生成装置は、利用者や場所を問わず、様々な場所、様々な人が利用することができる。例えば、当該画像生成装置は、全国の自動車整備工場に設け、整備士や営業担当者等が利用しても良い。また画像生成装置は、全国の建築物や構造物のメンテナンス作業員やハウスメーカーの営業担当者等が利用しても良い。かかる複数の画像生成装置を用いてデータ蓄積システムを構成することができ、複数の画像生成装置はサーバに接続され、例えば、サーバが管理するビッグデータに各種データを蓄積することができる。

【0037】

複数の画像生成装置には画像生成プログラムを搭載することができる。かかる画像生成プログラムは、誰でも簡単に利用できるよう広く提供することができる。例えば、当該画像生成プログラムは、インターネットのＷｅｂサイトの配信サービスを介して有料または無料で公開及び提供することができ、同画像生成プログラムが取得した各種データは、インターネットを通じて特定のサーバに送信、蓄積されるように構成することができる。

【0038】

サーバは、複数の画像生成装置から、観察対象の下面画像、各部品の比較情報、及び、検査の結果を含む画像検査データを受信し、これを蓄積することができる。サーバは、複数の画像生成装置から受信した各種データをビッグデータとして蓄積することができる。サーバに蓄積されたビッグデータは、新品の納品前の最終点検、中古品のメンテナンスの見積もり、点検及びメンテナンス作業の効率化、中古品の価格評価等、様々な用途に広く利用することができる。

【0039】

そして本発明では観察対象の下回りを撮影する為の撮像機も提供する。かかる撮像機は前記画像生成装置で下面画像を取得するために使用することができる。
即ち、観察対象を撮影するカメラを搭載し、走行駆動源又は浮揚移動源を有する移動体と、該カメラが前記観察対象の観察対象範囲を撮影するために該移動体の移動制御を行う移動制御部とを備える撮像機を提供する。
かかる撮像機は、モバイル端末を着脱自在に装着可能なホルダー部を有し、移動制御部としてのアプリケーションソフトウェア、及び、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を備えたモバイル端末が、前記カメラ及び通信機又はリムーバブルメディアに置き換わり、該ホルダー部に着脱自在に搭載することもできる。
有する、

【0040】

撮像機は、観察対象の下を移動しながら撮影し、例えば走行駆動源を有して地上を走行移動するように構成することができる。また当該撮像機は、浮揚移動源を有して気体中又は液体中を移動できるように構成することができる。更に当該撮像機は、駆動源を有さずに手動や、他の駆動源等によって移動されるものとして構成することができる。そして当該撮像機は、画像生成プログラム及び故障箇所特定プログラムを有した画像処理装置が搭載されたものとすることができる。

【0041】

移動体は、撮像機を構成する主要部品を一体化し、骨格枠、筐体、カプセル等様々な外郭形状で形成することができる。移動体は、観察対象の下を隈無く巡るよう敷設された軌道と、その軌道上を走行する走行駆動源とを有していても良い。

【0042】

走行駆動源は、撮像機を地上走行可能とし、例えば、モーター、エンジン等の駆動源、及び、駆動源に接続された車輪、無限軌道又はそれらの組み合わせとすることができる。走行駆動源は、制御を受けて操舵する操舵機構を有していても良い。また浮揚移動源は、撮像機を気体中又は液体中に浮揚させて移動可能とし、例えば、モーター、エンジン等の駆動源、及び、駆動源の駆動力を利用して揚力を発生する固定翼、回転翼又はホバー艇構造等を使用することができる。浮揚移動源は、制御を受けて操舵する操舵機構を有していても良い。

【0043】

カメラは、観察対象を撮影するものであり、例えば移動体に内蔵又は一体に搭載することができる他、移動体に対し着脱可能に搭載することができる。また移動体に対し着脱自在に搭載されたモバイル端末に内蔵されたカメラを使用することもできる。

【0044】

移動制御部は、撮像機の移動を制御すし、例えば、撮像機を効率的に撮影出来る経路に（例えば、重複しない経路を優先するよう）誘導するように構成することができる。移動制御部は、撮像機の例えば移動体に内蔵された走行駆動源又は浮揚移動源の制御ユニット、又は制御ユニットに搭載されたプログラムとすることができる。移動制御部は、画像生成装置に搭載されたプログラムとすることもでき、撮像機の走行駆動源又は浮揚移動源を遠隔操作することができる。移動制御部は、撮像機に設けられた受信部と、該撮像機とは別体に設けられ、該受信部に移動制御の信号を無線又は有線送信し、遠隔操作するコントローラとで構成することができる。該コントローラは、人工知能又は人が操作して良い。

【0045】

移動制御部は、故障箇所特定プログラム（画像生成プログラム）の輪郭設定部が、観察対象の観察対象範囲の輪郭を識別する場合に、観察対象範囲の輪郭に沿った最短の経路に移動体を誘導することができる。例えば、移動制御部は、観察対象範囲の輪郭を示す特徴点を検出すると、該特徴点に線状に連なる特徴点を辿り、観察対象範囲の輪郭を一周するよう移動体を誘導することができる。

【0046】

通信機は、撮像機と故障箇所特定端末との間で通信可能とし、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標、以降省略する）、無線ＬＡＮ、赤外線通信等、様々な無線通信規格に基づいて通信することができる。またリムーバブルメディアは、撮像機が撮影した画像データ及び撮影の過程で取得した各種データを一時的に保存し、その保存データを撮像機から取り出して持ち運び可能とする。かかるリムーバブルメディアは、撮像機のスロットやトレー等に装着したり、接続端子に接続したりして搭載することができ、カメラが撮影した画像データ及び撮影の過程で取得した各種データをリアルタイムで記憶する。

【0047】

モバイル端末は、撮像機に搭載されてカメラや通信機等の機能を担うことができ、撮像機に搭載できる程度に小型、薄型、軽量であって、防塵シール構造又は防液シール構造であることが望ましい。かかるモバイル端末は、移動制御部となるアプリ（ａｐｐｌｉｃａｔｉｏｎ ｓｏｆｔｗａｒｅ）をダウンロードし、無線通信を介して、撮像機を走行移動または浮揚移動するよう、制御することもできる。また画像生成プログラム、及びそれを利用した故障箇所特定プログラムをダウンロードし、それらのプログラムに従って動作することができる。モバイル端末は、画像生成プログラム、及びそれを利用した故障箇所特定プログラムを搭載することができ、その制御によって動作することができる。

【0048】

観察対象は、この発明の画像生成装置、診断装置、及び、それを利用したデータ蓄積システムでの観察の対象となるものである。観察対象は、下向きの面、及び、該下向きの面に露出するよう配された物とすることができ、空中又は液中に存在することができる。かかる観察対象は、例えば、車両の下回り、建築物の床下、屋根裏、トンネル・洞窟内の天壁、貯蔵タンク天壁の下面部分等、様々な物が観察の対象となり得る。

【0049】

また本発明では前記課題の少なくとも何れかの課題を解決する為の画像生成方法を提供する。
即ち、コンピュータで実行され、観察対象の下面画像を生成する画像生成方法であって、観察対象の下側を移動して撮像した画像データに基づき、該観察対象における観察対象範囲の輪郭を識別して、輪郭内の領域を輪郭エリアとして設定する輪郭設定ステップと、前記輪郭エリア内の前記画像データに基づき、観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出ステップと、前記特徴点から部品を特定する部品特定ステップと、を備える画像生成方法を提供する。

【0050】

そして本発明では前記課題の少なくとも何れかの課題を解決する為の画像生成方法を提供する。
即ち、観察対象の下面画像を生成する画像生成プログラムであって、観察対象の下側を移動して撮像した画像データに基づき、該観察対象における観察対象範囲の輪郭を識別して、輪郭内の領域を輪郭エリアとして設定する輪郭設定ステップと、前記輪郭エリア内の前記画像データに基づき、観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出ステップと、前記特徴点から部品を特定する部品特定ステップと、を備える画像生成プログラムを提供する。

【発明の効果】

【0051】

本発明の画像生成装置によれば、観察対象の観察対象範囲の輪郭を識別し、観察対象範囲を識別した後に、撮影した画像データに基づいて下面画像を生成し、更に観察対象の部品を特定することから、観察対象の部品をより効率的に特定することができる。観察対象範囲の輪郭内に複数の区画が配列されたマップに、撮影した画像データを割り当てて下面画像に統合することにより、観察対象の各部品、及びその配置をより正確に特定することができる。

【0052】

本発明の画像生成装置によれば、予め観察対象の観察対象範囲の輪郭を把握することによって、その後の観察対象の撮影をより効率的に行うことができる。輪郭設定部が、撮像機から一定距離範囲内に位置する観察対象と、観察対象外との境界を輪郭の特徴点として抽出し、特徴点を線状に繋ぎ合わせて観察対象範囲の輪郭を識別する場合には、例えば、撮像機に測距部を設けることで観察対象範囲の輪郭をより効率的且つ正確に識別することができる。また、観察対象の隅又は角による色の濃淡又は明暗の境界を輪郭の特徴点として抽出し、その特徴点を線状に繋ぎ合わせて観察対象範囲の輪郭を識別する場合には、例えば、撮像機に搭載されたカメラによって、観察対象範囲の輪郭をより効率的且つ正確に識別することができる。

【0053】

本発明の画像生成装置を利用した診断装置によれば、前記下面画像と、撮影した画像データとは別に取得した部品の標準情報との重ね合わせ画像を生成することができることから、観察対象の各部品を、取得した部品の標準情報と共に視覚的に確認することができる。更に、該下面画像の中の部品画像と、取得した部品の標準画像とを重ね合わせて直接的に比較することができる。前記部品特定部が特定した部品の画像と、部品情報取得処理部が取得した部品の標準画像とを比較し、その画像の照合結果に基づき、観察対象の下面画像、各部品の比較情報、及び、検査の結果を含む画像検査データを、より効率的に取得することができる。更に、それら各種データは、視覚的に見や易く、しかも直感的に理解し易い画像データとしてディスプレイに速やかに表示し、記憶媒体に保存することができる。必要となる点検をより効率的に行うことができる。点検作業の負担を削減できる。

【0054】

本発明の前記診断装置によれば、判断処理部の保存データに基づき、見積書及び作業票を速やかに作成、記憶することができ、品質管理や納品、見積もり、保守点検、中古商品の評価等に伴う事務処理の工数を大幅に削減できる。

【0055】

本発明のデータ蓄積システムによれば、複数の画像生成装置または故障箇所特定端末が生成した各種データをより効率的にサーバに蓄積することができる。サーバに蓄積された各種データは、ビッグデータとして商品の流通過程の各段階で利用したり、部品の品質管理や商品開発等に利用したりすることができる等、広範囲に利用することができるものとなる。

【0056】

本発明のデータ蓄積システムによれば、前記撮像機に、モバイル端末を着脱自在に装着可能なホルダー部を設け、該ホルダー部にモバイル端末を着脱自在に搭載することから、該モバイル端末が、前記カメラ及び通信機又はリムーバブルメディアに置き換えられる。該モバイル端末に撮影制御や移動制御部としてのアプリケーションソフトウェアが搭載されると、該モバイル端末が撮像機の撮影や移動を制御するものとなる。更に、モバイル端末に搭載されたＬＩＤＡＲが、撮像機から観察対象までの距離を測定し、観察対象範囲の輪郭を識別可能とすることができる。例えば、車検の見積もりのために車両をリフトアップする等の手間を減らして作業工数を削減し、目視より高精度の見積もりができるものとなる。

【図面の簡単な説明】

【0057】

【図1】画像生成プログラムを利用した故障箇所特定プログラムのフローチャート。

【図2】下回り及び構成要素１０１の認識処理のフローチャート。

【図3】下回り全体を認識する処理のフローチャート。

【図4】下回り全体を把握した上での、下回り及び構成要素１０１の認識処理のフローチャート。

【図5】自動車１０ａの下回りのデータ蓄積システムを示す概念図。

【図6】建築物１０ｂの屋根裏のデータ蓄積システムを示す概念図。

【図7】（ａ）マップ設定処理部Ｐ４が統合した観察対象（自動車）下面部分１０ｕの下面画像１００を示す写真。 （ｂ）輪郭設定部Ｐ１が識別した観察対象（自動車）下面部分１０ｕの輪郭１０Ｌを示す平面図。 （ｃ）マップ割り当て処理部Ｐ３が、観察対象（自動車）下面部分１０ｕの輪郭１０Ｌに割り当てた二次元マップ１０Ｍ。 （ｄ）画像生成処理部が観察対象の下面画像１００と、取得した構成要素１０１の標準情報１０２とを重ね合わせた二次元マップ１０Ｍ。

【図8】（ａ）モバイル端末２ｂが搭載された無限軌道７ａを有する撮像機４を示す斜視図。 （ｂ）カメラ５１が搭載された無限軌道７ａを有する撮像機４を示す斜視図。 （ｃ）カメラ５１が搭載された三輪（７ａ，７ｂ）の撮像機４を示す三面図。 （ｄ）複数の回転翼７１を有した撮像機４を示す斜視図。

【図9】（ａ）手動で移動する撮像機４を示す斜視図。 （ｂ）手動で移動する撮像機４を示す正面図及び側面図。 （ｃ）複数のカメラ５１を搭載した撮像機４を示す正面図。

【図10】（a）建築物１０ｂの屋根の下面部分１０ｕを示す底面図。 （ｂ）建築物１０ｂの屋根の下面部分１０ｕの輪郭１０Ｌに割り当てた二次元マップ１０Ｍ。 （ｃ）二次元マップ１０Ｍと建築物１０ｂの屋根の下面部分１０ｕの下面画像１００との重ね合わせ画像。

【図11】ハードウェア構成図。

【発明を実施するための形態１】

【0058】

以下、図面を参照しながら、本実施の一実施形態にかかる画像生成装置、画像生成装置を用いた診断装置、データ記憶システム、画像生成方法および画像生成プログラムを具体的に説明する。特に本実施の形態は、自動車又は建築物を観察対象としているが、他の人工物又は自然物等を観察対象とすることができる。

【0059】

図５及び図８（ｃ）に示すように、本実施の形態のデータ蓄積システム１は、故障箇所特定端末２及びサーバ３を有している。該データ蓄積システム１は、移動体５、カメラ５１、移動制御部５２、通信機５３又はリムーバブルメディア８４を有する撮像機４が設けられている。該撮像機４は、図５に示すように観察対象の自動車１０ａのフロアパネル１０ｕの下面とタイヤ接地面（地上面）との間や、図６に示すように建築物１０ｕの床下空間、又は、建築物の吊り天井の上部（屋根裏）空間等に進入し、水平方向に自由に移動可能な外郭寸法（特に高さ）に設定されている。

【0060】

撮像機４は、例えば、図５及び図８（ｃ）に示すように、円板型の移動体５を有している。該移動体５には、バッテリー、駆動モーター及び該駆動モーターで駆動される左右の駆動輪７ａ、サーボモーターで操舵される操舵輪７ｂが設けられている。当該駆動モーター及びサーボモーターは、移動体５内に搭載された移動制御部５２によって制御することができる。

【0061】

図８（ａ）及び（ｂ）に示すように、撮像機４の駆動輪７ａは、例えば、無限軌道とすることができる。該駆動輪７ａは、無限軌道が３個以上設けられ、夫々に独立した懸架機構を有し、夫々が駆動制御を受けることにより操舵することができる。駆動輪７ａは、例えば、無限軌道が４乃至８設けられ、夫々に独立した懸架機構を有することができる。

【0062】

また図８（ｄ）に示すように、撮像機４は、浮揚移動源７を有することができる。浮揚移動源７は、移動体５から同一水平面上の遠心方向に延伸された複数の支柱の各先端に設けられた回転翼７１であって、例えば３個乃至１０個設けることができる。そして回転翼７１を有する移動体５に、１又は複数の接地輪７ｃを設けることができる。

【0063】

図５、図８（ｂ）及び（ｃ）に示すように、カメラ５１は、例えば、移動体５の天面壁に搭載し、その光軸を鉛直上方に向けることができる。該カメラ５１は、静止画又は動画を撮影することができる録画制御部５１ｃを有し、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等とすることができる。移動体５には、被写体となる観察対象１０ｕを照明する１個又は複数個のライト５０ｂ、及びそれらライト５０ｂの明るさを調節する照明制御部を設けることができる。

【0064】

撮像機４は、移動体５に測距部５０ｃ及びそれを制御する測距制御部を備えることが望ましい。測距部５０ｃは、例えば、ＬＩＤＡＲ、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）、光学センサー、電波センサー又は超音波センサー等とすることができる。

【0065】

通信機５３は、例えば、故障箇所特定端末２と無線通信することができ、移動制御部５２及び録画制御部５１ｃと故障箇所特定端末２との間の無線通信を可能とすることができる。該通信機５３は、無線ＬＡＮ（Ｗｉ－Ｆｉ）、Ｂｌｕｅｔｏｏｔｈ等の通信規格に準じた通信や、赤外線通信、その他の無線通信を行うことができる。

【0066】

図８（ｃ）に示すように、撮像機４は、リムーバブルメディア（フラッシュメモリー）５４用のハードウェア・インターフェース５４ｈを備えることができる。該ハードウェア・インターフェース５４ｈは、例えば、ＳＤカード用のカードスロット５４ｓ、ＵＳＢメモリースティック用のＵＳＢ接続端子５４ｔ等とすることができる。

【0067】

移動制御部５２は、通信機５３を通じて、故障箇所特定端末２が出力する制御信号を受信し、駆動輪７ａ及び操舵輪７ｂを制御する。例えば、故障箇所特定端末２は、撮像機４のカメラ５１が撮影し、録画制御部５１ｃに記憶し、通信機５３を通じて送信した画像データを受信し、該受信した画像データに基づき、移動経路を演算処理する経路演算処理部を有する。該経路演算処理部は、演算処理した移動経路データを、通信機５３を通じて撮像機４の移動制御部５２に送信する。

【0068】

また、移動制御部５２は、測距部５０ｃが計測し、測距制御部に記憶した距離データに基づき、最も効率的に撮影を行うことができる走行経路を演算処理する経路演算処理部を有することができる。この場合、該経路演算処理部は、撮像機４の移動制御部５２による自律的な走行、加速、減速、停止、操舵を可能とする。更にまた、移動制御部５２は、当該カメラ５１が撮影し、録画制御部５１ｃに記憶した画像データに基づき、最も効率的に撮影を行うことができる走行経路を演算処理する経路演算処理部を有することができる。この場合、該経路演算処理部は、撮像機４の移動制御部５２による自律的な走行、加速、減速、停止、操舵を可能とする。

【0069】

故障箇所特定端末２は、画像生成装置８及びそれを利用した診断装置９を搭載して構成することができる。画像生成装置８は、例えば、輪郭設定部Ｐ１、部品特定部Ｐ２、マップ割り当て処理部Ｐ３、マップ設定処理部Ｐ４、部品情報取得処理部Ｐ５及び画像生成処理部Ｐ６を有する。診断装置９は、例えば、画像生成装置８、部品比較処理部Ｐ７、部品検査処理部Ｐ８及び判断処理部Ｐ９を有する。更に、診断装置９は、書類作成処理部Ｐ１０を有しても良い。故障箇所特定端末２は、図５に示すように、コンピューター２ａを使用することができ、故障箇所特定端末２は、図６に示すように、モバイル端末２ｂに置き換えることができる。

【0070】

撮像機４は、例えば、図８（ａ）に示すように、移動体５の天壁にモバイル端末６を着脱自在に装着可能なホルダー部５０設けている。該ホルダー部５０には、カメラ５１、ライト５０ｂ、ＬＩＤＡＲ（測距部）５０ｃ、移動制御部５２、通信機５３又はリムーバブルメディア５４の少なくとも１つを備えたモバイル端末６を着脱自在に搭載することができる。

【0071】

このとき、当該モバイル端末６は、移動体５によって観察対象の下側を移動しながら撮像した画像データに基づき、該観察対象における観察対象範囲の輪郭（観察対象の下側の枠情報）を識別して、輪郭内の領域を輪郭エリアとして設定する輪郭設定部と、当該輪郭エリア内のうち、画像データを取得した画像取得領域と、画像データを取得していない画像未取得領域とを出力する画像出力部とを備えた画像生成装置として使用することができ、更に輪郭エリア内で取得した画像データから下面画像を生成する画像生成装置として使用することができる。

【0072】

また当該モバイル端末６は、前記輪郭エリア内の前記画像データに基づいて特徴点から部品を特定する部品特定部とを備え、当該部品特定部が特定した部品の標準画像を取得する部品情報取得処理部と、前記部品特定部が特定した部品の画像と、前記部品情報取得処理部が取得した部品の標準画像とを比較する部品比較処理部と、前記部品比較処理部における比較結果から、前記部品特定部が特定した部品の部品状態を判断する判断処理部とを備える場合には診断装置として使用することもできる。

【0073】

撮像機４は、例えば、図９（ａ），（ｂ），（ｃ）に示すような手動型のものとしても良い。該撮像機４は、例えば、左右に細長い矩形状の移動体５の底部の左右端寄りの夫々に自在キャスター７ｃが設けて構成する。該移動体５の天壁の左右端間の１／２の位置から後方に傾斜した操作杆５０ａが延伸されている。操作杆５０ａはテレスコープ型の伸縮構造であっても良い。該移動体５の前壁には、左右端間に等間隔を隔てて配され、斜め上前方に向けられた４個のカメラ５１が設けられている。該カメラ５１は、図９（ｃ）に示すように、移動体５に対し、２個以上、例えば３個、例えば３個乃至８個等、複数個を設けることができる。手動型の撮像機４は、その移動体５に、ライト５０ｂ、測距部５０ｃ、通信機５３又はリムーバブルメディアの少なくとも１つを備えて構成する。

【0074】

図９に示す、手動型の撮像機４は、操作杆５０ａを把持して操作し、移動体５を図５及び図６に示す観察対象１０ｕの下側に移動する。自在キャスター７ｃを接地し、転がすように操作しながら、各カメラ５１が一斉に撮像し、広範囲をより効率的に撮像することができる。移動体５に設けられた複数個のカメラ５１は、互いに同じ焦点距離に設定され、被写体となる観察対象１０ｕから各カメラ５１までの距離が、互いに同じになるよう配置されるのが望ましい。また、複数個のカメラ５１は、複数個同士が互いに、長い焦点距離と短い焦点距離とに設定され、被写体となる観察対象１０ｕから各カメラ５１までの距離が、夫々の焦点距離に合わせて配置することもできる。これにより広角画像と拡大画像とを同時に撮影可能となる。更にまた、複数個のカメラ５１は、互いに光軸が異なる方向に向けて設けられ、より迅速により高画質の三次元画像を撮影可能とすることができる。

【0075】

また、手動型の撮像機は、例えば、該操作杆の先端にモバイル端末を着脱自在に装着できるホルダー部が設けられ、該ホルダー部に対してモバイル端末を着脱自在に装着することができる。該手動型の撮像機は、自撮り棒（セルフィースティック）のように操作杆を把持し、モバイル端末を建築物の天井の下面部分や自動車の下面部分等に接近させて撮影することが可能である。当該モバイル端末を画像生成装置や診断装置として使用できる点は前述のとおりである。

【発明を実施するための形態２】

【0076】

（自動車の点検工程）
以下では、図１乃至図５及び図７乃至図９を参照しながら、自動車のデータ蓄積システム１に利用された画像生成装置８及び診断装置９について、該データ蓄積システム１による自動車１０ａの点検作業の流れに従って示す。

【0077】

故障箇所特定端末２を起動すると、故障箇所特定端末２としてのコンピューター２ａのディスプレイに、観察対象１０である自動車１０ａを特定する情報の入力画面が表示される。この画面には、自動車１０ａの車名、車台番号、型式、原動機の型式、種別、車体の形状等の車両を特定するのに有効な情報、車検証情報等を入力する（Ｓ１）。

【0078】

撮像機４を自動車１０ａの観察対象となるフロアパネルやシャシーフレーム、サスペンション等を含む下面部分１０ｕの下側となる地上に置くと、該撮像機４は、ゆっくりと（例えば１０乃至３０ｃｍ／s）ランダムな方向に走行しながら搭載されたカメラ５１の撮像画像データに基づき、自動車１０ａの下面部分１０ｕに対する撮像機４の位置を特定し、撮像開始位置を記憶し認識する（Ｓ２）。

【0079】

該撮像機４は、センサーにより、自動車１０ａの下面部分１０ｕの下に位置しているか否かを判断する（Ｓ３）。センサーは、ＬＩＤＡＲ、光学センサー（例えば、赤外線センサー）、電波センサー（例えば、送受信アンテナ）、超音波センサー等からなる測距部５０ｃとすることができる。例えば、撮像機４から下面部分１０ｕまでの距離が、１ｍ以内、又は５０ｃｍ以内の場合に、下面部分１０ｕの下方に位置していると判断するよう設定することができる。また、カメラ５１の撮像画像の明暗や色の濃淡などを感知し、下面部分１０ｕの外側よりも暗い、又は色が濃い場合に下面部分１０ｕの下方に位置していると判断することができる。

【0080】

一定時間（例えば１０秒間乃至３０秒間）以上に亘って下面部分１０ｕの下方に位置していることが認識出来ない場合には、測定を終了し、走行開始（始めに置かれた）位置まで戻って停止する（Ａ）（Ｓ１５）。この場合、検知を継続しながらコースを変えて走行し、走行開始位置に戻るまでの間に、下面部分１０ｕの下方に位置していることが認識出来た場合には、次の工程（Ｓ５）に移行するように制御されるものとすることができる。

【0081】

一定時間（例えば１０秒間乃至３０秒間）以内に、下面部分１０ｕの下方に位置していることが認識出来た場合には、動画（又は静止画）の撮像を開始する（Ｓ５）。撮像は、最高速度が例えば、３０乃至５００ｃｍ／ｓで、停止やＵターン、回転等、減速を交えた走行動作をしながら行うことができる。

【0082】

そして「下回り認識モード２」が設定されているか否かを判断する（Ｓ６）。「下回り認識モード２」に設定されている場合には、観察対象１０ｕの輪郭１０Ｌ内の構成要素１０１の認識処理を行う（Ｓ１０）。

【0083】

（輪郭設定部Ｐ１）
一方で「下回り認識モード２」に設定されていない（Ｓ６）場合には、下回りのエッジ部分を撮像しているか否かを判断する（Ｓ７）。下回りのエッジ部分を撮像していない場合には、下回り及び構成要素１０１の認識処理（Ｓ８）を行う。

【0084】

（下回り認識モード１）
下回り及び構成要素１０１の認識処理（Ｓ８）は、「下回り認識モード１」を設定する（Ｓ８ａ）。下回り認識モード１は、例えば、観察対象１０の外周縁を観察対象範囲の輪郭１０Ｌとして識別した上で、観察対象における下面部分の構成要素１０１（フロアパネル、シャシーフレーム、サスペンション、バンパー、サイドシル、フェンダー等）を認識する認識モードとすることができる。予め観察対象範囲の輪郭１０Ｌを認識することで、部品の配置を想定し、部品などの構成要素の検出精度、検査精度をより高めることが可能となる。

【0085】

「下回り認識モード１」に設定（Ｓ８ａ）されると、例えば、カメラ５１（録画制御部５１ｃ）、ライト５０ｂ（照明制御部）及び走行駆動源７（移動制御部５２）を、構成要素１０１の外周縁を認識し易い条件に設定し、夫々を制御するものとすることができる。カメラ５１（録画制御部５１ｃ）が下面部分１０ｕの輪郭１０Ｌを示す特徴点を捉えた場合には、走行駆動源７の速度を落とし、該特徴点に沿ってゆっくりと走行し、輪郭１０Ｌの識別を優先するよう制御することもできる（Ｓ８ｂ）。タイヤや下回りの構成要素１０１等を識別し、それらに接触しないよう移動する。

【0086】

（部品特定部Ｐ２）
更に、カメラ５１の（二次元又は三次元）画像データに基づき、観察対象範囲の輪郭１０Ｌを識別しながら、観察対象１０の下面部分に存在する構成要素１０１を認識する（Ｓ８ｃ）。構成要素１０１の認識は、各構成要素１０１の特徴点を識別し、識別した構成要素１０１の情報を記憶することができる（Ｓ８ｄ）。各構成要素１０１の特徴点は、例えば、構成要素１０１毎に異なる形、大きさ、色、配置等に基づき判断、抽出することができる。構成要素１０１は、例えば、排気管、触媒、消音器、サスペンション、車軸、フロアパネル、それらを結合するボルト・ナット等、車体の下側に目視可能に露出している構成要素１０１とすることができる。

【0087】

（マップ割り当て処理部Ｐ３）
下回りのエッジ部分を撮像し終えた（Ｓ７）場合に、観察対象範囲の輪郭１０Ｌの全体を認識（Ｓ９）する。観察対象範囲の輪郭１０Ｌ（下回りのエッジ）部分をそれら特徴点の位置データと共に記憶（Ｓ９ａ）する。該記憶した輪郭１０Ｌの特徴点の位置データに基づき、観察対象範囲の輪郭１０Ｌ内に複数の平面区画１０Ｓ（又は立体区画）の二次元配列（又は三次元配列）からなる二次元マップ（又は三次元マップ）を割り当てた「下回り枠マップ１０Ｍ」を作成する（Ｓ９ｂ）。

【0088】

「下回り枠マップ１０Ｍ」は、例えば、観察対象１０の撮像データに基づき下面画像１００に統合するよう生成処理された画像データに、複数配列された区画１０Ｓが割り当てられたマップデータとすることができる。

【0089】

（下回り認識モード２）
「下回り枠マップ１０Ｍ」の作成が完了したか否かを判断し（Ｓ９ｃ）、未完成の場合には、自動車１０ａの下面部分１０ｕの下に位置しているか否かを判断する（Ｓ３）まで戻る。故障箇所特定端末２の画面上には、撮影を完了した区画１０Ｆと、未だ撮影を完了していない区画１０Ｎとを、容易に視認できるよう、未だ撮影を完了していない区画１０Ｎに着色表示し、撮影を完了した区画１０Ｆには、白または黒表示、又は撮影済みの該当区画１０Ｓの画像を貼り付けるなどして表示することができる。

【0090】

（マップ設定処理部Ｐ４）
「下回り枠マップ１０Ｍ」の作成が完了した場合には、「下回り枠マップ１０Ｍ」内を撮像範囲に設定し（Ｓ９ｄ）、「下回り認識モード１」を設定する（Ｓ９ｅ）。「下回り認識モード２」は、例えば、下面部分１０ｕと、それらの各構成要素１０１（フロアパネル、シャシーフレーム、サスペンション等）とを識別し、画像データ上で構成要素１０１毎に検査可能とする認識モードとすることができる。

【0091】

（部品情報取得処理部Ｐ５）
前記観察対象１０である自動車１０ａを特定する情報の入力画面で入力（Ｓ１）された情報に基づき、自動車１０ａの下回りの構成構成要素１０１の標準情報１０２を取得する（Ｓ９ｆ）。構成構成要素１０１の標準情報１０２は、部品名、部品番号、アッシー番号、設計図、サービスマニュアル、パーツリスト、それらに付随して有られる（寸法、材質）色、形、二次元（又は三次元）画像等とすることができる。標準情報１０２を予め取得することで、その情報に基づき、構成構成要素１０１をより精度良く特定することが可能となる。

【0092】

構成構成要素１０１の標準情報１０２は、サーバ３の例えば外部記憶装置３ｃに蓄積された情報から取得することができる他、インターネット３ａやクラウド３ｂ等に蓄積されたデータから取得することができる。構成構成要素１０１の標準情報１０２の取得は、例えば、撮影画像から構成要素１０１の画像を抽出し、その構成要素１０１の画像に基づき、保存されたデータ（２，３，３ｃ）を対象として検索、又は、インターネット３ａ（３ｂ）検索する等して該構成構成要素１０１の標準情報１０２を取得するよう制御することができる。

【0093】

「下回りの構成構成要素１０１の標準情報１０２」を「下回り枠マップ１０Ｍ」に重ね合わせ、該生成画像データを保存（記憶）する（Ｓ９ｇ）。該生成画像データは、下回り枠マップ１０Ｍに、下回りの構成構成要素１０１の標準情報１０２が紐付けされた半透明の部品１０２の画像を重ね合わせて表示することができ、コンピューター２ａのディスプレイ上に半透明表示された部品１０２にマウスのポインターを重ねると、部品１０２が点滅表示に切り替わり、該当部品１０２の詳細な標準情報１０２の数値データや文字情報等を表示する小画面が展開表示され、マウスのポインターが該部品１０２から外れると元の表示に戻るよう制御しても良い。コンピューター２ａがモバイル端末２ｂに置き換えられた場合にも同様の動作が可能である。

【0094】

当該生成画像データに基づき、「下回り認識モード１」で識別及び記憶した全構成要素１０１の位置及び形状の標準情報１０２が有るか否か判断する（Ｓ９ｈ）。全構成要素１０１の位置及び形状の標準情報１０２が有る場合には、各構成要素１０１の位置、形状及び色のデータと、取得（Ｓ９ｆ）した位置、形状及び色の標準情報１０２とを比較して照合する（Ｓ９ｊ）。各構成要素１０１（１０２）の照合結果を、例えば、撮像機４（５１ｃ，５４）又は故障箇所特定端末２に仮記憶する（Ｓ９ｋ）。

【0095】

一部の構成要素１０１又は全構成要素１０１の位置、形状及び色の標準情報１０２が無い場合（Ｓ９ｈ）、又は、全構成要素１０１の照合結果を仮記憶（Ｓ９ｋ）した後に、カメラ５１（録画制御部５１ｃ）、ライト５０ｂ（照明制御部）の照明の強さ、及び、走行駆動源７（移動制御部５２）の走行速度を、夫々下面部分１０ｕの各構成要素１０１を詳細に撮影できる条件に設定し、制御することができる。カメラ５１（録画制御部５１ｃ）が下面部分１０ｕの各構成要素１０１を示す特徴点を捉えた場合には、走行駆動源７の速度を落とし、該特徴点を演算処理しながらゆっくりと走行し、各構成要素１０１の識別を優先するよう制御しても良い（Ｓ９ｍ）。

【0096】

（画像生成処理部Ｐ６）
下回り全体（自動車１０ａの下面部分１０ｕの輪郭１０Ｌ内）を把握した上で、下回り（輪郭１０Ｌ内）、及び、観察対象１０ｕの輪郭１０Ｌ内の構成要素１０１の認識処理を行う（Ｓ１０）。撮像した画像を重ね合わせ画像と比較して各構成要素１０１を照合（Ｓ１０ａ）し、照合の結果、全ての構成要素１０１を認識したか否か判断する（Ｓ１０ｂ）。全ての構成要素１０１の位置、形状、色を、例えば、撮像機４（５１ｃ，５４）又は故障箇所特定端末２に本記憶（Ｓ１０ｃ）する。本記憶された構成要素１０１の位置情報は、仮記憶された位置情報よりも、より高精度となる。

【0097】

そして撮像範囲全ての撮像を完了したかを判断する（Ｓ１０ｄ）。例えば、図７（ｄ）に示すように、コンピューター２ａのディスプレイに、表示された下回り枠マップ１０Ｍの全体に撮影を完了した区画１０Ｆが表示され、未だ撮影を完了していない区画１０Ｎが表示されていない場合に、撮像範囲全ての撮像を完了したかを判断することができる。

【0098】

（部品比較処理部Ｐ７）
仮記憶されている全ての構成要素１０１が、各構成要素１０１の照合結果の仮記憶（Ｓ９ｋ）の位置、形状、色と一致しているかを判断する（Ｓ１０ｅ）。更に、車両下回り枠マップ１０Ｍを作成する前に得ていた標準情報の部品１０２が、下回り枠マップ１０Ｍを作成後に認識した構成要素１０１に含まれているかを確認して、漏れのない構成要素１０１の検索を可能とすることができる。

【0099】

全ての構成要素１０１の何れかが仮記憶（Ｓ９ｋ）された位置、形状、色に一致していない場合には、本記憶（Ｓ１０ｃ）した全ての構成要素１０１と、仮記憶（Ｓ９ｋ）した全ての構成要素１０１の位置、形状、色を重ねて、ディスプレイに比較表示する（Ｓ１０ｆ）。比較結果によるユーザー指示内容を本記憶に反映し、重複する仮記憶を削除する（Ｓ１０ｇ）。

【0100】

（部品検査処理部Ｐ８）
構成要素１０１の調査を行う（Ｓ１１）。構成要素１０１の調査は、車軸のずれ、足回りの変形や亀裂、オイル漏れなどの重ね合わせ画像上の構成要素１０１の比較によって判別することができる。構成要素１０１毎のピクセル単位のＲＢＧ値で比較し、大きな差の有る構成要素１０１を調査する。
（判断処理部Ｐ９）
下回りの全体画像、構成要素１０１の比較情報、及び検査結果をディスプレイに表示する（Ｓ１２）。

【0101】

（書類作成処理部Ｐ１０）
前記検査結果に基づき、部品の部品状態の更新作業にかかる費用に関する見積書、及びその更新作業に関する作業票を作成し、コンピューター２ａの記憶装置、又は、サーバ３の外部記憶装置３ｃ等に本記憶する（Ｓ１３）。「下回り認識モード１」又は「下回り認識モード２」の何れかに設定されている認識モードをリセットする（Ｓ１４）。全ての工程を終了する（Ｓ１５）。更新作業は、部品を改修する作業、部品を交換する作業、部品を修理する作業などの部品の状態を更新する作業である。

【0102】

故障箇所特定端末２としてのコンピューター２ａが、本記憶（Ｓ１３）した下回りの全体画像、構成要素１０１の比較情報（１０１，１０２）、及び検査結果は、例えば、サーバ３の外部記憶装置３ｃに蓄積することができる。該サーバ３は、複数の故障箇所特定端末２から送信された情報を受信し、各自動車メーカー、車種、型式、年式、登録年、登録都道府県、走行距離、メンテナンス履歴等の情報と共に蓄積し、蓄積データを統計的に処理可能なビッグデータとして管理することができる。

【発明を実施するための形態３】

【0103】

（建築物の点検工程）
図６及び図１０を参照し、建築物１０ｂのデータ蓄積システム１に利用された画像生成装置８及び診断装置９について、該データ蓄積システム１による建築物１０ｂの吊り天井１０ｈの上方空間の屋根の下面部分１０ｕの壁や吊り金具、空調設備、各種配管、配線等の点検作業の流れに従って示すこととする。

【0104】

故障箇所特定端末２及び撮像機４を起動すると、故障箇所特定端末２としてのモバイル端末２ｂのディスプレイに、観察対象１０である建築物１０ｂを特定する情報の入力画面が表示される。この画面には、建築物１０ｂの建築構造（木造、アルミ造、軽量鉄骨造、重量鉄骨造、鉄筋コンクリート造、鉄骨鉄筋コンクリート造、コンクリート充填鋼管構造、コンクリートブロック造）の種類、建築会社又はハウスメーカー名、型式、年式、登録年、築年数、登録都道府県、住所、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）データ、設計図、メンテナンス履歴等の情報を入力する（Ｓ１）。

【0105】

撮像機４を建築物１０ｂの観察対象となる屋根又は上階の床の下面部分１０ｕの下側となる吊り天井１０ｈの上に撮像機４を配置する。撮像機４は、図８（a）乃至図８（ｃ）の何れかの走行駆動源７を有する撮像機４、又は図８（ｄ）に示す浮揚移動源７を有する撮像機４の何れかとすることができる。該撮像機４は、ゆっくりと（例えば１０乃至３０ｃｍ／s）ランダムな方向に走行しながら搭載されたカメラ５１の撮像画像データに基づき、下面部分１０ｕに対する撮像機４の位置を特定し、撮像開始位置を記憶し認識する（Ｓ２）。

【0106】

該撮像機４は、測距部５０ｃにより、下面部分１０ｕの下に位置しているか否かを判断する（Ｓ３）。例えば、撮像機４から下面部分１０ｕまでの距離が、３ｍ以内、又は１ｍ以内の場合に、下面部分１０ｕの下に位置していると判断するよう設定することができる。また、カメラ５１の撮像画像の明暗や色の濃淡などを感知し、下面部分１０ｕの外側の垂直壁との明暗の違いや色の違いを判別し、下面部分１０ｕの下に位置していると判断することができる。

【0107】

一定時間（例えば３０秒間乃至１分間）以上に亘って下面部分１０ｕの下方に位置していることが認識出来ない場合には、測定を終了し、走行開始（始めに置かれた）位置まで戻って停止する（Ｓ１５）。この場合、検知を継続しながらコースを変えて走行し、走行開始位置に戻るまでの間に、下面部分１０ｕの下方に位置していることが認識出来た場合には、次の工程（Ｓ５）に移行するように制御することができる。

【0108】

一定時間（例えば３０秒間乃至１分間）以内に、下面部分１０ｕの下方に位置していることが認識出来た場合には、動画（又は静止画）の撮像を開始する（Ｓ５）。撮像は、最高速度が例えば、３０乃至５００ｃｍ／ｓで、停止やＵターン、回転、減速等を交えた移動をしながら行うことができる。

【0109】

「下回り認識モード２」が設定されているか否かを判断する（Ｓ６）。「下回り認識モード２」に設定されている場合には、観察対象１０ｕの輪郭１０Ｌ内の構成要素１０１の認識処理を行う（Ｓ１０）。

【0110】

（輪郭設定部Ｐ１）
「下回り認識モード２」に設定されていない（Ｓ６）場合には、下回りの入り隅部分を撮像しているか否かを判断する（Ｓ７）。下回りの入り隅部分を撮像していない場合には、下回り及び構成要素１０１の認識処理（Ｓ８）を行う。

【0111】

（下回り認識モード１）
下回り及び構成要素１０１の認識処理（Ｓ８）は、「下回り認識モード１」を設定する（Ｓ８ａ）。下回り認識モード１は、例えば、下面部分１０ｕの外周縁を観察対象範囲の輪郭１０Ｌとして識別する認識モードとすることができる。

【0112】

「下回り認識モード１」に設定されると、例えば、カメラ５１（録画制御部５１ｃ）、ライト５０ｂ（照明制御部）及び走行駆動源７又は浮揚移動源７１（移動制御部５２）を、下面部分１０ｕの外周縁を認識し易い条件に設定し、夫々を制御することができる。カメラ５１（録画制御部５１ｃ）が下面部分１０ｕの輪郭１０Ｌを示す特徴点を捉えた場合には、走行駆動源７又は浮揚移動源７１の移動速度を落とし、該特徴点に沿ってゆっくりと走行し、輪郭１０Ｌの識別を優先するよう制御することができる（Ｓ８ｂ）。周囲の柱や壁、吊り金具、空調設備、配管、配線等を識別し、それらに接触しないよう移動する。

【0113】

（部品特定部Ｐ２）
更に、カメラ５１の（二次元又は三次元）画像データに基づき、観察対象範囲の輪郭１０Ｌを識別しながら、観察対象１０ｕの構成要素１０１を認識する（Ｓ８ｃ）。構成要素１０１の認識は、各構成要素１０１の特徴点を識別し、識別した構成要素１０１の情報を記憶する（Ｓ８ｄ）。各構成要素１０１の特徴点は、例えば、構成要素１０１毎に異なる形、大きさ、色、配置等に基づき判断、抽出することができる。構成要素１０１は、例えば、配管、ダクト、配線、空調機、吊り金具、柱、梁、壁、等、目視可能な構成要素１０１とすることができる。

【0114】

（マップ割り当て処理部Ｐ３）
下回りのエッジ部分を撮像し終えた（Ｓ７）場合に、観察対象範囲の輪郭１０Ｌの全体を認識（Ｓ９）する。観察対象範囲の輪郭１０Ｌ（下回りの入り隅）部分をそれら特徴点の位置データと共に記憶（Ｓ９ａ）する。該記憶した輪郭１０Ｌの特徴点の位置データに基づき、観察対象範囲の輪郭１０Ｌ内に複数の平面区画１０Ｓ（又は立体区画）の二次元配列（又は三次元配列）からなる二次元マップ（又は三次元マップ）を割り当てた「下回り枠マップ１０Ｍ」を作成する（Ｓ９ｂ）。

【0115】

図１０（ａ）、（ｂ）に示すように、撮影を完了した区画１０Ｆ及び未だ撮影を完了していない区画１０Ｎがモバイル端末２ｂのディスプレイに色分け表示させることができる。例えば、撮像機４は、下面部分１０ｕの外周縁を示す特徴点に沿って撮影し、観察対象範囲の輪郭１０Ｌを一周するよう撮影することができる。観察対象範囲の輪郭１０Ｌを一周すると、モバイル端末２ｂのディスプレイに、表示された下回り枠マップ１０Ｍの周囲に撮影を完了した区画１０Ｆが連なって表示され、その中央に未だ撮影を完了していない区画１０Ｎが有色の塗りつぶし画像が表示された状態となり、各構成要素１０１の詳細な撮影より先に観察対象範囲の輪郭１０Ｌを識別することができる。観察対象範囲の輪郭１０Ｌを識別しした後、未だ撮影を完了していない区画１０Ｎの撮影を行い、図１０（ｃ）に示すように、最終的に「下回り枠マップ１０Ｍ」内の全ての区画１０Ｓを表示するよう制御することができる。

【0116】

「下回り枠マップ１０Ｍ」は、例えば、観察対象１０ｕの撮像データに基づき下面画像１００に統合するよう生成処理された画像データに、複数配列された区画１０Ｓが割り当てられたマップデータとすることができる。

【0117】

（下回り認識モード２）
「下回り枠マップ１０Ｍ」の作成が完了したか否かを判断し（Ｓ９ｃ）、未完成の場合には、下面部分１０ｕの下に位置しているか否かを判断する（Ｓ３）まで戻る。

【0118】

（マップ設定処理部Ｐ４）
「下回り枠マップ１０Ｍ」の作成が完了した場合には、「下回り枠マップ１０Ｍ」内を撮像範囲に設定し（Ｓ９ｄ）、「下回り認識モード１」を設定する（Ｓ９ｅ）。「下回り認識モード２」は、例えば、下面部分１０ｕと、柱や壁、吊り金具、空調設備、配管、配線等の各構成要素１０１とを識別し、画像データ上で構成要素１０１毎に検査可能とする認識モードとすることができる。

【0119】

（部品情報取得処理部Ｐ５）
前記観察対象１０である建築物１０ｂを特定する情報の入力画面で入力（Ｓ１）された情報に基づき、観察対象１０の下回りの構成要素１０１の標準情報１０２を取得する（Ｓ９ｆ）。構成要素１０１の標準情報１０２は、部品名、部品番号、アッシー番号、設計図、サービスマニュアル、パーツリスト、それらに付随して有られる（寸法、材質、部品一覧情報）色、形、二次元（又は三次元）画像等とすることができる。構成要素１０１の標準情報１０２は、サーバ３の例えば外部記憶装置３ｃに蓄積された情報から取得する他、インターネット３ａやクラウド３ｂ等に蓄積されたデータから取得することができる。

【0120】

図１０（ｃ）に示すように、「下回りの構成要素１０１の標準情報１０２」を「下回り枠マップ１０Ｍ」に重ね合わせ、該生成画像データを保存する（Ｓ９ｇ）。該生成画像データは、下回り枠マップ１０Ｍに、下回りの構成要素１０１の標準情報１０２が紐付けされた半透明の部品１０２の画像が重ね合わせて表示され、画面上に半透明表示された部品１０２にマウスのポインターを重ねると、部品１０２が点滅表示に切り替わり、該当部品１０２の詳細な標準情報１０２の数値データや文字情報等を表示する小画面が展開表示され、マウスのポインターが該部品１０２から外れると元の表示に戻るよう制御しても良い。

【0121】

当該生成画像データに基づき、「下回り認識モード１」で識別及び記憶した全構成要素１０１（下面部分１０ｕ）の位置及び形状の標準情報１０２が有るか否か判断する（Ｓ９ｈ）。全構成要素１０１の位置及び形状の標準情報１０２が有る場合には、各構成要素１０１の位置、形状及び色のデータ（下面部分１０ｕ）と、取得（Ｓ９ｆ）した位置、形状及び色の標準情報１０２とを比較して照合する（Ｓ９ｊ）。各部品の照合結果を仮記憶する（Ｓ９ｋ）。

【0122】

一部の構成要素１０１又は全構成要素１０１（下面部分１０ｕ）の位置、形状及び色の標準情報１０２が無い場合（Ｓ９ｈ）、又は、全構成要素１０１の照合結果を仮記憶（Ｓ９ｋ）した後に、カメラ５１（録画制御部５１ｃ）、ライト５０ｂ（照明制御部）の照明の強さ、及び、走行駆動源７（移動制御部５２）の走行速度、又は、浮揚移動源７１の移動速度を、夫々観察対象１０ｕの各構成要素１０１を詳細に撮影できる条件に設定し、制御することができる。カメラ５１（録画制御部５１ｃ）が下面部分１０ｕの各構成要素１０１を示す特徴点を捉えた場合には、走行駆動源７又は浮揚移動源７１の速度を落とし、該特徴点を演算処理しながらゆっくりと移動し、各構成要素１０１の識別を優先するよう制御することができる（Ｓ９ｍ）。

【0123】

（画像生成処理部Ｐ６）
下回り全体（下面部分１０ｕの輪郭１０Ｌ内）を把握した上で、下回り、及び下面部分１０ｕの輪郭１０Ｌ内の構成要素１０１の認識処理を行う（Ｓ１０）。撮像した画像を重ね合わせ画像と比較して各構成要素１０１を照合（Ｓ１０ａ）し、照合の結果、全ての構成要素１０１を認識したか否か判断する（Ｓ１０ｂ）。全ての構成要素１０１の位置、形状、色を本記憶（Ｓ１０ｃ）する。本記憶された構成要素１０１の位置情報は、仮記憶された位置情報よりも、より高精度となる。

【0124】

撮像範囲全ての撮像を完了したかを判断する（Ｓ１０ｄ）。例えば、図６及び図１０（ｃ）に示すように、モバイル端末２ｂのディスプレイに、表示された下回り枠マップ１０Ｍの全体に撮影を完了した区画１０Ｆが表示され、未だ撮影を完了していない区画１０Ｎが表示されていない場合に、撮像範囲全ての撮像を完了したかを判断することができる。

【0125】

（部品比較処理部Ｐ７）
仮記憶されている全ての構成要素１０１が、各構成要素１０１の照合結果の仮記憶（Ｓ９ｋ）の位置、形状、色と一致しているかを判断する（Ｓ１０ｅ）。全ての構成要素１０１の何れかが仮記憶（Ｓ９ｋ）された位置、形状、色に一致していない場合には、本記憶（Ｓ１０ｃ）した全ての構成要素１０１と、仮記憶（Ｓ９ｋ）した全ての構成要素１０１の位置、形状、色を重ねて、ディスプレイ２ｂに比較表示する（Ｓ１０ｆ）。比較結果によるユーザー指示内容を本記憶に反映し、重複する仮記憶を削除する（Ｓ１０ｇ）。

【0126】

（部品検査処理部Ｐ８）
構成要素１０１の調査を行う（Ｓ１１）。構成要素１０１の調査は、配管のずれ、壁面や梁の変形や亀裂、水漏れなどの重ね合わせ画像１００（１０１，１０２）上の部品の比較によって判別することができる。部品毎のピクセル単位のＲＢＧ値で比較し、大きな差の有る構成要素１０１を調査することができる。

【0127】

画像から材質を判別することができる。木材や断熱材等の材質を判別することができ、不動産鑑定の指標として得た情報を利用することが可能となる。又、シロアリ等の害虫の発見にも利用することができる。
（判断処理部Ｐ９）
下回りの全体画像１００、構成要素１０１の比較情報（１０１，１０２）、及び検査結果をディスプレイに表示する（Ｓ１２）。

【0128】

（書類作成処理部Ｐ１０）
該検査結果に基づき、点検の見積書、及び作業票の少なくとも一方を作成し、モバイル端末２ｂの記憶装置、又は、サーバ３の外部記憶装置３ｃ等に本記憶する（Ｓ１３）。「下回り認識モード１」又は「下回り認識モード２」の何れかに設定されている認識モードをリセットする（Ｓ１４）。全ての工程を終了する（Ｓ１５）。

【0129】

故障箇所特定端末２としてのモバイル端末２ｂが、本記憶（Ｓ１３）した下回りの全体画像、構成要素１０１の比較情報（１０１，１０２）、及び検査結果は、例えば、サーバ３の外部記憶装置３ｃに蓄積することができる。該サーバ３は、複数の故障箇所特定端末２から送信された情報を受信し、建築構造の種類、建築会社又はハウスメーカー名、型式、年式、登録年、築年数、登録都道府県、メンテナンス履歴等の情報と共に蓄積し、蓄積データを統計的に処理可能なビッグデータとして管理することができる。

【0130】

図１１は前記画像生成装置８、画像生成装置を用いた診断装置９、及びこれらを搭載した故障箇所特定端末２、データ記憶システムの一例を示すハードウェア構成図である。これらの装置は、入力装置１１、出力装置１２、ドライブ装置１３、補助記憶装置１４、主記憶装置１５、演算処理装置１６及びインターフェース装置１７を、それぞれバスＢで相互に接続している。

【0131】

入力装置１１はキーボードやマウス等であって良く、各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等を利用でき、各種ウインドウやデータ等を表示するために用いられる。インターフェース装置１７はモデムやＬＡＮカード等であり、ネットワークに接続する為に用いられる。

【0132】

本実施形態における画像生成装置８、画像生成装置を用いた診断装置９、及びこれらを搭載した故障箇所特定端末２、データ記憶システムとしての各処理を実行するプログラムは、各装置における処理を制御する各種プログラムの少なくとも一部である。各種のプログラムは例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。このようなプログラムを記録した記録媒体１８はＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

【0133】

各種処理を実行するプログラムは、補助記憶装置１４にインストールされる。補助記憶装置１４は、インストールされたプログラムを格納すると共に、必要なファイル，データ等を格納する。主記憶装置１５は、補助記憶装置１４から当該処理を規定したプログラムを読み出して格納する。そして、演算処理装置１６は主記憶装置１５に格納されたプログラムに従って各種処理を実現している。

【産業上の利用可能性】

【0134】

本実施の形態の画像生成装置、診断装置、及び、それを利用したデータ蓄積システムは、人工物、又は、山や洞窟等の天然物の下面部分の確認に利用することができる。特に、自動車、船舶、航空機等の号業製品や、建築物等の人工物の下面部分の確認や検査、及び、得られた情報の収集に利用することができる。

【符号の説明】

【0135】

１ データ蓄積システム
２ 故障箇所特定端末
２ａ 同 コンピューター
２ｂ 同 モバイル端末
３ サーバ
３ａ 同 インターネット
３ｂ 同 クラウド
３ｃ 同 外部記憶装置
４ 撮像機
５ 移動体
５０ 同 ホルダー、
５０ａ 同 操作杆
５０ｂ 同 ライト（照明制御部）
５０ｃ 同 測距部（測距制御部）
５１ 同 カメラ
５１ｃ 同 録画制御部
５２ 同 移動制御部（経路演算処理部）
５３ 同 通信機
５４ 同 リムーバブルメディア
５４ｈ 同 ハードウェア・インターフェース
５４ｓ 同 スロット
５４ｔ 同 接続端子
６ モバイル端末
７ 走行駆動源（浮揚移動源）
７ａ 同 駆動輪
７ｂ 同 操舵輪
７ｃ 同 自在キャスター（接地輪）
７１ 同 回転翼（固定翼又はホバー艇構造等）
８ 画像生成プログラム
Ｐ１ 同 輪郭設定部
Ｐ２ 同 部品特定部
Ｐ３ 同 マップ割り当て処理部
Ｐ４ 同 マップ設定処理部
Ｐ５ 同 部品情報取得処理部
Ｐ６ 同 画像生成処理部
９ 故障箇所特定プログラム
Ｐ７ 同 部品比較処理部
Ｐ８ 同 部品検査処理部
Ｐ９ 同 判断処理部
Ｐ１０ 同 書類作成処理部
１０ 観察対象
１０ａ 同 自動車
１０ｂ 同 建築物
１０ｕ 同 下面部分
１０ｈ 同 吊り天井
１０Ｌ 同 観察対象範囲の輪郭
１０Ｍ 下回り枠マップ
１０Ｓ 区画
１０Ｆ 撮影を完了した区画
１０Ｎ 未だ撮影を完了していない区画
１００ 下面画像
１０１ 撮影された部品の情報
１０２ 標準情報の部品の情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2024-10-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

観察対象の下面画像を生成する画像生成装置であって、
観察対象の下側を撮像機が移動しながら当該撮像機に搭載された測距部が測定した測距データに基づき、前記観察対象ごとに設定された距離範囲で撮像できる観察対象の位置を特徴点として抽出し、該特徴点の連なりを輪郭として設定する輪郭設定部と、
当該輪郭設定部が設定した輪郭内の領域の画像データを取得する画像取得部と、
前記画像データに基づき、前記輪郭の観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出部と、
抽出した該特徴点から部品を特定する部品特定部とを備える、画像生成装置。

【請求項2】

前記輪郭設定部が設定した輪郭エリア内に複数の区画を配列したマップを割り当てるマップ割り当て処理部と、
該マップの各区画に、前記画像データを設定して該観察対象の下面画像を生成するマップ設定処理部と、
前記部品特定部が特定した各部品をもとに、該部品の形状、色、大きさ及び位置の少なくとも何れかの検査を行う部品検査処理部とを備える、請求項１記載の画像生成装置。

【請求項3】

前記部品特定部が特定した部品の標準画像を取得する部品情報取得処理部と、
前記部品特定部が特定した部品の画像と、前記部品情報取得処理部が取得した部品の標準画像とを比較する部品比較処理部と、
前記部品比較処理部における比較結果から、前記部品特定部が特定した部品の部品状態を判断する判断処理部とを備える、請求項１記載の画像生成装置を用いた診断装置。

【請求項4】

前記判断処理部による部品の部品状態をもとに、該部品状態の更新作業にかかる費用に関する見積書と該更新作業に関する作業票とのうち少なくとも一方を作成する書類作成処理部を備える、請求項３記載の診断装置。

【請求項5】

コンピュータで実行され、観察対象の下面画像を生成する画像生成方法であって、
観察対象の下側を撮像機が移動しながら当該撮像機に搭載された測距部が測定した測距データに基づき、前記観察対象ごとに設定された距離範囲で撮像できる観察対象の位置を特徴点として抽出し、該特徴点の連なりを輪郭として設定する輪郭設定ステップと、
当該輪郭設定ステップが設定した輪郭内の領域の画像データを取得する画像取得ステップと、
前記画像データに基づき、前記輪郭の観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出ステップと、
抽出した該特徴点から部品を特定する部品特定ステップと、
を備える画像生成方法。

【請求項6】

コンピュータで実行され、観察対象の下面画像を生成する画像生成プログラムであって、
観察対象の下側を撮像機が移動しながら当該撮像機に搭載された測距部が測定した測距データに基づき、前記観察対象ごとに設定された距離範囲で撮像できる観察対象の位置を特徴点として抽出し、該特徴点の連なりを輪郭として設定する輪郭設定ステップと、
当該輪郭設定ステップが設定した輪郭内の領域の画像データを取得する画像取得ステップと、
前記画像データに基づき、前記輪郭の観察対象範囲に存在する、前記観察対象を構成する部品が示す特徴点を抽出する部品特徴点抽出ステップと、
抽出した該特徴点から部品を特定する部品特定ステップと、
を備える画像生成プログラム。