特許第6588392号(P6588392)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 古河電気工業株式会社の特許一覧

特許6588392点検支援システム、情報端末、点検支援方法、およびプログラム
<>
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000002
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000003
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000004
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000005
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000006
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000007
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000008
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000009
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000010
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000011
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000012
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000013
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000014
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000015
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000016
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000017
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000018
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000019
  • 特許6588392-点検支援システム、情報端末、点検支援方法、およびプログラム 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6588392
(24)【登録日】2019年9月20日
(45)【発行日】2019年10月9日
(54)【発明の名称】点検支援システム、情報端末、点検支援方法、およびプログラム
(51)【国際特許分類】
   G05B 23/02 20060101AFI20191001BHJP
【FI】
   G05B23/02 301V
【請求項の数】10
【全頁数】20
(21)【出願番号】特願2016-125986(P2016-125986)
(22)【出願日】2016年6月24日
(65)【公開番号】特開2017-228249(P2017-228249A)
(43)【公開日】2017年12月28日
【審査請求日】2017年9月8日
(73)【特許権者】
【識別番号】000005290
【氏名又は名称】古河電気工業株式会社
(74)【代理人】
【識別番号】100096091
【弁理士】
【氏名又は名称】井上 誠一
(72)【発明者】
【氏名】奈良 一孝
(72)【発明者】
【氏名】森上 博夫
(72)【発明者】
【氏名】佐々木 博幸
【審査官】 藤崎 詔夫
(56)【参考文献】
【文献】 特開2008−124970(JP,A)
【文献】 特開2016−076036(JP,A)
【文献】 特開2015−023471(JP,A)
【文献】 特開2007−142644(JP,A)
【文献】 特開2007−034822(JP,A)
【文献】 特開2012−242932(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05B 23/02
(57)【特許請求の範囲】
【請求項1】
撮影装置と点検端末を有する点検支援システムであって、
前記撮影装置は、
点検箇所を撮影する撮影手段と、
撮影した撮影データに撮影時間の情報を付加して記憶する記憶手段と、を備え、
前記点検端末は、
点検箇所を含む映像を取得する映像取得手段と、
各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶手段と、
前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得手段と、
前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得手段により取得した映像に重ねて表示する重畳映像表示手段と、
前記重畳映像表示手段に前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶手段と、
を備え、
前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする点検支援システム。
【請求項2】
前記点検端末は、
前記撮影装置に記憶された前記撮影データを取得する手段と、
前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて、前記点検データに前記撮影データを紐づける紐づけ手段と、
を備えることを特徴とする請求項1に記載の点検支援システム。
【請求項3】
作業端末、を更に有し、
前記作業端末は、
前記撮影装置に記憶された前記撮影データを取得する手段と、
前記点検端末に記憶された前記点検データを取得する手段と、
前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて、前記点検データに前記撮影データを紐づける紐づけ手段と、
を備えることを特徴とする請求項1に記載の点検支援システム。
【請求項4】
前記点検時間の情報は、点検開始時間と点検終了時間の情報を含み、
前記紐づけ手段は、
前記撮影データの撮影時間が点検開始時間と点検終了時間の間となる点検データが存在する場合、当該点検データに前記撮影データを紐づける
ことを特徴とする請求項2又は請求項3に記載の点検支援システム。
【請求項5】
前記紐づけ手段は、
前記撮影データの撮影時間が点検開始時間と点検終了時間の間となる点検データが存在しない場合、前記撮影データの撮影時間に最も近い点検開始時間又は点検終了時間に係る点検データに前記撮影データを紐づける
ことを特徴とする請求項4に記載の点検支援システム。
【請求項6】
前記点検端末は、前記点検データの報告書への挿入ルールと前記撮影データの報告書への挿入ルールを定めた報告書作成ルールを参照して、前記点検データと前記点検データに紐づく前記撮影データを報告書へ自動挿入し報告書を作成する報告書作成手段、
を備えることを特徴とする請求項1から請求項5のいずれかに記載の点検支援システム。
【請求項7】
前記作業端末は、前記点検データの報告書への挿入ルールと前記撮影データの報告書への挿入ルールを定めた報告書作成ルールを参照して、前記点検データと前記点検データに紐づく前記撮影データを報告書へ自動挿入し報告書を作成する報告書作成手段、
を備えることを特徴とする請求項3に記載の点検支援システム。
【請求項8】
撮影装置と点検端末を有する点検支援システムの点検支援方法であって、
前記撮影装置は、
点検箇所を撮影する撮影ステップと、
撮影した撮影データに撮影時間の情報を付加して記憶する記憶ステップと、を含み、
前記点検端末は、
点検箇所を含む映像を取得する映像取得ステップと、
各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶ステップと、
前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得ステップと、
前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得ステップにより取得した映像に重ねて表示する重畳映像表示ステップと、
前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶ステップと、
を含み、
前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする点検支援方法。
【請求項9】
撮影装置と点検端末を有する点検支援システムのプログラムであって、
コンピュータに
点検箇所を含む映像を取得する映像取得ステップと、
各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶ステップと、
前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得ステップと、
前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得ステップにより取得した映像に重ねて表示する重畳映像表示ステップと、
前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶ステップと、
を実行させるためのプログラムであって、
前記点検データと撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とするプログラム。
【請求項10】
撮影時間の情報が付加された撮影データを記憶する記憶手段と、
点検箇所を含む映像を取得する映像取得手段と、
各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶手段と、
末の位置および向きを特定する自己位置情報を取得する自己位置情報取得手段と、
前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得手段により取得した映像に重ねて表示する重畳映像表示手段と、
前記重畳映像表示手段に前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶手段と、を備え、
前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする情報端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、設備の点検を支援する技術に関する。
【背景技術】
【0002】
法改正により、道路附帯物(標識・道路照明等)の定期点検が義務化された。各地方自治体では、従前から点検技術者の不足や、点検作業が平準化されていないことによる点検結果のばらつき、点検項目の見落とし等の問題が指摘されていたが、法改正を機に管理下にある膨大な数の道路附帯物をいかに点検維持管理していくかが切迫した課題となっている。
【0003】
このような背景から昨今、各地方自治体では点検に関する技術相談会、技術講習会、実技実習などを数多く開催するなどして、点検者の育成、拡大等に力を入れている。一方、各メーカでは、最新の情報処理技術を導入して設備点検を支援する点検支援システム等を開発し、点検者の作業負担を軽減し点検作業の効率化を実現する種々の技術手段を提供している。
【0004】
例えば特許文献1では、点検すべき損傷箇所をマーカレスのAR(拡張現実)表示(タブレットやグラス等のウェラブルデバイスで観察した画像に損傷箇所を重畳して表示)して、不慣れな点検者にも損傷箇所に容易に迅速に到達する技術を開示している。これにより、点検作業の負担を軽減し点検作業の効率化が実現される。
【0005】
ところで、特許文献1に記載された点検端末は、カメラ撮影機能を備えるため、点検結果のデータ(点検データ)の入力に加え、点検箇所の撮影画像(撮影データ)を得ることができる。すなわち、一台の端末で、報告書作成に必要な全てのデータ(点検データと撮影データ)を得ることができるため、効率的に報告書を作成することができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特願2015−095649号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、一台で全ての機能を賄う点検端末は、多機能である反面、高価であり、また扱い方を新たに覚える必要がある。さらに、撮影した画像の品質が報告書に載せる画像として不十分な場合もあった。このため、点検箇所の撮影を、点検端末に内蔵されたカメラではなく、既存のデジタルカメラ等の撮影装置を用いて行いたいという要望がある。一方、点検端末とは独立した撮影装置を用いて点検箇所の撮影を行った場合、撮影データと点検データとが紐づかないため、撮影した一枚一枚の画像を確認しながら点検データとの突き合せを行う必要があり、報告書の作成に多大な手間と時間を要することとなる。
【0008】
本発明は上記した課題に鑑みてなされたものであり、既存の撮影装置を使用してコストを抑えつつ、報告書を効率よく作成することができる、点検支援システム等を提供することである。
【課題を解決するための手段】
【0009】
課題を解決するための第1の発明は、撮影装置と点検端末を有する点検支援システムであって、前記撮影装置は、点検箇所を撮影する撮影手段と、撮影した撮影データに撮影時間の情報を付加して記憶する記憶手段と、を備え、前記点検端末は、点検箇所を含む映像を取得する映像取得手段と、各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶手段と、前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得手段と、
前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得手段により取得した映像に重ねて表示する重畳映像表示手段と、前記重畳映像表示手段に前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶手段と、を備え、前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする点検支援システムである。
【0010】
また第1の発明において、前記点検端末は、前記撮影装置に記憶された前記撮影データを取得する手段と、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて、前記点検データに前記撮影データを紐づける紐づけ手段と、を備えるように構成してもよい。
【0011】
また第1の発明において、作業端末、を更に有し、前記作業端末は、前記撮影装置に記憶された前記撮影データを取得する手段と、前記点検端末に記憶された前記点検データを取得する手段と、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて、前記点検データに前記撮影データを紐づける紐づけ手段と、を備えるように構成してもよい。
【0012】
また第1の発明において、前記点検時間の情報は、点検開始時間と点検終了時間の情報を含み、記紐づけ手段は、前記撮影データの撮影時間が点検開始時間と点検終了時間の間となる点検データが存在する場合、当該点検データに前記撮影データを紐づけるように構成してもよい。
また、記紐づけ手段は、前記撮影データの撮影時間が点検開始時間と点検終了時間の間となる点検データが存在しない場合、前記撮影データの撮影時間に最も近い点検開始時間又は点検終了時間に係る点検データに前記撮影データを紐づけるように構成してもよい。
【0013】
また第1の発明において、前記点検端末は、前記点検データの報告書への挿入ルールと前記撮影データの報告書への挿入ルールを定めた報告書作成ルールを参照して、前記点検データと前記点検データに紐づく前記撮影データを報告書へ自動挿入し報告書を作成する報告書作成手段、を備えるように構成してもよい。
【0014】
また第1の発明において、前記作業端末は、前記点検データの報告書への挿入ルールと前記撮影データの報告書への挿入ルールを定めた報告書作成ルールを参照して、前記点検データと前記点検データに紐づく前記撮影データを報告書へ自動挿入し報告書を作成する報告書作成手段、を備えるように構成してもよい。
【0015】
課題を解決するための第2の発明は、撮影装置と点検端末を有する点検支援システムの点検支援方法であって、前記撮影装置は、点検箇所を撮影する撮影ステップと、撮影した撮影データに撮影時間の情報を付加して記憶する記憶ステップと、を含み、前記点検端末は、点検箇所を含む映像を取得する映像取得ステップと、各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶ステップと、前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得ステップと、前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得ステップにより取得した映像に重ねて表示する重畳映像表示ステップと、前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶ステップと、を含み、前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする点検支援方法である。
【0016】
課題を解決するための第3の発明は、撮影装置と点検端末を有する点検支援システムのプログラムであって、コンピュータに点検箇所を含む映像を取得する映像取得ステップと、各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶ステップと、前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得ステップと、前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得ステップにより取得した映像に重ねて表示する重畳映像表示ステップと、前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶ステップと、を実行させるためのプログラムであって、前記点検データと撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とするプログラムである。
【0017】
課題を解決するための第4の発明は、撮影時間の情報が付加された撮影データを記憶する記憶手段と、点検箇所を含む映像を取得する映像取得手段と、各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶手段と、末の位置および向きを特定する自己位置情報を取得する自己位置情報取得手段と、前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得手段により取得した映像に重ねて表示する重畳映像表示手段と、前記重畳映像表示手段に前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶手段と、を備え、前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする情報端末である。
【発明の効果】
【0018】
本発明によれば、点検端末により入力された点検データには点検時間の情報が付加され、撮影装置により撮影した撮影データには撮影時間の情報が付加される。これにより、点検時間と撮影時間の情報に基づいて、撮影装置により撮影した撮影データを該当する点検データに容易に紐づけることができる。すなわち、既存の撮影装置を用いてコストを抑えつつ、報告書を効率よく作成することができる。
【図面の簡単な説明】
【0019】
図1】第1の実施形態に係る点検支援システム1のシステム構成図
図2】点検端末2のハードウェア構成の例を示す図
図3】撮影装置3のハードウェア構成の例を示す図
図4】点検端末2の動作を示すフローチャート
図5】(a)点検端末2で撮影した映像20の表示例を示す図(b)ガイド情報5を重畳した重畳映像30の表示例を示す図
図6】点検画面の表示例を示す図
図7】点検データ40のデータ内容の例を示す図
図8】撮影装置3の動作を示すフローチャート
図9】撮影データ50のデータ内容の例を示す図
図10】点検データに撮影データを紐づける処理の全体の流れを示すフローチャート
図11】紐づけ処理の具体的な流れを示すフローチャート
図12】紐づけ処理のイメージを模式的に表す図
図13】紐づけ済み点検データ40Aのデータ内容の例を示す図
図14】(a)点検データを報告書データへ挿入するルール(報告書作成ルール60A)を示す図、(b)撮影データを報告書データへ挿入するルール(報告書作成ルール60B)を示す図
図15】報告書を自動作成する処理の流れを示すフローチャート
図16】作成した報告書(報告書データ70)の例を示す図
図17】第2の実施形態に係る点検支援システム1Aのシステム構成図
図18】作業端末4のハードウェア構成の例を示す図
図19】第2の実施形態の動作を示すフローチャート
【発明を実施するための形態】
【0020】
以下、図面を参照しながら、本発明の好適な実施形態について説明する。尚、以下の説明及び添付図面において、略同一の機能を有する構成については、同一の符号を付す。
【0021】
[第1の実施形態]
図1は、第1の実施形態に係る点検支援システム1のシステム構成を示す図である。図に示すように、点検支援システム1は、点検端末2と撮影装置3とを有する。点検者は点検端末2の表示画面に表示されるガイド情報に従って、点検箇所へ移動し、点検を行う。そして、点検端末2に各点検箇所の点検データ(点検結果)を入力する。一方、撮影装置3を用いて各点検箇所を撮影し撮影データ(画像データ)を取得する。点検終了後に、撮影装置3により撮影された撮影データは点検端末2へ送られ、点検端末2において、点検データと撮影データを紐づけし、報告書を自動作成する。
【0022】
図2は、点検端末2(情報端末)のハードウェア構成の例を示す図である。点検端末2としては、タブレット端末が好適であるが、用途、目的に応じて様々な構成を採ることが可能であり、スマートフォン、ノートPC、ウェアラブルデバイス(例えば眼鏡型、或いはヘルメット型のヘッドマウントディプレイ)等であってもよい。
【0023】
図2に示すように、点検端末2は、主に、制御部21、記憶部22、通信制御部23、入力部24、表示部25、周辺機器I/F部26、撮影部27、位置取得部28などが、バス29を介して接続されて構成される。
【0024】
制御部21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。CPUは、記憶部22、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行することによって本発明に係る点検端末2の全ての制御を実行する。
ROMは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。RAMは、揮発性メモリであり、記憶部22、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部21が各種処理を行う為に使用するワークエリアを備える。
【0025】
記憶部22は、フラッシュメモリ、HDD(Hard Disk Drive)等であり、制御部21が実行するプログラム、プログラム実行に必要なデータ等が格納される。プログラム等は、制御部21により必要に応じて読み出されRAMに移されて実行される。
【0026】
記憶部22には、点検支援プログラム121と報告書作成支援プログラム122がインストールされている。点検支援プログラム121は、「ガイドモード」と「点検モード」の2つのモードから構成され、「ガイドモード」において後述する「ガイド情報表示処理」が実行され、「点検モード」において後述する「点検処理」が実行される(図4参照)。
また、報告書作成支援プログラム122は、後述する点検データと撮影データとを紐づける処理を実行し(図11参照)、紐づけ処理後のデータに基づいて報告書を自動作成する(図15参照)。
【0027】
また記憶部22には、点検箇所の過去の点検データが記憶される。点検データには、少なくとも、点検箇所(損傷個所)の位置を特定する点検位置情報が含まれる。その他、点検箇所(損傷個所)の撮影画像、点検部材・部位等、損傷程度、対策の要否、健全性の判定区分、点検方法、点検日時、点検メモなどの各種点検情報が含まれてもよい。これら情報の一部は、国土交通省「付属物(標識、照明施設等)点検要領」で規定されている点検事項である。
【0028】
点検位置情報は、例えば道路附帯物(標識・道路照明等)を初めて点検した際に、点検端末2の位置取得部28(GPS)から取得したものである。
【0029】
通信制御部23は、通信制御端末、通信ポート等を有し、点検端末2とネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、撮影装置3や他の端末等とのデータ通信の制御を行う。
【0030】
入力部24は、例えば、タッチパネル等の入力装置を有する。点検者は、入力部24を介して、点検データの入力等を行うことができる。
【0031】
表示部25は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して点検端末2のビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。表示部25には、撮影部27(カメラ)で撮影した映像(図5(a)参照)、ガイド情報の重畳映像(図5(b)参照)、点検画面(図6参照)、などが表示される。尚、入力部24及び表示部25は、タッチパネルディスプレイのように、一体となっていても良い。
【0032】
周辺機器I/F(インターフェース)部26は、点検端末2と周辺機器を接続させるためのポートであり、周辺機器I/F部26を介して点検端末2は撮影装置3とのデータ通信を行う。周辺機器I/F部26は、USB、HDMI(登録商標)、MHL、イヤホンマイクコネクタ等で構成されている。周辺機器との接続形態は有線、無線を問わない。
【0033】
撮影部27は、CMOS(Complementary Metal Oxide Semiconductor Image Sensor)等を有し、映像を取得する。撮影部27は、点検端末2の表示画面が配置されている前面に配置される前面側カメラ27a(不図示)と、前面とは反対側の面である背面に配置される背面側カメラ27b(不図示)とを含む。撮影部27は、レンズ、絞り、シャッタ、及び撮像素子などを主に有しており、絞り値、シャッタ速度、及びISO感度などの撮像条件が変更可能となっている。また、撮影部27(27a及び27b)は、撮影部27のフォーカスを調整するフォーカス機構と、シャッタの開閉を調整するシャッタ機構とを有している。
【0034】
位置取得部28は、例えばGPSセンサ、加速度センサ、ジャイロセンサ、地磁気センサ等から構成され、点検者が保持する点検端末2の位置(緯度、経度、高度など)および向き(姿勢)を特定する情報を取得する。以下、点検端末2の位置および向きを特定する情報を「自己位置情報」とも呼ぶ。
【0035】
バス29は、各部間の制御信号、データ信号等の授受を媒介する経路である。
また、図2に示したハードウェア構成のほかに、スピーカ、マイクロホン等のデバイスを備える。
【0036】
図3は、撮影装置3のハードウェア構成の例を示す図である。撮影装置3は、例えば一般的なデジタルカメラである。図3に示すように、撮影装置3は、主に、制御部31、記憶部32、通信制御部33、入力部34、表示部35、周辺機器I/F部36、撮影部37などが、バス39を介して接続されて構成される。
【0037】
制御部31は、CPU、ROM、RAM等で構成される。CPUは、記憶部232、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行することによって本発明に係る撮影装置3の全ての制御を実行する。ROMは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。RAMは、揮発性メモリであり、記憶部32、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部21が各種処理を行う為に使用するワークエリアを備える。
【0038】
また制御部31は、画像処理部を備える。画像処理部は、DSP(Digital
Signal Processor)や、VRAM(Video Random Access Memory)等から構成されており、CPUと協働して、画像のデータに対して各種画像処理を施す。例えば、画像処理部は、撮影部37から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。
【0039】
記憶部32は、半導体メモリ、半導体メモリを使用した任意のメモリカード(SD、SDHC、SDXC、コンパクトフラッシュ(登録商標)、Wi−Fi機能が搭載されたメモリカードなど)、磁気記録媒体、光記録媒体、光磁気記録媒体などが使用され、撮影装置3の内部に固定されてもよいし、撮影装置3に対して着脱可能でもよい。
【0040】
記憶部32には、撮影装置3の撮影機能等を実現する各種プログラムが格納されている。プログラムは、制御部31により必要に応じて読み出されRAMに移されて実行される。
また記憶部32は、撮影装置3により撮影された画像データが記憶される。画像データの形式は、例えばJPEG(Joint Photographic Experts Group)形式、TIFF(Tagged
Image File Format)形式などである。
【0041】
通信制御部33は、通信制御端末、通信ポート等を有し、撮影装置3とネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、点検端末2や他の端末等とのデータ通信の制御を行う。
【0042】
入力部34は、ボタン、タッチパネル等の入力装置を有し、撮影操作や撮影条件の設定などの各種指示操作を受付ける。
表示部35は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して撮影装置3のビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有し、撮影画像や撮影条件の設定画面を表示する。尚、入力部34及び表示部35は、タッチパネルディスプレイのように、一体となっていても良い。
【0043】
周辺機器I/F(インターフェース)部36は、撮影装置3と周辺機器を接続させるためのポートであり、周辺機器I/F部36を介して撮影装置3は点検端末2とのデータ通信を行う。周辺機器I/F部36は、USB、HDMI(登録商標)、MHL、イヤホンマイクコネクタ等で構成されている。周辺機器との接続形態は有線、無線を問わない。
【0044】
撮影部37は、レンズなどの光学系、CCD(Charge
Coupled Device)などといった撮像素子などを有し、対象物の撮影を行う。撮影部37は、レンズ、絞り、シャッタ、及び撮像素子などを主に有しており、絞り値、シャッタ速度、及びISO感度などの撮像条件が変更可能となっている。また、カメラ37は、カメラ37のフォーカスを調整するフォーカス機構と、シャッタの開閉を調整するシャッタ機構とを有している。
【0045】
図4は、点検端末2の動作を説明するフローチャートである。図4に示すように、ステップS1からステップS4までが点検箇所を案内指示する「ガイド情報表示処理」に相当し、ステップS5からステップS12までが点検箇所の点検を行う「点検処理」に相当する。
【0046】
最初にガイド情報表示処理について説明する。点検端末2において、点検支援プログラム121がガイド情報を表示するガイドモードで起動されているものとする。
【0047】
まず、点検者は、点検箇所(道路標識、道路照明施設等)を含む道路に対して撮影部27(カメラ)のレンズを向け、入力部24を介して撮影の開始操作を行う。そうすると、点検端末2は、撮影部27を制御し点検箇所を含む映像20の取得を開始し、取得した映像20を時々刻々とリアルタイムに表示部25に表示する(ステップS1)。
【0048】
続いて、点検端末2は、位置取得部28を介して、ガイド情報5を生成するために必要な、点検端末2の自己位置情報(位置および向きの情報)を取得する(ステップS2)。具体的にはGPSセンサから点検端末2の位置(緯度、経度、高度)の情報を取得し、加速度センサ、ジャイロセンサ、或いは地磁気センサから点検端末2の向き(姿勢)の情報を取得する。なお、点検端末2の位置情報(緯度、経度、高度)は、点検者の操作を受付けることにより、手動で設定してもよい。例えば位置情報(緯度、経度、高度)が予め与えられている道路モデル(2次元モデル又は3次元モデル)を記憶部22に保持しておき、この道路モデルを読込み、表示部25に表示する。そして点検者は表示された道路モデル上において自身の現在位置に相当する場所をクリック、タップ等することで位置情報(緯度、経度、高度)を得ることができる。
【0049】
続いて、点検端末2は、点検箇所の位置情報(点検位置情報)を記憶部22から取得し、この点検位置情報と、ステップS2において取得した点検端末2の自己位置情報(位置および向きの情報)との位置関係に基づいて、点検箇所の場所を指示するガイド情報5を生成する(ステップS3)。
【0050】
そして、点検端末2は、ガイド情報5を映像20に重畳させた重畳映像30を生成し表示部25に表示する(ステップS4)。
【0051】
図5(a)は、ガイドモード時の表示部25(表示画面)の表示例を示す図である。図に示すように、撮影部27から取得される映像20がリアルタイムに表示画面に表示される。表示画面上で「ガイド表示」ボタン251を押下することで、上記したステップS2〜S4の処理が実行され、ガイド情報5が生成・表示される。
【0052】
図5(b)はガイド情報5が重畳された重畳映像30の表示例を示す図である。図に示すように、ガイド情報5(円マーク+上矢印)が点検箇所である道路標識の真下に表示される。これにより、点検者は点検箇所を容易に把握することができ、点検者を点検箇所へ迷いなく誘導させることができる。
【0053】
尚、上記したステップS1〜ステップS4の処理は繰り返し実行され、ガイド情報5は映像20にリアルタイムに重畳表示される。点検端末2の撮影部27(カメラ)の撮影方向を変化させたり、撮影場所を移動すると、ガイド情報5も映像20の変化に追随して、その表示位置、サイズ、形状がリアルタイムに変化して表示される。
【0054】
次にステップS5以降の「点検処理」について説明する。まず、点検者はガイド情報5に従って、点検箇所へ移動する(ステップS5)。そして、表示部25上の「点検開始」ボタン252(図5参照)を押下することで、点検支援プログラム121を「点検モード」へ切り替え、点検箇所の点検を開始する(点検処理を開始させる)(ステップS6)。
【0055】
図6は点検モード時の表示部25(表示画面)の表示例を示す図である。図に示すように、表示画面上には、点検データ入力領域253と点検データ参照領域254が表示される。点検データ入力領域253は点検者が点検結果(点検データ)を入力する画面領域である。点検データ参照領域254は過去の点検結果を読込んで参照表示する画面領域である。過去の点検結果は「点検データ参照」ボタン256から該当する点検箇所の点検データを選択することで記憶部22から読込まれる。
【0056】
続いて、点検端末2は「点検開始時間」を取得する(ステップS7)。点検開始時間とは、点検箇所の点検を開始した目安となる時間であり、例えば、点検者から「点検開始」ボタン252の押下操作を受付けた時間や、図6の表示部25(表示画面)において点検箇所の過去(例えば前回)の点検データを記憶部22から読込んだ時間である。
【0057】
そして、点検者は定められた点検項目に基づいて点検を実施し、点検結果(点検データ)を点検データ入力領域253(図6参照)に入力する(ステップS8)。
【0058】
点検データの入力後、「点検終了」ボタン255(図6参照)を押下することで、点検データの入力を確定させ、点検を終了する(ステップS9)。
続いて、点検端末2は「点検終了時間」を取得する(ステップS10)。点検終了時間は、点検箇所の点検を終えた目安となる時間であり、例えば、ユーザから「点検終了」ボタン255の押下操作を受付けた時間や、他の点検箇所の点検データを読込んだ時間である。
【0059】
そして、点検端末2は、ステップS8において入力した点検データに、ステップS7およびステップS9において取得した「点検開始時間」と「点検終了時間」の情報を付加して保存する(ステップS11)。
【0060】
全ての点検箇所の点検が終了すると(ステップS6;Yes)、点検処理を終了する。一方、次に点検する点検箇所が存在する場合には(ステップS6;No)、ステップS5へ戻り、前記した点検処理(ステップS5〜ステップS11)を全ての点検箇所の点検が終了するまで繰り返し実行する。
【0061】
図7は、点検端末2の記憶部22に記憶される点検データ40のデータ内容の例を示す図である。図中、点検ID41は各点検箇所を一意に識別する識別番号である。点検データファイル名42は各点検データの保存先ファイル名である。点検時間43は各点検箇所の点検時間の情報である。点検時間43は「点検開始時間」と「点検終了時間」の情報を含む。
【0062】
図8は、点検端末2とは別途実行される撮影装置3の処理の流れを示すフローチャートである。点検者(点検端末2を保持している点検者または別の点検者)は点検中の任意のタイミングで撮影装置3を用いて点検箇所を撮影する(ステップS21)。例えば、点検者は、地上から点検箇所(道路附帯物)に撮影装置3の撮影部37を向けて撮影を行う。点検箇所が地上から離れた高い位置にあるような場合は、ズーム機能により画像を拡大して撮影したり、或いは脚立等に登って点検箇所の近くまで行き撮影を行う。
【0063】
そして撮影装置3は、撮影した撮影データ(画像データ)に撮影時間の情報を付加して記憶部32に記録する(ステップS22)。尚、撮影データに撮影時間の情報を含むExif情報(撮影時間(日時)、メーカ名、各種撮影条件、位置情報(GPS機能付きの撮影装置の場合)を含む)を付加するのでもよい。
【0064】
図9は、撮影装置3の記憶部32に記憶される撮影データ50のデータ内容の例を示す図である。図中、撮影ID51は各撮影データ(画像データ)を一意に識別する識別番号であり、撮影データファイル名52は各撮影データ(画像データ)のファイル名であり、撮影時間53は各撮影データを撮影した時間である。
【0065】
以上のように、図4および図8の処理により、点検端末2の記憶部22には、点検時間(点検開始時間と点検終了時間)の情報が付加された各点検箇所の点検データが記憶され(図7参照)、撮影装置3の記憶部32には、撮影時間の情報が付加された各点検箇所の撮影データが記録される(図9参照)。
【0066】
次に、図10図13を参照して、点検データ40と撮影データ50の各データを紐づける処理(紐づけ処理)について説明する。点検端末2と撮影装置3は任意のデータ通信手段(USBケーブルを用いた有線通信やBluetooth(登録商標)を用いた無線通信など)によりデータの授受が行える状態とする。
【0067】
図10は、処理の全体の流れを示すフローチャートである。
まず、撮影装置3は、任意のデータ通信手段を用いて、点検時に記録した撮影データ50を点検端末2へ送信し(ステップS21)、点検端末2は、撮影装置3から撮影データ50を受信して記憶部22に記憶する(ステップS22)。尚、本実施形態の例に依らず、可搬型の記憶媒体を介して撮影データ50を点検端末2に移動してもよい。
【0068】
そして、点検端末2は、点検データ40の各データに撮影データ50の各データを紐づけする処理(紐づけ処理)を実行する(ステップS23)。
この紐づけ処理について、図11を用いて具体的に説明する。
【0069】
まず、点検端末2は、紐づけされていない撮影データ50を1つ選択する(ステップS331)。
【0070】
続いて、点検端末2は、選択した撮影データ50の「撮影時間」を参照し、この「撮影時間」が「点検開始時間」と「点検終了時間」の間となる点検データ40を検索する(ステップS332)。
【0071】
「撮影時間」が「点検開始時間」と「点検終了時間」となる点検データ40が存在した場合(ステップS332;Yes)、点検端末2は、当該点検データ40に選択した撮影データ50を紐づける(ステップS333)。
【0072】
一方、「撮影時間」が「点検開始時間」と「点検終了時間」の間となる点検データ40が存在しない場合(ステップS332;No)、点検端末2は、「撮影時間」に最も近い「点検開始時間」又は「点検終了時間」に係る点検データ40に選択した撮影データ50を紐づける(ステップS334)。「撮影時間」が「点検開始時間」と「点検終了時間」の間となる点検データが存在しない場合とは、例えば、点検箇所の撮影を点検開始前や点検終了後に行った場合である。
【0073】
全ての撮影データ50の紐づけが終了すると(ステップS335;Yes)、点検端末2は紐づけ処理を終了する。一方、紐づけ処理が実行されていない撮影データ50が存在する場合には(ステップS335;No)、ステップS331へ戻り、点検端末2は、紐づけがされていない撮影データ50を新たに1つ選択し(ステップS331)、当該撮影データ50の紐づけ処理(ステップS332〜ステップS334)を実行する。
【0074】
図12は、紐づけ処理のイメージを模式的に表す図である。図12は、撮影時間t1、t2、t3、…、t9、t10に撮影した撮影データを点検データA、B、Cに紐づける例を示す。
【0075】
図に示すように、撮影時間t1、t2、t3は、点検データAの点検開始時間と点検終了時間の間となるので、撮影時間t1、t2、t3に撮影した撮影データは、点検データAに紐づけられる。
また、撮影時間t5、t6は、点検データBの点検開始時間と点検終了時間の間となるので、撮影時間t5、t6に撮影した撮影データは、点検データBに紐づけられる。
また、撮影時間t8、t9、t10は、点検データCの点検開始時間と点検終了時間の間となるので、撮影時間t8、t9、t10に撮影した撮影データは、点検データCに紐づけられる。
【0076】
一方、撮影時間t4は、点検開始時間と点検終了時間の間となる点検データが存在しないので、撮影時間t4に撮影した撮影データは、撮影時間t4に最も近い点検終了時間に係る点検データAに紐づけられる。
また、撮影時間t7も、点検開始時間と点検終了時間の間となる点検データが存在しないので、撮影時間t7に撮影した撮影データは、撮影時間t7と最も近い点検開始時間に係る点検データCに紐づけられる。
【0077】
図13は、各点検データに各撮影データを紐づけた後の紐付け済み点検データ40Aのデータ例を示す図である。紐づけ済み点検データ40Aは、各点検データに紐づく各撮影データの情報を保持する。図の例では、点検データファイル名42Aが“…/data001”である点検データには、撮影データファイル名52Aが“…/img001”、“…/img002”、“…/img003”である各撮影データが紐づき、点検データファイル名42Aが“…/data002”である点検データには、撮影データファイル名52Aが“…/img004”、“…/img005”である各撮影データが紐づいている。
【0078】
次に、図14図16を参照して、紐づけ処理後の紐づけ済み点検データ40Aを用いて、報告書を自動作成する処理について説明する。
【0079】
図14は、予め取り決めた報告書の作成ルールを保持する報告書作成ルール60(60A、60B)の例を示す図である。
図14(a)は点検データを報告書データへ挿入するルール(報告書作成ルール60A)を示す。図に示すように、報告書作成ルール60Aは、点検データの各項目を報告書のどの位置に挿入するか(書込むか)の情報を保持する。例えば、“点検日時”の項目は報告書の“m1行n1列”に挿入し、“点検種別”の項目は報告書の“m2行n2列”に挿入する。
【0080】
図14(b)は撮影データを報告書データへ挿入するルール(報告書作成ルール60B)を示す。図に示すように、報告書作成ルール60Bは、撮影画像を報告書のどの位置にどの倍率(或いはどの画像サイズ)で挿入するか(書込むか)の情報を保持する。図の例では、撮影枚数に応じて挿入パターン(画像の挿入位置、画像の拡大縮小倍率のパターン)が定められている。例えば撮影枚数が1枚の場合は、撮影画像を“M1行N1列”に縦横倍率100%で挿入する。また撮影枚数が2枚の場合は、1枚目の撮影画像を“M2行N2列”に縦横倍率50%で挿入し、2枚目の撮影画像を“M3行N3列”に縦横倍率50%で挿入する。
【0081】
図15は、報告書を自動作成する処理の流れを示すフローチャートである。
まず点検者が、報告書を作成する点検箇所の点検データファイル名42Aを指定して選択すると(ステップS41)、点検端末2は、対応する点検データを記憶部22から読込み、報告書作成ルール60Aを参照して、点検データの各項目を報告書の所定位置に自動挿入(書込み)する(ステップS42)。また、点検端末2は、紐づけ済み点検データ40Aを参照して、ステップS41において選択した点検データファイル名42Aに紐づく撮影データファイル名52Aの撮影データを記憶部22から読込み、報告書作成ルール60Bを参照して、撮影データ(撮影画像)を撮影枚数に応じた挿入パターンで挿入する(ステップS43)。
【0082】
図16は、作成した報告書(報告書データ70)の例を示す図である。図に示すように、点検データ表示領域71に点検データが自動挿入され、撮影データ表示領域72に撮影データが自動挿入された報告書データ70が作成される。
【0083】
以上、第1の実施形態について説明した。第1の実施形態によれば、点検端末2は、各点検データに点検時間(点検開始時間、点検終了時間)の情報を付加して保存する(図4図7参照)。また、撮影装置3は、撮影した各撮影データに撮影時間の情報を付加して保存し(図8図9参照)、点検終了後、点検端末2へ送信する(図10参照)。点検端末2は、点検時間と撮影時間の情報に基づいて、各点検データに各撮影データを紐づけし(図11図13参照)、報告書を自動作成する(図15参照)。以上の処理により、既存の撮影装置で撮影した撮影データを点検データに自動で紐づけることができるので、既存の撮影装置を使用してコストを抑えつつ、報告書を効率よく作成することが可能となる。
【0084】
尚、点検データと撮影データをより正確に紐づけするために、点検端末2は、点検箇所の撮影の開始および終了のタイミングを点検者に指示してもよい。例えば、「点検開始」ボタン252(図5参照)の押下操作を受付けた時間を「点検開始時間」として取得する場合には、「点検開始」ボタン252の下に“点検開始ボタンを押した後に撮影を始めてください”などのメッセージを表示して、撮影開始のタイミングを点検者に指示する。また、「点検終了」ボタン255(図6参照)の押下操作を受付けた時間を「点検終了時間」として取得する場合には、「点検終了」ボタン255の下に“点検箇所の撮影を終了した後に点検終了ボタンを押してください”などのメッセージを表示して、撮影終了のタイミングを点検者に指示する。この指示にしたがって撮影を行った場合、撮影データの撮影時間は、常に点検開始時間と点検終了時間の間となるので、点検データと撮影データをより正確に紐づけることができる。
【0085】
また、図10のステップS33(紐づけ処理)の後に、点検データ毎(点検箇所毎)にフォルダを作成し、各フォルダに撮影データを保存する処理を加えてもよい。例えば、図12で説明すると、“点検データA”、“点検データB”、“点検データC”という名前のフォルダを作成して、“点検データA”のフォルダに点検データAと紐づく撮影時間t1〜t4の撮影データを保存し、“点検データB”のフォルダに点検データBと紐づく撮影時間t5〜t6の撮影データを保存し、“点検データC”のフォルダに点検データCと紐づく撮影時間t7〜t10の撮影データを保存する。これにより、撮影した写真を点検箇所毎に整理したフォルダが生成される。
【0086】
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。
図17は、第2の実施形態に係る点検支援システム1Aのシステム構成を示す図である。図に示すように、第2の実施形態では、作業端末4を更に備える。第1の実施形態と同様に、点検端末2によって点検箇所の点検結果(点検データ)を入力し、撮影装置3によって点検箇所を撮影する。第2の実施形態では、点検終了後に、点検端末2において入力した点検データと、撮影装置3において撮影した撮影データと、を任意のデータ通信手段を用いて、作業端末4へ送り、この作業端末4において点検データと撮影データの紐づけ処理を行い、報告書を作成する。
【0087】
図18は、作業端末4(情報端末)のハードウェア構成の例を示す図である。作業端末4は、ノートパソコン、デスクトップパソコン等の一般的なコンピュータであり、図に示すように、作業端末4は、主に、制御部401、記憶部402、通信制御部403、入力部404、表示部405、周辺機器I/F部406などが、バス409を介して接続されて構成される。
【0088】
図19は、第2の実施形態の動作を示すフローチャートである。図に示すように、作業端末4は、任意のデータ通信手段を用いて、点検端末2の記憶部22に記憶された点検データ40を受信記憶し(ステップS51)、撮影装置3の記憶部32に記憶された撮影データ50を受信記憶する(ステップS52)。尚、本実施形態の例に依らず、可搬型の記憶媒体を介して点検データ40および撮影データ50を作業端末4に移動してもよい。
【0089】
続いて、作業端末4は、点検データ40と撮影データ50とを紐づける処理(紐づけ処理)を実行し(ステップS53)、報告書を自動作成する(ステップS54)。ステップS53の処理(紐づけ処理)は、図11の処理と同様であり、ステップS54の処理(報告書の自動作成)は、図15と同様である。
【0090】
以上、第2の実施形態によれば、点検端末2において入力した点検データと、撮影装置3において撮影した撮影データと、を任意のデータ通信手段を用いて、作業端末4へ送り、作業端末4において点検データと撮影データの紐づけ処理を行い、報告書を作成する。これにより、オフィス内のコンピュータ等を使用して報告書を作成できるので、報告書作成の作業効率が一層向上する。
【0091】
以上、添付図面を参照しながら、本発明に係る点検支援システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0092】
1、1A 点検支援システム
2 点検端末
3 撮影装置
4 作業端末
40 点検データ
50 撮影データ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19