(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085828
(43)【公開日】2024-06-27
(54)【発明の名称】情報処理システム及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240620BHJP
H04N 23/60 20230101ALI20240620BHJP
G06T 11/80 20060101ALI20240620BHJP
G06T 7/70 20170101ALI20240620BHJP
【FI】
G06F3/01 510
H04N23/60 500
G06T11/80 A
G06T7/70 Z
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022200580
(22)【出願日】2022-12-15
(71)【出願人】
【識別番号】520305432
【氏名又は名称】株式会社SoftRoid
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】野▲埼▼ 大幹
(72)【発明者】
【氏名】吉田 岳人
【テーマコード(参考)】
5B050
5C122
5E555
5L096
【Fターム(参考)】
5B050AA03
5B050BA06
5B050BA10
5B050BA11
5B050BA13
5B050BA18
5B050BA20
5B050CA01
5B050CA07
5B050CA08
5B050DA01
5B050EA04
5B050EA07
5B050EA12
5B050EA19
5B050FA02
5B050FA13
5B050FA14
5C122DA03
5C122DA13
5C122EA47
5C122FH11
5C122FH14
5C122FK24
5C122FK34
5C122HA13
5C122HA35
5C122HB01
5C122HB05
5E555AA11
5E555AA28
5E555BA02
5E555BA86
5E555BB02
5E555BC18
5E555CA42
5E555CA44
5E555DB56
5E555DD05
5E555EA22
5E555FA00
5L096CA04
5L096DA01
5L096FA06
5L096FA62
5L096FA67
5L096FA69
(57)【要約】
【課題】撮影領域における移動経路をより正確に把握することが可能な情報処理システム等を提供すること。
【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備える。プロセッサが、取得ステップでは、撮像装置が撮影領域を移動する移動経路の各位置を撮影位置とする撮影画像を取得し、撮影領域には、所定のマーカが設置されており、推定ステップでは、取得された撮影画像に基づいて、移動経路と、移動経路の少なくとも一部及びマーカの位置関係とを推定する。表示出力ステップでは、撮影位置が指定されると当該撮影位置から撮影された撮影画像を表示させる表示データを出力する。図面出力ステップでは、撮影領域の図面と、当該図面に重畳して推定された移動経路とを示す図面データを出力し、図面データでは、図面におけるマーカの位置と、移動経路とが、推定された位置関係になっている。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、
前記プロセッサが、
取得ステップでは、撮像装置が撮影領域を移動する移動経路の各位置を撮影位置とする撮影画像を取得し、前記撮影領域には、所定のマーカが設置されており、
推定ステップでは、取得された前記撮影画像に基づいて、前記移動経路と、前記移動経路の少なくとも一部及び前記マーカの位置関係とを推定し、
表示出力ステップでは、前記撮影位置が指定されると当該撮影位置から撮影された撮影画像を表示させる表示データを出力し、
図面出力ステップでは、前記撮影領域の図面と、当該図面に重畳して推定された前記移動経路とを示す図面データを出力し、前記図面データでは、前記図面における前記マーカの位置と、前記移動経路とが、推定された前記位置関係になっている、
情報処理システム。
【請求項2】
請求項1に記載の情報処理システムにおいて、
前記プロセッサが、
提示ステップでは、前記図面と、推定された前記移動経路とを、配置の編集を可能にユーザに提示し、
受付ステップでは、提示された前記移動経路の前記図面における配置の編集を受け付け、
前記図面出力ステップでは、編集された前記配置の移動経路を重畳した前記図面を示すデータを前記図面データとして出力する、
情報処理システム。
【請求項3】
請求項2に記載の情報処理システムにおいて、
前記プロセッサが、
特定ステップでは、前記マーカの位置を特定し、
前記提示ステップでは、過去に特定されたマーカの位置を前記図面における仮のマーカ位置とした場合に、推定された前記移動経路を、当該仮のマーカ位置と推定された前記位置関係になるように配置して前記図面とともに提示する、
情報処理システム。
【請求項4】
請求項3に記載の情報処理システムにおいて、
前記提示ステップでは、前記仮のマーカ位置が複数ある場合に、当該複数の仮のマーカ位置で囲まれた領域内の位置を新たな仮のマーカ位置とする、
情報処理システム。
【請求項5】
請求項4に記載の情報処理システムにおいて、
前記提示ステップでは、前記複数の仮のマーカ位置のうち最新の仮のマーカ位置が最も近くなる位置を前記新たな仮のマーカ位置とする、
情報処理システム。
【請求項6】
請求項2に記載の情報処理システムにおいて、
前記プロセッサが、
判定ステップでは、特定された前記マーカの位置が、前回特定されたマーカの位置と所定の距離以上離れている場合に、マーカが移動したことを判定し、
前記提示ステップでは、前記マーカが移動したことが判定されなかった場合、前記移動経路及び前記図面を提示せず、前記マーカが移動したことが判定された場合に、前記移動経路及び前記図面を提示する、
情報処理システム。
【請求項7】
請求項6に記載の情報処理システムにおいて、
前記プロセッサが、
通知ステップでは、前記マーカが移動したことが判定された場合に、所定の宛先に通知し、
前記提示ステップでは、前記通知が行われた場合に、通知された前記宛先に前記移動経路及び前記図面を提示する、
情報処理システム。
【請求項8】
請求項2~請求項7のいずれか1つに記載の情報処理システムと、前記撮像装置と、固定装置と、表示手段とを備える撮像システムであって、
前記固定装置は、移動していない状態における前記撮像装置を固定し、
前記表示手段は、前記マーカを示すマーカ画像を表示する、
撮像システム。
【請求項9】
請求項8に記載の撮像システムにおいて、
前記固定装置は、表示された前記マーカ画像が撮像範囲に含まれるように前記撮像装置を固定する、
撮像システム。
【請求項10】
請求項8に記載の撮像システムにおいて、
前記表示手段は、前記マーカ画像を所定値以上の輝度で表示する手段ある、
撮像システム。
【請求項11】
請求項6又は請求項7に記載の情報処理システムと、前記撮像装置と、固定装置と、表示手段と、動きを検知するセンサとを備える撮像システムであって、
前記固定装置は、移動していない状態における前記撮像装置を固定し、
前記表示手段は、前記マーカを示すマーカ画像を表示し、
前記判定ステップでは、前記センサの出力に基づいて前記マーカが移動したことを判定する、
撮像システム。
【請求項12】
プログラムであって、
コンピュータに、請求項2~請求項7の何れか1つに記載の情報処理システムの各ステップを実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、建物のうち施工現場内に存在する複数の対象部位の形状を検出し、検出結果に基づいて複数の対象部位の形状データを取得し、複数の対象部位それぞれの寸法に関する情報に基づいて、複数の対象部位の中から基準対象部位を特定し、図面データに含まれる基準対象部位の位置と、取得された形状データにおける実際の基準対象部位の位置との照合結果に基づいて、施工現場内における自己位置を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮影領域の各位置で撮影された撮影画像を単に表示するだけでは、撮影領域における移動経路が把握しにくい。
【0005】
本発明では上記事情に鑑み、撮影領域における移動経路をより正確に把握することが可能な情報処理システム等を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備える。プロセッサが、取得ステップでは、撮像装置が撮影領域を移動する移動経路の各位置を撮影位置とする撮影画像を取得し、撮影領域には、所定のマーカが設置されており、推定ステップでは、取得された撮影画像に基づいて、移動経路と、移動経路の少なくとも一部及びマーカの位置関係とを推定する。表示出力ステップでは、撮影位置が指定されると当該撮影位置から撮影された撮影画像を表示させる表示データを出力する。図面出力ステップでは、撮影領域の図面と、当該図面に重畳して推定された移動経路とを示す図面データを出力し、図面データでは、図面におけるマーカの位置と、移動経路とが、推定された位置関係になっている。
【0007】
このような態様によれば、撮影画像に映っているものの位置関係を把握しやすくすることができる。
【図面の簡単な説明】
【0008】
【
図1】現場撮像システム1の全体構成を示す図である。
【
図2】サーバ装置10のハードウェア構成を示す図である。
【
図3】現場端末20のハードウェア構成を示す図である。
【
図4】撮像装置30のハードウェア構成を示す図である。
【
図5】監督端末40のハードウェア構成を示す図である。
【
図6】各装置の制御部の機能構成の一例を示す図である。
【
図7】情報処理の一例を示すアクティビティ図である。
【
図10】提示された図面及び移動経路の一例を示す図である。
【
図11】表示された領域画像データ及び経路図面データの一例を示す図である。
【
図12】サーバ装置10の制御部の機能構成の別の一例を示す図である。
【
図14】仮のマーカ位置の別の一例を示す図である。
【
図15】サーバ装置10の制御部の機能構成の別の一例を示す図である。
【
図16】現場撮像システム1aの全体構成を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non-Transitory Computer-Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0013】
1.ハードウェア構成
本節では、本実施形態に係る現場管理支援システムのハードウェア構成について説明する。
【0014】
図1は、現場撮像システム1の全体構成を示す図である。
図1においては、現場撮像システム1が備える各装置と、それらの装置を使用するユーザとの概要が示されている。各概要については、他の図も参照しながら随時説明する。
【0015】
現場撮像システム1は、建築、建造又は工事等の現場の画像を撮影し、撮影した画像により現場の状況を把握させることを支援するための撮像システムである。現場撮像システム1は、情報処理システム2と、通信回線3と、自撮り棒4と、外付けバッテリー5と、外部電源6と、スタンド7と、マーカ板8と、撮像装置30とを備える。情報処理システム2は、サーバ装置10と、現場端末20と、監督端末40と、オペレータ端末50とを備える。
【0016】
通信回線3は、インターネット等を含み、自回線に接続する装置同士のデータのやり取りを仲介する。通信回線3には、サーバ装置10が有線で接続され、現場端末20及び監督端末40が無線で接続されている。本実施形態では、現場端末20は、移動体通信で通信回線3と通信を行う。また、現場端末20は、撮像装置30と2通りの通信方法を用いて無線通信を行う。2通りの通信方法は、本実施形態では、Wi-Fi通信及びBLE(Bluetooth(登録商標) Low Energy)通信である。
【0017】
現場端末20及び撮像装置30は、例えば、現場作業員W1によって利用される端末であり、作業現場に設置され、現場の撮影に関する処理を実行する。現場端末20は、例えば、スマートフォン又はタブレット端末等である。監督端末40は、例えば、作業現場を担当する作業監督W2によって利用される端末であり、作業の進捗等を管理するための処理を実行する。オペレータ端末50は、例えば、現場撮像システム1のオペレータW3によって利用される端末であり、撮像装置30によって撮影された画像に関する様々な操作を受け付ける。
【0018】
現場端末20は、ケーブルによって、外付けバッテリー5を介して外部電源6と接続されている。撮像装置30は、ケーブル及びコネクタによって、外付けバッテリー5を介して外部電源6と着脱可能に接続されている。言い換えると、外部電源6は、着脱可能に接続される撮像装置30にも電力を供給する。外付けバッテリー5は、充電しながら給電を行うことが可能ないわゆるパススルー機能を有しており、ブレーカがオンになった状態では外部電源6から供給される電力で充電されながら現場端末20及び撮像装置30への給電を行う。
【0019】
撮像装置30は、イメージセンサを備えるデジタルカメラであり、イメージセンサにより測定された光が示す画像を撮影する。撮像装置30は、本実施形態では、上下左右前後の全方位を撮影可能な360度カメラ(全方位カメラ又は全天球カメラとも言う)である。撮像装置30は、自撮り棒4に取り付けられており、その自撮り棒4は、作業現場に設置されたスタンド7に差し込んで固定することができるようになっている。スタンド7は、移動していない状態における撮像装置30を固定する固定装置の一例である。
【0020】
マーカ板8は、マーカ81及びマーカ82(それぞれを区別しない場合「マーカ80」と言う)が表面に表された板部材であり、スタンド7に固定されている。マーカ80は、撮影領域に設置され、3次元空間内の位置及びサイズの目安になる目印である。マーカ80は、例えば、各辺の長さがサーバ装置10に登録されている矩形の模様である。マーカ板8は、マーカ80が形成する矩形の平面が鉛直に沿った状態になるようにスタンド7に固定される。このように、マーカ板8は、マーカを表示する表示手段の一例である。このような態様によれば、撮影領域にマーカを設置する手間を減らすことができる。
【0021】
現場作業員W1がコネクタを外してスタンド7から抜き取った自撮り棒4を持って作業現場を歩き回ることで、作業現場を撮影領域として360度カメラで撮影した画像を示す撮影画像データが生成される。現場撮像システム1においては、撮像装置30が撮影する画像は、本実施形態では動画像であるが、作業現場の各所の画像を得ることができるのであれば、連続して撮影される静止画像であってもよい。撮像装置30は、生成した撮影画像データを現場端末20に送信する。
【0022】
現場端末20は、現場作業員W1への主なユーザインターフェースとなる端末であり、例えば、スマートフォンである。現場端末20は、例えば、上記の2通りの通信方法のうちの一方(本実施形態ではBLE通信)を用いて、撮像装置30の動作を制御する。また、現場端末20は、上記の2通りの通信方法のうちの一方(本実施形態ではWi-Fi通信)により撮像装置30から送信されてきた撮影画像データを、さらに別の無線通信(本実施形態では移動体通信)を用いてサーバ装置10に転送する。
【0023】
サーバ装置10は、現場端末20から送信されてきた撮影画像データが示す作業現場の画像を用いた画像処理を行い、例えば、撮像装置30が撮影を行った位置から見た作業現場の画像を撮影領域の画像として示す領域画像データを生成する。監督端末40は、生成された領域画像データを参照し、作業現場の様々な箇所の画像を表示する。作業監督W2は、表示された作業現場の画像から現場の様子を把握し、必要に応じて現場の現場作業員W1に対して作業の指示を行う。
【0024】
作業現場によっては、作業の終了後に節電等の理由でブレーカがオフにされる場合がある。その場合、ブレーカをオフにしたあとは外部電源6から電力が供給されなくなる。電力供給が停止しても、現場端末20及び撮像装置30にも内蔵バッテリーがあるのですぐに動作しなくなる訳ではないが、画像データの送信など時間がかかる処理もある。そこで、本実施形態では、外付けバッテリー5を設けることで、ブレーカがオフにされたあとの現場端末20及び撮像装置30の稼働時間を増やすようにしている。
【0025】
オペレータ端末50は、サーバ装置10が領域画像データを生成する処理を支援するためのオペレータW3による操作を受け付ける。オペレータW3による操作の詳細は後ほど説明する。
【0026】
図2は、サーバ装置10のハードウェア構成を示す図である。サーバ装置10は、制御部11と、記憶部12と、通信部13と、バス14とを備える。バス14は、サーバ装置10が備える各部を電気的に接続する。
【0027】
(制御部11)
制御部11は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部11は、記憶部12に記憶された所定のプログラムを読み出すことによって、現場撮像システム1に係る種々の機能を実現するコンピュータである。すなわち、記憶部12に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部11によって具体的に実現されることで、制御部11に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部11は単一であることに限定されず、機能ごとに複数の制御部11を有するように実施してもよい。またそれらの組合せであってもよい。
【0028】
(記憶部12)
記憶部12は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部11によって実行される現場撮像システム1に係る種々のプログラム等を記憶するソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。記憶部12は、制御部11によって実行される現場撮像システム1に係る種々のプログラムや変数等を記憶している。
【0029】
(通信部13)
通信部13は、サーバ装置10から種々の電気信号を外部の構成要素に送信可能に構成される。また、通信部13は、外部の構成要素からサーバ装置10への種々の電気信号を受信可能に構成される。さらに好ましくは、通信部13がネットワーク通信機能を有し、これにより通信回線3を介して、サーバ装置10と外部機器との間で種々の情報を通信可能に実施してもよい。
【0030】
図3は、現場端末20のハードウェア構成を示す図である。現場端末20は、制御部21と、記憶部22と、通信部23と、入力部24と、出力部25と、内部電源部26と、バス27とを備える。バス27は、現場端末20が備える各部を電気的に接続する。制御部21及び記憶部22は、
図2に示す制御部11及び記憶部12と性能の違いはあるが同様のハードウェアである。
【0031】
(通信部23)
通信部23は、第1通信部231と、第2通信部232と、第3通信部233とを備え、3通りの無線通信を行う無線通信部の一例である。第1通信部231は、第1無線通信として、本実施形態ではWi-Fi通信による無線通信を行う。第2通信部232は、第1無線通信よりも通信速度が遅く且つ消費電力が小さい第2無線通信として、本実施形態ではBLEによる無線通信を行う。第3通信部233は、第1無線通信及び第2無線通信よりも通信可能なエリアが広い第3無線通信として、本実施形態では移動体通信による無線通信を行う。
【0032】
(入力部24)
入力部24は、キー、ボタン、タッチスクリーン及びマウス等を有し、ユーザによる入力を受け付ける。
(出力部25)
出力部25は、ディスプレイ(タッチスクリーン含む)及びスピーカ等を有し、表示面に画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報を表示し、音声を含む音を出力する。
【0033】
(内部電源部26)
内部電源部26は、自装置に内蔵されているバッテリー、すなわち、繰り返し充電可能な電池であり、蓄積した電力を自装置の各部に供給する。内部電源部26は、自装置とともに持ち運びが可能な可搬電池の一例である。内部電源部26は、外部電源6から供給される電力により充電される。内部電源部26は、外付けバッテリー5と同様にパススルー機能を有しており、ブレーカがオンになった状態では外部電源6から供給される電力で充電されながら各部に給電を行う。
【0034】
図4は、撮像装置30のハードウェア構成を示す図である。撮像装置30は、制御部31と、記憶部32と、通信部33と、入力部34と、出力部35と、内部電源部36と、撮像部37と、バス38とを備える。バス38は、撮像装置30が備える各部を電気的に接続する。制御部31から内部電源部36までの各部は、
図3に示す制御部21から内部電源部26までの各部と性能の違いはあるが同様のハードウェアである。
【0035】
ただし、通信部33は、第1通信部331及び第2通信部332のみを備える。第1通信部331は、通信部23の第1通信部231と同様に、第1無線通信として、本実施形態ではWi-Fi通信による無線通信を行う。第2通信部332は、通信部23の第2通信部232と同様に、第1無線通信よりも通信速度が遅く且つ消費電力が小さい第2無線通信として、本実施形態ではBLEによる無線通信を行う。また、出力部35は、ディスプレイ等に加えてライトを有し、撮影に必要な光量を確保するための光を照射する。入力部34は、そのライトを点灯させるためのスイッチを有する。
【0036】
(撮像部37)
撮像部37は、レンズを含む光学系及びイメージセンサ等を有し、レンズから入射する光を測定して撮影画像データを生成するセンサである。撮像部37は、本実施形態では、前述したように、超広角レンズ及び複数のイメージセンサを使用して、上下、左右及び前後の全方位を撮影した撮影画像データを生成する。
【0037】
図5は、監督端末40のハードウェア構成を示す図である。監督端末40は、制御部41と、記憶部42と、通信部43と、入力部44と、出力部45と、バス46とを備える。バス46は、監督端末40が備える各部を電気的に接続する。制御部41から出力部45までの各部は、
図4に示す制御部31から出力部35までの各部と性能の違いはあるが同様のハードウェアである。オペレータ端末50は、監督端末40と同様に、制御部51(制御部51のみ監督端末40と異なる符号を付している)等のハードウェアを備える。
【0038】
2.機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、各装置の記憶部に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部によって具体的に実現されることで、制御部に含まれる各機能部が実行されうる。
【0039】
図6は、各装置の制御部の機能構成の一例を示す図である。サーバ装置10の制御部11は、DB制御部111と、サーバ表示部112と、画像取得部113と、画像処理部114と、データ生成部115と、データ出力部116と、ユーザ受付部117とを備える。現場端末20の制御部21は、表示制御部211と、操作受付部212と、稼働制御部213と、送信制御部214とを備える。撮像装置30の制御部31は、表示制御部311と、操作受付部312と、撮影制御部313と、送信制御部314とを備える。監督端末40の制御部41は、表示制御部411と、操作受付部412とを備える。オペレータ端末50の制御部51は、表示制御部511と、操作受付部512とを備える。
【0040】
サーバ装置10のDB制御部111(DB:Database)は、データベースへのデータの格納及びデータベースからのデータの読み出し等を制御する。ここでいうデータベースは、サーバ装置10に記憶されたデータベースだけでなく、外部装置に記憶されたデータベースであってもよい。データベースには、例えば、撮像装置30により撮影された画像を示す撮影画像データ及び上述した領域画像データ等が格納される。
【0041】
サーバ表示部112は、現場撮像システム1に関するシステム画面を各端末に表示させるための処理を実行する。サーバ表示部112は、例えば、表示用データであるHTML(Hyper Text Markup Language)ファイルの生成及び送信等の処理を行い、システム画面を示すウェブページを監督端末40等に表示させる。なお、サーバ表示部112は、現場撮像システム1を利用するためのアプリケーションの表示用データの生成及び送信等の処理を行ってもよい。
【0042】
画像取得部113は、撮像装置30により撮影された撮影領域の画像を取得する。画像処理部114は、画像取得部113により取得された画像に対する画像処理を実行する。画像処理部114は、例えば、撮影領域の画像に基づいて、自己位置の推定及び環境地図の作成を同時に行ういわゆるVisual SLAM(Simultaneous Localization and Mapping)と呼ばれる技術に関する処理を行う。
【0043】
データ生成部115は、画像処理部114による画像処理の結果に基づくデータ等を生成する。データ生成部115は、例えば、Visual SLAMの結果に基づいて上述した領域画像データを生成する。データ出力部116は、データ生成部115により生成されたデータを出力する。データ出力部116は、例えば、生成された領域画像データを監督端末40に対して出力する。ユーザ受付部117は、ユーザが利用する端末(例えばオペレータ端末50)を介して、ユーザによる特定の操作を受け付ける。
【0044】
オペレータ端末50の表示制御部511は、自装置の表示手段への表示処理を制御する。操作受付部512は、ユーザ(例えばオペレータW3)の操作を受け付ける。操作受付部512が受け付ける操作には、前述した領域画像データを生成する処理を支援するための操作が含まれる。監督端末40の表示制御部411は、自装置の表示手段への表示処理を制御する。操作受付部412は、ユーザ(例えば作業監督W2)の操作を受け付ける。
【0045】
現場端末20の表示制御部211は、自装置の表示手段への表示処理を制御する。操作受付部212は、ユーザ(例えば現場作業員W1)の操作を受け付ける。稼働制御部213は、撮像装置30の稼働を制御する。送信制御部214は、自装置及び撮像装置30による撮影画像データの送信処理を制御する。撮像装置30の表示制御部311は、自装置の表示手段への表示処理を制御する。操作受付部312は、ユーザ(例えば現場作業員W1)の操作を受け付ける。撮影制御部313は、撮像部37による撮影処理を制御する。送信制御部314は、自装置による撮影画像データの送信処理を制御する。
【0046】
3.情報処理
本節では、本実施形態において、プログラムがコンピュータに実行させる情報処理について説明する。情報処理システムは、以降で示す各ステップ(各処理)がなされるようにプログラムを実行可能なプロセッサを備える。
【0047】
図7は、情報処理の一例を示すアクティビティ図である。まず、現場端末20が、操作受付部212により現場作業員W1の操作を受け付け、稼働制御部213により撮像装置30の稼働を制御して、撮影領域の撮影を制御する(A11)。撮像装置30は、現場端末20により制御され、撮影制御部313により、撮影を実施する(A12)。撮像装置30が取り付けられた自撮り棒4を持って現場作業員W1が撮影領域を移動することで、撮像装置30は、撮影領域を撮影する。
【0048】
現場作業員W1が現場端末20に対して撮影開始の操作を行ってから自撮り棒4を持ち上げることで、撮像装置30による撮影が既に開始されているので、自撮り棒4を固定するスタンド7に取り付けられたマーカ板8に表されたマーカ80が撮影されることになる。また、撮影の終了時には自撮り棒4をスタンド7に固定してから現場端末20に対して撮影終了の操作を行うことで、撮影終了の前にもマーカ80が撮影されることになる。
【0049】
次に、撮像装置30は、撮影制御部313により、撮影した画像を示す撮影画像データを記憶する(A13)。続いて、現場端末20は、送信制御部214により、撮像装置30を制御して撮影画像データを自装置に送信させ、撮影画像を取得する(A14)。次に、現場端末20は、送信制御部214により、取得した撮影画像をサーバ装置10に転送する(A15)。サーバ装置10は、画像取得部113により、転送されてきた撮影画像を取得する(A21:取得ステップ)。
【0050】
次に、サーバ装置10は、画像処理部114は、取得された撮影画像に基づいて、撮像装置30の移動経路を推定する(A22:推定ステップ)。画像処理部114は、VSLAMの技術を用いて移動経路を推定する。VSLAMの技術には、例えば、次の2通りの方法がある。
【0051】
1つ目は、間接的に位置を推定する方法(間接法)であり、複数の画像間において特徴点の対応付けを行うことで、特徴点の位置とカメラの位置とを推定する方法である。間接法を用いる場合、画像処理部114は、取得された複数の撮影画像データがそれぞれ示す物体の特徴点の対応付けに基づいて撮像装置30の移動経路の推定を行う。
【0052】
2つ目は、直接的に位置を推定する方法(直接法)であり、複数の画像間において対応するピクセルの輝度値の誤差を最小にすることで、各ピクセルの深度と撮像装置30の位置とを推定する方法である。直接法を用いる場合、画像処理部114は、取得された複数の撮影画像データがそれぞれ示す、互いに対応する画素の値の誤差に基づいて撮像装置30の移動経路の推定を行う。
【0053】
次に、サーバ装置10は、画像処理部114により、取得された撮影画像のうち、マーカ80が映っている撮影画像に基づいて、撮像装置30とマーカ80との位置関係を推定する(A23:推定ステップ)。サーバ装置10は、マーカ80のサイズに関する情報を記憶している。
【0054】
図8は、マーカ80の一例を示す図である。
図8の例では、マーカ81の水平方向の長さL11及び鉛直方向の長さL12と、マーカ82の水平方向の長さL13及び鉛直方向の長さL14とが示されている。また、マーカ82は床面9から高さL15のところに設置され、マーカ81はマーカ82よりも高さL16だけ高い位置に設置されている。サーバ装置10は、これらの長さ及び高さの情報をマーカ80のサイズに関する情報として記憶している。なお、マーカ81の中心点C81及びマーカ82の中心点C82を区別しない場合は「マーカ80の中心点C80」と言うものとする。
【0055】
画像処理部114は、例えば、エッジを検出する画像処理により撮影画像に映っているマーカ80を認識し、撮影画像中の各辺の長さからマーカ80までの距離(例えばマーカ80の中心点C80までの距離)を算出する。また、画像処理部114は、撮影画像中の各辺の傾きからマーカ80を含む平面と、マーカ80の中心点C80及び撮像装置30を結ぶ直線とが成す角度の水平成分及び鉛直成分を算出する。画像処理部114は、このように算出した距離及び角度に基づいて、例えば、マーカ80の中心点C80を原点とした3次元座標系での撮像装置30の座標を求めることで、撮像装置30とマーカ80との位置関係を推定する。
【0056】
続いて、サーバ装置10は、画像処理部114により、撮影領域の図面に対する、推定された移動経路の初期配置を決定する(A24)。ここでいう図面とは、鉛直上方から見た撮影領域を示す図であり、撮影領域が建設現場の場合、壁、扉及びそれらにより仕切られている空間(部屋、廊下及び収納等)が表される。撮影領域が建設現場の場合、撮影領域を測定して図面にするのではなく、図面という設計図に合わせて現場の建設物が建設されていくことになる。
【0057】
サーバ装置10には、撮影領域の図面を示す図面データが予め記憶されているものとする。この図面データのことを以下では「基礎図面データ」と言う。基礎図面データにおいては、図面上の各位置を、図面上の所定の位置を原点とする2次元座標系の座標で示すことができるものとする。また、本実施形態では、サーバ装置10には、撮影領域におけるマーカ80の設置場所を示す設置場所データが予め記憶されていて、マーカ80の設置場所が予め分かっているものとする。設置場所データは、例えば、マーカ80の設置場所を図面上の座標で表したデータであり、現場作業員W1又は作業監督W2が現場のマーカ80の設置場所を見て作成してサーバ装置10に登録する。なお、マーカ80の設置場所の登録は、撮影の度に行われてもよい。
【0058】
画像処理部114は、本実施形態では、予め記憶されている設置場所データと、A23において推定された撮像装置30とマーカ80との位置関係とに基づいて、移動経路の初期位置を決定する。画像処理部114は、設置場所データが示す設置場所に設置されたマーカ80と推定された位置関係になる撮像装置30の位置、すなわち撮影位置を図面上で2箇所以上特定する。
【0059】
図9は、特定された撮影位置の一例を示す図である。
図9の例では、鉛直上方から見たマーカ80及び移動経路R1が示されている。移動経路R1には、撮影位置P1、P2及びP35が示されている。これらの撮影位置は、マーカ80が映っている撮影画像が撮影された位置である。撮影位置P1は、マーカ80の中心点C80との距離の水平成分がD1で、マーカ80を含む平面S80とマーカ80の中心点C80及び撮影位置P1を結ぶ直線E1とが成す角度の水平成分がθ1となる位置である。
【0060】
撮影位置P2は、マーカ80の中心点C80との距離の水平成分がD2で、マーカ80を含む平面S80とマーカ80の中心点C80及び撮影位置P2を結ぶ直線E2とが成す角度の水平成分がθ2となる位置である。撮影位置P35は、マーカ80の中心点C80との距離の水平成分がD35で、マーカ80を含む平面S80とマーカ80の中心点C80及び撮影位置P35を結ぶ直線E35とが成す角度の水平成分がθ35となる位置である。
【0061】
画像処理部114は、例えば、撮影位置P1、P2及びP35を、マーカ80と推定された位置関係になる撮影位置として特定する。そして、画像処理部114は、図面上のマーカ80の位置から撮影位置P1について推定された位置関係になる位置に撮影位置P1を重ね、撮影位置P2について推定された位置関係になる位置に撮影位置P2を重ね、撮影位置P35について推定された位置関係になる位置に撮影位置P35を重ねるように、移動経路R1を配置する。画像処理部114は、この移動経路R1の配置を初期配置として決定する。
【0062】
次に、サーバ装置10は、データ生成部115により、オペレータW3に提示する移動経路及び図面を示す提示データを生成する(A25:提示ステップ)。データ生成部115は、図面上で移動経路の配置を編集可能なデータを提示データとして生成する。また、データ生成部115は、A24で決定された初期配置に移動経路を配置した図面を示すデータを提示データとして生成する。データ出力部116は、生成された提示データをオペレータ端末50に対して出力する。オペレータ端末50は、表示制御部511により、出力されてきた提示データが示す図面及び移動経路を表示する(A26)。
【0063】
図10は、提示された図面及び移動経路の一例を示す図である。
図10の例では、データ出力部116は、図面D1及び移動経路R1を示す編集用画像G1を提示している。図面D1は、基礎図面データが示す撮影領域AR1の図面である。移動経路R1は、開始地点RS1から終了地点RG1までを繋ぐ実線で撮像装置30が移動した経路を示している。開始地点RS1及び終了地点RG1の近くには、マーカ80の設置位置を示すマーカ位置画像F80が示されている。
【0064】
編集用画像G1には、縮小ボタンB1と、拡大ボタンB2と、上下左右ボタンB3と、回転ボタンB4と、確定ボタンB5とが示されている。縮小ボタンB1は、移動経路R1を縮小するためのボタンである。拡大ボタンB2は、移動経路R1を拡大するためのボタンである。上下左右ボタンB3は、移動経路R1を上下左右に動かすためのボタンである。回転ボタンB4は、移動経路R1を回転させるためのボタンである。確定ボタンB5は、図面D1における移動経路R1の配置を確定させるためのボタンである。オペレータW3は、これらのボタンに対して、図面D1が示す撮影領域AR1に移動経路R1が合致する状態(丁度収まる状態)となるように編集する編集操作を行う。
【0065】
撮影領域AR1に移動経路R1が合致する状態とは、移動経路R1が壁と交差せず、移動可能な空間(部屋の中や廊下など)にのみ存在する状態である。なお、編集操作は、移動経路R1に対するピンチイン(縮小)、ピンチアウト(拡大)、ドラッグ(上下左右)、マルチタップ回転の操作であってもよい。オペレータ端末50は、操作受付部512により、縮小ボタンB1等に対する編集操作を受け付ける(A31)。
【0066】
操作受付部512は、受け付けた編集操作を示す操作データをサーバ装置10に送信する。サーバ装置10は、データ生成部115により、送信されてきた操作データが示す編集操作により編集された移動経路R1及び図面D1を示す経路図面データを生成する(A32)。データ出力部116が生成された経路図面データをオペレータ端末50に出力することで、編集後の移動経路R1及び図面D1が表示される。こうして編集操作が繰り返し行われ、確定ボタンB5が操作されたときに、データ生成部115が、確定された配置となっている移動経路R1及び図面D1を示す経路図面データを生成する。
【0067】
続いて、サーバ装置10は、データ生成部115により、A21において取得された撮影画像とA22において推定された移動経路とに基づいて、上述した領域画像データ、すなわち、撮像装置30が撮影をした位置から見た作業現場を撮影領域として示すデータを生成する(A33)。次に、サーバ装置10は、データ生成部115により、端末に表示させる表示データを生成する(A34)。表示データは、例えば、監督端末40に対して出力される(A34:表示出力ステップ及び図面出力ステップ)。監督端末40は、表示制御部411により、出力されてきた表示データが示す領域画像データ及び経路図面データを表示する(A35)。
【0068】
図11は、表示された領域画像データ及び経路図面データの一例を示す図である。
図11の例では、領域画像データが示す領域画像G2と、経路図面データが示す経路図面画像G3とが示されている。経路図面画像G3は、移動経路R1及び図面D1を含む画像である。移動経路R1には、撮影位置P1、P2、P3、・・・、P35(それぞれを区別しない場合は「撮影位置P100」と言う)という35個の撮影位置が重畳されている。
【0069】
領域画像G2には、スタンド7及びマーカ板8を含む撮影領域AR1が映っている。また、領域画像G2には、撮影位置を仮想的に示す位置画像PG1、PG2、PG34、PG35(それぞれを区別しない場合は「位置画像PG100」と言う)が示されている。位置画像PG1、PG2、PG34、PG35は、撮影位置P1、P2、P34、P35を撮影領域AR1に重ねて示す画像である。
【0070】
作業監督W2がいずれかの位置画像PG100を選択する操作を行うと、表示制御部411は、選択された位置画像PG100が示す撮影位置から撮影された撮影領域AR1を表示する。作業監督W2は、様々な撮影位置から撮影された撮影領域AR1を表示させることで、撮影領域AR1の様子を確かめることができる。
【0071】
領域画像G2は、撮影位置から撮像装置30によって撮影された全方位の画像のうち、一定の画角を示す矩形の画像である。全方位の画像は、物体が歪んで映っている画像なので、データ生成部115は、通常の写真と同じように物体が映るように歪みを補正して領域画像G2を生成している。領域画像G2を上下方向、左右方向又は斜め方向に移動させる操作が行われると、撮影領域AR1が操作された方向に移動して、領域画像G2として表示される部分が変化する。
【0072】
また、領域画像G2及び経路図面画像G3に示された位置画像を選択する操作が行われると、選択された位置画像が示す撮影位置から撮影された領域画像G2が表示される。このように領域画像データが示す各撮影位置における撮影領域AG1の様々な部分を領域画像G2として表示させることで、撮影領域AG1の全体の様子を確認することができる。
【0073】
以上のとおり、本実施形態では、画像取得部113は、撮像装置30が撮影領域AR1を移動しながら移動経路R1の各位置(各撮影位置P100)において撮影した撮影画像を取得する取得部の一例である。撮影領域AR1には、所定のマーカ(本実施形態ではマーカ80)が設置されている。画像処理部114は、画像取得部113により取得された撮影画像に基づいて、移動経路R1と、移動経路R1の少なくとも一部及びマーカ80の位置関係とを推定する推定部の一例である。
【0074】
データ出力部116は、撮影位置P100が指定されるとその撮影位置P100から撮影された撮影画像を表示させる表示データ(領域表示データ)を出力する表示出力部の一例である。また、データ出力部116は、撮影領域AR1の図面D1と、推定された移動経路R1とを示す図面データ(経路図面データ)を出力する図面出力部の一例である。経路図面データでは、移動経路R1が図面D1に重畳して示されており、図面D1におけるマーカの位置と、移動経路R1とが、推定された位置関係になっている。
【0075】
なお、経路図面データにおいて、マーカの位置は図示されていてもよいし、図示されていなくてもよい(
図11の例では図示されていない)。マーカ位置の図示の有無に関わらず、マーカの位置と移動経路R1が推定された位置関係になっていれば、そのような位置関係になっていない場合に比べて、より正確な移動経路を図面上で把握することができる。また、2以上の撮影位置とマーカの位置とが推定された位置関係になっていることで、図面と移動経路の縮尺(スケール)を合わせることができる。
【0076】
また、データ出力部116は、図面D1と、推定された移動経路R1とを、配置の編集を可能にユーザに提示する提示部の一例である。
図10に表す編集用画像G1は、そのようにして提示された図面D1及び移動経路R1の一例である。ユーザ受付部117は、提示された移動経路R1の図面D1における配置の編集を受け付ける受付部の一例である。データ出力部116(図面出力部の一例)は、編集された配置の移動経路R1を重畳した図面D1を示すデータを図面データ(経路図面データ)として出力する。
図11に示す経路図面画像G3は、出力された経路図面データが示す移動経路R1及び図面D1の一例である。このような態様によれば、移動経路を人の判断で図面に配置することができる。
【0077】
<その他の実施形態>
上記実施形態では、マーカ80の設置場所が予め分かっていたが、マーカ80の設置場所が分かっていなくてもよい。その場合の機能構成の例について説明する。
図12は、サーバ装置10の制御部の機能構成の別の一例を示す図である。サーバ装置10の制御部11は、
図6に示す各部に加え、位置特定部118を備える。位置特定部118は、マーカ80の位置を特定する特定部の一例として機能する。マーカ80の位置の特定方法は主に2つある。
【0078】
第1の方法では、まず、オペレータW3が、
図7に示すA26において提示された図面D1が示す撮影領域AR1の形状と、移動経路R1の形状とを照らし合わせて、撮影領域AR1に合致するように移動経路R1の大きさ及び向きを編集する。そして、位置特定部118は、撮影領域AR1に合致した移動経路R1と、推定された位置関係になる位置をマーカ80の位置として特定する。
【0079】
第2の方法では、まず、
図7に示すA25において、データ生成部115が、移動経路及び図面に加えて、A21において取得された撮影画像を示すデータを提示データとして生成し、データ出力部116が生成された提示データをオペレータ端末50に出力する。オペレータ端末50は、表示制御部511により、提示データが示す図面及び撮影画像を表示する(A26)。オペレータW3は、撮影画像を見ながら、マーカ80が映っている画像を見つけ、その画像に映っている背景から図面におけるマーカ80の位置を指示する操作を行う。位置特定部118は、この操作により指示された位置をマーカ80の位置として特定する。
【0080】
上記のとおり、オペレータW3がマーカ80の設置位置を特定する方法は、A24の移動経路の初期位置の決定が行われなくても実施することができる。しかし、移動経路の初期位置が決定されていた方が、マーカ80の設置位置を特定しやすくなる。そこで、データ出力部116(提示部の一例)は、例えば、位置特定部118により過去に特定されたマーカの位置を図面における仮のマーカ位置とした場合に、推定された移動経路を、その仮のマーカ位置と推定された位置関係になるように配置して図面とともに提示してもよい。
【0081】
マーカ位置の特定は、前述した第1の方法及び第2の方法のいずれで行われてもよい。いずれの場合も、最初からある程度正しい位置に移動経路が配置されているので、仮のマーカ位置に基づく移動経路の配置を行わない場合に比べて、移動経路の配置の編集を容易にすることができる。
【0082】
また、データ出力部116(提示部の一例)は、仮のマーカ位置が複数ある場合に、それら複数の仮のマーカ位置で囲まれた領域内の位置を新たな仮のマーカ位置としてもよい。
図13は、仮のマーカ位置の一例を示す図である。
図13の例では、マーカ80の位置を示すマーカ位置画像F80-1、F80-2、F80-3が示されている。位置特定部118によりマーカ位置が特定される場合、常に同じ位置が特定されるとは限らず、
図13に示すように少しずれた位置が特定される場合がある。
【0083】
この場合、位置特定部118は、例えば、マーカの中心点C80-1、C80-2、C80-3を結ぶ多角形(この場合は三角形)の領域TR1の内部に、新たな仮のマーカ位置として、マーカ位置画像F80-4が示すマーカ位置を特定する。マーカ位置画像F80-4が示すマーカの中心点C80-4は、領域TR1の内部に位置する。データ出力部116は、特定されたマーカ位置を図面における仮のマーカ位置とした場合に、推定された移動経路を、その仮のマーカ位置と推定された位置関係になるように配置して図面とともに提示する。
【0084】
このような態様によれば、特定されたマーカ位置を1つだけ用いる場合に比べて、仮のマーカ位置の精度を高めることができる。なお、マーカ位置の数が増えると領域TR1の形状が複雑になっていくので、位置特定部118は、例えば、過去に特定されたマーカ位置のうち新しいものから所定の数(例えば3つ又は4つ等)のマーカ位置のみを用いて新たな仮のマーカ位置を特定してもよい。
【0085】
また、データ出力部116(提示部の一例)は、複数の仮のマーカ位置のうち最新の仮のマーカ位置が最も近くなる位置を新たな仮のマーカ位置としてもよい。
図14は、仮のマーカ位置の別の一例を示す図である。
図14の例では、
図13に示すマーカ位置画像F80-1、F80-2、F80-3(F80-3が最新のマーカ位置を示しているものとする)と、新たなマーカ位置を示すマーカ位置画像F80-5が示されている。
【0086】
マーカ位置画像F80-5が示すマーカの中心点C80-5と、マーカ位置画像F80-1、F80-2、F80-3がそれぞれ示すマーカの中心点C80-1、C80-2、C80-3との距離D11、D12、D13は、大小関係がD13<D11、D13<D12となっている。つまり、新たなマーカ位置は、複数の仮のマーカ位置のうち最新の仮のマーカ位置(F80-3が示すマーカ位置)が最も近くなる位置となっている。このような態様によれば、例えば、第2の方法でマーカ位置を特定する場合、オペレータW3が次第にマーカ位置を正確に把握するようになっていくので、最新のマーカ位置を考慮しない場合に比べて、仮のマーカ位置の精度を高めることができる。
【0087】
上記の実施形態では、オペレータW3が移動経路の配置の編集を必ず行ったが、仮のマーカ位置の精度が向上してくると、A24で決定される移動経路の初期配置の精度も向上するので、移動経路の初期配置をそのまま移動経路の配置として確定させてもよい。その場合、データ出力部116は、例えば、所定の回数だけ移動経路及び図面をユーザに提示した後は、移動経路の初期配置の精度が十分に向上したものとみなして、移動経路及び図面の提示を行わないようにしてもよい。また、データ出力部116は、オペレータW3が移動経路の初期配置の精度が十分に向上したと判断して移動経路及び図面の提示が不要であることを明示する操作を行った場合に、それ以降は移動経路及び図面の提示を行わないようにしてもよい。
【0088】
撮影領域においては、例えば工事の進捗に伴い、マーカ80の設置場所が変更される場合がある。その場合に対応する新たな機能構成について説明する。
図15は、サーバ装置10の制御部の機能構成の別の一例を示す図である。サーバ装置10の制御部11は、
図6に示す各部に加えて、判定処理部119と、移動通知部120とを備える。
【0089】
判定処理部119は、例えば、画像処理部114により特定されたマーカの位置が、前回特定されたマーカの位置と所定の距離以上離れている場合に、マーカが移動したことを判定する判定部の一例として機能する。マーカが移動した場合、マーカが同じ位置に有ることを前提としたいくつかの処理についても変更が必要になる。
【0090】
例えば、データ出力部116(提示分の一例)は、判定処理部119によりマーカが移動したことが判定されなかった場合は、上記のとおり移動経路の初期配置の精度が十分向上したとみなして移動経路及び図面の提示を行わず、判定処理部119によりマーカが移動したことが判定された場合に、再び移動経路及び図面を提示する。このような態様によれば、必要なときだけ移動経路の配置の編集が行われるので、図面データの出力を迅速にすることができる。
【0091】
なお、マーカ移動の判定方法はこれに限らない。判定処理部119は、例えば、画像処理部114により初期配置された移動経路が、図面が示す撮影領域に対して大幅にずれていた場合に、マーカが移動したことを判定してもよい。移動経路と撮影領域のずれの大きさは、例えば、移動経路のうち撮影領域に重なっていない部分の割合によって表される。判定処理部119は、この割合が閾値以上である場合に、図面が示す撮影領域に対して大幅にずれていると判断し、マーカが移動したことを判定する。
【0092】
また、移動通知部120は、画像処理部114によりマーカが移動したことが判定された場合に、マーカが移動したことを所定の宛先に通知する通知部の一例として機能する。所定の宛先とは、オペレータW3に通知するための宛先であり、例えば、オペレータ端末50のIP(Internet Protocol)アドレス等である。データ生成部115は、マーカの移動が判定された場合に、その旨を通知する通知データを生成する。
【0093】
移動通知部120は、オペレータ端末50のIPアドレスを予め記憶しておき、通知データが生成されると、そのIPアドレスに対して通知データを出力することで通知を行う。データ出力部116(提示部の一例)は、移動通知部120によりマーカ移動の通知が行われた場合に、通知された宛先に移動経路及び図面を提示する。データ出力部116は、移動通知部120により通知データが出力された場合、その出力先に、データ生成部115により生成された提示データを出力する。このような態様によれば、上記通知が行われない場合に比べて、マーカ移動時の作業を迅速に行わせることができる。
【0094】
また、データ出力部116は、判定処理部119によりマーカの移動が判定された場合に、A24における移動経路の初期配置を行わないで移動経路及び図面を提示してもよい。その場合、データ出力部116は、例えば、移動経路及び図面を横又は縦に並べてユーザ(オペレータW3)に提示する。マーカが移動した場合、移動経路を初期配置すると、移動経路が図面に対して不自然な配置になる。そこで、マーカとの位置関係とは関係なく提示することで、不自然な配置での提示を防ぐことができる。
【0095】
現場撮像システム1は、
図1に示す構成に限らない。例えば、スタンド(固定装置の一例)は、表示されたマーカ画像が撮像範囲に含まれるように撮像装置を固定してもよい。
図16は、現場撮像システム1aの全体構成を示す図である。現場撮像システム1aは、現場端末20と、撮像装置30と、自撮り棒4と、スタンド7aと、マーカ板8とを備える。スタンド7aは、支柱71と、アーム72とを備える。
【0096】
支柱71には、マーカ板8が固定されている。アーム72の先端には、自撮り棒4が差し込まれて固定されている。アーム72によって、撮像装置30とマーカ板8とが離れた位置にそれぞれ固定されるようになっている。そのため、撮像装置30の撮像範囲に、マーカ板8に表されているマーカ80が含まれている。自撮り棒4をアーム72から抜く前に撮影開始の操作を現場端末20に対して行うことで、
図1に示すスタンドを用いる場合に比べて、より確実にマーカを撮影することができる。
【0097】
マーカの表示手段は、マーカ板8に限らない。例えば、現場端末20(スマートフォン又はタブレット端末等)がマーカの表示手段であってもよい。その場合、現場端末20は、
図16に示すようにスタンド7aに固定される。現場端末20は、表示面が鉛直方向に平行になるように支柱71に固定され、マーカを示すマーカ画像を表示する。現場端末20は、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等の発光する表示面を有し、マーカ画像を所定値以上の輝度で表示する表示手段ある。このような態様によれば、周囲が暗くてもマーカ画像を撮影することができる。
【0098】
また、現場端末20は、現場作業員W1等の人が操作するので、人が操作しやすい高さ(例えば胸よりも上の高さ)に設置される。一方、撮像装置30は、人が持ち歩くので、人の手元程度の高さで移動することになる。マーカが低い位置にあると、障害物によりマーカが遮蔽されることになりやすいが、現場端末20のように高い位置にあると、表示されたマーカ画像が遮蔽されにくくなり、より確実にマーカ画像を撮影することができる。
【0099】
なお、マーカ画像を表示する表示手段は、プロジェクタであってもよい。その場合、撮影領域に存在する壁等にプロジェクタがマーカ画像を投影する。投影された画像は、通常ディスプレイに表示される画像よりも大きいので、より大きなマーカ画像を用いて位置関係の推定等を行うことができる。また、マーカ画像を表示する表示手段は、マーカの表示方向が可変であってもよい。例えば、現場端末20を固定する支柱71が回転して、表示面の向きが変化する。これにより、撮像装置30により撮影されやすい向きにマーカ画像を向けることができる。
【0100】
また、現場撮像システム1は、上述した各装置の他に、動きを検知するセンサを備えていてもよい。動きを検知するセンサとは、例えば、加速度センサ、速度センサ又は角速度センサ等である。これらのセンサは、例えば、現場端末20が備えている。この場合に、判定処理部119(判定部の一例)は、センサの出力に基づいてマーカが移動したことを判定してもよい。判定処理部119は、例えば、センサが加速度センサである場合、閾値以上の加速度が所定時間以上の長さで測定された場合に、マーカが移動したと判定する。
【0101】
スタンド7(固定装置の一例)は、移動していない状態における撮像装置30を固定する。撮像装置30も加速度センサ等を備えているが、それらのセンサは、通常は、撮影中しか動作しない。一方、現場端末20が備えるセンサは、常に動作しているため、撮影していないときにスタンド7及びマーカ板8が移動しても、加速度等を測定して、移動を判定することができる。また、現場端末20は、スタンド7に固定される場合と、自撮り棒4に固定される場合とがある。
【0102】
自撮り棒4に固定される場合、撮影中は加速度等を測定することになるが、マーカ板8の移動は通常は撮影していないときに行われるので、判定処理部119が、撮影中はマーカの移動を判定しないようにすれば、誤判定をなくすことができる。なお、撮像装置30が備えるセンサが撮影中以外にも測定を行う場合、そのセンサの測定結果を用いてマーカの移動の判定が行われてもよい。
【0103】
また、動きを検知するセンサは、センサ自身の動きを検知するセンサに限らず、他の物体の動きを検知するセンサであってもよい。他の物体の動きを検知するセンサとは、例えば、撮像装置30が備えるイメージセンサである。その場合、例えば、撮像装置30は、定期的(1時間毎等)に静止画像を撮影する。判定処理部119は、撮影された静止画像の特徴量を算出し、算出した特徴量が閾値以上変化した場合に、撮像装置30の設置場所が変化したこと、すなわち、マーカが移動したことを判定する。
【0104】
また、動きを検知するセンサは、例えば、スタンド7に設けられていてもよい。その場合、センサの出力をBluetooth(登録商標)等の無線通信で現場端末20に送信し、現場端末20がサーバ装置10に転送する。また、現場端末20が移動ボタンを表示して、現場作業員W1がその移動ボタンを押してからマーカ80を移動させるようにしてもよい。その場合、判定処理部119は、移動ボタンが押された場合にマーカ80の移動を判定する。
【0105】
また、判定処理部119によりマーカの移動が判定された場合に、位置特定部118が、動きを検知するセンサによる測定結果に基づいてマーカの移動量を算出し、移動後のマーカ位置を特定してもよい。位置特定部118は、例えば、加速度センサであれば、加速度の方向に測定された加速度を積分して各方向への移動量を算出する。位置特定部118は、移動前のマーカの位置に算出した移動量を加算した位置を移動後のマーカの位置として特定する。これにより、マーカが移動した場合でも、移動経路の初期配置をすることができる。
【0106】
また、推定されたマーカとの位置関係は、上述した実施形態では図面と移動経路との配置に用いられたが、これに限らない。例えば、マーカの撮影時刻が分かるので、画像処理部114は、2箇所以上でマーカとの位置関係を推定すると、それらの箇所を結ぶ移動経路の移動速度を算出する。画像処理部114は、算出した速度が閾値以上である場合(通常あり得ない移動速度である場合)、推定した移動経路にエラーが含まれることを検知してもよい。
【0107】
また、画像処理部114は、例えば
図9の例において、マーカ80を含む平面S80とマーカ80の中心点C80及び撮影位置P1を結ぶ直線E1とが成す角度の水平成分だけでなく、鉛直成分も算出することができる。これにより、画像処理部114は、撮影位置の地上(床面)からの高さも推定する。撮影領域が工事現場の場合、現場作業員W1は、工事中の床下や天井裏を撮影する場合がある。画像処理部114は、それらの撮影位置の高さが異なる移動経路については、高さレベルが異なる移動経路として推定する。
【0108】
画像処理部114は、例えば、移動経路における撮影位置の高さの平均値を算出し、算出した平均値からxcm以上高さが異なる撮影位置を、高さレベルが異なる移動経路の撮影位置として推定する。画像処理部114は、例えば、平均値±xcmの高さを「床上レベル」、平均値よりxcm以上低い高さを「床下レベル」、平均値よりxcm以上高い高さを「天井裏レベル」として移動経路を推定する。データ生成部115は、図面上では同じ位置でも、撮影位置の高さにより「床上レベル」、「床下レベル」及び「天井裏レベル」の領域画像を選択可能な領域画像データを生成する。
【0109】
なお、画像処理部114は、同じフロアの高さレベルに限らず、異なるフロアの高さレベルを推定してもよい。その場合、画像処理部114は、例えば、移動経路のうち、所定の値以上高さが変化する箇所を階段等によるフロアの移動と判断し、その箇所の前後を別のフロアの移動経路として推定する。以上のとおり、マーカとの位置関係の推定は、2次元又は3次元の空間におけるスケールの特定に用いることができる。
【0110】
また、例えば、データ生成部115が、特定の箇所の画像を抽出してチェックシートを生成するものとする。その場合、特定の箇所が床上や天井である場合、撮影位置の高さが分かっていなければ、特定の箇所の真上か真下で撮影された撮影画像でなければ特定の箇所が抽出できない。しかし、撮影位置の高さが分かっていると、特定の箇所を撮影するための俯角や仰角を算出することができるので、データ生成部115は、特定の箇所が映っている多数の画像からその箇所の映りが良いものを選んでその箇所を抽出することができる。
【0111】
なお、マーカ80の位置の特定方法は、上述した2つの方法に限らない。例えば、上述した実施形態のように撮影領域におけるマーカ80の設置場所を示す設置場所データが予め記憶されている場合に、位置特定部118は、記憶されている設置場所データを読み出し、読み出した設置場所データが示す設置場所(マーカ80が設置されている位置)をマーカ80の位置として特定してもよい。その場合でも、特定されたマーカ位置を仮のマーカ位置として移動経路の初期配置が行われてもよい。
【0112】
上述した実施形態では、撮像装置30が撮影した撮影画像に基づいてマーカの移動が判定されたが、上記のセンサが用いられることで、撮影がされていない状態でもマーカの移動を検知することができる。
【0113】
現場撮像システム1においては、Wi-Fi通信を第1無線通信、BLE通信を第2無線通信としたが、これに限らず、その他の無線通信(例えばWi-Fi通信以外の無線LAN)が用いられてもよい。また、現場端末20及び撮像装置30の間の無線通信としては、第1無線通信だけが用いられてもよい。また、撮像装置30は、360度カメラに限らず、より高解像度な撮影が可能な広角カメラ等であってもよい。
【0114】
また、現場撮像システム1は、ブレーカがオフにされない工事現場であれば、現場端末20及び撮像装置30が外付けバッテリー5を介さずに外部電源と接続されていてもよい。また、現場端末20は、実施形態では、ブレーカがオフされた場合でも移動体通信でサーバ装置10に撮影データを送信していたが、ブレーカがオフされない場合は、Wi-Fiルータを工事現場に設置することで、Wi-Fi通信によりサーバ装置10に撮影データを送信してもよい。
【0115】
図1等に示す構成は一例であり、実施に不都合が無い限り、他の態様を取り得る。例えば、1台の装置は、2台以上の装置に分散されてもよいし、クラウドコンピューティングシステムに代替されてもよい。また、1台の装置の機能が2台以上の装置に分散して実現されてもよいし、2台以上の装置の機能が1台の装置により集中して実現されてもよい。また、1つの機能が行う動作を2以上の機能が分散して行ってもよいし、2以上の機能が1つの機能に統合されてもよい。要するに、現場撮像システム1の全体で必要な各機能が実現されていれば、それらの機能を実現する装置はどのような構成であってもよい。
【0116】
情報またはデータ(以下「情報等」と言う)の出力先は、他の装置、ディスプレイ、記憶部(内蔵の記憶部および外部の記憶部を含む)等であってもよい。情報等の取得には、他の装置から送信されてきた情報等を取得する態様に加え、自装置で生成された情報等を取得する態様を含む。パラメータを対応付けたテーブルは、図示したテーブルに限らず、パラメータの数を少なくしたり多くしたりしてもよい。また、テーブルを用いずに、数式または条件式等によりパラメータに応じた情報等を求めてもよい。
【0117】
上述した実施形態の態様は、サーバ装置10のような情報処理装置や、サーバ装置10を備える現場撮像システム1のような情報処理システムであったが、情報処理方法であってもよい。その情報処理方法は、その情報処理システムが実行する各処理のステップを備える。また、上述した実施形態の態様は、プログラムであってもよい。そのプログラムは、コンピュータに、同様の情報処理システムが実行する各処理のステップを実行させる。
【0118】
<付記>
さらに、次に記載の各態様で提供されてもよい。
【0119】
(1)情報処理システムであって、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、前記プロセッサが、取得ステップでは、撮像装置が撮影領域を移動する移動経路の各位置を撮影位置とする撮影画像を取得し、前記撮影領域には、所定のマーカが設置されており、推定ステップでは、取得された前記撮影画像に基づいて、前記移動経路と、前記移動経路の少なくとも一部及び前記マーカの位置関係とを推定し、表示出力ステップでは、前記撮影位置が指定されると当該撮影位置から撮影された撮影画像を表示させる表示データを出力し、図面出力ステップでは、前記撮影領域の図面と、当該図面に重畳して推定された前記移動経路とを示す図面データを出力し、前記図面データでは、前記図面における前記マーカの位置と、前記移動経路とが、推定された前記位置関係になっている、情報処理システム。
【0120】
このような態様によれば、撮影領域における移動経路をより正確に把握することができる。
【0121】
(2)上記(1)に記載の情報処理システムにおいて、前記プロセッサが、提示ステップでは、前記図面と、推定された前記移動経路とを、配置の編集を可能にユーザに提示し、受付ステップでは、提示された前記移動経路の前記図面における配置の編集を受け付け、前記図面出力ステップでは、編集された前記配置の移動経路を重畳した前記図面を示すデータを前記図面データとして出力する、情報処理システム。
【0122】
このような態様によれば、移動経路を人の判断で図面に配置することができる。
【0123】
(3)上記(2)に記載の情報処理システムにおいて、前記プロセッサが、 特定ステップでは、前記マーカの位置を特定し、前記提示ステップでは、過去に特定されたマーカの位置を前記図面における仮のマーカ位置とした場合に、推定された前記移動経路を、当該仮のマーカ位置と推定された前記位置関係になるように配置して前記図面とともに提示する、情報処理システム。
【0124】
このような態様によれば、移動経路の配置の編集を容易にすることができる。
【0125】
(4)上記(3)に記載の情報処理システムにおいて、前記提示ステップでは、前記仮のマーカ位置が複数ある場合に、当該複数の仮のマーカ位置で囲まれた領域内の位置を新たな仮のマーカ位置とする、情報処理システム。
【0126】
このような態様によれば、仮のマーカ位置の精度を高めることができる。
【0127】
(5)上記(4)に記載の情報処理システムにおいて、前記提示ステップでは、前記複数の仮のマーカ位置のうち最新の仮のマーカ位置が最も近くなる位置を前記新たな仮のマーカ位置とする、情報処理システム。
【0128】
このような態様によれば、仮のマーカ位置の精度を高めることができる。
【0129】
(6)上記(1)~(5)のいずれか1つに記載の情報処理システムにおいて、前記プロセッサが、判定ステップでは、特定された前記マーカの位置が、前回特定されたマーカの位置と所定の距離以上離れている場合に、マーカが移動したことを判定し、前記提示ステップでは、前記マーカが移動したことが判定されなかった場合、前記移動経路及び前記図面を提示せず、前記マーカが移動したことが判定された場合に、前記移動経路及び前記図面を提示する、情報処理システム。
【0130】
このような態様によれば、図面データの出力を迅速にすることができる。
【0131】
(7)上記(6)に記載の情報処理システムにおいて、前記プロセッサが、通知ステップでは、前記マーカが移動したことが判定された場合に、所定の宛先に通知し、前記提示ステップでは、前記通知が行われた場合に、通知された前記宛先に前記移動経路及び前記図面を提示する、情報処理システム。
【0132】
このような態様によれば、マーカ移動時の作業を迅速に行わせることができる。
【0133】
(8)上記(1)~(7)のいずれか1つに記載の情報処理システムと、前記撮像装置と、固定装置と、表示手段とを備える撮像システムであって、前記固定装置は、移動していない状態における前記撮像装置を固定し、前記表示手段は、前記マーカを示すマーカ画像を表示する、撮像システム。
【0134】
このような態様によれば、撮影領域にマーカを設置する手間を減らすことができる。
【0135】
(9)上記(8)に記載の撮像システムにおいて、前記固定装置は、表示された前記マーカ画像が撮像範囲に含まれるように前記撮像装置を固定する、撮像システム。
【0136】
このような態様によれば、より確実にマーカを撮影することができる。
【0137】
(10)上記(8)又は(9)に記載の撮像システムにおいて、前記表示手段は、前記マーカ画像を所定値以上の輝度で表示する手段ある、撮像システム。
【0138】
このような態様によれば、周囲が暗くてもマーカ画像を撮影することができる。
【0139】
(11)上記(6)又は(7)に記載の情報処理システムと、前記撮像装置と、固定装置と、表示手段と、動きを検知するセンサとを備える撮像システムであって、前記固定装置は、移動していない状態における前記撮像装置を固定し、前記表示手段は、前記マーカを示すマーカ画像を表示し、前記判定ステップでは、前記センサの出力に基づいて前記マーカが移動したことを判定する、撮像システム。
【0140】
このような態様によれば、撮影がされていない状態でもマーカの移動を検知することができる。
【0141】
(12)プログラムであって、コンピュータに、上記(1)~(7)の何れか1つに記載の情報処理システムの各ステップを実行させる、プログラム。
もちろん、この限りではない。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。
【0142】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0143】
1 :現場撮像システム
1a :現場撮像システム
2 :情報処理システム
7 :スタンド
7a :スタンド
8 :マーカ板
10 :サーバ装置
11 :制御部
20 :現場端末
21 :制御部
30 :撮像装置
31 :制御部
40 :監督端末
41 :制御部
50 :オペレータ端末
51 :制御部
71 :支柱
72 :アーム
80 :マーカ
81 :マーカ
82 :マーカ
111 :DB制御部
112 :サーバ表示部
113 :画像取得部
114 :画像処理部
115 :データ生成部
116 :データ出力部
117 :ユーザ受付部
118 :位置特定部
119 :判定処理部
120 :移動通知部
211 :表示制御部
212 :操作受付部
213 :稼働制御部
214 :送信制御部
231 :第1通信部
232 :第2通信部
233 :第3通信部
311 :表示制御部
312 :操作受付部
313 :撮影制御部
314 :送信制御部
331 :第1通信部
332 :第2通信部
411 :表示制御部
412 :操作受付部
511 :表示制御部
512 :操作受付部