(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023135563
(43)【公開日】2023-09-28
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 11/80 20060101AFI20230921BHJP
E04F 21/00 20060101ALI20230921BHJP
E04D 15/00 20060101ALN20230921BHJP
【FI】
G06T11/80 A
E04F21/00 A
E04D15/00 Z
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022040841
(22)【出願日】2022-03-15
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
(71)【出願人】
【識別番号】515253083
【氏名又は名称】株式会社CLUE
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】榊原 知也
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050BA10
5B050BA15
5B050BA18
5B050CA07
5B050DA04
5B050EA07
5B050EA19
5B050FA02
(57)【要約】
【課題】構造物に関する情報を容易に把握することができるようにする。
【解決手段】情報処理システムであって、構造物を撮影した撮影画像を記憶する撮影画像記憶部と、構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶する構造情報記憶部と、撮影画像を表示するとともに、部位の種類に応じた色で各辺を示す線分を描画する構造情報表示部と、を備えることを特徴とする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
構造物を撮影した撮影画像を記憶する撮影画像記憶部と、
前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶する構造情報記憶部と、
前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画する構造情報表示部と、
を備えることを特徴とする情報処理システム。
【請求項2】
請求項1に記載の情報処理システムであって、
前記構造情報記憶部は、前記辺の長さを記憶し、
前記構造情報表示部は、前記種類ごとに前記各辺の長さを合計し、前記種類に応じた前記色と、前記長さの合計値とを対応付けて表示すること、
を特徴とする情報処理システム。
【請求項3】
請求項2に記載の情報処理システムであって、
前記構造情報表示部は、前記色、前記種類及び前記合計値を対応付けて表示すること、
を特徴とする情報処理システム。
【請求項4】
請求項1ないし3のいずれか1項に記載の情報処理システムであって、
前記構造情報表示部は、前記線分に前記長さを重畳表示すること、
を特徴とする情報処理システム。
【請求項5】
構造物を撮影した撮影画像を記憶する撮影画像記憶部と、
前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶する構造情報記憶部と、
前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画する構造情報表示部と、
を備えることを特徴とする情報処理システム。
【請求項6】
構造物を撮影した撮影画像を記憶するステップと、
前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶するステップと、
前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画するステップと、
をコンピュータが実行することを特徴とする情報処理方法。
【請求項7】
構造物を撮影した撮影画像を記憶するステップと、
前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶するステップと、
前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、飛行体に搭載したカメラで対象物を撮像した画像から対象物である屋根の形状寸法を測定し、かかる形状寸法から屋根の面積を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1では屋根に関する情報を把握することが難しい。
【0005】
本発明はこのような背景を鑑みてなされたものであり、構造物に関する情報を容易に把握することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するための本発明の主たる発明は、情報処理システムであって、構造物を撮影した撮影画像を記憶する撮影画像記憶部と、前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶する構造情報記憶部と、前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画する構造情報表示部と、を備えることを特徴とする。
【0007】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【0008】
本発明によれば、構造物に関する情報を容易に把握することができる。
【図面の簡単な説明】
【0009】
【
図1】情報処理端末1のソフトウェア構成例を示す図である。
【
図2】情報処理端末1が表示するユーザインタフェースである画面10の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態について説明する。本実施形態に係る情報処理システムは、例えば、無人飛行体による撮影の対象となる構造物である建造物の測量や点検のために用いられ得る。なお、飛行体を用いずに構造物を撮影した画像について用いることも可能である。
【0011】
本実施形態の情報処理システムでは、例えば、ユーザは、タブレットコンピュータやスマートフォンなどの情報処理端末1のタッチパネルに対して操作を行い、無人飛行体を用いて建造物の一部分(本実施形態では屋根を想定するが、壁面等であってもよい。)を含む画像を撮像する。情報処理端末1は、タッチパネルに表示された撮影画像に含まれる屋根の領域を規定することができる。情報処理端末1は、かかる位置情報に基づいて、例えば、屋根を画定する各部位の長さや屋根面の面積等を推定することができる。
【0012】
<情報処理端末1>
本実施形態では、情報処理端末1は、いわゆるタブレット状の小型のコンピュータによって実装されることを想定する。他の実施形態においては、情報処理端末1は、スマートフォンまたはゲーム機等の携帯型の情報処理端末により実現されてもよいし、パーソナルコンピュータ等の据え置き型の情報処理端末により実現されてもよい。また、情報処理端末1は、複数のハードウェアにより実現され、それらに機能が分散された構成を有してもよい。
【0013】
情報処理端末1は、例えば、制御部及び表示部の一例であるタッチパネルを備えることができる。
【0014】
制御部は、プロセッサ、メモリ、ストレージ、送受信部、入出力部、及びバスを備えることができる。プロセッサは、制御部の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。このプロセッサは、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージに格納されてメモリに展開されたプログラムを実行して各処理を行うことができる。メモリは、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶装置を備える。このメモリは、プロセッサの作業領域として使用される一方、制御部の起動時に実行されるブートローダ、及び各種の設定情報等が格納される。ストレージは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、屋根面の画像情報を撮像するための飛行体を、情報処理端末1を介してユーザが操作する場合、ストレージには、かかる飛行体の飛行を制御するプログラムが格納されていてもよい。送受信部は、制御部をインターネット網等のネットワークに接続するものであって、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった近距離通信インターフェースを具備するものであってもよい。入出力部は、入出力機器が接続されるインターフェースであって、本実施形態では、タッチパネル12が接続される。バスは、接続したプロセッサ、メモリ、ストレージ、送受信部及び入出力部の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達することができる。
【0015】
タッチパネルは、表示部の一例であり、取得した映像や画像が表示される表示面を備える。この表示面は、本実施形態では、表示面への接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。タッチパネルの表示面には、例えば、無人飛行体20により撮像された画像が表示され得る。また、該表示面には、無人飛行体の飛行制御や撮像装置の制御のためのボタンやオブジェクト等が表示されてもよい。また、ユーザは、該表示面に表示された画像やボタン等に対して、タッチパネルを介して入力情報を入力し得る。かかる入力情報の入力のための操作は、例えば、ボタンやオブジェクト等に対するタッチ(タップ)操作、スライド操作、またはスワイプ操作等である。
【0016】
<情報処理端末1ソフト>
図1は、情報処理端末1のソフトウェア構成例を示す図である。情報処理端末1は、構造情報表示部11、入力部12、撮影画像記憶部13、構造情報記憶部14を備えることができる。構造情報表示部11及び入力部12は、プロセッサがストレージに記憶されているプログラムをメモリに読み出して実行することにより実現されうる。撮影画像記憶部13及び構造情報記憶部14は、メモリやストレージが提供する記憶領域の一部として実現されうる。
【0017】
撮影画像記憶部13は、飛行体が構造物を撮影した画像(撮影画像)を取得する。撮影画像は、例えば、JPEGやPNGなどの任意の画像形式のファイルとすることができる。
【0018】
構造情報記憶部14は、構造物の一部分に関する情報(構造情報)を記憶する。
【0019】
撮影対象の構造物の面状の構成部分(屋根や壁、窓など平面状の部分。以下、面部分という。)は、多角形により規定される。多角形は、複数の頂点により規定される。構造情報記憶部14は、面部分ごとに、当該面部分を規定する複数の頂点について、撮影画像上での頂点の位置を記憶することができる。
【0020】
また、構造情報記憶部14は、各面部分について、その勾配を記憶することができる。勾配は、例えば、寸単位とすることができる。勾配を度数単位で管理するようにしてもよい。
【0021】
また、構造情報記憶部14は、多角形の各辺(2つの頂点間の線分)について、当該辺に対する部位の種類を記憶することができる。
【0022】
また、構造情報記憶部14は、少なくとも一つの辺について、世界座標(実空間)での長さを記憶することができる。
【0023】
また、構造情報記憶部14は、構造物の一部分(例えば面部分)が属する階数を紐付けて記憶することができる。
【0024】
入力部12は、ユーザから構造情報の入力を受け付けて構造情報記憶部14に登録することができる。入力部12は、一部の辺についてのみ、世界座標(実空間)での長さの入力を受け付けた場合には、撮影画像上での当該辺の長さと、世界座標上での長さとの比率を算出し、当該比率と、他の辺の撮影画像上での長さとに応じて、他の辺の世界座標上での長さを計算し、計算した世界座標上での長さを当該辺に対応付けて構造情報に含めるようにすることができる。また、入力部12は、世界座標での頂点の位置を計算するようにしてもよい。例えば、入力部12は、撮影画像上での当該辺の長さと、世界座標上での長さとの比率に応じて、撮影画像上でのピクセル位置(例えば、撮影画像の左上隅を基準とする位置)を、撮影画像の左上隅に対応する世界座標上での位置を基準とした、世界座標上での相対位置として、各頂点の位置を計算することができる。また、入力部12は、撮影画像に撮影されている、世界座標上での位置が所与の基準マーカーを検出し、基準マーカーの位置からの撮影画像上での相対位置(ピクセル値)を、世界座標上での相対位置(例えば、基準マーカーから東方向に3m、南方向に4mなど)として頂点の相対位置を計算することもできる。また、入力部12は、例えば、撮影画像の左上隅に対応する世界座標上での絶対位置の入力を受け付けることにより、または、基準マーカーの所与の位置に基づいて、各頂点の世界座標上での絶対位置を計算することもできる。また、入力部は、辺を含む各面の勾配と部位の種類に応じて、世界座標上での長さを補正するようにしてもよい。
【0025】
また、構造情報記憶部14は、各面部分について、その面積を記憶することができる。面積は、世界座標(実空間)上での面積とすることができる。面積は、撮影画像上での面積とすることもできる。
【0026】
入力部12は、辺の世界座標上での長さを計算した場合に、世界座標上での面部分の面積を計算することもできる。例えば、入力部12は、撮影画像上での頂点の位置に基づいて、頂点により囲まれる閉じた多角形のピクセル単位での面積を計算し、上述した比率(辺に係るピクセル単位の長さと世界座標上での長さとの比率)とピクセル単位の面積とに基づいて、世界座標上での面積を算出することができる。入力部12は、算出した面部分の世界座標上での面積を、面部分に対応付けて構造情報に含めて構造情報記憶部14に登録することができる。また、入力部12は、各頂点の世界座標上での位置(絶対位置であっても相対位置であってもよい。)に基づいて面積を計算することもできる。なお、入力部12は、面部分に対応する勾配に応じて、世界座標上での面積を補正するようにしてもよい。
【0027】
<ユーザインタフェース>
図2は、情報処理端末1が表示するユーザインタフェースである画面10の一例を示す図である。画面10は、例えば、タッチパネルディスプレイ上に表示されうる。構造情報表示部11は、撮影画像を画面10に表示するとともに各部位の情報などを撮影画像上に表示することができる。
【0028】
入力部12は、ユーザから面部分を画定する頂点の入力を受け付けることができる。入力部12は、例えば、撮影画像上の位置の指定を受け付ける。入力部12は、受け付けた位置を構造情報記憶部14に登録することができる。
【0029】
画面10では屋根面が多角形により区画されており、この多角形は、複数の頂点601により規定されている。ユーザは画面10上において頂点601を設定することができる。ユーザは、例えば、画面10をタップすることにより、頂点601の位置を指定し、入力部12はこれを受け付けることができる。あるいは、入力部12は、画面10の中央に目印(不図示)を表示するようにして、ユーザは、撮影画像をドラッグ移動させて頂点601を目印に合わせることで、頂点601の位置を指定するようにしてもよい。
【0030】
<6.頂点をポイントで表現>
構造情報表示部11は、画面10上において頂点601をドット(円形図形)により表示することができる。
【0031】
入力部12は、画面10上において頂点601を選択可能とし、ユーザが頂点601を移動させて位置を微調整するように編集可能としてもよい。
【0032】
<7.部位+種類を色で表現(一覧と対応)>
2つの頂点601間の線分(多角形の一つの辺701)は、1つの部位に対応する。
図2の例では、部位として、軒、隅棟、谷、棟、ケラバなどの屋根の部位や壁の上端部などが含まれうる。構造情報表示部11は、辺701について、部位の種類に応じた色の線分として描画することができる。構造情報表示部11が、部位毎に異なる色で辺701を描画することにより、この部位が何であるかを容易に視認することができる。
【0033】
表示に先立ち、入力部12は、多角形の各辺701について、ユーザから部位の種類の入力を受け付けることができる。入力部12は、辺701を特定する情報(例えば、両端の頂点601を特定する情報することができる。)に対応付けて、部位の種類を示す情報を構造情報記憶部14に登録する。
【0034】
構造情報表示部11は、辺701に対応する部位の種類を構造情報記憶部14から読み出して、読み出した種類に対応する色で辺701に対応する線分を描画することができる。
【0035】
<1.部位の長さを表示>
構造情報表示部11は、各部位に関する部位情報101を、辺701上に重畳表示することができる。
図2の例では、部位情報101として、塗り潰された矩形の内部に、長さを示す数値(
図2の例ではmm単位)が表示されている。情報処理端末は、部位に関する情報(例えば、部位の種類など)を部位情報101に表示するようにすることもできる。構造情報表示部11は、辺701に対応する部位の長さを読み出し、読み出した長さを部位情報101として描画することができる。
【0036】
<2.面積と勾配を表示>
構造情報表示部11は、面部分を示す多角形の内部に、当該面部分に関する情報(面情報201)を表示することができる。
図2の例では、面情報201として、塗り潰された矩形の内部に、当該面部分の面積202と、当該面部分の勾配203とが表示される。構造情報表示部11は、構造情報記憶部14に記憶されている面積及び勾配を読み出して、面情報201として表示することができる。
【0037】
<3.各階毎の作成が可能>
画面10は、現在設定している構造物の部分が構造物の何階に該当するかの階数302を表示する設定表示欄301を備える。設定表示欄301の編集ボタン303がタッチされると、階数302を変更することができる。これにより、階ごとに構造物の部分を管理することができる。なお、建物の階に限らず、構造物の部分のグループ(例えば、高さ方向でのレイヤー(階層)とすることができる。)を定義し、これを設定表示欄301で設定することができる。
【0038】
<4.各部位の合計長さと合計面積を表示>
画面10は、各部位ごとの長さの合計405を表示する表示欄401を備える。構造情報表示部11は、設定表示欄301で指定されている階に対応する構造情報を構造情報記憶部14から読み出し、読み出した構造情報に含まれる部位の長さ(世界座標(実空間)上の長さ)を、部位の種類ごとに集計し、その集計値を表示欄401に表示することができる。
【0039】
構造情報表示部11は、線分を描画した、部位の種類に応じた色に対応付けて各部位の種類ごとの集計値405を表示することができる。
図2の例では、表示欄401では、矩形の図形403、部位の種類404、当該種類の部位の長さの合計405を対応付けて表示している。
【0040】
また、
図2に示すように、表示欄401では、面部分の面積の合計402も表示される。構造情報表示部11は、設定表示欄301で指定されている階に対応する構造情報を構造情報記憶部14から読み出し、読み出した構造情報に含まれる面部分の面積を集計し、その集計値を表示欄401に表示することができる。
【0041】
なお、本実施形態では、集計値は合計値であるものとしたが、平均値や中央値など、何らかの統計手法により計算可能な値であればよい。
【0042】
<5.画像上の「長さ」/「面積」/「勾配」の表示/非表示が切替可能>
画面10は、スイッチ501ないし503を備える。ユーザは画面10においてスイッチ501ないし503をタップすることでオンオフを切り替えることができる。構造情報表示部11は、スイッチ501がオンの場合には、画面10に、多角形の辺の長さに関する部位情報101を表示し、スイッチ501がオフの場合には、画面10に部位情報101を表示しない。構造情報表示部11は、スイッチ502又は503のいずれかがオンの場合には、画面10に面部分の面情報201を表示する。構造情報表示部11は、スイッチ502がオンの場合には、面情報201に面積202を表示し、スイッチ502がオフの場合には、面情報201に面積202を表示しない。構造情報表示部11は、スイッチ503がオンの場合には、面情報201に勾配203を表示し、スイッチ503がオフの場合には、面情報201に勾配203を表示しない。
【0043】
<8.削除が可能>
画面10は、削除ボタン801を備える。ユーザは画面10において多角形の内部をタップすることにより、面部分を選択することができる。構造情報表示部11は、選択された面部分に対応する多角形を強調表示(例えば塗り潰し表示など)をすることができる。面部分が選択された状態で削除ボタン801がタップされた場合、入力部12は、選択された面部分に関する情報を構造情報記憶部14から削除することができる。この場合、入力部12は、選択された面部分を画定する多角形の頂点601が他の面部分を画定する多角形の頂点601を構成していない場合には、頂点601に関する情報を削除するようにしてもよい。
【0044】
<9.作業ステップを表現>
画面10は、作業ステップの表示選択欄901を備える。表示選択欄901には、画面10上で行う複数の作業内容が表示され、作業内容がタップされると、構造情報表示部11又は入力部12は、作業内容に応じたユーザインタフェースを画面10に表示することができる。
【0045】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【0046】
<開示事項>
なお、本開示には、以下のような構成も含まれる。
[項目1]
構造物を撮影した撮影画像を記憶する撮影画像記憶部と、
前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶する構造情報記憶部と、
前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画する構造情報表示部と、
を備えることを特徴とする情報処理システム。
[項目2]
項目1に記載の情報処理システムであって、
前記構造情報記憶部は、前記辺の長さを記憶し、
前記構造情報表示部は、前記種類ごとに前記各辺の長さを合計し、前記種類に応じた前記色と、前記長さの合計値とを対応付けて表示すること、
を特徴とする情報処理システム。
[項目3]
項目2に記載の情報処理システムであって、
前記構造情報表示部は、前記色、前記種類及び前記合計値を対応付けて表示すること、
を特徴とする情報処理システム。
[項目4]
項目1ないし3のいずれか1項に記載の情報処理システムであって、
前記構造情報表示部は、前記線分に前記長さを重畳表示すること、
を特徴とする情報処理システム。
[項目5]
構造物を撮影した撮影画像を記憶する撮影画像記憶部と、
前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶する構造情報記憶部と、
前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画する構造情報表示部と、
を備えることを特徴とする情報処理システム。
[項目6]
構造物を撮影した撮影画像を記憶するステップと、
前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶するステップと、
前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画するステップと、
をコンピュータが実行することを特徴とする情報処理方法。
[項目7]
構造物を撮影した撮影画像を記憶するステップと、
前記構造物の一部分を画定する多角形の各辺に対応する部位の種類を記憶するステップと、
前記撮影画像を表示するとともに、前記部位の種類に応じた色で前記各辺を示す線分を描画するステップと、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【0047】
1 情報処理端末
10 画面