特開 2023-62983 仮想鉄塔表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023062983

(43)【公開日】2023-05-09

(54)【発明の名称】仮想鉄塔表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230427BHJP

【ＦＩ】

G06T19/00 600

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021173202

(22)【出願日】2021-10-22

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】000213297

【氏名又は名称】中部電力株式会社

(71)【出願人】

【識別番号】591280197

【氏名又は名称】株式会社構造計画研究所

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】八尾 健一朗

(72)【発明者】

【氏名】牛本 卓二

(72)【発明者】

【氏名】相川 実

(72)【発明者】

【氏名】伊藤 茜

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA07

5B050BA06

5B050BA09

5B050BA11

5B050CA07

5B050CA08

5B050DA07

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

(57)【要約】

【課題】鉄塔の建設予定場所の風景画像と仮想鉄塔オブジェクトの合成画像の修正が行いやすい仮想鉄塔表示システムを提供する。
【解決手段】携帯端末１０は、鉄塔の大きさを含む属性情報及び鉄塔の建設予定位置情報の変更が可能に記憶するストレージ４０と、鉄塔の建設予定の場所を含む現実の風景画像を取得する撮像部５０を備える。携帯端末１０は、現実の風景画像の取得時の撮像部５０の位置を取得する位置取得部９０と、現実の風景画像の取得時の撮像部５０の向いた方位角を取得する方位角取得部２３を備える。携帯端末１０は、風景画像取得部の位置と、鉄塔の建設予定位置情報と、鉄塔の属性情報に基づいて作成部２４が作成する。表示部６０は建設予定位置情報、及び方位角を基準にして、仮想鉄塔オブジェクトを風景画像と重畳して表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

鉄塔の大きさを含む情報（以下、属性情報という）、及び前記鉄塔の建設予定位置情報の変更が可能に記憶する記憶部と、前記鉄塔の建設予定の場所を含む現実の風景画像を取得する風景画像取得部と、前記現実の風景画像の取得時の前記風景画像取得部の位置を取得する位置情報取得部と、前記現実の風景画像の取得時の前記風景画像取得部の向いた方位角を取得する方位角取得部と、前記風景画像取得部の位置と、前記建設予定位置情報と、前記属性情報に基づいて仮想鉄塔オブジェクトを作成する作成部と、前記建設予定位置情報、及び前記方位角を基準にして、前記仮想鉄塔オブジェクトを前記風景画像と重畳して表示する表示部と、を備える仮想鉄塔表示システム。

【請求項2】

前記仮想鉄塔オブジェクトは骨組で構成されていて、骨組間がシースルーである請求項１に記載の仮想鉄塔表示システム。

【請求項3】

前記風景画像取得部のロールまたはピッチの少なくともいずれか一方の回転を検出する検出部を備え、
前記表示部は、前記検出部の回転の検出に応じて表示の向きを変更する請求項１または請求項２に記載の仮想鉄塔表示システム。

【請求項4】

前記表示部は、前記風景画像と重畳して表示する表示画面に設けられた第１入力操作部を有し、
前記第１入力操作部は、前記表示画面上に沿って移動操作されることに応じて、前記建設予定位置情報が変更されて入力されるものである請求項１乃至請求項３のうちいずれか１項に記載の仮想鉄塔表示システム。

【請求項5】

前記仮想鉄塔オブジェクトの向きを操作する第２入力操作部を有し、
前記表示部は、前記第２入力操作部による前記仮想鉄塔オブジェクトの向きの変更に応じて、向きを変更した前記仮想鉄塔オブジェクトを前記風景画像と重畳して表示する請求項１乃至請求項４のうちいずれか１項に記載の仮想鉄塔表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想鉄塔表示システムに関する。

【背景技術】

【0002】

送電鉄塔を建設する際、鉄塔建設後の景観を確認するため、建設予定場所の風景画像と地図情報から合成画像を作成する手法があるが、時間と手間を要している。
特許文献１は、本件出願時の拡張現実システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－２００５１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記合成画像の鉄塔建設位置を変更したい場合、合成画像を再作成することがある。しかしながら、この合成画像の作成には、手間を要している。
なお、特許文献１で開示された拡張現実システムを利用して、再合成画像を作成することも考えられる。しかし、鉄塔のモデル画像の場合、鉄塔本体や、その配置位置の修正が含まれる場合もあり、特許文献１で開示されている拡張現実技術を単に利用することは難しい。

【0005】

本発明の目的は、鉄塔の建設予定場所の風景画像と仮想鉄塔オブジェクトの合成画像の修正が行いやすい仮想鉄塔表示システムを提供することにある。

【課題を解決するための手段】

【0006】

上記問題点を解決するために、本発明の仮想鉄塔表示システムは、鉄塔の大きさを含む情報（以下、属性情報という）、及び前記鉄塔の建設予定位置情報を変更が可能に記憶する記憶部と、前記鉄塔の建設予定の場所を含む現実の風景画像を取得する風景画像取得部と、前記現実の風景画像の取得時の前記風景画像取得部の位置を取得する位置情報取得部と、前記現実の風景画像の取得時の前記風景画像取得部の向いた方位角を取得する方位角取得部と、前記風景画像取得部の位置と、前記建設予定位置情報と、前記属性情報に基づいて前記仮想鉄塔オブジェクトを作成する作成部と、前記建設予定位置情報、及び前記方位角を基準にして、前記仮想鉄塔オブジェクトを前記風景画像と重畳して表示する表示部と、を備える。

【0007】

上記構成によれば、表示部は、鉄塔の建設予定の場所の風景画像と仮想鉄塔オブジェクトを重畳して表示する。この場合、記憶部が記憶する鉄塔の属性情報等が変更された場合、変更されたデータ等により、仮想鉄塔オブジェクトと風景画像との合成画像が作成されて表示部に表示される。

【0008】

また、前記仮想鉄塔オブジェクトは骨組で構成されていて、骨組間がシースルーであることが好ましい。
上記構成により、仮想鉄塔オブジェクトにおける骨組間の風景を、シースルーで見ることができる。

【0009】

また、前記風景画像取得部のロールまたはピッチの少なくともいずれか一方の回転を検出する検出部を備え、前記表示部は、前記検出部の回転の検出に応じて表示変更されてもよい。

【0010】

上記構成によれば、風景画像取得部がロールまたはピッチの少なくともいずれか一方の回転した場合においても、前記表示部は、前記検出部の回転の検出に応じて風景画像と仮想鉄塔オブジェクトとの合成画像の表示変更ができる。

【0011】

また、前記表示部は、前記風景画像と重畳して表示する表示画面に設けられた第１入力操作部を有し、前記第１入力操作部は、前記表示画面上に沿って移動操作されることに応じて、前記建設予定位置情報が変更されて入力されるものとしてもよい。

【0012】

上記構成によれば、表示画面上に沿って移動操作されることにより、第１入力操作部を介して、鉄塔の建設予定位置情報を容易に変更できる。
また、前記仮想鉄塔オブジェクトの向きを操作する第２入力操作部を有し、前記表示部は、前記第２入力操作部による前記仮想鉄塔オブジェクトの向きの変更に応じて、向きを変更した前記仮想鉄塔オブジェクトを前記風景画像と重畳して表示してもよい。

【0013】

上記構成によれば、風景画像と、向きが変更された仮想鉄塔オブジェクトとの合成画像を容易に表示できる。

【発明の効果】

【0014】

本発明によれば、仮想鉄塔オブジェクトの属性情報や鉄塔の建設予定の場所が変更された場合においても、風景画像と仮想鉄塔オブジェクトとの合成画像の修正が容易に行われて表示できる効果を奏する。

【図面の簡単な説明】

【0015】

【図1】一実施形態の仮想鉄塔表示システムの全体構成図。

【図2】仮想鉄塔オブジェクト合成プログラムが実行される際のフローチャート。

【図3】仮想鉄塔オブジェクト合成プログラムが実行される際のフローチャート。

【図4】鉄塔モデルと携帯端末の位置関係を示す説明図。

【図5】鉄塔モデルと表示画面の位置関係を示す説明図。

【図6】鉄塔の建設予定の場所の風景画像。

【図7】鉄塔の建設予定の場所の風景画像と仮想鉄塔オブジェクトの合成画像。

【図8】鉄塔の建設予定の場所に近接して撮像部の向きを斜め上向きとしたときの風景画像と仮想鉄塔オブジェクトの合成画像。

【図9】鉄塔の建設予定の場所の風景画像と仮想鉄塔オブジェクトの合成画像。

【発明を実施するための形態】

【0016】

以下、本発明を具体化した一実施形態の仮想鉄塔表示システムを図１～図９を参照して説明する。
図１に示すように、仮想鉄塔表示システム（以下、単にシステムという）は、携帯端末１０からなる。携帯端末１０は、スマートフォン、タブレット型、或いはウエアラブル型の端末であってもよい。ウエアラブル型の端末は、例えば眼鏡型、ヘッドマウント型等があるが、限定するものではない。

【0017】

携帯端末１０は、コンピュータからなる。携帯端末１０は、現実の鉄塔の建設予定の場所の風景を撮影する撮影機能と、取得された風景画像に仮想鉄塔オブジェクトＫを重畳みした合成画像、すなわち、拡張現実空間を表す拡張現実空間画像を表示する表示機能を有している。

【0018】

仮想鉄塔オブジェクトＫは、実際には現実空間には存在しないが、鉄塔の建設予定の場所の風景画像に重畳して合成画像が作成されることにより、あたかも鉄塔の建設予定の場所に存在するかのような印象を携帯端末１０を見る者に与える。

【0019】

図１に示すように、携帯端末１０は、制御部２０、主記憶部３０、ストレージ４０、撮像部５０、表示部６０、タッチパネル７０、センサ８０、位置取得部９０、及び通信部１００を備える。

【0020】

制御部２０は、オペレーティングシステム及びアプリケーションプログラムを実行する演算装置である。制御部２０は、ＣＰＵ等からなる。制御部２０は、後述する仮想鉄塔オブジェクト合成プログラムを実行することにより、自己位置推定部２１、平面推定部２２、方位角取得部２３、作成部２４及び表示制御部２５等の機能を有する。

【0021】

主記憶部３０は、携帯端末１０を実現させるためのプログラム、制御部２０から出力された演算結果等を記憶する。主記憶部３０は、例えばＲＯＭ又はＲＡＭ等により構成されている。ストレージ４０は、主記憶部３０よりも大量のデータを記憶することが可能な装置であって、ハードディスク、フラッシュメモリ等の不揮発性記憶媒体によって構成されている。ストレージ４０は、データの変更が可能、すなわち、書換可能である。ストレージ４０は記憶部に相当する。

【0022】

ストレージ４０は、仮想鉄塔オブジェクト合成プログラム、及び各種のデータとを記憶する。各種のデータとしては、鉄塔の大きさ、並びに、鉄塔の建設予定の場所の、緯度、及び経度（以下、建設予定位置情報という）である。鉄塔の大きさのデータは、鉄塔の属性情報に相当する。鉄塔は、送電線を支えるものであり、例えば、送電線が直線部分の鉄塔は「懸垂型」、送電線に角度がついた鉄塔は「耐張型」等の各種の鉄塔がある。鉄塔の大きさは、図４に示すように、高さｈ、根開きＢ等がある。本実施形態では、鉄塔の大きさは、高さｈ、根開きＢとしているが、鉄塔の形状に応じて鉄塔を構成している部分の長さ等を含めてもよい。

【0023】

また、ストレージ４０には、前記鉄塔の大きさに基づいて、骨組構造を有する各種の鉄塔モデルが記憶されている。前記鉄塔モデルは、三次元モデルであって、骨組構造を有していて、骨組間がシースルーとなっている。この鉄塔モデルは、クローズドポリゴン、或いはソリッドモデルが好ましい。この鉄塔モデルに基づいて、後述する仮想鉄塔オブジェクトＫが作成される。仮想鉄塔オブジェクトＫの色は、鉄塔が建設されたときの色が好ましいが、限定するものではない。

【0024】

撮像部５０は、現実空間、すなわち、鉄塔の建設予定の場所の風景を撮像する装置である。撮像部５０は、デジタルカメラからなる。撮像部５０は単眼カメラでもよく、或いはステレオカメラでもよい。本実施形態では、撮像部５０は単眼カメラである。撮像部５０は、風景画像取得部に相当する。

【0025】

表示部６０は、液晶表示装置等からなる。表示部６０は、撮像部５０により撮像された鉄塔の建設予定の場所の風景と仮想鉄塔オブジェクトＫを含む拡張現実空間を表す合成画像を表示する。また、表示部６０は、後述するタッチパネル７０がタッチ操作を検出して、その検出時のコマンドに応じて制御部２０が処理した結果を出力する出力インタフェースでもある。

【0026】

タッチパネル７０は、表示部６０の表示画面６２上に設けられていて、ユーザの操作を受け付ける入力インタフェースである。タッチパネル７０は、ユーザによるタップ操作、スワイプ操作、マルチタッチ操作等のタッチ操作を検出する。

【0027】

また、タッチパネル７０は、表示画面６２が設定モードとなっているときは、表示部６０の表示画面６２上にデータ入力領域が表示されて、前記データ入力領域に、前記鉄塔の大きさデータ、並びに、鉄塔の建設予定位置情報の入力が可能となっている。入力されたデータ等はストレージ４０に記憶される。また、一旦、ストレージ４０に記憶されたデータ、建設予定位置情報の書換も、この設定モードにおける入力操作により可能となっている。タッチパネル７０にて入力された前記鉄塔の大きさ、並びに、鉄塔の建設予定位置情報は、前記ストレージ４０に記憶される。鉄塔の建設予定位置情報は、具体的には、経度及び緯度である。

【0028】

センサ８０は、携帯端末１０の移動方向、移動量（変位量）、並びに、撮像部５０が撮像時に向いた方位角θを検出するためのセンサである。センサ８０は、地磁気センサ、ジャイロセンサ、及び加速度センサを含む。前記ジャイロセンサ及び加速度センサは慣性計測装置である。ジャイロセンサは、検出部に相当する。

【0029】

位置取得部９０は、現実世界における携帯端末１０の座標位置を取得するモジュールである。位置取得部９０は、図示しない測位衛星用アンテナを介して測位衛星Ｓｔからの測位情報を含む信号を入力する。なお、測位衛星Ｓｔは、全球測位衛星システム（ＧＮＳＳ）の衛星であって、米国の全地球測位システム（ＧＰＳ）、欧州連合（ＥＵ）の「ガリレオ」、ロシアの「グロナス」、中国の「北斗」、日本の「準天頂衛星」等を含む。

【0030】

位置取得部９０は、携帯端末１０が位置する緯度、経度を演算して携帯端末１０の現在位置Ａ（図４参照）を取得する。位置取得部９０は、位置情報取得部に相当する。
通信部１００は、通信ネットワークを介して他のコンピュータとの間でデータ通信が可能である。通信部１００は、無線通信モジュール等により構成されている。

【0031】

（実施形態の作用）
次に、上記したシステムの作用を、図２及び図３のフローチャートを参照して説明する。図２及び図３は、仮想鉄塔オブジェクト合成プログラムが実行されているときのフローチャートである。ここでは、鉄塔の建設予定場所から離間した位置で、その鉄塔の建設予定の場所に撮像部５０を向けて携帯端末１０を移動しながら、撮像して風景画像を取得する。

【0032】

（Ｓ１０）
このステップは、初期値取得の処理が制御部２０によって行われる。図３は、初期値取得の処理のフローチャートである。

【0033】

（Ｓ１１）
まず、携帯端末１０を建設予定の場所が見通せる場所において、撮像部５０にて、建設予定の場所を含めて複数箇所撮像する。動画撮像において、１フレーム毎に、携帯端末１０の位置取得部９０は、この間、測位衛星Ｓｔからの測位情報に基づいて、携帯端末１０の現在位置Ａ、すなわち、緯度、経度を取得するとともに、センサ８０の地磁気センサにて、磁北を検出する。

【0034】

そして、方位角取得部２３は、この磁北に基づいて、真北を算出する。すなわち、地磁気センサが検出した磁北は、真北とは、場所により異なる偏角が存在するため、方位角取得部２３は、ストレージ４０に記憶した偏角テーブルに基づいて、「真北＝磁北＋偏角テーブル値」により真北を算出する。

【0035】

次に、方位角取得部２３は、ジャイロセンサの検出値に基づいて、方位角θを算出する。方位角θは、携帯端末１０の撮像部５０が、撮像するときの向きであり、仮想平面上における真北との成す角度である。上記携帯端末１０の現在位置Ａの取得、真北の取得、方位角θの取得は、Ｓ１１のステップのみならず、撮像部５０が風景を撮像した１フレームの画像毎に行われている。

【0036】

そして、Ｓ１１では、自己位置推定部２１により自己位置推定が行われる。具体的には、自己位置推定部２１は、撮像部５０が撮像した風景画像に基づいて、Ｖｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mapping）の方法により自己位置推定を行う。すなわち、画像内の特徴点を検出し、検出した特徴点を用いて三角視差測量を行って自己位置の変化を算出する。そして、加速度センサ、及びジャイロセンサの慣性計測装置からの慣性測定に基づいて、時間とともに、どのように位置と撮像部５０が向いた方向が変化したかを推定する。なお、「Ｖｉｓｕａｌ ＳＬＡＭ」の方法による自己位置の推定は、公知であるため、詳細な説明は省略する。

【0037】

（Ｓ１２）
Ｓ１２では、平面推定部２２は、前記特徴点の点群に基づいて、公知のＲＡＮＳＡＣ（random sample consensus）の方法により、地表面（水平面）を推定する。この地表面は、携帯端末１０と、鉄塔の建設予定の場所とが同じ高さの地表面であることを前提としている。

【0038】

ＲＡＮＳＡＣの方法は、概略すると下記の（１）～（３）のように行われる。
（１）地表面の仮のモデル（今回の場合は水平面の式）を決定するのに必要な数のデータを特徴点の点群の中からランダムにサンプリングを行う。

【0039】

（２）所定基準で前記仮のモデルに合うデータがデータ群の中にいくつあるかを数える。
（３）上記（１）及び（２）の処理を繰り返す。

【0040】

そして、（２）で数えた数が一番多かった仮のモデルを採用する。
（４）そして、仮のモデル（水平面の式）で表される水平面をＸ，Ｙ軸として、点群のＺ軸の値を最小にするよう公知の最小二乗法で点群集の重心となる水平面に最適化する。

【0041】

（Ｓ１３）
Ｓ１３では、使用者は、タッチパネル７０にて表示部６０の表示画面６２を設定モードにして、データ入力領域を表示させる。そして、使用者は、データ入力領域に、タッチ操作することにより、鉄塔の大きさデータ、並びに、鉄塔の建設予定位置情報の入力を行う。建設予定位置情報は、本実施形態では、緯度及び経度である。なお、本実施形態では、仮想鉄塔オブジェクトＫのモデルの形状は、大きさデータが入力されると、一義的にその形状が決定されるものとなっている。

【0042】

タッチパネル７０で入力された鉄塔の大きさデータ、並びに、鉄塔の建設予定位置情報は、ストレージ４０に記憶される。このストレージ４０に、鉄塔の大きさデータ、及び鉄塔の建設予定位置情報が記憶される際、同時に、仮想鉄塔オブジェクトＫの回転角は、所定角度に設定される。所定角度は、例えば０度であるが、この角度に限定するものではない。回転角は、仮想鉄塔オブジェクトＫが表示画面６２に表示される場合に、見る側に向けられた仮想鉄塔オブジェクトＫの向きである。この回転角は、後述する操作により、仮想鉄塔の高さ方向に延びる軸心を回転軸とした角度である。例えば、所定の側面が向いたときを正面とした場合において、その正面側が向いている場合を０度とする。なお、このＳ１３のステップは、Ｓ１１のステップの前のステップにして行ってもよい。

【0043】

Ｓ１３で入力された鉄塔の建設予定位置情報は、具体的には、緯度及び経度である。この値は、鉄塔の初期座標である。前記初期座標、及び回転角は、初期値に相当する。
（Ｓ２０）
次に、Ｓ２０について説明する前に、表示画面６２の説明を図６～図９を参照して説明する。

【0044】

図６～図９に示すように、仮想鉄塔オブジェクト合成プログラムが実行された場合、表示部６０の表示画面６２には、仮想鉄塔オブジェクトＫの回転角、及び位置を変更するためのソフトウエアキー群１１０が表示される。ソフトウエアキー群１１０は、左右の方向を向いた矢印キー１１０ａ、１１０ｂ及び上下の方向を向いた矢印キー１１０ｃ、１１０ｄ、並びに、矢印キー１１０ａ～１１０ｄをそれぞれ十字位置に位置させた二重リング円状の回転角操作キー１１０ｅからなる。

【0045】

矢印キー１１０ａ、１１０ｂは、押圧操作されている時間の間、仮想鉄塔オブジェクトＫを表示画面６２において、押圧操作される直前の表示位置を基準にして左方向または右方向へ移動させるコマンドキーとなっている。矢印キー１１０ｃ、１１０ｄは、押圧操作されている時間の間、仮想鉄塔オブジェクトＫを表示画面６２において、押圧操作される直前の表示位置を基準にして画面上の奥の方向または手前方向へ移動させるコマンドキーとなっている。

【0046】

さらに、二重リング円状の領域において相互に隣接する矢印キー間は、押圧されると、前述した矢印キーがそれぞれ押圧された場合に移動する方向の中間の方向へ、表示画面６２上において、仮想鉄塔オブジェクトＫを移動させるコマンドキーとなる。

【0047】

矢印キー１１０ａ～１１０ｄ、及び二重リング円状の領域において、矢印キー１１０ａ～１１０ｄ間の相互に隣接する領域は、第１入力操作部に相当する。第１入力操作部は、表示画面６２上に表示された矢印キー１１０ａ～１１０ｄ、及び二重リング円状の領域に相対したタッチパネル７０の部位を操作されることにより、機能するソフトキーとなっている。

【0048】

二重リング円状の回転角操作キー１１０ｅは、図６～図９において、時計回り方向、または反時計回り方向へスワイプ操作した場合、スワイプ操作される直前の表示位置を基準にして、仮想鉄塔オブジェクトＫの回転角を変更させるコマンドキーとなっている。本実施形態では、このスワイプ操作により、３６０度の仮想鉄塔オブジェクトＫの回転角を変更させることが可能である。なお、スワイプ操作による仮想鉄塔オブジェクトＫの回転角は、３６０度に限定するものではなく、他の角度であってもよい。回転角操作キー１１０ｅは、第２入力操作部に相当する。第２入力操作部は、表示画面６２上に表示された二重リング円状の回転角操作キー１１０ｅの領域に相対したタッチパネル７０の部位が操作されることにより、機能するソフトキーとなっている。

【0049】

図２のＳ２０では、上記したソフトウエアキー群１１０のいずれかが操作されたか否かを制御部２０が判定する。
ソフトウエアキー群１１０が操作されたか否か、すなわち、仮想鉄塔オブジェクトＫの位置等の変更があるか否かを判定する。ソフトウエアキー群１１０が操作されていない場合は、仮想鉄塔オブジェクトＫに変更はないとしてＳ３０に移行し、変更がある場合は、Ｓ４０に移行する。

【0050】

（Ｓ３０）
Ｓ３０は、仮想鉄塔オブジェクトＫの初期値（初期座標、及び回転角）、及び、携帯端末１０（撮像部５０）が取得している各種データに基づいて表示画面６２上における１フレーム毎の仮想鉄塔オブジェクトＫが作成されるステップである。また、同ステップでは、前記仮想鉄塔オブジェクトＫと、１フレーム毎の風景画像とが重畳されて表示される。以下、詳説する。

【0051】

まず、図４に示すように、作成部２４は、携帯端末１０（撮像部５０）の前記地表面上の現在位置Ａから、目標位置Ｔに向けての真北からの「方位角θ＋α」方向に、実際の大きさの仮想鉄塔オブジェクトＫ０を立てた場合を１フレーム毎に想定する。目標位置Ｔは、鉄塔の建設予定の場所である。現在位置Ａは（ｘ１，ｙ１，ｚ１）の座標である。目標位置Ｔは、（ｘｔ，ｙｔ，ｚｔ）の座標である。なお、ｘ軸、ｙ軸、ｚ軸は、視点を原点にした左手系である。ｚ軸は、初期の携帯端末１０の向きである。

【0052】

ここで、方位角θは、携帯端末１０の地磁気センサを通過する基準点を通過して真北を指向する軸と、前記基準点を通過して初期座標を指向する軸との成す角度である。図４では、前記基準点は、携帯端末１０の表示画面領域の中央点としている。

【0053】

図４において、前記初期座標を指向する軸の方向の真北からの方位角θは、Ｓ１０の処理を行ったときにおいて、撮像部５０の向いた方向を示している。また、αは、Ｓ３０の処理が開始されたときの最初のフレームにおいて、鉄塔の建設予定の場所の目標位置Ｔと、前記初期座標を指向する軸との成す角度である。

【0054】

図５に示すように、作成部２４は、「方位角θ＋α」方向に位置する実際の大きさの仮想鉄塔オブジェクトＫ０の三次元座標を、表示画面６２を投影面とした仮想鉄塔オブジェクトＫの二次元座標に座標変換する。この座標変換は、例えば、視点と、実際の大きさの仮想鉄塔オブジェクトＫ０との間に、表示画面６２を置いた場合において、表示画面６２に投影される仮想鉄塔オブジェクトＫの二次元座標を透視投影法によって算出する。なお、透視投影法に限定するものではなく、他の方法であってもよい。

【0055】

表示制御部２５は、作成部２４が二次元座標に変換した仮想鉄塔オブジェクトＫを１フレーム毎の風景画像に重畳して表示画面６２に表示する。
また、携帯端末１０のロールまたはピッチの少なくとも一方が回転された場合、ジャイロセンサでそのときの傾き（向き）を取得する。表示制御部２５は、その傾き（向き）に応じて、作成部２４が作成した仮想鉄塔オブジェクトＫを１フレーム毎の風景画像に重畳して表示画面６２に表示する。

【0056】

また、携帯端末１０が移動して撮像しているときは、加速度センサにて、その移動が検出されるとともに、移動方向は、ジャイロセンサにて検出される。この移動にともない、目標位置Ｔの表示画面６２上の相対移動がある。表示制御部２５は、その相対移動量が表示画面６２上では加算または減算した状態で、作成部２４が作成した仮想鉄塔オブジェクトＫを１フレーム毎の風景画像に重畳して表示画面６２に表示する。この１フレームにおける処理が終了すると、Ｓ５０に移行する。

【0057】

（Ｓ４０）
Ｓ４０に移行すると、Ｓ３０と同様に、「方位角θ＋α」方向に位置する実際の大きさの仮想鉄塔オブジェクトＫ０の三次元座標を、表示画面６２を投影面とした仮想鉄塔オブジェクトＫの二次元座標に座標変換する。この座標変換は、透視投影法による。

【0058】

そして、表示制御部２５は、矢印キー１１０ａ、または矢印キー１１０ｂが操作されている場合には、押圧操作されている時間の間、仮想鉄塔オブジェクトＫを表示画面６２において、押圧操作される直前の表示位置を基準にして左方向または右方向へ移動させる。

【0059】

表示制御部２５は、矢印キー１１０ｃ、または矢印キー１１０ｄが操作されている場合、押圧操作されている時間の間、仮想鉄塔オブジェクトＫを表示画面６２において、押圧操作される直前の表示位置を基準にして画面上の奥の方向または手前方向へ移動させる。

【0060】

また、二重リング円状の領域において、相互に隣接する矢印キー間が操作されている場合は、押圧操作されている時間の間、表示制御部２５は、前述した矢印キーがそれぞれ押圧された場合に移動する方向の中間の方向へ仮想鉄塔オブジェクトＫを移動させる。

【0061】

また、回転角操作キー１１０ｅが、その上を、図６～図９において、時計回り方向、または反時計回り方向へスワイプ操作された場合、スワイプ操作される直前の表示位置を基準にして、表示制御部２５は、仮想鉄塔オブジェクトＫの回転角を変更させる。この場合、仮想鉄塔オブジェクトＫは、高さ方向に延びる中心軸を回転中心にして回転されて、表示画面６２を見る者に対してその向きが変更される。前記各種のキー操作が終了した場合には、Ｓ５０に移行する。

【0062】

（Ｓ５０）
Ｓ５０では、携帯端末１０に設けられた図示しない終了ボタンが操作されたか否かを判定し、操作されていない場合には、Ｓ２０に戻る。

【0063】

図６は、表示画面６２に、鉄塔の建設予定の場所を撮像部５０で撮像した風景画像を表示した図である。図７は、図６と同じ鉄塔の建設予定の場所の風景画像と仮想鉄塔オブジェクトＫの合成画像を表示した図である。図７に示すように、鉄塔の建設予定の場所の風景と仮想鉄塔オブジェクトＫとの合成画像を表示画面６２に表示することにより、鉄塔を建設した場合の景観の状況を提示することができることになる。

【0064】

図８は、携帯端末１０を鉄塔の建設予定の場所に近づいて、鉄塔を見上げるように撮像部５０を上向きにした場合に、表示画面６２上で表示された仮想鉄塔オブジェクトＫの例が示されている。このようにして、仮想鉄塔オブジェクトＫを表示した仮想現実空間を得ることができる。

【0065】

図９は、２つの鉄塔建設予定場所を含む風景画像と２つの仮想鉄塔オブジェクトＫの合成画像を表示画面６２に表示した例である。同図に示すように、複数の仮想鉄塔オブジェクトＫと風景画像が合成された仮想現実空間を得ることも可能である。

【0066】

本実施形態では、下記の特徴を有する。
（１）本実施形態の携帯端末１０は、鉄塔の大きさを含む情報（属性情報）、及び鉄塔の建設予定位置情報の変更が可能に記憶するストレージ４０（記憶部）と、鉄塔の建設予定の場所を含む現実の風景画像を取得する撮像部５０（風景画像取得部）を備える。携帯端末１０は、現実の風景画像の取得時の撮像部５０（風景画像取得部）の位置を取得する位置取得部９０（位置情報取得部）と、現実の風景画像の取得時の撮像部５０の向いた方位角θを取得する方位角取得部２３を備えている。携帯端末１０は、風景画像取得部の位置と、鉄塔の建設予定位置情報と、鉄塔の属性情報に基づいて仮想鉄塔オブジェクトＫを作成する作成部２４を備えている。携帯端末１０は、建設予定位置情報、及び方位角θを基準にして、仮想鉄塔オブジェクトＫを風景画像と重畳して表示する表示部６０を備える。

【0067】

この結果、表示部６０は、鉄塔の建設予定の場所の風景画像と仮想鉄塔オブジェクトＫを重畳して表示する。この場合、ストレージ４０（記憶部）が記憶する仮想鉄塔オブジェクトＫの属性情報や鉄塔の建設予定の場所の少なくともいずれか一方が変更された場合も、風景画像と仮想鉄塔オブジェクトＫとの合成画像の変更が容易に行われて表示できる。

【0068】

（２）本実施形態の携帯端末１０では、仮想鉄塔オブジェクトＫが骨組で構成されていて、骨組間がシースルーとしている。この結果、仮想鉄塔オブジェクトＫにおける骨組間の風景を、シースルーで見ることができる。

【0069】

（３）本実施形態の携帯端末１０は、風景画像取得部のロールまたはピッチの少なくともいずれか一方の回転を検出するジャイロセンサ（検出部）を備えて、前記表示部が前記検出部の回転の検出に応じて表示変更するようにしている。

【0070】

上記構成によって、風景画像取得部がロールまたはピッチの少なくともいずれか一方の回転した場合においても、センサ８０のジャイロセンサの回転の検出に応じて表示部６０は、風景画像と仮想鉄塔オブジェクトＫとの合成画像の表示変更ができる。

【0071】

（４）本実施形態の携帯端末１０の表示部６０は、表示画面６２に設けられた矢印キー１１０ａ～１１０ｄ、及び二重リング円状の領域において、矢印キー１１０ａ～１１０ｄ間の相互に隣接する領域（第１入力操作部）を有する。これら矢印キー等が、表示画面６２上に沿って移動操作されることに応じて、鉄塔の建設予定位置情報が変更されて入力される。上記構成によれば、表示画面６２上に沿って移動操作されることにより、これら矢印キー等を介して、鉄塔の建設予定位置情報を容易に変更できる。

【0072】

（５）本実施形態の携帯端末１０は、仮想鉄塔オブジェクトＫの向きを操作する回転角操作キー１１０ｅ（第２入力操作部）を有する。表示部６０は、回転角操作キー１１０ｅによる仮想鉄塔オブジェクトＫの向きの変更に応じて、向きを変更した仮想鉄塔オブジェクトＫを風景画像と重畳して表示するようにしている。

【0073】

この結果、風景画像と、向きが変更された仮想鉄塔オブジェクトとの合成画像を容易に表示できる。
本実施形態は、以下のように変更して実施することができる。

【0074】

本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・前記実施形態では、ストレージ４０には、タッチパネル７０にて入力された鉄塔の大きさに関するデータが記憶されるようにした。これに代えて、外部のサーバから、通信部１００及びインターネット等の通信ネットワークを介して、予めダウンロードされることにより、記憶されていてもよい。また、鉄塔の大きさに関するデータのストレージ４０への記憶方法は、これらに限定するものではなく、さらに他の方法であってもよい。

【0075】

・前記実施形態の属性情報は、鉄塔の大きさとしたが、大きさと形状をそれぞれ独立したデータとしてもよい。この場合、形状は、鉄塔の種類に応じて各種のモデルが用意され、それぞれの種類毎に大きさデータとリンク付けするものとする。

【0076】

・前記実施形態では、データの入力をタッチパネル７０で行うようにしたが、タッチパネル７０に限定されることなく、データの入力をキーボード等の他の入力装置で行ってもよい。タッチパネル７０、キーボード等は入力部に相当する。

【0077】

・前記実施形態では、携帯端末１０が位置する地表面を推定して、その地表面を基準に、仮想鉄塔オブジェクトＫと風景画像との合成画像を表示するようにした。これに代えて、下記のようにしてもよい。

【0078】

位置取得部９０は、複数（４つ以上）の測位衛星Ｓｔからの測位情報に基づいて、携帯端末１０の現在の位置、すなわち、緯度、経度、及び高度を算出する。なお、前記高度は、ＷＧＳ８４という測地系で決められた回転楕円体上での値であって、標高ではない。標高は、ジオイド面からの高さであるため、位置取得部９０は、算出された緯度及び経度が含まれるジオイドデータに基づいて当該位置におけるジオイド高を求め、当該位置における標高を、「標高＝回転楕円体上での高度－ジオイド高」を算出する。

【0079】

なお、前記ジオイドデータは、ストレージ４０に記憶するようにする。ジオイドデータは、全地球を、例えば１００ｋｍタイルにした、ジオイドモデルにおいて、各タイル毎にジオイド高が記述されている。このようにすると、携帯端末１０が位置する場所の地表面の高度を求めることができる。また、鉄塔の建設予定場所の地表面の高度は、既知の地図データから予め求めることができる。この両者の地表面の高度を基準に、仮想鉄塔オブジェクトＫと風景画像との合成画像を携帯端末１０（システム）で作成して表示するようにしてもよい。

【0080】

この変形例の場合、鉄塔の建設予定位置情報は、具体的には、経度、緯度及び高度である。
・前記実施形態では、合成画像を携帯端末１０の表示部６０の表示画面６２に表示したが、表示画面６２の代わりに、図１に示すウエアラブル端末２００に送信して、ウエアラブル端末２００の画面に表示するようにしてもよい。図１では、ウエアラブル型の端末として眼鏡型が示されている。

【0081】

・前記実施形態では、第１入力操作部及び第２入力操作部をソフトウエアキーとした。第１入力操作部及び第２入力操作部は、ソフトウエアキーに限定されるものではなく、ハードキーに変更してもよい。前記ハードキーは、例えば、携帯端末１０の表示部６０とは別体化した入力装置に設けてもよく、或いは、表示部を搭載するケースとは別体のケースに設けてもよい。

【0082】

・前記実施形態では、ジャイロセンサにより、風景画像取得部のロールまたはピッチの少なくともいずれか一方を検出するようにした。これに代えて、ジャイロセンサにより、風景画像取得部のロールまたはピッチのいずれか一方のみを検出するようにしてもよい。

【符号の説明】

【0083】

１０…携帯端末（システム）
２０…制御部
２１…自己位置推定部
２２…平面推定部
２３…方位角取得部
２４…作成部
２５…表示制御部
３０…主記憶部
４０…ストレージ（記憶部）
５０…撮像部
６０…表示部
６２…表示画面
７０…タッチパネル
８０…センサ
９０…位置取得部
１００…通信部
１１０ａ…矢印キー（第１入力操作部）
１１０ｂ…矢印キー（第１入力操作部）
１１０ｃ…矢印キー（第１入力操作部）
１１０ｄ…矢印キー（第１入力操作部）
１１０ｅ…回転角操作キー（第２入力操作部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】