特開 2022-129040 適正画像選択システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022129040

(43)【公開日】2022-09-05

(54)【発明の名称】適正画像選択システム

(51)【国際特許分類】

   G01C 11/06 20060101AFI20220829BHJP

   G06T 17/05 20110101ALI20220829BHJP

【ＦＩ】

G01C11/06

G06T17/05

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021027576

(22)【出願日】2021-02-24

(71)【出願人】

【識別番号】390023249

【氏名又は名称】国際航業株式会社

(74)【代理人】

【識別番号】110001335

【氏名又は名称】弁理士法人 武政国際特許商標事務所

(72)【発明者】

【氏名】武田 浩志

(72)【発明者】

【氏名】横山 亮

(72)【発明者】

【氏名】高橋 元気

(72)【発明者】

【氏名】鈴木 久美子

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA02

5B050BA04

5B050BA09

5B050BA13

5B050CA07

5B050DA07

5B050EA07

5B050EA13

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

(57)【要約】

【課題】本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、取得された空中写真の中からオクルージョンの少ないものをステレオペア画像として選択することができる適正画像選択システムを提供することにある。
【解決手段】本願発明の適正画像選択システムは、対象領域のステレオ実体視に用いる適正画像を選択するシステムであって、画像記憶手段と地形モデル記憶手段、法線ベクトル算出手段、視線ベクトル算出手段、角度算出手段、画像選択手段を備えたものである。角度算出手段が注視点における法線ベクトルと画像に係る視線ベクトルとの角度差を算出し、画像選択手段が角度算出手段によって算出された角度差に基づいて注視点に適した適正画像を選択する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象領域のステレオ実体視に用いる適正画像を選択するシステムであって、
対象領域を一部重複しながら撮影して得られた複数の画像を記憶する画像記憶手段と、
前記対象領域を３次元で表した地形モデルを記憶する地形モデル記憶手段と、
前記対象領域内で設定される注視点における法線ベクトルを、前記地形モデルに基づいて算出する法線ベクトル算出手段と、
前記画像を取得したときの撮影主点と、前記注視点と、からなる視線ベクトルを算出する視線ベクトル算出手段と、
前記注視点における前記法線ベクトルと、前記画像に係る前記視線ベクトルと、の角度差を算出する角度算出手段と、
前記角度算出手段によって算出された前記角度差に基づいて、前記注視点に適した前記適正画像を選択する画像選択手段と、を備えた、
ことを特徴とする適正画像選択システム。

【請求項2】

前記地形モデルは、座標が付与された複数の格子点と、複数の分割領域と、を具備する、
ことを特徴とする請求項１記載の適正画像選択システム。

【請求項3】

前記分割領域の勾配を算出する勾配算出手段と、
前記勾配があらかじめ定めた閾値を上回る前記分割領域を抽出する領域抽出手段と、をさらに備え、
前記領域抽出手段で抽出された前記分割領域に係る３次元座標点が、前記注視点として設定される、
ことを特徴とする請求項２記載の適正画像選択システム。

【請求項4】

前記対象領域の地物に対して地物分類が付与された２次元地図情報を記憶する２次元地図情報記憶手段と、
前記２次元地図情報に基づいて、特定の前記地物分類が付与された前記地物を抽出する地物抽出手段と、をさらに備え、
前記地物抽出手段で抽出された前記地物を含む前記分割領域に係る前記３次元座標点が、前記注視点として設定される、
ことを特徴とする請求項２又は請求項３記載の適正画像選択システム。

【請求項5】

前記対象領域の地物に対して地物分類が付与された２次元地図情報を記憶する２次元地図情報記憶手段と、
前記２次元地図情報に基づいて、道路縁、歩道縁、又は中央分離帯縁を抽出する地物抽出手段と、をさらに備え、
前記地物抽出手段で抽出された前記道路縁、前記歩道縁、又は前記中央分離帯縁を含む前記分割領域に係る前記３次元座標点が、前記注視点として設定される、
ことを特徴とする請求項２又は請求項３記載の適正画像選択システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、写真測量に関するものであり、より具体的には、地物の実体視にとってより適した画像を選択することができる適正画像選択システムに関するものである。

【背景技術】

【0002】

地形図を作成する場合、あるいは３次元地形モデル（３次元座標によって構成される地形モデル）を作成する場合、通常は広範囲に渡って地形計測が行われる。そして広範囲の地形計測を行うにあたっては、航空機から撮影した空中写真を用いて地形の図化（モデル化）を行う写真測量が採用されることがある。この写真測量は、同一箇所を撮影した異なる２枚一組の空中写真（いわゆるステレオペア写真）を用意し、実体視（立体視ともいう）を行うことによって、すなわち双方の写真に写された同一対象物を同定するとともにその対象物の写真上の位置の相違（視差）を利用することによって、地上における対象物の３次元座標を求める手法である。

【0003】

空中写真に写された地物の座標は、カメラ中心点（撮影主点）を基準とする前方交会法によって求められる。そのため、ステレオペア写真それぞれを撮影した時の撮影主点の座標と撮影方向、カメラの焦点距離や、主点位置のずれ、各種ひずみ（放射性ひずみ、非対称性ひずみ等）といったカメラ諸元は既知とされる。なお、写真撮影時のカメラ主点座標と撮影方向は「外部標定要素」と呼ばれ、カメラの焦点距離や、主点位置のずれ、各種ひずみ等は「内部標定要素」と呼ばれており、外部標定要素と内部標定要素の総称が標定要素である。

【0004】

空中写真測量によって地上物の座標を求めるには外部標定要素が既知とされると説明したが、必ずしもこの外部標定要素が計測等によって明らかにされるとは限らない。例えば、衛星測位システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を航空機に搭載すれば直接的に外部標定要素を得ることができ、このような計測機器を搭載していない場合は空中三角測量により外部標定要素を求めることができる。

【0005】

ところで、写真測量のために行われる撮影は、図５に示すように同一個所を多方向から撮影する多重高ラップ撮影によることもある。図５は、多重高ラップ撮影を行う状況を模式的に示すモデル図あり、図６（ａ）は多重高ラップ撮影によって得られた３×３の多重撮影画像を示す画像図、図６（ｂ）は多重高ラップ撮影によって得られた５×５の多重撮影画像を示す画像図である。

【0006】

このように、同一個所を撮影した画像が多数ある場合、選択するステレオペア写真によって得られる結果が異なることもあり、場合によっては望ましい結果が得られないこともある。そこで特許文献１では、適切なステレオペア画像の候補を自動選出する技術について提案している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１７－４９８８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に開示される技術は、実体視を実施するユーザのビュー視点に基づく「串刺しベクトル」と、撮影主点に基づく「画像ベクトル」などを用いて、適切なステレオペア画像を自動選出するものである。したがって特許文献１に開示される技術によればユーザは好適に実体視を実施することができるが、反面、オクルージョンを回避するという点では改善の余地があった。

【0009】

例えば、道路縁の３次元座標を把握したいケースでは、道路縁を覆っている街路樹によってオクルージョンが生じることがある。上空（特に直上）から撮影すると、道路縁を覆う街路樹を収めた空中写真が取得されることもあり、このような空中写真をステレオペア画像として採用すると適切な道路縁の３次元座標を得ることはできない。これに対して、斜方向から撮影した空中写真には道路縁が収められることもあり、この空中写真をステレオペア画像として採用すると適切な道路縁の３次元座標を得ることができる。すなわち、オクルージョンの問題が生じることが予測される場合、多重高ラップ撮影などによって得られる多数の空中写真の中からオクルージョンの少ないものをステレオペア画像として採用することが望ましい。

【0010】

本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、取得された空中写真の中からオクルージョンの少ないものをステレオペア画像として選択することができる適正画像選択システムを提供することにある。

【課題を解決するための手段】

【0011】

本願発明は、地形モデルに基づく「法線ベクトル」と、撮影主点に基づく「視線ベクトル」との角度差を利用することによって、オクルージョンの少ない空中写真を選択する、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。

【0012】

本願発明の適正画像選択システムは、対象領域のステレオ実体視に用いる適正画像を選択するシステムであって、画像記憶手段と地形モデル記憶手段、法線ベクトル算出手段、視線ベクトル算出手段、角度算出手段、画像選択手段を備えたものである。このうち画像記憶手段は、対象領域を一部重複しながら撮影して得られた複数の画像を記憶する手段であり、地形モデル記憶手段は、対象領域を３次元で表した地形モデルを記憶する手段である。また法線ベクトル算出手段は、対象領域内で設定される注視点における「法線ベクトル」を地形モデルに基づいて算出する手段であり、視線ベクトル算出手段は、画像を取得したときの撮影主点と注視点とからなる「視線ベクトル」を算出する手段である。そして角度算出手段が、注視点における法線ベクトルと画像に係る視線ベクトルとの角度差を算出し、画像選択手段が、角度算出手段によって算出された角度差に基づいて注視点に適した適正画像を選択する。

【0013】

本願発明の適正画像選択システムは、座標が付与された複数の格子点と複数の分割領域とを具備する地形モデルを用いたものとすることもできる。

【0014】

本願発明の適正画像選択システムは、勾配算出手段と領域抽出手段をさらに備えたものとすることもできる。この勾配算出手段は、地形モデルの分割領域の勾配を算出する手段であり、領域抽出手段は、勾配があらかじめ定めた閾値を上回る分割領域を抽出する手段である。この場合、領域抽出手段で抽出された分割領域に係る３次元座標点（この分割領域の格子点や、分割領域に含まれる地物ポリゴン等の構成点）が、注視点として設定される。

【0015】

本願発明の適正画像選択システムは、２次元地図情報記憶手段と地物抽出手段をさらに備えたものとすることもできる。この２次元地図情報記憶手段は、対象領域の地物に対して地物分類が付与された２次元地図情報を記憶する手段であり、地物抽出手段は、２次元地図情報に基づいての地物分類が付与された地物（例えば、道路縁や歩道縁、中央分離帯の外縁）を抽出する手段である。この場合、地物抽出手段で抽出された地物（例えば、道路縁や歩道縁、中央分離帯の外縁）を含む分割領域に係る３次元座標点が、注視点として設定される。

【発明の効果】

【0016】

本願発明の適正画像選択システムには、次のような効果がある。
（１）オクルージョンの少ない画像を選択したうえで対象物の３次元座標を求めることから、例えば道路縁のように陰になりやすい地物でも適切に結果を得ることができる。
（２）ユーザの判断が必要とされないため、ユーザの労力が軽減されるとともに、主観等による人為的なミスも回避され、効率的かつ高精度の結果を得ることができる。

【図面の簡単な説明】

【0017】

【図1】「法線ベクトル」と「視線ベクトル」を模式的に示すモデル図。

【図2】本願発明の適正画像選択システムの主な構成を示すブロック図。

【図3】本願発明の適正画像選択システムを使用するときの主な処理の流れを示すフロー図。

【図4】視点設定手段によって注視点が自動設定される主な処理の流れを示すフロー図。

【図5】多重高ラップ撮影を行う状況を模式的に示すモデル図。

【図6】（ａ）は多重高ラップ撮影によって得られた３×３の多重撮影画像を示す画像図、（ｂ）は多重高ラップ撮影によって得られた５×５の多重撮影画像を示す画像図。

【発明を実施するための形態】

【0018】

本願発明の適正画像選択システムの実施の一例を図に基づいて説明する。

【0019】

１．全体概要
本願発明は、「法線ベクトル」と「視線ベクトル」との角度差を利用することによってオクルージョンの少ない空中写真を選択することを技術的特徴のひとつとしている。そこで図１を参照しながら、法線ベクトルＶＮと視線ベクトルＶＳについて説明するとともに、空中写真を選択する手順について説明する。

【0020】

法線ベクトルＶＮと視線ベクトルＶＳを算出するにあたっては、後述するように注視点ＰＶが設定される。この注視点ＰＶは、例えば道路縁などユーザが座標を求めようとする点であり、特に街路樹が覆った道路縁などオクルージョンが生じるおそれがある点を設定するとよい。

【0021】

法線ベクトルＶＮは、図１に示すように注視点ＰＶにおける法線方向に設定され、注視点ＰＶを起点とする任意長さ（例えば単位長さ）のベクトルである。そして注視点ＰＶにおける法線方向は、例えばＤＳＭ（ＤｉｇｉｔａｌＳｕｒｆａｃｅＭｏｄｅｌ）やＤＴＭ（ＤｉｇｉｔａｌＴｅｒｒａｉｎＭｏｄｅｌ）といった３次元地形モデルを用いることで設定することができる。通常、３次元地形モデルは、３次元座標が付与された複数の格子点と、複数の分割領域（以下、「メッシュ」という。）によって構成されており、注視点ＰＶを含む（あるいは注視点ＰＶを格子点とする）メッシュを抽出するとともに、そのメッシュの傾斜（姿勢）に対して垂直となる方向を注視点ＰＶにおける法線方向とすることができる。あるいは、ランダムデータから形成される不整三角網（ＴＩＮ：Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ）を利用して法線方向を求めるなど、従来用いられている種々の手法によって求められる法線方向に基づいて法線ベクトルＶＮを設定することができる。

【0022】

一方、視線ベクトルＶＳは、図１に示すように撮影主点ＰＭを起点とし、注視点ＰＶを終点とするベクトルである。そして、法線ベクトルＶＮと視線ベクトルＶＳが得られると、法線ベクトルＶＮと視線ベクトルＶＳとの挟角（以下、「ベクトル挟角」という。）を求める。ところで、法線ベクトルＶＮは原則として１の注視点ＰＶに対してひとつだけ設定されるが、視線ベクトルＶＳは１の注視点ＰＶに対して撮影主点ＰＭの数だけ設定することができる。すなわち１の注視点ＰＶについて、複数（撮影主点ＰＭの数だけ）のベクトル挟角が得られることとなる。そこで、小さいベクトル挟角を与える視線ベクトルＶＳを選出し、この視線ベクトルＶＳに係る空中写真を選択する。ベクトル挟角が小さいということは、法線ベクトルＶＮが概ね撮影主点ＰＭに向かっているとともに視線ベクトルＶＳが概ね注視点ＰＶに向かっていることを意味するため、その視線ベクトルＶＳに係る空中写真はオクルージョンの少ない（すなわち実体視に適した）画像として考えることができるわけである。

【0023】

２．適正画像選択システム
次に、本願発明の適正画像選択システムについて、図を参照しながら詳しく説明する。図２は、本願発明の適正画像選択システム１００の主な構成を示すブロック図である。この図に示すように本願発明の適正画像選択システム１００は、法線ベクトル算出手段１０１と視線ベクトル算出手段１０２、角度算出手段１０３、画像選択手段１０４、画像記憶手段１０９、３Ｄ地形モデル記憶手段１１０を含んで構成され、さらに勾配算出手段１０５や領域抽出手段１０６、地物抽出手段１０７、注視点設定手段１０８、２Ｄ地図情報記憶手段１１１、撮影諸元記憶手段１１２などを含んで構成することもできる。

【0024】

適正画像選択システム１００を構成する法線ベクトル算出手段１０１と視線ベクトル算出手段１０２、角度算出手段１０３、画像選択手段１０４、勾配算出手段１０５、領域抽出手段１０６、地物抽出手段１０７、注視点設定手段１０８は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、ＣＰＵ等のプロセッサと、ＲＯＭやＲＡＭといったメモリを具備しており、さらにマウスやキーボード等の入力手段やディスプレイを含むものもあり、タブレット型コンピュータ（ｉＰａｄ（登録商標）など）やスマートフォンといった携帯型端末機器、あるいはパーソナルコンピュータ（ＰＣ）やサーバーなどを例示することができる。

【0025】

また、画像記憶手段１０９と３Ｄ地形モデル記憶手段１１０、２Ｄ地図情報記憶手段１１１、撮影諸元記憶手段１１２は、コンピュータ装置の記憶装置を利用することもできるし、そのほかデータベースサーバーに構築することもできる。データベースサーバーに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由（つまり無線通信）で保存するクラウドサーバーとすることもできる。

【0026】

以下、適正画像選択システム１００を構成する主な要素ごとに詳しく説明する。

【0027】

（３Ｄ地形モデル記憶手段と２Ｄ地図情報記憶手段）
３Ｄ地形モデル記憶手段１１０は、対象とする範囲（以下、「対象領域」という。）の３次元地形モデル（ＤＳＭやＤＴＭなど）を記憶する手段である。一方、２Ｄ地図情報記憶手段１１１は、対象領域の２次元地図情報を記憶するものである。ここで２次元地図情報とは、高さ情報を備えていない地形図といった２次元の地形情報であり、地物に関する情報（以下、「地物情報」という。）を具備する地図情報である。また地物情報とは、ポリゴンやポリラインなど地物の平面位置と形状に関する情報（以下、「地物図形」という。）と、地物に関する属性情報を含むものである。さらに地物の属性情報には道路や道路縁、歩道縁、中央分離帯の外縁（以下、単に「中央分離帯縁」という。）、建物や建物の外縁、公園、学校といった地物の種別（以下、「地物分類」という。）が含まれている。つまり、対象領域内に地物図形が平面配置され、この地物図形には地物に関する属性情報（地物分類を含む）が関連付けられているわけである。

【0028】

（画像記憶手段と撮影諸元記憶手段）
画像記憶手段１０９は、対象領域を一部重複しながら撮影して得られた複数の画像を記憶する手段であり、例えば図６に示すように多重高ラップ撮影によって得られた多重撮影画像を記憶することができるものである。また撮影諸元記憶手段１１２は、画像記憶手段１０９に記憶されるそれぞれの画像を取得したときの撮影主点ＰＭを記憶するものであり、そのほかの外部標定要素や内部標定要素も合わせて記憶することができる。なお撮影主点ＰＭは、その撮影主点ＰＭに係る画像に関連付けられて（紐づけられて）撮影諸元記憶手段１１２に記憶される。

【0029】

（注視点設定手段）
注視点設定手段１０８は、注視点ＰＶを設定する手段である。この注視点設定手段１０８は、ユーザが地形モデルや画像などを目視しながらポインティングデバイスやキーボードを操作することによって設定する仕様とすることもできるし、ユーザが操作することなく自動で設定する仕様とすることもできる。以下、注視点設定手段１０８が注視点ＰＶを自動設定する処理について説明する。

【0030】

既述したとおり注視点ＰＶは、道路縁などユーザが座標を求めようとする点であり、特に街路樹が覆った道路縁などオクルージョンが生じるおそれがある点を設定するとよい。そこで、オクルージョンが予測されるメッシュ（以下、「特定メッシュ」という。）を３Ｄ地形モデルから抽出する。具体的には、勾配算出手段１０５が３Ｄ地形モデル記憶手段１１０から３Ｄ地形モデルを読み出すとともにメッシュの傾斜（以下、「メッシュ勾配」という。）を算出し、あらかじめ定めた閾値（以下、「勾配閾値」という。）を上回るメッシュを領域抽出手段１０６が特定メッシュとして抽出する（図１）。なお、メッシュ勾配は事前に計算したうえで３Ｄ地形モデル記憶手段１１０に記憶させておくこともでき、この場合はメッシュ勾配を算出することなく３Ｄ地形モデル記憶手段１１０から読み出すだけでよい。メッシュ勾配は水平面となす角として算出され、同様に勾配閾値も水平面となす角として設定される。通常、街路樹のような遮蔽物がない場合、その地物（つまりメッシュ）は概ね水平面、あるいは緩い傾斜となっている。これに対して、水平面から大きく傾斜しているメッシュは、通常の状態ではない、すなわち街路樹のような遮蔽物の存在が疑われるわけである。領域抽出手段１０６によって特定メッシュが抽出されると、注視点設定手段１０８がその特定メッシュの格子点を注視点ＰＶとして設定する（図１）。あるいは、３Ｄ地形モデル記憶手段１１０が３Ｄ地形モデルとは別に（独立した）地物のポリゴンやポリライン等を記憶しているケースでは、特定メッシュに含まれるポリゴン等の３次元の構成点（以下、「３Ｄ構成点」という。）を注視点ＰＶとして設定することもできる。すなわち、特定メッシュに係る点（構成する点や含まれる点）であって、３次元座標を有する点であれば、注視点ＰＶとして設定することができるわけである。

【0031】

また、特定の地物分類が付与された地物（以下、「特定地物」という。）に対して、注視点ＰＶを設定することもある。この場合、地物抽出手段１０７が２Ｄ地図情報記憶手段１１１に照会することによって特定地物の平面座標を取得する（図１）。例えば、ユーザが特定地物として道路縁を指定すると、地物抽出手段１０７は道路縁の平面座標を２Ｄ地図情報記憶手段１１１から取得するわけである。もちろんユーザは、道路縁に代えて歩道縁や中央分離帯縁などを特定地物として指定することもできる。そして注視点設定手段１０８は、特定地物（例えば道路縁）の平面座標に対応するメッシュを特定メッシュとして設定するとともに、特定メッシュの格子点や特定メッシュに含まれる地物ポリゴン等の３Ｄ構成点を注視点ＰＶとして設定する（図１）。このとき、地物抽出手段１０７が取得した特定地物の平面座標に対応するメッシュに対して、勾配算出手段１０５がメッシュ勾配を算出したうえで領域抽出手段１０６が特定メッシュとして抽出する仕様とすることもできる。

【0032】

（法線ベクトル算出手段）
法線ベクトル算出手段１０１は、法線ベクトルＶＮを算出する手段である。より詳しくは法線ベクトル算出手段１０１が、注視点設定手段１０８によって設定された注視点ＰＶに係るメッシュを３Ｄ地形モデル記憶手段１１０から読み出し、そのメッシュの傾斜（姿勢）に基づいて法線ベクトルＶＮを算出する。なお法線ベクトル算出手段１０１は、注視点設定手段１０８が注視点ＰＶを設定するタイミングで算出することもできるし、メッシュの格子点や地物ポリゴン等の３Ｄ構成点ごとにあらかじめ算出しておくこともできる。

【0033】

（視線ベクトル算出手段）
視線ベクトル算出手段１０２は、視線ベクトルＶＳを算出する手段である。より詳しくは視線ベクトル算出手段１０２が、撮影諸元記憶手段１１２から撮影主点ＰＭを読み出し、この撮影主点ＰＭと注視点設定手段１０８によって設定された注視点ＰＶに基づいて視線ベクトルＶＳを算出する。なお視線ベクトル算出手段１０２は、既述したとおり撮影主点ＰＭの数だけ視線ベクトルＶＳを算出することができる。もちろん、全ての撮影主点ＰＭ（つまりすべての画像）に対して視線ベクトルＶＳを算出する仕様とすることもできるし、例えば画角内に注視点ＰＶが含まれる画像のみを選出するなど、特定の条件に合致する画像を選出したうえで視線ベクトルＶＳを算出する仕様とすることもできる。

【0034】

（角度算出手段）
角度算出手段１０３は、法線ベクトルＶＮと視線ベクトルＶＳに基づいてベクトル挟角を算出する手段である。また角度算出手段１０３は、ベクトル挟角に代えて（あるいは加えて）法線ベクトルＶＮと視線ベクトルＶＳに基づく内積（以下、「ベクトル内積」という。）を算出することもできる。ただしベクトル内積を算出する場合、法線ベクトルＶＮと視線ベクトルＶＳのうちいずれか一方を逆向き（負の値を乗じる）としたうえで算出される。

【0035】

（画像選択手段）
画像選択手段１０４は、ベクトル挟角（ベクトル内積）に基づいて、実体視に適した画像（以下、「適正画像」という。）を画像記憶手段１０９から選択する手段である。ベクトル挟角に基づいて判断する場合は小さな値のベクトル挟角に係る（つまり視線ベクトルＶＳに係る）画像が選択され、ベクトル内積に基づいて判断する場合は大きな値のベクトル内積に係る（つまり視線ベクトルＶＳに係る）画像が選択される。このとき、ステレオペアとして上位２つの画像を適正画像として選択することもできるし、ベクトル挟角があらかじめ定めた閾値を下回る（ベクトル内積のときは上回る）すべての画像を適正画像として選択することもできるし、あるいは上位（例えば１～６位）に位置する画像を適正画像として選択することもできる。

【0036】

（処理の流れ）
続いて、図３を参照しながら本願発明の適正画像選択システム１００を使用するときの主な処理の流れについて説明する。なお図３や後述する図４のフロー図では、中央の列に実施する行為を示し、左列にはその行為に必要なものを、右列にはその行為から生ずるものを示している。

【0037】

はじめに注視点設定手段１０８によって注視点ＰＶを設定する（図３のＳｔｅｐ２１０）。既述したとおり注視点設定手段１０８は、ユーザが地形モデルや画像などを目視しながらポインティングデバイスやキーボードを操作することによって設定する仕様とすることもできるし、ユーザが操作することなく自動で設定する仕様とすることもできる。以下、図４を参照しながら、注視点設定手段１０８による注視点ＰＶの自動設定処理について説明する。

【0038】

ユーザ操作によって特定地物（例えば道路縁）が指定されると、地物抽出手段１０７が特定地物の平面座標を２Ｄ地図情報記憶手段１１１から取得する（図４のＳｔｅｐ２０１）。そして勾配算出手段１０５が、この平面座標に対応するメッシュに対してメッシュ勾配を算出する（あるいは、勾配算出手段１０５が事前に算出したメッシュを読み出す）とともに（図４のＳｔｅｐ２０２）、領域抽出手段１０６が、勾配閾値を上回るメッシュを特定メッシュとして抽出する（図４のＳｔｅｐ２０３）。領域抽出手段１０６によって特定メッシュが抽出されると、注視点設定手段１０８が特定メッシュに係る３次元座標点（特定メッシュの格子点や、特定メッシュに含まれる地物ポリゴン等の３Ｄ構成点）を注視点ＰＶとして設定する（図４のＳｔｅｐ２１０）。

【0039】

注視点設定手段１０８によって注視点ＰＶが設定されると、法線ベクトル算出手段１０１がその注視点ＰＶに対して法線ベクトルＶＮを算出し（図３のＳｔｅｐ２２０）、また視線ベクトル算出手段１０２が視線ベクトルＶＳを算出する（図３のＳｔｅｐ２３０）。なお、メッシュの格子点や地物ポリゴン等の３Ｄ構成点ごとにあらかじめ法線ベクトルＶＮが算出されているときは、注視点ＰＶに対応する法線ベクトルＶＮを読み出すだけでよい。そして、法線ベクトルＶＮと視線ベクトルＶＳが得られると、角度算出手段１０３がベクトル挟角（ベクトル内積）を算出する（図３のＳｔｅｐ２４０）。なお、視線ベクトル算出手段１０２は撮影主点ＰＭを変えながら繰り返し視線ベクトルＶＳを算出し、これに伴い角度算出手段１０３も繰り返しベクトル挟角を算出する。このとき、全ての撮影主点ＰＭに対して視線ベクトルＶＳとベクトル挟角を算出することもできるし、画角内に注視点ＰＶが含まれる画像に係る撮影主点ＰＭに対して視線ベクトルＶＳとベクトル挟角を算出することもできる。

【0040】

角度算出手段１０３によってベクトル挟角が算出されると、画像選択手段１０４がベクトル挟角に基づいて画像記憶手段１０９から適正画像を選択する。ところで、画像選択手段１０４が選択した適正画像内に注視点ＰＶが含まれないことも考えられる。そこで、画像選択手段１０４がベクトル挟角に基づいて選択した画像を一旦、「暫定画像」とし（図３のＳｔｅｐ２５０）、この暫定画像内に注視点ＰＶが含まれるか否かを判定するとよい（図３のＳｔｅｐ２６０）。すなわち、暫定画像内に注視点ＰＶが含まれる場合は（図３のＳｔｅｐ２６０のＹｅｓ）この暫定画像を適正画像として決定し（図３のＳｔｅｐ２７０）、一方、暫定画像内に注視点ＰＶが含まれない場合は（図３のＳｔｅｐ２６０のＮｏ）撮影主点ＰＭを変更して一連の処理（図３のＳｔｅｐ２３０～Ｓｔｅｐ２６０）を繰り返し実行する。ただし、画角内に注視点ＰＶが含まれる画像に係る撮影主点ＰＭに対して視線ベクトルＶＳとベクトル挟角を算出するケースでは、暫定画像の設定処理（図３のＳｔｅｐ２５０）と暫定画像の判定処理（図３のＳｔｅｐ２６０）は省略することができる。

【産業上の利用可能性】

【0041】

本願発明の適正画像選択システムは、道路施設をはじめとする様々な施設の管理や、自動運転に使用される地図情報として、特に好適に利用することができる。また本願発明によれば、高齢者や車いすにとって有益な段差情報を高い精度で提供することができ、さらに防災計画にも有効活用することができるなど、本願発明の適正画像選択システムは、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明である。

【符号の説明】

【0042】

１００ 本願発明の適正画像選択システム
１０１ 法線ベクトル算出手段
１０２ 視線ベクトル算出手段
１０３ 角度算出手段
１０４ 画像選択手段
１０５ 勾配算出手段
１０６ 領域抽出手段
１０７ 地物抽出手段
１０８ 注視点設定手段
１０９ 画像記憶手段
１１０ ３Ｄ地形モデル記憶手段
１１１ ２Ｄ地図情報記憶手段
１１２ 撮影諸元記憶手段
ＰＭ 撮影主点
ＰＶ 注視点
ＶＮ 法線ベクトル
ＶＳ 視線ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】