(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143697
(43)【公開日】2024-10-11
(54)【発明の名称】装置、システム、方法またはプログラム
(51)【国際特許分類】
G06V 10/82 20220101AFI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
G06V 20/58 20220101ALI20241003BHJP
G06T 7/11 20170101ALI20241003BHJP
【FI】
G06V10/82
G06T7/00 350C
G06V20/58
G06T7/00 Q
G06T7/11
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023056487
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】大石 憲児
(72)【発明者】
【氏名】功刀 弘太
(72)【発明者】
【氏名】河野 武尊
(72)【発明者】
【氏名】根岸 萌友
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA08
5L096BA18
5L096CA04
5L096EA35
5L096FA14
5L096FA59
5L096FA69
5L096MA01
(57)【要約】 (修正有)
【課題】装置、システム、方法またはプログラムを提供する。
【解決手段】それぞれ自船に搭載された撮像装置2および操縦支援装置3と、陸上に配置された検出装置4とを備える船の操縦を支援するシステム1であって、操縦支援装置3は、船上から水面を撮像した撮像画像を取得する画像取得部と、撮像画像の撮像領域で水面上の物体を検出する検出部と、予め設定された検出対象物を画像内で検出する陸上の検出装置に対し、検出部により物体が検出されたことに応じて撮像画像を送信する送信部と、検出装置から前記検出対象物の検出結果を受信する受信部と、を備える。検出部は、撮像画像に画像解析を行って水面上の物体を検出する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
船に搭載される装置であって、
船上から水面を撮像した撮像画像を取得する画像取得部と、
前記撮像画像の撮像領域で水面上の物体を検出する検出部と、
予め設定された検出対象物を画像内で検出する陸上の検出装置に対し、前記検出部により物体が検出されたことに応じて前記撮像画像を送信する送信部と、
前記検出装置から前記検出対象物の検出結果を受信する受信部と、
を備える、装置。
【請求項2】
前記検出部は、前記撮像画像に画像解析を行って水面上の物体を検出する、請求項1に記載の装置。
【請求項3】
前記検出部は、前記検出装置よりも画像解析に必要とする処理能力が低い、請求項2に記載の装置。
【請求項4】
前記画像取得部により取得された複数の前記撮像画像のうち、撮像画像内での水面上の物体のサイズが基準サイズよりも大きい撮像画像を選択する第1選択部をさらに備え、
前記送信部は、前記第1選択部により選択された前記撮像画像を送信する、請求項2に記載の装置。
【請求項5】
前記画像取得部により取得された複数の前記撮像画像のうち、撮像画像内での水面上の物体の輝度、コントラストまたはシャープネスを示す予め設定された少なくとも1つのパラメータが基準範囲内である撮像画像を選択する第2選択部をさらに備え、
前記送信部は、前記第2選択部により選択された前記撮像画像を送信する、請求項2に記載の装置。
【請求項6】
前記撮像画像から、前記検出部により検出された物体が含まれる領域を抽出する抽出部をさらに備え、
前記送信部は、前記抽出部により抽出された領域の撮像画像を送信する、請求項1に記載の装置。
【請求項7】
前記送信部は、前記撮像画像を基準時間ごとに送信する、請求項1に記載の装置。
【請求項8】
請求項1から7の何れか一項に記載の装置と、
前記装置から撮像画像が送信されることに応じて、予め設定された検出対象物の検出を当該撮像画像内で行い、前記装置に検出結果を送信する、陸上の検出装置と、
を備えるシステム。
【請求項9】
船に搭載される装置で実行される方法であって、
船上から水面を撮像した撮像画像を取得する画像取得段階と、
前記撮像画像の撮像領域で水面上の物体を検出する検出段階と、
画像内で検出対象物を検出する陸上の検出装置に対し、前記検出段階により物体が検出されたことに応じて前記撮像画像を送信する送信段階と、
前記検出装置から前記検出対象物の検出結果を受信する受信段階と、
を備える、方法。
【請求項10】
船に搭載されるコンピュータを、
船上から水面を撮像した撮像画像を取得する画像取得部と、
前記撮像画像の撮像領域で水面上の物体を検出する検出部と、
画像内で検出対象物を検出する陸上の検出装置に対し、前記検出部により物体が検出されたことに応じて前記撮像画像を送信する送信部と、
前記検出装置から前記検出対象物の検出結果を受信する受信部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、装置、システム、方法またはプログラムに関する。
【背景技術】
【0002】
特許文献1~4には「サーバ20Bは、船体の撮影画像(船体に設置されるカメラの撮影画像)、船体に搭載される装置を撮影する撮影画像等に基づいて、画像認識を行うことにより、煙が発生していることを検出する。」(特許文献1の段落0148)等と記載されている。
[先行技術文献]
[特許文献]
[特許文献1] 国際公開2021/132437号
[特許文献2] 特開2021-77202号公報
[特許文献3] 特開2021-103396号公報
[特許文献4] 特開2021-106568号公報
【発明の概要】
【0003】
本発明の第1の態様においては、船に搭載される装置であって、船上から水面を撮像した撮像画像を取得する画像取得部と、前記撮像画像の撮像領域で水面上の物体を検出する検出部と、予め設定された検出対象物を画像内で検出する陸上の検出装置に対し、前記検出部により物体が検出されたことに応じて前記撮像画像を送信する送信部と、前記検出装置から前記検出対象物の検出結果を受信する受信部と、を備える、装置が提供される。
【0004】
上記の装置においては、前記検出部は、前記撮像画像に画像解析を行って水面上の物体を検出してよい。
【0005】
上記の装置においては、前記検出部は、前記検出装置よりも画像解析に必要とする処理能力が低くてよい。
【0006】
検出部が画像解析を行う上記何れかの装置においては、前記画像取得部により取得された複数の前記撮像画像のうち、撮像画像内での水面上の物体のサイズが基準サイズよりも大きい撮像画像を選択する第1選択部をさらに備え、前記送信部は、前記第1選択部により選択された前記撮像画像を送信してよい。
【0007】
検出部が画像解析を行う上記何れかの装置においては、前記画像取得部により取得された複数の前記撮像画像のうち、撮像画像内での水面上の物体の輝度、コントラストまたはシャープネスを示す予め設定された少なくとも1つのパラメータが基準範囲内である撮像画像を選択する第2選択部をさらに備え、前記送信部は、前記第2選択部により選択された前記撮像画像を送信してよい。
【0008】
上記何れかの装置においては、前記撮像画像から、前記検出部により検出された物体が含まれる領域を抽出する抽出部をさらに備え、前記送信部は、前記抽出部により抽出された領域の撮像画像を送信してよい。
【0009】
上記何れかの装置においては、前記送信部は、前記撮像画像を基準時間ごとに送信してよい。
【0010】
本発明の第2の態様においては、上記何れかの装置と、前記装置から撮像画像が送信されることに応じて、予め設定された検出対象物の検出を当該撮像画像内で行い、前記装置に検出結果を送信する、陸上の検出装置と、を備えるシステムが提供される。
【0011】
本発明の第3の態様においては、船に搭載される装置で実行される方法であって、船上から水面を撮像した撮像画像を取得する画像取得段階と、前記撮像画像の撮像領域で水面上の物体を検出する検出段階と、画像内で検出対象物を検出する陸上の検出装置に対し、前記検出段階により物体が検出されたことに応じて前記撮像画像を送信する送信段階と、前記検出装置から前記検出対象物の検出結果を受信する受信段階と、を備える、方法が提供される。
【0012】
本発明の第4の態様においては、船に搭載されるコンピュータを、船上から水面を撮像した撮像画像を取得する画像取得部と、前記撮像画像の撮像領域で水面上の物体を検出する検出部と、画像内で検出対象物を検出する陸上の検出装置に対し、前記検出部により物体が検出されたことに応じて前記撮像画像を送信する送信部と、前記検出装置から前記検出対象物の検出結果を受信する受信部として機能させるプログラムが提供される。
【0013】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0014】
【
図5】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
【発明を実施するための形態】
【0015】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0016】
<1.システム1>
図1は、本実施形態に係るシステム1を示す。システム1は船に搭載されて船の操縦を支援するものであり、それぞれ自船に搭載された撮像装置2および操縦支援装置3と、陸上に配置された検出装置4とを備える。
【0017】
<1.1.撮像装置2>
撮像装置2は、船上から水面を撮像する。撮像装置2は、自船周辺の水域の少なくとも一部を撮像してよい。撮像装置2は、基準インターバル毎に静止画を撮像することとして説明するが、オペレータの操作に応じて静止画像を撮像することとしてもよいし、常時、動画像を撮像することとしてもよい。撮像装置2は可視光で撮像を行ってもよいし、赤外線や紫外線(一例としてX線)で撮像を行ってもよい。撮像装置2は、撮像した画像(撮像画像とも称する)を操縦支援装置3に供給してよい。
【0018】
なお、撮像装置2が動画像を撮像する場合には、供給される画像は動画像内のフレームであってよく、撮像装置2が静止画像を撮像する場合には、供給される画像は静止画像であってよい。また、本実施形態では一例として、1つの撮像装置2が自船に搭載されることとして説明するが、複数の撮像装置2が搭載されてもよい。
【0019】
<1.2.検出装置4>
検出装置4は、予め設定された検出対象物を画像内で検出する。検出装置4は、ディープラーニングなどの学習処理により生成されたニューラルネットワークなどの画像解析エンジンを用いて検出対象物を検出してよい。
【0020】
検出装置4は、画像が入力されることに応じて、当該画像内で検出対象物を検出してよい。本実施形態では一例として検出装置4は、操縦支援装置3から撮像画像が送信されることに応じて、当該撮像画像内で検出対象物の検出を行い、検出結果を操縦支援装置3に送信してよい。検出結果には、検出対象物の有無が含まれてよい。検出結果には、画像内での検出対象物の位置、および、検出対象物の種類がさらに含まれてもよい。検出対象物は人や船、ブイ等であってよい。
【0021】
<1.3.操縦支援装置3>
操縦支援装置3は、装置の一例であり、画像取得部31と、検出部32と、選択部33と、抽出部34と、通信部35と、表示制御部36と、表示部37とを有する。
【0022】
<1.3.1.画像取得部31>
画像取得部31は、船上から水面を撮像した撮像画像を取得する。画像取得部31は、撮像装置2から撮像画像を取得してよい。画像取得部31は、取得した撮像画像を検出部32および表示制御部36に供給してよい。
【0023】
<1.3.2.検出部32>
検出部32は、撮像画像の撮像領域で水面上の物体を検出する。検出部32は、撮像画像に画像解析を行って水面上の物体を検出してよい。検出部32は、水面上の物体を検出対象物であるか否かに関わらず検出してよい。一例として、検出部32は、画像内の被写体のうち、水面以外の物体をそれぞれ検出してよい。検出部32は、波や渦、泡を水面としてよく、物体としては検出しなくてよい。
【0024】
検出部32は、検出装置4よりも画像解析に必要とする処理能力が低くてよく、画像解析の精度が低くてよい。一例として、検出部32および検出装置4の画像解析エンジンがそれぞれニューラルネットワークである場合に、検出部32の画像解析エンジンは検出装置4の画像解析エンジンよりも階層数の少ないニューラルネットワークであってよい。
【0025】
検出部32は、検出結果を選択部33に供給してよい。検出部32は、撮像画像内で水面上の物体を検出したことに応じて、当該撮像画像内での物体の位置情報を選択部33に供給してよい。撮像画像内での物体の位置情報は、撮像画像内で物体が占める領域を示してよい。
【0026】
<1.3.3.選択部33>
選択部33は、第1選択部の一例であってよく、画像取得部31により取得された複数の撮像画像のうち、撮像画像内での水面上の物体のサイズが基準サイズよりも大きい撮像画像を選択してよい。選択部33は、検出部32から供給される、画像内での物体の位置情報に基づいて撮像画像内での物体のサイズを算出してよい。基準サイズは予め任意に設定されてよく、一例として検出対象物の最小サイズよりも小さいサイズに設定されてよい。
【0027】
選択部33は、第2選択部の一例であってよく、画像取得部31により取得された複数の撮像画像のうち、予め設定された少なくとも1つのパラメータが基準範囲内である撮像画像を選択してよい。各パラメータは、撮像画像内での水面上の物体の輝度、コントラストまたはシャープネスを示してよい。
【0028】
選択部33は、検出部32から供給される、画像内での物体の位置情報に基づいて撮像画像内の物体を特定し、当該物体の輝度、コントラストまたはシャープネスを示すパラメータを算出してよい。物体の輝度は、物体の領域内の輝度の平均値であってもよいし、最大値であってもよいし、最小値であってもよい。物体のコントラストは、物体の領域内での輝度の最大値と最小値との差であってよい。物体のシャープネスは、物体の境界の濃度差であってよく、濃度差の平均値であってもよいし、最大値であってもよいし、最小値であってもよい。基準範囲は輝度、コントラストおよびシャープネスのうち、選択部33により算出されるパラメータについてそれぞれ予め任意に設定されてよい。基準範囲は最小値のみを含む範囲であってもよい。
【0029】
選択部33は、選択した撮像画像を抽出部34に供給してよい。選択部33は、撮像画像内での物体の位置情報を併せて抽出部34に供給してよい。
【0030】
<1.3.4.抽出部34>
抽出部34は、撮像画像から、検出部32により検出された物体が含まれる領域を抽出する。抽出部34は、選択部33から供給される、撮像画像内での物体の位置情報に基づいて領域を抽出してよい。例えば、抽出部34は、撮像画像内での物体の位置情報により示される領域を撮像画像内での物体の占有領域としてよく、占有領域の全体を含む矩形状の領域をトリミング加工して撮影画像から抽出してよい。抽出部34は、抽出した領域の撮像画像を通信部35に供給してよい。
【0031】
<1.3.5.通信部35>
通信部35は、検出装置4と無線通信を行う。通信部35は送信部の一例であってよく、検出装置4に対し、検出部32により物体が検出されたことに応じて撮像画像を送信してよい。
【0032】
通信部35は、選択部33により選択された撮像画像を送信してよい。例えば、通信部35は、撮像画像内での物体のサイズが基準サイズよりも大きいことにより選択部33によって選択された撮像画像を送信してよい。通信部35は、撮像画像内での物体のパラメータが基準範囲内であることにより選択部33によって選択された撮像画像を送信してもよい。
【0033】
通信部35は、抽出部34により抽出された領域の撮像画像を送信してよい。なお、送信される撮像画像には、抽出部34によるトリミング加工に加えて、他の任意の画像処理が行われていてもよい。この場合には、操縦支援装置3には、撮像画像に画像処理を行う画像処理部が具備されてもよい。
【0034】
通信部35は、受信部の一例であってもよく、検出装置4から検出対象物の検出結果を受信してよい。通信部35は、受信した検出結果を表示制御部36に供給してよい。
【0035】
<1.3.6.表示制御部36>
表示制御部36は、表示部37に種々の情報を表示させてよい。例えば、表示制御部36は、画像取得部31により取得された撮像画像を表示部37に表示させてよい。表示制御部36は、検出装置4による検出対象物の検出結果を表示部37に表示させてよい。
【0036】
<1.3.7.表示部37>
表示部37は、表示制御部36による制御に応じて種々の情報を表示してよい。
【0037】
以上の操縦支援装置3によれば、撮像画像内での検出対象物の検出結果を陸上の検出装置4から受信するので、船上で撮像画像内の検出対象物を検出する場合よりも高精度の検出結果を取得することができる。また、水面上の物体が検出されたことに応じて撮像画像を検出装置4に送信するので、水面上の物体の有無に関わらず撮像画像を検出装置4に送信する場合と比較して、通信量を軽減することができる。
【0038】
また、検出部32は検出装置4よりも画像解析に必要とする処理能力が低いので、検出部32よりも処理能力が高い検出装置4を検出対象物の検出に用いることで、より高精度に検出対象物を検出することができる。
【0039】
また、撮像画像に画像解析を行って水面上の物体を検出するので、レーダなどにより水面上の物体を検出する場合と異なり、簡易な構成で物体を検出することができる。従って、レーダを搭載できない小型船においても、物体を検出することができる。
【0040】
また、画像取得部31により取得される複数の撮像画像のうち、物体のサイズが基準サイズよりも大きい撮像画像が選択されて検出装置4に送信されるので、検出対象物の検出に有効な撮像画像を検出装置4に送信して効率的に検出を行わせることができる。
【0041】
また、画像取得部31により取得される複数の撮像画像のうち、物体の輝度、コントラストまたはシャープネスを示す予め設定された少なくとも1つのパラメータが基準範囲内である撮像画像が選択されて検出装置4に送信されるので、検出対象物の検出に有効な撮像画像を検出装置4に送信して効率的に検出を行わせることができる。
【0042】
また、検出された物体が含まれる領域が撮像画像から抽出され、抽出された領域の撮像画像が検出装置4に送信されるので、検出された物体が含まれない領域が送信される場合と比較して、検出対象物の検出に有効な領域の撮像画像を検出装置4に送信して効率的に検出を行わせることができる。
【0043】
<2.動作>
図2はシステム1の動作を示す。システム1は、ステップS11~S43の処理を行うことにより船の操縦を支援してよい。なお、システム1に複数の撮像装置2が具備される場合には、
図2の動作は撮像装置2ごとに行われてよい。
【0044】
ステップS11において操縦支援装置3の画像取得部31は、船上から水面を撮像した撮像画像を取得する。画像取得部31は、撮像装置2が撮像した撮像画像を逐次、取得してよい。
【0045】
ステップS13において検出部32は、撮像画像の撮像領域で水面上の物体を検出する。検出部32は、撮像画像に画像解析を行って水面上の物体の検出を試行することにより、物体を検出してよい。本実施形態においては一例として、検出部32は、撮像領域内で単一の物体を検出してよい。なお、物体が検出されない場合には、ステップS11~S13の処理が繰り返されてよい。
【0046】
ステップS15において選択部33は、画像取得部31により取得された複数の撮像画像のうち、撮像画像内での物体のサイズが基準サイズよりも大きい撮像画像を選択する。選択部33は、物体のサイズが基準サイズよりも大きいことに加えて、または、これに代えて、撮像画像内での物体のパラメータが基準範囲内である撮像画像を選択してもよい。
【0047】
ステップS17において抽出部34は、検出部32により検出された物体が含まれる領域を撮像画像から抽出する。一例として、抽出部34は、撮像画像内での物体の占有領域の全体を含む最小サイズの矩形状の領域をトリミング加工して撮影画像から抽出してよい。
【0048】
ステップS19において通信部35は、検出装置4に対し、撮像画像を送信する。これにより、ステップS13で検出部32により物体が検出されたことに応じて検出装置4に撮像画像が送信される。ステップS19の処理が終了したら、上述のステップS11に処理が移行してよい。これによりステップS19の処理が繰り返される場合には、通信部35は、撮像画像を基準時間ごとに送信してよい。基準時間は、1分など、任意の長さに設定されてよい。
【0049】
操縦支援装置3から撮像画像が送信されると、検出装置4は、ステップS31において当該撮像画像を受信し、ステップS33において撮像画像内で検出対象物の検出を試行し、ステップS35において検出結果を操縦支援装置3に送信する。なお、操縦支援装置3から複数の撮像画像が送信される場合には、検出装置4は、これら複数の撮像画像を用いて検出対象物を検出してよい。
【0050】
検出装置4から検出結果が送信されると、操縦支援装置3の通信部35がステップS41で検出結果を受信し、表示制御部36がステップS43で検出結果を表示部37に表示させる。表示制御部36は、画像取得部31により取得された撮像画像と、検出装置4による検出対象物の検出結果とを併せて表示部37に表示させてよい。なお、ステップS41~S43の処理はステップS11~S19の処理と並行して行われてよい。ステップS41の処理が終了したら、上述のステップS11に処理が移行してよい。
【0051】
以上の動作によれば、撮像画像が基準時間ごとに送信されるので、常時、撮像画像が送信される場合と比較して通信量を軽減することができる。
【0052】
なお、上記の動作では、ステップS13の処理において検出部32が撮像領域で単一の物体を検出することとして説明したが、複数の物体をそれぞれ検出してもよい。ステップS13の処理において撮像画像内で複数の物体が検出された場合には、検出された物体ごとにステップS15~S43の処理が実行されてよい。
【0053】
<3.動作例>
図3は、検出装置4に送信される撮像画像を示す。本動作例においては、水面上の物体Bが検出された撮像画像のうち、物体Bの占有領域の全体が含まれる破線枠内の領域が検出装置4に送信されてよい。
【0054】
図4は、検出装置4による検出結果を示す。検出装置4は、
図3の破線枠内の撮像画像が入力されることに応じて、当該撮像画像内の検出対象物として、人を検出してよい。なお、図中では、検出される人のうち、水面下の部分を点線で図示している。
【0055】
<4.変形例>
なお、上記の実施形態においては、操縦支援装置3は選択部33と、抽出部34と、表示制御部36と、表示部37とを有することとして説明したが、これらの何れかを有しないこととしてもよい。例えば、操縦支援装置3が選択部33を有しない場合には、通信部35は、検出部32により物体が検出された撮像画像をそれぞれ検出装置4に送信してよい。操縦支援装置3が抽出部34を有しない場合には、通信部35は、検出部32により物体が検出された撮像画像の全体を検出装置4に送信してよい。操縦支援装置3が表示制御部36および表示部37を有しない場合には、検出装置4による検出結果を通信部35が外部の表示機器に送信して表示させてよい。
【0056】
また、操縦支援装置3は検出部32と選択部33とを別々に有することとして説明したが、一体的に有してもよい。この場合には、検出部32は、撮像画像内で基準サイズよりも大きい物体を検出してよい。これに加えて、または、これに代えて、検出部32は、撮像画像内での輝度、コントラストまたはシャープネスのうち予め設定された少なくとも1つのパラメータが基準範囲内である物体を検出してもよい。
【0057】
また、選択部33は、画像取得部31により取得された複数の撮像画像のうち、撮像画像内での物体のサイズが基準サイズよりも大きい撮像画像を選択することとして説明したが、基準時間内に取得された複数の撮像画像内の物体のサイズが何れも基準サイズより小さいことに応じて、当該複数の撮像画像のうち最も物体のサイズが大きい撮像画像を選択してもよい。また、選択部33は、画像取得部31により取得された複数の撮像画像のうち、撮像画像内での物体の輝度、コントラストまたはシャープネスの少なくとも1つパラメータが基準範囲内である撮像画像を選択することとして説明したが、基準時間内に取得された複数の撮像画像内の物体についてのパラメータが何れも基準範囲外であることに応じて、当該複数の撮像画像のうち最もパラメータが基準範囲に近い撮像画像を選択してもよい。パラメータが輝度、コントラストまたはシャープネスのうちの2つ以上について算出される場合には、選択部33は、算出されるパラメータ毎に、当該パラメータと該当の基準範囲との距離を算出し、算出された距離の総和が最も小さい撮像画像を選択してよい。
【0058】
また、検出部32は画像解析を行って撮像領域における水面上の物体を検出することとして説明したが、他の手法により水面上の物体を検出してもよい。例えば、検出部32はレーダ装置を用いて撮像領域における物体の検出を行ってもよい。検出部32は、自船から撮像方位(一例として磁気子午線に対する向き(磁針方位とも称する))に向かう領域を撮像領域として特定してよい。検出部32は、撮像画像のEXIF(Exchangeable image file format)データから撮像方位を取得してもよいし、自船の進行方向の磁針方位と、自船の船体に対する撮像装置2の向きとを取得し、船体に対する撮像装置2の向きを磁針方位に加算または減算して撮像方位を取得してもよい。レーダ装置は、電波を用いるレーダ(Radio Detecting and Ranging)であってもよいし、レーザ光を用いるレーダ(いわゆるライダー(LiDAR:Light Detection And Ranging)であってもよい。
【0059】
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【0060】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0061】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
【0062】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0063】
図5は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
【0064】
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
【0065】
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
【0066】
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ2226は、プログラムまたはデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
【0067】
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
【0068】
プログラムが、DVD-ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
【0069】
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【0070】
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
【0071】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0072】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
【0073】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0074】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0075】
1 システム
2 撮像装置
3 操縦支援装置
4 検出装置
31 画像取得部
32 検出部
33 選択部
34 抽出部
35 通信部
36 表示制御部
37 表示部
2200 コンピュータ
2201 DVD-ROM
2210 ホストコントローラ
2212 CPU
2214 RAM
2216 グラフィックコントローラ
2218 ディスプレイデバイス
2220 入/出力コントローラ
2222 通信インタフェース
2224 ハードディスクドライブ
2226 DVD-ROMドライブ
2230 ROM
2240 入/出力チップ
2242 キーボード