知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝電機サービス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023072554
(43)【公開日】2023-05-24
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
B61L 23/00 20060101AFI20230517BHJP
B61L 25/02 20060101ALI20230517BHJP
G06T 7/70 20170101ALI20230517BHJP
【ＦＩ】
B61L23/00 A
B61L25/02 G
G06T7/70 A
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021185186
(22)【出願日】2021-11-12
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】二神 拓也
(72)【発明者】
【氏名】高橋 雄介
(72)【発明者】
【氏名】鈴木 美彦
(72)【発明者】
【氏名】小林 広幸
(72)【発明者】
【氏名】大嶽 達哉
(72)【発明者】
【氏名】瀬戸 直人
(72)【発明者】
【氏名】加藤 紀康
(72)【発明者】
【氏名】瀬川 泰誠
(72)【発明者】
【氏名】服部 陽平
【テーマコード（参考）】
5H161
5L096
【Ｆターム（参考）】
5H161AA01
5H161BB02
5H161DD20
5H161DD23
5H161FF07
5H161GG04
5H161GG11
5H161GG22
5L096CA02
5L096DA02
5L096EA27
5L096FA69
5L096GA01
(57)【要約】
【課題】画像から線路を効果的に認識する情報処理装置及びプログラムを提供する。
【解決手段】実施形態によれば、情報処理装置は、画像インターフェースと、通信インターフェースと、プロセッサと、を備える。画像インターフェースは、線路及び設備を含む撮影画像を取得する。通信インターフェースは、前記線路の測地座標を示す線路情報と前記設備の測地座標を示す設備情報とを取得する。プロセッサは、前記撮影画像から前記設備が写る設備領域を特定し、前記撮影画像における前記設備領域の座標と前記設備の測地座標とに基づいて、測地座標と前記撮影画像における座標とを対応づける変換行列を生成し、前記変換行列に基づいて前記線路の測地座標を前記撮影画像における座標に変換して、前記撮影画像における前記線路の座標を特定する。
【選択図】 図１
【解決手段】実施形態によれば、情報処理装置は、画像インターフェースと、通信インターフェースと、プロセッサと、を備える。画像インターフェースは、線路及び設備を含む撮影画像を取得する。通信インターフェースは、前記線路の測地座標を示す線路情報と前記設備の測地座標を示す設備情報とを取得する。プロセッサは、前記撮影画像から前記設備が写る設備領域を特定し、前記撮影画像における前記設備領域の座標と前記設備の測地座標とに基づいて、測地座標と前記撮影画像における座標とを対応づける変換行列を生成し、前記変換行列に基づいて前記線路の測地座標を前記撮影画像における座標に変換して、前記撮影画像における前記線路の座標を特定する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
線路及び設備を含む撮影画像を取得する画像インターフェースと、
前記線路の測地座標を示す線路情報と前記設備の測地座標を示す設備情報とを取得する通信インターフェースと、
前記撮影画像から前記設備が写る設備領域を特定し、
前記撮影画像における前記設備領域の座標と前記設備の測地座標とに基づいて、測地座標と前記撮影画像における座標とを対応づける変換行列を生成し、
前記変換行列に基づいて前記線路の測地座標を前記撮影画像における座標に変換して、前記撮影画像における前記線路の座標を特定する、
プロセッサと、
を備える情報処理装置。
前記線路の測地座標を示す線路情報と前記設備の測地座標を示す設備情報とを取得する通信インターフェースと、
前記撮影画像から前記設備が写る設備領域を特定し、
前記撮影画像における前記設備領域の座標と前記設備の測地座標とに基づいて、測地座標と前記撮影画像における座標とを対応づける変換行列を生成し、
前記変換行列に基づいて前記線路の測地座標を前記撮影画像における座標に変換して、前記撮影画像における前記線路の座標を特定する、
プロセッサと、
を備える情報処理装置。
【請求項2】
前記プロセッサは、
前記撮影画像の特徴量を抽出し、
前記線路の測地座標から変換された前記座標にオフセットを加算しオフセットが加算された座標と前記特徴量とをマッチングして評価値を算出し、
前記評価値に基づいて、前記線路の測地座標から変換された前記座標に加算して前記線路の座標を算出するオフセットを特定し、
前記線路の測地座標から変換された前記座標に特定された前記オフセットを加算して、前記撮影画像における前記線路の座標を算出する、
請求項１に記載の情報処理装置。
前記撮影画像の特徴量を抽出し、
前記線路の測地座標から変換された前記座標にオフセットを加算しオフセットが加算された座標と前記特徴量とをマッチングして評価値を算出し、
前記評価値に基づいて、前記線路の測地座標から変換された前記座標に加算して前記線路の座標を算出するオフセットを特定し、
前記線路の測地座標から変換された前記座標に特定された前記オフセットを加算して、前記撮影画像における前記線路の座標を算出する、
請求項１に記載の情報処理装置。
【請求項3】
前記特徴量は、エッジ検出によって抽出される、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記通信インターフェースは、前記線路の車両限界又は建築限界を示す限界情報を取得し、
前記プロセッサは、前記限界情報と前記撮影画像における前記線路の座標とに基づいて、前記撮影画像において、前記線路を走行する車両の走行領域を設定する、
請求項１乃至３の何れか１項に記載の情報処理装置。
前記プロセッサは、前記限界情報と前記撮影画像における前記線路の座標とに基づいて、前記撮影画像において、前記線路を走行する車両の走行領域を設定する、
請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項5】
前記プロセッサは、前記走行領域に基づいて、前記車両の走行の妨げる障害物を検知する、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項6】
前記プロセッサは、
前記設備領域から所定の個数の前記設備領域を選択し、
選択された前記設備領域の座標に基づいて、前記変換行列を生成する、
請求項１乃至５の何れか１項に記載の情報処理装置。
前記設備領域から所定の個数の前記設備領域を選択し、
選択された前記設備領域の座標に基づいて、前記変換行列を生成する、
請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項7】
前記プロセッサは、前記設備領域の座標を結ぶ多角形の面積が最大になるように前記設備領域を選択する、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記設備情報は、前記設備が設置されている領域の勾配値を含み、
前記プロセッサは、前記勾配値ごとに前記変換行列を生成する、
請求項１乃至７の何れか１項に記載の情報処理装置。
前記プロセッサは、前記勾配値ごとに前記変換行列を生成する、
請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項9】
前記設備は、電柱、速度標識又は停止標識の１つを含む、
請求項１乃至８の何れか１項に記載の情報処理装置。
請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項10】
前記画像インターフェースは、前記車両の前方を撮影するカメラから前記撮影画像を取得する、
請求項４又は５に記載の情報処理装置。
請求項４又は５に記載の情報処理装置。
【請求項11】
前記車両を測位するための信号を受信するアンテナに接続するアンテナインターフェースを備え、
前記設備情報は、前記車両の測地座標から撮影される前記設備の測地座標を示す、
請求項４又は５に記載の情報処理装置。
前記設備情報は、前記車両の測地座標から撮影される前記設備の測地座標を示す、
請求項４又は５に記載の情報処理装置。
【請求項12】
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
線路及び設備を含む撮影画像を取得する機能と
前記線路の測地座標を示す線路情報と前記設備の測地座標を示す設備情報とを取得する機能と、
前記撮影画像から前記設備が写る設備領域を特定する機能と、
前記撮影画像における前記設備領域の座標と前記設備の測地座標とに基づいて、測地座標と前記撮影画像における座標とを対応づける変換行列を生成する機能と、
前記変換行列に基づいて前記線路の測地座標を前記撮影画像における座標に変換して、前記撮影画像における前記線路の座標を特定する機能と、
を実現させるプログラム。
前記プロセッサに、
線路及び設備を含む撮影画像を取得する機能と
前記線路の測地座標を示す線路情報と前記設備の測地座標を示す設備情報とを取得する機能と、
前記撮影画像から前記設備が写る設備領域を特定する機能と、
前記撮影画像における前記設備領域の座標と前記設備の測地座標とに基づいて、測地座標と前記撮影画像における座標とを対応づける変換行列を生成する機能と、
前記変換行列に基づいて前記線路の測地座標を前記撮影画像における座標に変換して、前記撮影画像における前記線路の座標を特定する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
線路を走行する車両には、前方をカメラで撮影し障害物を検知するものがある。車両は、カメラで撮影された画像から、自身が通過する線路を認識する。車両は、認識された線路に基づいて、画像において車両が通過する領域を特定する。車両は、特定された領域内の画像などに基づいて障害物を検知する。
【0003】
障害物の検知などのために、画像から線路を効果的に認識する技術が望まれている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－１６４０１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の課題を解決するため、画像から線路を効果的に認識する情報処理装置及びプログラムを提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、情報処理装置は、画像インターフェースと、通信インターフェースと、プロセッサと、を備える。画像インターフェースは、線路及び設備を含む撮影画像を取得する。通信インターフェースは、前記線路の測地座標を示す線路情報と前記設備の測地座標を示す設備情報とを取得する。プロセッサは、前記撮影画像から前記設備が写る設備領域を特定し、前記撮影画像における前記設備領域の座標と前記設備の測地座標とに基づいて、測地座標と前記撮影画像における座標とを対応づける変換行列を生成し、前記変換行列に基づいて前記線路の測地座標を前記撮影画像における座標に変換して、前記撮影画像における前記線路の座標を特定する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照して説明する。
（第１の実施形態）
実施形態に係る車両システムが備える車両は、線路を通過する列車を構成する。車両は、自身が通過する線路を撮影領域に含むように前方を撮影する。車両は、撮影で得られた撮影画像から線路を認識する。車両は、認識された線路の位置などに基づいて、撮影画像において車両が走行する走行領域を設定する。車両は、設定された走行領域に基づいて、自身の走行を妨げる可能性のある障害物を検知する。
（第１の実施形態）
実施形態に係る車両システムが備える車両は、線路を通過する列車を構成する。車両は、自身が通過する線路を撮影領域に含むように前方を撮影する。車両は、撮影で得られた撮影画像から線路を認識する。車両は、認識された線路の位置などに基づいて、撮影画像において車両が走行する走行領域を設定する。車両は、設定された走行領域に基づいて、自身の走行を妨げる可能性のある障害物を検知する。
【0009】
【0010】
車両１０は、線路Ｒを走行する列車を構成する。車両１０は、運転手の操作又は自動運転により線路Ｒ上を走行する。
【0011】
車両１０は、筐体１、カメラ２及びアンテナ３などを備える。
【0012】
筐体１は、車両１０の外形を形成する。たとえば、筐体１は、内部に人又は荷物などを収容可能に形成されている。
【0013】
筐体１の前方には、カメラ２が設置されている。カメラ２は、車両１０の進行方向を撮影する。また、カメラ２は、車両１０が走行する線路Ｒ及び線路Ｒの周辺を撮影する。
【0014】
たとえば、カメラ２は、ＣＣＤ（Charge Coupled Device）カメラである。また、カメラ２は、車両１０の前方を照らすライトを備えるものであってもよい。
【0015】
アンテナ３は、車両１０を測位するための信号を受信するためのアンテナである。たとえば、アンテナ３は、ＧＮＳＳ（Global Navigation Satellite System）の信号を受信するためのアンテナである。
【0016】
上位装置２０は、車両１０に対して種々の情報を提供する。たとえば、上位装置２０は、鉄道会社が管理するサーバなどである。
【0017】
上位装置２０は、車両１０のカメラ２が撮影する可能性のある設備（電柱、速度標識又は停止標識など）に関する設備情報を車両１０に送信する。
【0018】
たとえば、上位装置２０は、設備情報のリクエストを車両１０から受信する。リクエストは、車両１０の現在座標（たとえば、緯度及び経度）を含む。リクエストを受信すると、上位装置２０は、リクエストに含まれる現在座標からカメラ２が撮影する可能性がある設備を特定する。設備を特定すると、上位装置２０は、リクエストに対するレスポンスとして、特定された設備に関する設備情報を車両１０に送信する。設備情報については、後に詳述する。
【0019】
また、上位装置２０は、車両１０が走行予定の線路Ｒが存在する測地座標（ＧＮＳＳなどによって測定された座標）を示す線路情報を車両１０に送信する。
【0020】
たとえば、上位装置２０は、設備情報のリクエストを車両１０から受信する。リクエストを受信すると、上位装置２０は、車両１０が走行する線路Ｒを特定する。線路Ｒを特定すると、上位装置２０は、特定された線路Ｒの測地座標を示す線路情報を含むレスポンスを車両１０に送信する。
たとえば、線路情報は、線路Ｒの各点を示す測地座標列（複数の測地座標）を示す。
たとえば、線路情報は、線路Ｒの各点を示す測地座標列（複数の測地座標）を示す。
【0021】
また、上位装置２０は、線路Ｒにおける車両限界及び建築限界を示す限界情報を車両１０に送信する。
【0022】
車両限界は、車体断面の大きさの限界範囲である。
建築限界は、線路に対して建築物を設置してはならないクリアランスである。
たとえは、限界情報は、線路Ｒの各測地座標における車両限界及び建築限界を示す。
建築限界は、線路に対して建築物を設置してはならないクリアランスである。
たとえは、限界情報は、線路Ｒの各測地座標における車両限界及び建築限界を示す。
【0023】
上位装置２０は、限界情報のリクエストを車両１０から受信する。リクエストを受信すると、上位装置２０は、限界情報を含むレスポンスを車両１０に送信する。
【0024】
次に、車両１０について説明する。
図２は、実施形態に係る車両１０の構成例を示す。図２は、車両１０の構成例を示すブロック図である。図２が示すように、車両１０は、カメラ２、アンテナ３及び情報処理装置４などを備える。
図２は、実施形態に係る車両１０の構成例を示す。図２は、車両１０の構成例を示すブロック図である。図２が示すように、車両１０は、カメラ２、アンテナ３及び情報処理装置４などを備える。
【0025】
情報処理装置４は、カメラ２からの撮影画像から線路Ｒの座標列を特定する。また、情報処理装置４は、車両の走行を妨害する障害物を検知する。
【0026】
情報処理装置４は、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、通信部１５、操作部１６、表示部１７、カメラインターフェース１８及びアンテナインターフェース１９などを備える。
【0027】
プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、通信部１５、操作部１６、表示部１７、カメラインターフェース１８及びアンテナインターフェース１９と、は、データバスなどを介して互いに接続する。また、カメラインターフェース１８は、カメラ２に接続する。また、アンテナインターフェース１９は、アンテナ３に接続する。
【0028】
なお、車両１０及び情報処理装置４は、図２が示すような構成の他に必要に応じた構成を具備したり、車両１０から特定の構成が除外されたりしてもよい。
【0029】
プロセッサ１１は、車両１０全体の動作を制御する機能を有する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部メモリ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。
【0030】
なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。
【0031】
ＲＯＭ１２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、車両１０の仕様に応じて予め組み込まれる。
【0032】
ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0033】
ＮＶＭ１４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどから構成される。ＮＶＭ１４は、車両１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【0034】
通信部１５（通信インターフェース）は、上位装置２０などとデータを送受信するインターフェースである。たとえば、通信部１５は、ネットワークを介して上位装置２０などに接続する。たとえば、通信部１５は、有線又は無線のＬＡＮ（Local Area Network）接続をサポートするインターフェースである。
【0035】
操作部１６は、オペレータ（たとえば、運転手など）から種々の操作の入力を受け付ける。操作部１６は、入力された操作を示す信号をプロセッサ１１へ送信する。操作部１６は、タッチパネルから構成されてもよい。
【0036】
表示部１７は、プロセッサ１１からの画像データを表示する。たとえば、表示部１７は、液晶モニタから構成される。操作部１６がタッチパネルから構成される場合、表示部１７は、操作部１６と一体的に形成されてもよい。
【0037】
カメラインターフェース１８（画像インターフェース）は、カメラ２に接続するインターフェースである。カメラインターフェース１８は、プロセッサ１１からの信号をカメラ２に送信する。また、カメラインターフェース１８は、カメラ２からの信号（撮影画像など）を取得しプロセッサ１１に送信する。
【0038】
アンテナインターフェース１９は、アンテナ３に接続するインターフェースである。アンテナインターフェース１９は、アンテナ３からの信号などに基づいて車両１０の現在位置（測地座標）を測定する。
【0039】
たとえば、アンテナインターフェース１９は、アンテナ３からの信号に基づいて位置を測定する。位置を測定すると、アンテナインターフェース１９は、線路Ｒの位置を含む地図情報に基づいて、測定された位置を近傍の線路Ｒ上にフィッティングする。アンテナインターフェース１９は、フィッティングされた位置を車両１０の現在位置として取得する。
アンテナインターフェース１９は、取得された現在位置をプロセッサ１１に送信する。
アンテナインターフェース１９は、取得された現在位置をプロセッサ１１に送信する。
【0040】
なお、アンテナインターフェース１９の機能は、プロセッサ１１が実現するものであってもよい。
また、車両１０が自動運転によって走行する場合、情報処理装置４は、操作部１６及び表示部１７を備えなくともよい。
また、車両１０が自動運転によって走行する場合、情報処理装置４は、操作部１６及び表示部１７を備えなくともよい。
【0041】
次に、車両１０が実現する機能について説明する。車両１０が実現する機能は、プロセッサ１１が内部メモリ、ＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。
【0042】
まず、プロセッサ１１は、カメラ２を用いて、車両１０の前方を撮影する機能を有する。
【0043】
プロセッサ１１は、カメラインターフェース１８を通じて、カメラ２の撮影を開始する。撮影を開始すると、プロセッサ１１は、カメラ２から、撮影された画像（撮影画像）を取得する。プロセッサ１１は、カメラ２からリアルタイムで撮影画像を取得する。
【0044】
また、プロセッサ１１は、設備情報を取得する機能を有する。
たとえば、プロセッサ１１は、アンテナ３及びアンテナインターフェース１９を用いて、車両１０の現在位置を取得する。現在位置を取得すると、プロセッサ１１は、現在位置に基づいて、設備情報を要求するリクエストを生成する。リクエストは、現在位置を含む。リクエストを生成すると、プロセッサ１１は、通信部１５を通じて、生成されたリクエストを上位装置２０に送信する。
たとえば、プロセッサ１１は、アンテナ３及びアンテナインターフェース１９を用いて、車両１０の現在位置を取得する。現在位置を取得すると、プロセッサ１１は、現在位置に基づいて、設備情報を要求するリクエストを生成する。リクエストは、現在位置を含む。リクエストを生成すると、プロセッサ１１は、通信部１５を通じて、生成されたリクエストを上位装置２０に送信する。
【0045】
リクエストを上位装置２０に送信すると、プロセッサ１１は、通信部１５を通じて、設備情報を含むレスポンスを上位装置２０から受信する。
【0046】
次に、設備情報について説明する。
設備情報は、カメラ２の撮影画像に写る可能性のある設備の測地座標を示す。
設備情報は、カメラ２の撮影画像に写る可能性のある設備の測地座標を示す。
【0047】
【0048】
「ＩＤ」は、設備を識別する識別子を示す。ここでは、「ＩＤ」は、数値である。
【0049】
「種別」は、設備の種別を示す。ここでは、「種別」は、電柱、停止標識又は速度標識である。
【0050】
「測地座標」は、設備の測地座標を示す。ここでは、「測地座標」は、設備の緯度及び軽度を示す。
【0051】
「線路からの位置関係」は、撮影画像において、設備が線路Ｒのいずれの側に存在するかを示す。即ち、「線路からの位置関係」は、設備が線路Ｒの右側に存在すること又は左側に存在することを示す。
【0052】
なお、設備情報は、図３が示すような構成の他に必要に応じた構成を具備したり、設備情報から特定の構成が除外されたりしてもよい。設備情報の構成は、特定の構成に限定されるものではない。
【0053】
また、プロセッサ１１は、線路情報を取得する機能を有する。
プロセッサ１１は、通信部１５を通じて、線路情報のリクエストを上位装置２０に送信する。プロセッサ１１は、通信部１５を通じて、線路情報を含むレスポンスを上位装置２０から受信する。
プロセッサ１１は、通信部１５を通じて、線路情報のリクエストを上位装置２０に送信する。プロセッサ１１は、通信部１５を通じて、線路情報を含むレスポンスを上位装置２０から受信する。
【0054】
また、プロセッサ１１は、撮影画像に写る設備を認識する機能を有する。
【0055】
プロセッサ１１は、所定の画像認識アルゴリズムに従って撮影画像から設備を認識する。
【0056】
たとえば、ＮＶＭ１４は、設備を認識するための辞書情報を予め格納する。たとえば、辞書情報は、設備が写る画像の特徴量に関する情報、又は、深層学習で得られたネットワークなどである。
【0057】
プロセッサ１１は、辞書情報に基づいて、設備を認識する。即ち、プロセッサ１１は、設備が写る領域（設備領域）の座標（たとえば、１つの頂点座標又は中心座標など）を特定する。
【0058】
【0059】
設備領域２１は、設備として電柱が写る領域である。
設備領域２２は、設備として電柱が写る領域である。
設備領域２３は、設備として速度標識が写る領域である。
設備領域２４は、設備として停止標識が写る領域である。
設備領域２５は、設備として電柱が写る領域である。
設備領域２２は、設備として電柱が写る領域である。
設備領域２３は、設備として速度標識が写る領域である。
設備領域２４は、設備として停止標識が写る領域である。
設備領域２５は、設備として電柱が写る領域である。
【0060】
なお、プロセッサ１１は、設備情報にさらに基づいて設備を認識するものであってもよい。
たとえば、プロセッサ１１は、設備情報の「線路からの位置関係」に基づいて、設備ごとに探索領域を限定してもよい。たとえば、プロセッサ１１は、「線路からの位置関係」が「右」を示す設備の探索領域を撮影画像の右側に設定してもよい。また、プロセッサ１１は、画像認識によって線路の位置を特定して、線路の位置の右側又は左側に探索領域を設定してもよい。
たとえば、プロセッサ１１は、設備情報の「線路からの位置関係」に基づいて、設備ごとに探索領域を限定してもよい。たとえば、プロセッサ１１は、「線路からの位置関係」が「右」を示す設備の探索領域を撮影画像の右側に設定してもよい。また、プロセッサ１１は、画像認識によって線路の位置を特定して、線路の位置の右側又は左側に探索領域を設定してもよい。
【0061】
また、プロセッサ１１は、設備情報の「測地座標」に基づいて、設備ごとの探索領域を限定してもよい。たとえば、プロセッサ１１は、「測地座標」と車両１０の現在位置とに基づいて、撮影画像において設備が写ると推測される領域の周辺に探索領域を設定してもよい。
【0062】
また、プロセッサ１１は、設備領域の座標及び線路情報に基づいて、撮影画像における座標と測地座標とを対応付ける変換行列を生成する機能を有する。
【0063】
ここでは、変換行列は、測地座標を撮影画像における座標に変換する行列である。即ち、変換行列は、撮影画像において、所定の測地座標に存在する対象物が写る座標を算出するための行列である。
【0064】
プロセッサ１１は、撮影画像において設備領域から所定の個数（たとえば、４つ）の設備領域を選択する。たとえば、プロセッサ１１は、設備領域の座標を結ぶ多角形の面積が最大になるように、設備領域を選択する。
【0065】
設備領域を選択すると、プロセッサ１１は、設備情報から、選択された設備領域に写る設備の測地座標を取得する。たとえば、プロセッサ１１は、選択された各設備領域に写る設備のＩＤに対応する測地情報を設備情報から取得する。
【0066】
設備の測地座標を取得すると、プロセッサ１１は、所定のアルゴリズムに従って、撮影画像における各設備領域の座標と各設備領域に写る設備の測地座標とを対応付ける変換行列を生成する。
【0067】
また、プロセッサ１１は、変換行列に基づいて撮影画像における線路Ｒの座標列を生成する機能を有する。
【0068】
変換行列を生成すると、プロセッサ１１は、線路情報が示す線路Ｒの測地座標列に変換行列を作用させて、撮影画像における線路Ｒの座標列を算出する。即ち、プロセッサ１１は、線路Ｒの各点を示す測地座標列を、撮影画像における座標列に変換する。
【0069】
図５は、撮影画像における線路の座標を示す。図５が示す例では、プロセッサ１１は、線路Ｒを示す座標列３１を算出する。ここでは、プロセッサ１１は、座標列３１として、線路Ｒの右のレールの座標列と左のレールの座標列とを算出する。
【0070】
座標列３１を算出すると、プロセッサ１１は、撮影画像の特徴量に基づいて、座標列３１に加算して線路の座標を算出するオフセットを算出する。
【0071】
たとえば、プロセッサ１１は、撮影画像の特徴量として、エッジ検出により撮影画像におけるエッジの座標を抽出する。
図６は、エッジ検出により検出された特徴量を示す。図６が示すように、プロセッサ１１は、撮影画像における線路（ここでは、左右のレール）の座標においてエッジを検出している。
図６は、エッジ検出により検出された特徴量を示す。図６が示すように、プロセッサ１１は、撮影画像における線路（ここでは、左右のレール）の座標においてエッジを検出している。
【0072】
撮影画像におけるエッジの座標を検出すると、プロセッサ１１は、座標列３１と特徴量（エッジの座標）とをマッチングして、評価値を算出する。ここでは、評価値は、座標列３１と特徴量との類似性が大きいほど高い値となる。
【0073】
プロセッサ１１は、座標列３１にオフセット（ｘ座標及びｙ座標）を加算して評価値を算出する。プロセッサ１１は、オフセットをｘ軸方向及びｙ軸方向に動かしながら、評価値が最大となるオフセットを特定する。たとえば、プロセッサ１１は、オフセットをランダムに動かしてもよいし、オフセットを評価値が向上する方向に動かしてもよい。
【0074】
評価値が最大となるオフセットを特定すると、プロセッサ１１は、座標列３１にオフセットを加算した座標列を撮影画像における線路Ｒを示す座標列として取得する。
【0075】
また、プロセッサ１１は、車両限界及び建築限界を示す限界情報を取得する機能を有する。
【0076】
プロセッサ１１は、通信部１５を通じて、限界情報のリクエストを上位装置２０に送信する。プロセッサ１１は、通信部１５を通じて、限界情報を含むレスポンスを上位装置２０から受信する。
【0077】
また、プロセッサ１１は、撮影画像における線路Ｒの座標列と限界情報とに基づいて、撮影画像において車両１０が走行する走行領域を設定する機能を有する。
【0078】
たとえば、プロセッサ１１は、撮影画像における線路Ｒの座標列と線路Ｒの測地座標とに基づいて、撮影画像の線路Ｒの各座標点における車両限界及び建築限界の大きさ及び位置を算出する。車両限界及び建築限界の大きさ及び位置を算出すると、プロセッサ１１は、大きさ及び位置に従って車両限界及び建築限界を走行領域として設定する。
【0079】
また、プロセッサ１１は、走行領域に基づいて、車両１０の走行の妨げになる障害物を検知する機能を有する。
【0080】
走行領域を設定すると、プロセッサ１１は、走行領域において車両１０の走行を妨げる障害物を検知する。即ち、プロセッサ１１は、走行領域に干渉する障害物を検知する。
【0081】
障害物を検知すると、プロセッサ１１は、障害物を検知したことを表示部１７に表示する。たとえば、プロセッサ１１は、警告などを表示部１７に表示する。
【0082】
なお、プロセッサ１１は、車両限界に障害物を検知した場合と建築限界に障害物を検知した場合とにおいて、表示を異にしてもよい。たとえば、プロセッサ１１は、建築限界に障害物を検知した場合には、注意を表示部１７に表示する。また、プロセッサ１１は、車両限界に障害物を検知した場合には、警告を表示部１７に表示する。
【0083】
また、プロセッサ１１は、スピーカなどを通じて警告音などを出力するものであってもよい。
【0084】
次に、車両１０の動作例について説明する。
図７は、車両１０の動作例について説明するためのフローチャートである。ここでは、車両１０は、線路Ｒを走行しているものとする。
図７は、車両１０の動作例について説明するためのフローチャートである。ここでは、車両１０は、線路Ｒを走行しているものとする。
【0085】
まず、車両１０のプロセッサ１１は、カメラ２から撮影画像を取得する（Ｓ１１）。撮影画像を取得すると、プロセッサ１１は、通信部１５を通じて設備情報を上位装置２０から取得する（Ｓ１２）。
【0086】
設備情報を取得すると、プロセッサ１１は、通信部を通じて線路情報を上位装置２０から取得する（Ｓ１３）。線路情報を取得すると、プロセッサ１１は、撮影画像から設備領域を特定する（Ｓ１４）。
【0087】
設備領域を特定すると、プロセッサ１１は、特定された設備領域の座標に基づいて、測地座標を撮影画像における座標に変換する変換行列を生成する（Ｓ１５）。変換行列を生成すると、プロセッサ１１は、変換行列を用いて、線路情報が示す線路Ｒの測地座標列を撮影画像における座標列に変換する（Ｓ１６）。
【0088】
座標列を変換すると、プロセッサ１１は、変換された座標列と撮影画像の特徴量とをマッチングして、撮影画像における線路Ｒの座標列を算出する（Ｓ１７）。撮影画像における線路Ｒの座標列を算出すると、プロセッサ１１は、通信部１５を通じて限界情報を上位装置２０から取得する（Ｓ１８）。
【0089】
限界情報を取得すると、プロセッサ１１は、撮影画像における線路Ｒの座標列及び限界情報に基づいて、撮影画像に走行領域を設定する（Ｓ１９）。走行領域を設定すると、プロセッサ１１は、走行領域に基づいて障害物を検知する（Ｓ２０）。
【0090】
障害物があると判定すると（Ｓ２０、ＹＥＳ）、プロセッサ１１は、警告などを表示部１７に表示する（Ｓ２１）。
【0091】
障害物がないと判定した場合（Ｓ２０、ＮＯ）、又は、警告などを表示部１７に表示した場合（Ｓ２１）、プロセッサ１１は、動作を終了する。
【0092】
なお、プロセッサ１１は、所定の間隔でＳ１１乃至Ｓ２１を繰り返し実行するものであってもよい。
また、プロセッサ１１が撮影画像から認識する設備は、マーカなどであってもよい。
また、プロセッサ１１が撮影画像から認識する設備は、マーカなどであってもよい。
【0093】
また、プロセッサ１１は、撮影画像における線路Ｒの座標列を撮影画像に重ねて表示部１７に表示するものであってもよい。また、プロセッサ１１は、走行領域を撮影画像に重ねて表示部１７に表示するものであってもよい。
【0094】
また、プロセッサ１１は、障害物を検知した場合には、自動で車両１０を停止させるものであってもよい。また、プロセッサ１１は、通信部１５を通じて、障害物を検知したことを上位装置２０に通知するものであってもよい。
【0095】
以上のように構成された車両は、撮影画像から設備を認識する。車両は、設備の測地座標と撮影画像における設備の座標とから変換行列を生成する。車両は、変換行列に基づいて、線路の測地座標を撮影画像における座標に変換する。その結果、車両は、線路が遠方で撮影画像において小さい場合など画像処理によって線路を認識しにくい場合であっても、撮影画像における線路の座標を効果的に取得することができる。
【0096】
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る車両は、設備が存在する場所の勾配に基づいて撮影画像から線路を認識する点で第１の実施形態に係るそれと異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。
次に、第２の実施形態について説明する。
第２の実施形態に係る車両は、設備が存在する場所の勾配に基づいて撮影画像から線路を認識する点で第１の実施形態に係るそれと異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。
【0097】
【0098】
図８及び図９が示すように、線路Ｒの勾配は、勾配変化点において変化する。ここでは、勾配変化点より手前の線路Ｒは、勾配値がＺ１である領域に設置されている。また、勾配変化点よりも奥の線路Ｒは、勾配値がＺ２である領域に設置されている。たとえば、勾配値は、パーミル又は角度などである。
【0099】
車両１０は、勾配値がＺ１である領域に設置されている線路Ｒに存在する。車両１０は、現在地から勾配値がＺ２である領域に設置されている線路Ｒに進行する。
【0100】
また、勾配値がＺ１である領域には、設備（ここでは、電柱）が設置されている。また、勾配値Ｚ２がＺ２である領域にも設備（ここでは、電柱）が設置されている。
【0101】
また、カメラ２が撮影する撮影画像は、勾配値がＺ１である領域に設置されている線路Ｒ及び設備を写す。また、カメラ２が撮影する撮影画像は、勾配値がＺ２である領域に設置されている線路Ｒ及び設備を写す。
【0102】
また、線路情報は、線路Ｒの勾配値を含む。即ち、線路情報は、線路Ｒの各測地座標における勾配値を含む。
【0103】
【0104】
「ＩＤ」、「種別」、「測地座標」は、前述の通りである。
【0105】
「勾配値」は、設備が設置されている領域の勾配値を示す。ここでは、「勾配値」は、Ｚ１又はＺ２を示す。図１０が示すように、「ＩＤ」が１乃至４である設備は、勾配値がＺ１である領域に設置されている。また、「ＩＤ」が５乃至８である設備は、勾配値がＺ２である領域に設置されている。
【0106】
なお、設備情報は、「線路からの位置関係」をさらに備えるものであってもよい。
設備情報は、図１０が示すような構成の他に必要に応じた構成を具備したり、設備情報から特定の構成が除外されたりしてもよい。設備情報の構成は、特定の構成に限定されるものではない。
設備情報は、図１０が示すような構成の他に必要に応じた構成を具備したり、設備情報から特定の構成が除外されたりしてもよい。設備情報の構成は、特定の構成に限定されるものではない。
【0107】
次に、車両１０が実現する機能について説明する。車両１０が実現する機能は、プロセッサ１１が内部メモリ、ＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。
第２の実施形態に係る車両１０は、第１の実施形態に係るそれの機能に加えて以下の機能を実現する。
第２の実施形態に係る車両１０は、第１の実施形態に係るそれの機能に加えて以下の機能を実現する。
【0108】
プロセッサ１１は、勾配値ごとに変換行列を生成する機能を有する。
【0109】
ここでは、プロセッサ１１は、撮影画像から設備領域を特定しているものとする。
【0110】
プロセッサ１１は、設備情報から、認識された設備に対応する勾配値を取得する。たとえば、プロセッサ１１は、認識された設備のＩＤに対応する勾配値を測地情報から取得する。
【0111】
設備に対応する勾配値を取得すると、プロセッサ１１は、所定の勾配値（たとえば、Ｚ１）を設定する。
【0112】
勾配値を設定すると、プロセッサ１１は、設定された勾配値に対応する設備の設備領域を特定する。設備領域を特定すると、プロセッサ１１は、特定された設備領域から所定の個数（たとえば、４つ）の設備領域を選択する。たとえば、プロセッサ１１は、設備領域の座標を結ぶ多角形の面積が最大になるように、設備領域を選択する。
【0113】
設備領域を選択すると、プロセッサ１１は、設備情報から、選択された設備領域に写る設備の測地座標を取得する。たとえば、プロセッサ１１は、選択された各設備領域に写る設備のＩＤに対応する測地情報を設備情報から取得する。
【0114】
設備の測地座標を取得すると、プロセッサ１１は、撮影画像における各設備領域の座標と各設備領域に写る設備の測地座標とを対応付ける変換行列を生成する。プロセッサ１１は、生成された変換行列を設定された勾配値（たとえば、Ｚ１）の変換行列として取得する。即ち、変換行列は、設定された勾配値を有する領域に設置されている対象物の測地座標を撮影画像における座標に変換するための行列である。
【0115】
プロセッサ１１は、他の勾配値（たとえば、Ｚ２）を設定する。他の勾配値を設定すると、プロセッサ１１は、同様に設定された勾配値（たとえば、Ｚ２）の変換行列を生成する。
【0116】
プロセッサ１１は、勾配ごとの変換行列に基づいて撮影画像における線路Ｒの座標列を生成する機能を有する。
【0117】
プロセッサ１１は、所定の勾配値（たとえば、Ｚ１）を設定する。勾配値を設定すると、プロセッサ１１は、線路情報から、設定された勾配値に対応する測地座標列を取得する。
【0118】
測地座標列を取得すると、プロセッサ１１は、測地座標列に設定された勾配値の変換行列を作用させて、撮影画像における座標列を算出する。即ち、プロセッサ１１は、測地座標列を、撮影画像における座標列に変換する。
【0119】
撮影画像における座標列を算出すると、プロセッサ１１は、他の勾配値（たとえば、Ｚ２）を設定する。他の勾配値を設定すると、プロセッサ１１は、同様に、当該勾配値の変換行列を用いて、設定された勾配値に対応する測地座標列を、撮影画像における座標列に変換する。
【0120】
プロセッサ１１は、各勾配値において、同様に測地座標列を撮影画像における座標列に変換する。
【0121】
プロセッサ１１は、各勾配値の変換座標によって変換された座標列を統合して、１つの座標列を生成する。１つの座標列を生成すると、プロセッサ１１は、第１の実施形態と同様に、撮影画像の特徴量に基づいて、座標列に加算して線路の座標を算出するオフセットを算出する。
【0122】
プロセッサ１１は、統合した１つの座標列にオフセットを加算した座標列を撮影画像における線路Ｒを示す座標列として取得する。
【0123】
また、プロセッサ１１は、線路Ｒの座標列と線路Ｒの勾配値と限界情報とに基づいて、撮影画像において車両１０が走行する走行領域を設定する機能を有する。
【0124】
たとえば、プロセッサ１１は、撮影画像における線路Ｒの座標列と線路Ｒの勾配値と線路Ｒの測地座標とに基づいて、撮影画像の線路Ｒの各座標点における車両限界及び建築限界の大きさ及び位置を算出する。車両限界及び建築限界の大きさ及び位置を算出すると、プロセッサ１１は、大きさ及び位置に従って車両限界及び建築限界を走行領域として設定する。
【0125】
次に、車両１０の動作例について説明する。
図１１は、車両１０の動作例について説明するためのフローチャートである。ここでは、車両１０は、線路Ｒを走行しているものとする。
図１１は、車両１０の動作例について説明するためのフローチャートである。ここでは、車両１０は、線路Ｒを走行しているものとする。
【0126】
まず、車両１０のプロセッサ１１は、カメラ２から撮影画像を取得する（Ｓ３１）。撮影画像を取得すると、プロセッサ１１は、通信部１５を通じて設備情報を上位装置２０から取得する（Ｓ３２）。
【0127】
設備情報を取得すると、プロセッサ１１は、通信部を通じて線路情報を上位装置２０から取得する（Ｓ３３）。線路情報を取得すると、プロセッサ１１は、撮影画像から設備領域を特定する（Ｓ３４）。
【0128】
設備領域を特定すると、プロセッサ１１は、特定された設備領域の座標に基づいて、勾配値ごとに変換行列を生成する（Ｓ３５）。勾配値ごとに変換行列を生成すると、プロセッサ１１は、勾配値ごとの変換行列と線路情報とに基づいて、線路Ｒの測地座標列を撮影画像における座標列に変換する（Ｓ３６）。
【0129】
座標列を変換すると、プロセッサ１１は、変換された座標列と撮影画像の特徴量とをマッチングして、撮影画像における線路Ｒの座標列を算出する（Ｓ３７）。撮影画像における線路Ｒの座標列を算出すると、プロセッサ１１は、通信部１５を通じて限界情報を上位装置２０から取得する（Ｓ３８）。
【0130】
限界情報を生成すると、プロセッサ１１は、撮影画像における線路Ｒの座標列と線路Ｒの勾配値と限界情報とに基づいて、撮影画像に走行領域を設定する（Ｓ３９）。走行領域を設定すると、プロセッサ１１は、走行領域に基づいて障害物を検知する（Ｓ４０）。
【0131】
障害物があると判定すると（Ｓ４０、ＹＥＳ）、プロセッサ１１は、警告などを表示部１７に表示する（Ｓ４１）。
【0132】
障害物がないと判定した場合（Ｓ４０、ＮＯ）、又は、警告などを表示部１７に表示した場合（Ｓ４１）、プロセッサ１１は、動作を終了する。
【0133】
なお、プロセッサ１１は、所定の間隔でＳ３１乃至Ｓ４１を繰り返し実行するものであってもよい。
また、プロセッサ１１は、線路Ｒの各点における勾配値を線路情報とは別に取得するものであってもよい。また、プロセッサ１１は、設備の勾配値を設備情報とは別に取得するものであってもよい。
また、プロセッサ１１は、線路Ｒの各点における勾配値を線路情報とは別に取得するものであってもよい。また、プロセッサ１１は、設備の勾配値を設備情報とは別に取得するものであってもよい。
【0134】
以上のように構成された車両は、設備が設置されている領域の勾配値ごとに変換行列を生成する。車両は、勾配値ごとの変換行列を用いて、線路の測地座標列を撮影画像における座標列に変換する。その結果、車両は、設備及び線路が設置されている領域の勾配が変化する場合であっても、撮影画像における線路の座標列を効果的に取得することができる。
【0135】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0136】
１…筐体、２…カメラ、３…アンテナ、４…情報処理装置、１０…車両、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…通信部、１６…操作部、１７…表示部、１８…カメラインターフェース、１９…アンテナインターフェース、２０…上位装置、２１…設備領域、２２…設備領域、２３…設備領域、２４…設備領域、２５…設備領域、３１…座標列、１００…車両システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
