特許 7041723 支障物特定装置、支障物特定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-15

(45)【発行日】2022-03-24

(54)【発明の名称】支障物特定装置、支障物特定方法及びプログラム

(51)【国際特許分類】

   B61L 23/00 20060101AFI20220316BHJP

   B61L 23/06 20060101ALI20220316BHJP

   G06T 7/155 20170101ALI20220316BHJP

【ＦＩ】

B61L23/00 A

B61L23/06

G06T7/155

【請求項の数】 6

(21)【出願番号】P 2020133210

(22)【出願日】2020-08-05

(65)【公開番号】P2022029746

(43)【公開日】2022-02-18

【審査請求日】2020-08-05

(73)【特許権者】

【識別番号】000135771

【氏名又は名称】株式会社パスコ

(73)【特許権者】

【識別番号】505082110

【氏名又は名称】株式会社ＪＲ東日本情報システム

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】野村 大祐

(72)【発明者】

【氏名】小野 隆広

(72)【発明者】

【氏名】村田 雅彦

(72)【発明者】

【氏名】青木 勇

(72)【発明者】

【氏名】綱島 康雄

(72)【発明者】

【氏名】荒井 廷一

(72)【発明者】

【氏名】上▲崎▼ 寛史

(72)【発明者】

【氏名】金子 謙太郎

【審査官】清水 康

(56)【参考文献】

【文献】特開２０１９－１４２３０４（ＪＰ，Ａ）

【文献】特開平０８－１８０２７６（ＪＰ，Ａ）

【文献】特開２０１２－２３５７１２（ＪＰ，Ａ）

【文献】特開２０２０－００６７８８（ＪＰ，Ａ）

【文献】特開２０１０－００６２９５（ＪＰ，Ａ）

【文献】特開２０２０－０３５１９９（ＪＰ，Ａ）

【文献】特開２００６－１３３９４１（ＪＰ，Ａ）

【文献】特開２００９－０６１７９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６１Ｌ ２３／００ － ２７／０４

Ｂ６０Ｌ １／００ － ３／１２

Ｂ６０Ｌ ７／００ － １３／００

Ｂ６０Ｌ １５／００ － ５８／４０

Ｇ０８Ｇ １／００ － １／１６

Ｇ０６Ｔ ７／１５５

(57)【特許請求の範囲】

【請求項1】

線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別手段と、
前記判別手段による判別結果に基づいて線路敷領域の外形状を設定する設定手段と、
前記判別手段により判別された非線路敷画素のうち前記線路敷領域の内部に位置するものを支障物の範囲として特定する特定手段と、
を備えることを特徴とする支障物特定装置。

【請求項2】

前記特定手段は、前記線路敷領域の内部に位置する前記非線路敷画素が集まった領域のサイズに応じて支障物であるか否かを判断することを特徴とする請求項１記載の支障物特定装置。

【請求項3】

前記特定手段は、前記線路敷画素の領域を所定の度合にて膨張させた後に当該度合にて収縮させる処理を行い、前記線路敷領域の内部に位置する当該処理後の非線路敷画素を支障物の範囲として特定することを特徴とする請求項２記載の支障物特定装置。

【請求項4】

前記特定手段は、前記判別手段により判別された前記線路敷画素と前記非線路敷画素との分布に応じて定められる度合にて前記線路敷画素の領域を膨張させた後に当該度合にて収縮させる処理を行い、前記線路敷領域の内部に位置する当該処理後の非線路敷画素を支障物の範囲として特定することを特徴とする請求項２記載の支障物特定装置。

【請求項5】

線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別ステップ、
前記判別ステップでの判別結果に基づいて線路敷領域の外形状を設定する設定ステップ、
前記判別ステップで判別された非線路敷画素のうち前記線路敷領域の内部に位置するものを支障物の範囲として特定する特定ステップ、
を含むことを特徴とする支障物特定方法。

【請求項6】

コンピュータを、
線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別手段、
前記判別手段による判別結果に基づいて線路敷領域の外形状を設定する設定手段、
前記判別手段により判別された非線路敷画素のうち前記線路敷領域の内部に位置するものを支障物の範囲として特定する特定手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、線路敷内において支障物が存在する範囲を特定する支障物特定装置、支障物特定方法及びプログラムに関する。

【背景技術】

【0002】

鉄道や軌道など（以下、鉄道など）の交通機関では、定期的に及び必要に応じて線路を保全するための保線作業が行われる。保線作業においては、鉄道などの運行に支障を与えうる支障物を確実に見つけて撤去することが重要な作業の一つである。特許文献１には、レールの偏光度の変化を利用して、レール上の障害物を検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－２００７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、レール上の障害物を検出できるものの、レール間やレール脇などを含む線路敷内に存在している支障物を検出できず、保線作業の支援としては不十分であるという課題がある。

【0005】

この発明の目的は、レール上のみならず線路敷内において支障物が存在する範囲を特定できて鉄道などの保線作業における実用性の高い支障物特定装置、支障物特定方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本開示は、
線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別手段と、
前記判別手段による判別結果に基づいて線路敷領域の外形状を設定する設定手段と、
前記判別手段により判別された非線路敷画素のうち前記線路敷領域の内部に位置するものを支障物の範囲として特定する特定手段と、
を備えることを特徴とする支障物特定装置である。

【発明の効果】

【0007】

本開示によれば、レール上のみならず線路敷内において支障物が存在する範囲を特定でき、より高い実用性をもって鉄道などの保線作業を支援することができるという効果がある。

【図面の簡単な説明】

【0008】

【図1】本実施形態の支障物特定装置の機能構成を示すブロック図である。

【図2】線路敷を撮影した画像の一例を示す図である。

【図3】判別された線路敷画素領域と、特定された線路敷領域とを模式的に示す図である。

【図4】モルフォロジー変換を模式的に説明する図である。

【図5】線路敷領域と線路敷画素領域との差分を示す図、及び検出された支障物の表示について説明する図である。

【図6】支障物検出処理の制御手順を示すフローチャートである。

【図7】支障物検出処理の変形例の制御手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の支障物特定装置１０の機能構成を示すブロック図である。

【0010】

支障物特定装置１０は、例えば、ＡＲ（Augmented Reality）グラスなどであり、グラス部分を介して実際の視界に重畳して対応表示がなされる。制御部１１（判別手段、設定手段、特定手段）と、記憶部１２と、撮影部１３と、計測部１４と、操作受付部１５と、表示部１６と、通信部１７などを備える。なお、ＡＲグラスの本体部分と制御動作部分（コンピュータ）とは、一体型であってもよいし、分離型であってもよい。

【0011】

制御部１１は、ＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）などを備え、支障物特定装置１０の全体動作を統括制御する。記憶部１２は、フラッシュメモリといった不揮発性のメモリを備え、各種データを記憶する。記憶されているデータには、プログラム１２１が含まれる。

【0012】

撮影部１３は、可視光カメラを備える。可視光カメラは、左右のグラスを介したＡＲグラスのユーザの視界を所定の周期でステレオ撮影する。

【0013】

計測部１４は、各種センサを備える。これらのセンサは、例えば、ユーザによるＡＲグラスの着脱状態の検出、ユーザの運動の検出や、視認対象までの距離の計測などを行う。

【0014】

操作受付部１５は、ユーザからの操作を受け付けて制御部１１に出力する。操作受付部１５は、専用のデバイスであってもよいし、分離型のＡＲグラスの場合には、制御部分に操作受付デバイスが設けられていてもよい。

【0015】

表示部１６は、グラスを介してユーザの視野内に表示内容を投影する。表示部１６としては、例えば、走査型のレーザー光投影装置を備え、ユーザの視野内を所定の周期で走査することで、グラスを介したユーザの視野に所望の表示を重畳させる。

【0016】

次に、本実施形態の支障物特定装置１０における支障物の特定に係る動作について説明する。
本実施形態の支障物特定装置１０は、撮影画像においてレール、枕木及び道床などの所定の構成物（線路敷構成物）で構成される線路敷が含まれている領域である線路敷領域の内部からごみ、進入物や保線後に置き忘れた工具などの支障物を検出して示す。進入物には、自然災害などによる落石、枝、土砂、構造物の破片などが含まれてもよい。

【0017】

図２は、線路敷Ｗを含む撮影画像の一例を示す図である。
線路敷Ｗを構成する線路敷構成物は、平行に延びる２本のレールＲ（軌条）、枕木Ｐ、バラストＢや軌道スラブなどの道床などを含む。また、線路敷構成物には、これらに直接関係する建造物、設備や装置が含まれていてもよい。線路敷構成物に含まれる建造物の例は、橋などである。また、線路敷構成物に含まれる設備や装置の例は、速度制限標識、勾配標などの鉄道標識Ｓ、場所により架線柱及び架線、ポイント、踏切、各種信号設備Ａ（例えば、ＡＴＳ（Automatic train stop）の地上子）、通信設備Ｆ、電力供給設備、及びこれら信号や電力などを送受信するケーブルＣなどである。撮影画像には線路敷以外も含まれ得る。線路敷以外のものとしては、例えば、線路敷Ｗの両側に設けられた柵、排水溝、土手や斜面、及び土手や斜面を介して接している道路、田畑、林や建物Ｈなどがある。

【0018】

このような線路敷Ｗの画素（線路敷画素）と線路敷以外の画素（非線路敷画素）とは、機械学習させた学習済モデルを用いることで概ね精度よく判別される。学習は、予め学習データを用いて任意のコンピュータで行われ、支障物特定装置１０は、プログラム１２１の一部として学習済モデル１２１０を記憶保持していればよい。

【0019】

学習済モデル１２１０の生成に用いられる学習アルゴリズムは、例えば、ディープラーニングにおけるセマンティックセグメンテーションとすることができる。学習済モデル１２１０は、線路敷が撮影された多数の学習用画像と、各学習用画像に対する正解データとして予め付与された、各画素が線路敷画素であるか非線路敷画素を示すアノテーションとを用いて事前に学習されたものである。すなわち、各学習用画像をニューラルネットワークなどによりモデル化した学習モデルに入力して得られる出力値が当該学習用画像に対応する正解データに一致するように学習モデルのパラメータが更新されて学習済モデル１２１０が生成される。

【0020】

上述した例では正解データとして２クラスに分類するアノテーションを用いたが、別の例では、学習済モデル１２１０は、個々の線路敷構成物それぞれのクラスと線路敷構成物以外のクラスとを示す３以上のクラスのアノテーションを正解データとして用いた学習により生成されることもできる。その場合、学習済モデル１２１０の出力値が示すクラスのうち線路敷構成物のクラスに分類された画素を線路敷画素とし、線路敷構成物以外のクラスに分類された画素を非線路敷画素とすることで、学習済モデル１２１０の出力値を２クラスの判別結果に変換すればよい。また、学習済モデル１２１０は、さらに線路敷構成物以外のクラスを複数のクラスに分類するアノテーションを用いた学習により生成されることもできる。その場合はさらに学習済モデル１２１０の出力値が示すクラスのうち線路敷構成物以外の物体クラスに分類された画素を非線路敷画素とすることで、学習済モデル１２１０の出力値を２クラスの判別結果に変換すればよい。
以下、線路敷画素が集まった領域を線路敷画素領域と称し、非線路敷画素が集まった領域を非線路敷画素と称する。ここでいう「集まった」は、互いに接する同一属性の画素を一まとまりとすることをいい、各領域は他の同一属性の画素と接していない１画素のみの単一画素領域も含む。

【0021】

線路敷Ｗの外形状は、レール上やレール脇から見ると、通常は、視点からの距離に応じた幅（遠くなるほど狭い）を有する帯状となり、単純な直線や曲線で近似できる。この線路敷Ｗ内に支障物Ｏ１、Ｏ２があると、外形状が示す領域（線路敷領域）の内部にて上記学習済モデルにより得られた非線路敷画素領域が当該支障物Ｏ１、Ｏ２の存在する範囲として特定できる。そこで、学習済モデルにより得られた線路敷領域を基に自然な外形状の線路敷領域を別途定め、当該線路敷領域内に含まれる非線路敷画素領域を支障物の候補が存在する範囲として特定する。自然な外形状の線路敷領域は、例えば、上記学習済モデル１２１０で判別された線路敷画素の凸包として定めることができる。なお、線路敷画素領域が複数に分かれて検出された場合には、多くの場合、一番大きいものが正しい線路敷領域を含み、その他のものが誤判別によるものとなるので、一番大きい線路敷画素領域に対して凸包を行うのが好適である。通常、自然な形状の線路敷領域より外側には、線路敷Ｗはあり得ないので、このようにして定めた線路敷領域の外側で判別されている線路敷画素は、一律に非線路敷領域の画素へと修正されてよい。

【0022】

学習済モデル１２１０を用いた判別では、実際には、線路敷Ｗの境界上では若干の判別ぶれが生じやすく、また、微小なノイズなどによる誤判別もあり得る。したがって、誤判別であるとみなし得る部分については、適宜除外したうえで、残りを支障物の候補として特定し、表示してユーザに報知する。図２の例では、雑草Ｇ１、Ｇ２が線路敷Ｗの際に生えており、境界が見えなくなっている。本実施形態においては、線路敷画素を判別する機械学習モデルに雑草を線路敷構成物に含めずに学習させる例を示すが、雑草を線路敷構成物に含めて学習させてもよい。また、レールＲ付近の雑草を線路敷構成物に含め、線路敷境界付近の雑草を線路敷構成物に含めずに学習させてもよい。

【0023】

また、本来の線路敷Ｗの外側でも建物の壁面や空の色などが路盤面と近い状況では、線路敷画素として誤判別される場合もあり得る。このような画素の領域（誤判別領域）は、上記凸包などを定める際に邪魔になるので、自然な形状の線路敷領域を定める前にこのような外側の誤判別領域を除いておくことで、より正しく自然な形状の線路敷領域を定めやすくすることができる。

【0024】

図３は、学習済モデルを用いて特定した線路敷画素領域Ｗ０（図３（ａ））と、他の方法により求められた線路敷領域Ｗ１（図３（ｂ））とを模式的に示す図である。

【0025】

図３（ａ）に示すように、線路敷画素領域Ｗ０には、支障物領域Ｕ１、Ｕ２の他、雑草Ｇ１に対応する領域Ｍ１などの抜け領域がある。また、線路敷際の建物Ｈの部分に小さな誤判別領域Ｍ２がある。一方、図３（ｂ）に示すように、他の方法では、原則的に直線状の輪郭線で線路敷領域Ｗ１が特定される。

【0026】

微小ノイズや境界の判別ぶれなどの除去には、例えば、モルフォロジー変換が用いられる。例えば、非線路敷画素領域を所定の度合だけ膨張させた後に同じ度合だけ収縮させることで、当該度合に応じたサイズ以下の微小な閉領域及び／又は凸状の線路敷画素領域が除去される。反対に、線路敷画素領域Ｗ０を所定の度合だけ膨張させた後に同じ度合だけ収縮させることで、当該度合に応じたサイズ以下の微小な非線路敷画素領域が除去される。
以下、上記所定の度合を膨張・収縮度合と称する。膨張・収縮度合は、膨張・収縮させる画素数として定められる。ここで、膨張・収縮させる画素数は、整数に限られなくてもよい。画素数は、膨張・収縮させる領域の最初のサイズとこの領域を所定の比率で膨張させたときのサイズとの差分に応じて定められてもよい。膨張・収縮度合は、事前の実験などを通じ、判別ぶれのサイズや誤判別領域のサイズを想定して定められる。

【0027】

図４は、モルフォロジー変換を模式的に説明する図である。
図４（ａ）に示す元の図形Ｗｏは、内部に例外部分Ｊ１（図形Ｗｏに含まれない部分）を有し、また、外側境界に微小なくぼみＪ２を有する。この図形Ｗｏの境界（例外部分Ｊ１との境界（内側境界）を含む）を膨張・収縮度合だけ膨張させた図形Ｗｅは、これら例外部分Ｊ１及びくぼみＪ２が埋め込まれる。図４（ｂ）に示すように図形Ｗｅを膨張・収縮度合だけ収縮させると、これら埋め込まれた部分が消滅した図形Ｗｒが得られる。

【0028】

なお、境界付近の支障物見落としは鉄道走行などに影響しないので、あまり問題にならず、むしろ誤検出が多くなると視覚上煩わしくなるが、レール付近での支障物見落としは致命的になり得る。したがって、非線路敷画素領域のモルフォロジー変換に係る膨張・収縮度合と、線路敷画素領域のモルフォロジー変換に係る膨張・収縮度合とは、異なっていてよく、特に、前者が後者よりも大きくてもよい。これにより、前者では誤検出が抑制され、後者では検出漏れが抑制される。

【0029】

図５（ａ）は、線路敷領域Ｗ１と線路敷画素領域Ｗ０との差分を取った図である。
上記の各部分に加えて、線路敷の境界のうち一部で微小なずれＭ３が生じていることが分かる。このうち、上記のように、誤判定領域Ｍ２は、非線路敷画素領域のモルフォロジー変換で除去され、微小な境界判定のずれＭ３は、線路敷画素領域Ｗ０のモルフォロジー変換で除去され得る。領域Ｍ１などは、サイズによっては除去できない場合があってもよい。

【0030】

図５（ｂ）は、検出された支障物の表示を示す図である。
支障物が検出されると、その支障物をそれぞれ示す表示がＡＲグラスの表示部１６により行われる。特には限られないが、ここでは、支障物を内包する矩形が表示される。支障物を内包する矩形の範囲が定められてその座標が決まると、当該座標の情報に基づいて、表示部１６により矩形の表示を行わせる。ここでは、支障物領域Ｕ１、Ｕ２をそれぞれ内包する矩形Ｑ１、Ｑ２が特定されている。また、雑草Ｇ１に係る領域Ｍ１に対応する矩形Ｑ３が特定されている。これらがＡＲグラスに実際の視界と重ねて表示されることで、ユーザが支障物の候補を容易に知覚することが可能になる。

【0031】

なお、歩きながらの確認などでは、視界がぶれやすいので、十分に短い遅延時間で矩形Ｑ１～Ｑ３などの表示が行われる必要がある。したがって、上記支障物検出処理の処理負荷が軽くなるように、撮影画像は、必要に応じて解像度が低下されて処理がなされてもよい。

【0032】

図６は、支障物検出処理の制御部１１による制御手順を示すフローチャートである。本実施形態の支障物特定方法を含むこの支障物検出処理は、プログラム１２１に含まれ、新たな撮影画像が入力されるたびに実行される。

【0033】

支障物検出処理が開始されると、制御部１１は、撮影部１３から入力された撮影画像を取得する（ステップＳ１）。制御部１１は、学習済モデルに撮影画像を入力し、セマンティックセグメンテーションなどにより各画素がそれぞれ線路敷画素と非線路敷画素のいずれであるかを判別する（ステップＳ２；判別手段、判別ステップ）。

【0034】

制御部１１は、非線路敷画素が集まった非線路敷画素領域のそれぞれに対してモルフォロジー変換を行うことにより非線路敷画素領域の内部及び周辺のノイズを除去する（ステップＳ３）。このモルフォロジー変換により、各非線路敷画素領域の内部及び周辺にて誤判別された線路敷画素は、非線路敷画素に変換される。制御部１１は、ステップＳ３の処理を経て残った線路敷画素の凸包を定めて当該凸包の辺にて定まる外形状を有する線路敷領域を設定する（ステップＳ４；設定手段、設定ステップ）。すなわち、モルフォロジー変換後の線路敷画素を包含するのに必要な最小限の頂点を有する多角形が線路敷領域と設定される。なお、その際、複数の線路敷画素領域が残っている場合には、制御部１１は、最大の面積の線路敷画素領域に対してのみ凸包を設定し、設定された線路敷領域の外側の線路敷画素を非線路敷画素に変更する。

【0035】

制御部１１は、設定された線路敷領域内の線路敷画素領域に対してモルフォロジー変換を行うことにより当該線路敷画素領域の内部及び周辺のノイズを除去する（ステップＳ５）。このモルフォロジー変換により、当該線路敷画素領域の内部及び周辺にて誤判別された非線路敷画素は、線路敷画素に変換される。

【0036】

制御部１１は、ステップＳ４で設定された線路敷領域内の非線路敷画素領域を抽出し、抽出した非線路敷画素領域を支障物（候補）の範囲として特定する（ステップＳ６；特定手段、特定ステップ）。制御部１１は、当該範囲の表示用に、検出された支障物を（複数の場合にはそれぞれ）内包する矩形範囲を特定し、この矩形範囲を表す座標を定める（ステップＳ７）。制御部１１は、当該座標に矩形を表示する制御信号を表示部１６へ出力する（ステップＳ８）。なお、線路敷領域内に非線路敷画素がない場合には、ステップＳ６、Ｓ７の処理は省略されてよい。そして、制御部１１は、支障物検出処理を終了する。

【0037】

［変形例］
上記実施の形態では、膨張・収縮度合を予め定める例を示したが、撮影画像ごとに膨張・収縮度合を定めてもよい。例えば、制御部１１は、設定手段及び特定手段として、撮影画像に対して判別された線路敷画素と非線路敷画素の分布に応じて当該撮影画像に対する膨張・収縮度合を定めることができる。具体的には、線路敷画素と非線路敷画素の分布と膨張・収縮度合との関係を予め学習した学習済モデル（膨張・収縮度合推定モデルと称する）をプログラム１２１の一部として記憶部１２に記憶させておく。そして、制御部１１は、設定手段及び特定手段として、撮影画像に対して判別された線路敷画素および非線路敷画素に互いに異なる画素値を設定した二値画像を膨張・収縮度合推定モデルに入力して得られる出力値を膨張・収縮度合として用いる。膨張・収縮度合推定モデルは、事前に線路敷が撮影された事例画像に対して制御部１１が判別手段として判別した線路敷画素及び非線路敷画素に互いに異なる画素値を設定した二値画像と、各事例画像に適した膨張・収縮度合とを用いて学習される。すなわち、各事例画像に対応する二値画像をニューラルネットワーク等によりモデル化した学習モデルに入力して得られる出力値が当該事例画像に対応する膨張・収縮度合に一致するように学習モデルのパラメータが更新されて膨張・収縮度合推定モデルが学習される。
また、上記実施の形態では、ＡＲグラスにおいて、現実の視界に重ねて支障物の範囲を表示させる例を示したが、撮影画像に支障物の範囲を重畳した画像を表示部１６により表示させてもよい。この場合、表示部１６は、液晶画面などの表示画面を有し、撮影画像が略リアルタイムで更新表示される。

【0038】

図７は、支障物検出処理の変形例の制御手順を示すフローチャートである。
この変形例では、ステップＳ１１～Ｓ１３の処理が追加され、ステップＳ８の処理が削除されている。その他の処理は、上記実施形態における支障物検出処理と同一であり、同一の処理内容には同一の符号を付して詳しい説明を省略する。

【0039】

ステップＳ２の処理で線路敷画素と非線路敷画素とを判別すると、制御部１１は、線路敷画素と非線路敷画素にそれぞれ所定の値を設定した二値画像を膨張・収縮度合推定モデルに入力して膨張・収縮度合を決定する（ステップＳ１１）。それから、制御部１１の処理は、ステップＳ３へ移行する。

【0040】

ステップＳ７の処理が終了すると、制御部１１は、取得、処理された撮影画像に対して設定された座標位置に矩形画像を重ねるように追加する編集を行う（ステップＳ１２）。制御部１１は、表示部１６に制御信号を出力し、表示画面に編集された画像を出力表示させる（ステップＳ１３）。そして、制御部１１は、支障物検出処理を終了する。
なお、非線路敷画素領域のモルフォロジー変換に係る膨張・収縮度合と、線路敷画素領域のモルフォロジー変換に係る膨張・収縮度合とを異ならせる場合、各度合を推定するための膨張・収縮度合推定モデルは、別々に学習されて記憶部１２に記憶され、制御部１１は、ステップＳ１１の処理において各モデルに二値画像を入力してそれぞれの膨張・収縮度合を決定する。

【0041】

また、撮影画像ごとに膨張・収縮度合を定める別の例においては、探索的に膨張・収縮度合が決定される。その場合、例えば、制御部１１は、ステップＳ１１の処理において膨張・収縮度合を変更しながら非線路敷画素領域に対するモルフォロジー変換を試行して、複数の線路敷画素領域のうちもっともらしい領域が少なく（例えば１つに）なる膨張・収縮度合を決定する。

【0042】

［他の変形例］
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、線路敷画素と非線路敷画素とをセマンティックセグメンテーションを利用した学習済モデルにより判別したが、これに限られない。他の画像処理方法が用いられてもよい。例えば、勾配ブースティング、ランダムフォレストなどでモデル化した学習済モデルを用いて線路敷画素と非線路敷画素とを判別することができる。その場合、制御部１１は、判別手段として、例えば、画像をメッシュ分割して各メッシュでのＲＧＢの平均と標準偏差を求め、求めた値を説明変数として用いる。すなわち、制御部１１は、判別手段として、多数の学習用画像それぞれから求めた説明変数を入力して得られる出力値を当該学習用画像のアノテーションに一致させるようにパラメータを更新した学習済モデルに、撮影画像から求めた説明変数を入力して判別を行う。

【0043】

また、ノイズの除去は、モルフォロジー変換による必要はない。例えば、単純に領域面積（画素数）が所定の基準値未満の場合には、ノイズとして周囲の領域に含めるものとしてもよい。また、そもそも、ノイズの除去に係る処理を行わなくてもよい。

【0044】

また、上記実施の形態では線路敷画素の凸包を線路敷領域と定める例を示したが、別の例では、例えば、制御部１１が、判別手段としてセマンティックセグメンテーションにより線路敷画素と非線路敷画素に加えてレールＲを判別し、設定手段として当該レールＲから所定の幅の範囲（車体幅に応じて定まる）を線路敷領域として定めることができる。なお、この場合、非線路敷画素領域内の誤検出領域の影響はないので、非線路敷画素領域のモルフォロジー変換を行わないこととしてもよい。

【0045】

また、上記実施の形態では、線路敷領域の全体について非線路敷画素領域を支障物として特定したが、レール付近などの重要な範囲のみで特定し、線路敷領域の両端付近については、特定を行わない、又は特定する条件を異ならせる（厳しくする）こととしてもよい。

【0046】

また、上記実施の形態では、検出、特定された支障物を内包する矩形を設定して支障物の視野範囲に重ねて表示させるものとして説明したが、これに限られない。矩形でなく、任意の形状であってもよい。また、表示だけでなく、音声や振動などにより支障物を検出したことを示す報知動作を行ってもよい。例えば、表示画面に撮影画像と支障物の検出位置とを重ねて表示させる場合、ユーザは、通常では表示画面を見ずに直接線路敷領域を目視してもよく、報知動作があった場合に撮影画像上の検出位置を特定して当該検出位置を確認することとしてもよい。

【0047】

また、上記実施の形態では、ユーザの視線方向の画像を撮影するものとして説明したが、これに限られない。ユーザの視線方向とは独立に、例えば、作業車などに固定されたカメラで撮影された画像であってもよい。

【0048】

また、検出、特定された支障物の位置は、画像（視覚情報）によって示されるものに限られない。音声などによって現在の視線方向に対する角度、距離やサイズが示されてもよい。また、ユーザへの報知動作だけではなく、別途検出履歴データとしてテキストデータなどにより出力を行ってもよい。この場合、例えば、測位情報を取得して、現在位置の緯度経度又は線路に沿った距離情報などを併せて出力してもよい。

【0049】

また、上記実施の形態では、撮影部１３を有し、自機で撮影した画像を処理するＡＲグラス（構造上は制御部分が別体であってもよい）などを例に挙げて説明したが、これに限られない。他の機器で撮影された画像を取得して支障物を検出する制御処理を行う処理装置であってもよい。

【0050】

また、上記実施の形態で示した各種構成及び処理と、変形例で示した構成及び処理とは、互いに相反しない限りにおいて組み合わされてよく、また、併用されてもよい。

【0051】

また、学習済モデルは、線路（バラスト軌道、スラブ軌道、路面電車）などに応じて各々別個に生成されてもよい。

【0052】

以上のように、本実施形態の支障物特定装置１０は、制御部１１を備える。制御部１１は、判別手段として、線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別し、設定手段として、判別手段での判別結果に基づいて線路敷領域の外形状を設定し、特定手段として、線路敷領域の内部に位置する非線路敷画素を支障物の範囲として特定する。
このように、容易な処理でレール上のみならず線路敷内において支障物が存在する範囲を特定することができるので、支障物特定装置１０は、より高い実用性をもって保線作業を支援することができる。ここでいう保線作業は、保線作業員が契約に従って保線業務に従事している場合に限られず、鉄道などに関係する者が線路敷を観察する場合全般を含んでよい。したがって、想定され得るあらゆる種類の支障物を学習させる必要がなく、また、検出漏れの可能性も低減することができるので、効率がよい。また、線路敷を基準とするので、線路敷以外の周辺環境が大きくばらついていても、ほとんど影響を受けない。さらに、線路敷の典型的な形状、配置に基づいて線路敷画素と非線路敷画素とが判別されるので、処理が重くならず、略リアルタイムでの検出及び表示に利用することができる。特に、セマンティックセグメンテーションによって判別を行う場合、撮影画像を分割して分割画像ごとに支障物が撮影された分割画像であるか否かを識別するなどの高負荷な探索を行わずに済むので、処理が迅速に終了する。したがって、この支障物特定装置１０は、より実用性を向上させることができる。

【0053】

また、制御部１１は、特定手段として、線路敷領域の内部に位置する非線路敷画素が集まった非線路敷画素領域のサイズに応じて支障物であるか否かを判断する。上記では、線路敷領域の内部にあるすべての非線路敷画素領域を検出することができるが、実際にはノイズや、境界での厳密な判別が難しい部分もある。そこで、支障物を必要な範囲では確実に検出可能な範囲で、十分に小さいサイズのものをノイズとして除外することで、重要な検出漏れを抑制しつつ誤検出を削減することができる。これにより、必要な支障物の検出に絞ってユーザに報知することが可能であり、ノイズに埋もれてユーザが重要な検出を見逃したり無駄な確認作業に時間を要したりすることが低減される。

【0054】

また、制御部１１は、特定手段として、線路敷画素領域を所定の度合にて膨張させた後に当該度合にて収縮させる処理を行い、線路敷領域の内部に位置する当該処理後の非線路敷画素を支障物の範囲として特定する。モルフォロジー変換を用いて細かいノイズを除去するので、手間がかからず、容易に必要なサイズ以上の支障物を特定することができる。

【0055】

また、制御部１１は、特定手段として、判別手段として判別した線路敷画素と非線路敷画素との分布に応じて定められる度合にて線路敷画素領域を膨張させた後に当該度合にて収縮させる処理を行い、線路敷領域の内部に位置する当該処理後の非線路敷画素を支障物の範囲として特定してもよい。これにより、撮影画像ごとの判別結果に応じてより適切に細かいノイズを除去することができる。

【0056】

また、本実施形態の支障物特定方法は、線路敷を含む撮影画像における線路敷画素と非線路敷画素とを判別する判別ステップ、線路敷領域の外形状を設定する設定ステップ、線路敷領域の内部に位置する非線路敷画素を支障物の範囲として特定する特定ステップ、を含む。このようにして支障物を特定することで、レール上のみならずレール間やレール脇などの線路敷内において支障物が存在する範囲を特定でき、さらに、支障物の形状にも依存しないので、より高い実用性をもって鉄道などの保線作業を支援することができる。

【0057】

また、プログラム１２１をソフトウェア的に実行して、コンピュータを、上記各手段として機能させることでも線路敷領域全体での支障物の検出が可能になるので、特別なハードウェアを必要とせずに容易に現場で支障物の検出を支援することができる。

【0058】

また、以上の説明では、本発明の支障物の特定制御に係るプログラム１２１を記憶するコンピュータ読み取り可能な媒体としてフラッシュメモリなどの不揮発性メモリなどからなる記憶部１２を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、ＭＲＡＭなどの他の不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、並びにＣＤ－ＲＯＭ及びＤＶＤディスクなどの可搬型記録媒体を適用することが可能である。また、通信回線を介して本発明に係るプログラムのデータを提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。

【符号の説明】

【0059】

１０ 支障物特定装置
１１ 制御部
１２ 記憶部
１２１ プログラム
１２１０ 学習済モデル
１３ 撮影部
１４ 計測部
１５ 操作受付部
１６ 表示部
１７ 通信部
Ａ 信号設備
Ｂ バラスト
Ｃ ケーブル
Ｆ 通信設備
Ｇ１、Ｇ２ 雑草
Ｈ 建物
Ｍ１ 領域
Ｍ２ 誤判定領域
Ｏ１、Ｏ２ 支障物
Ｐ 枕木
Ｒ レール
Ｓ 鉄道標識
Ｕ１、Ｕ２ 支障物領域
Ｗ 線路敷
Ｗ０ 線路敷画素領域
Ｗ１ 線路敷領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】