知財求人 - 知財ポータルサイト「IP Force」
▶ 日本電気株式会社の特許一覧 ▶ 株式会社福田組の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023042061
(43)【公開日】2023-03-27
(54)【発明の名称】切羽安定性評価装置、制御方法、及びプログラム
(51)【国際特許分類】
E21D 9/00 20060101AFI20230317BHJP
G01B 11/00 20060101ALI20230317BHJP
G01H 17/00 20060101ALI20230317BHJP
G01M 99/00 20110101ALI20230317BHJP
G01V 1/00 20060101ALI20230317BHJP
【ＦＩ】
E21D9/00 Z
G01B11/00 H
G01H17/00 Z
G01M99/00 Z
G01V1/00 B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021149141
(22)【出願日】2021-09-14
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(71)【出願人】
【識別番号】000154565
【氏名又は名称】株式会社福田組
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】久田 大地
(72)【発明者】
【氏名】若月 和人
【テーマコード（参考）】
2F065
2G024
2G064
2G105
【Ｆターム（参考）】
2F065AA01
2F065AA49
2F065AA58
2F065BB15
2F065FF04
2F065JJ19
2F065JJ26
2F065QQ08
2F065QQ23
2F065QQ24
2F065QQ25
2F065QQ31
2G024AD34
2G024CA13
2G024FA01
2G024FA04
2G024FA06
2G024FA11
2G064AB01
2G064AB02
2G064AB13
2G064BA02
2G064BC40
2G064BD02
2G064CC02
2G064DD02
2G105AA02
2G105BB02
2G105EE01
2G105EE06
(57)【要約】
【課題】切羽の安定性を評価する新たな技術を提供する。
【解決手段】切羽安定性評価装置２０００は、切羽１０の周囲の音を録音することで得られる音声データ２２、及び切羽１０を撮像することで得られるビデオデータ３２を取得する。切羽安定性評価装置２０００は、音声データ２２によって表される音の種類を特定する。切羽安定性評価装置２０００は、ビデオデータ３２を用いて、切羽１０における崩落領域の面積である崩落面積を算出する。切羽安定性評価装置２０００は、特定した音の種類及び算出した崩落面積に基づいて、切羽１０の安定度を特定する。
【選択図】図１
【解決手段】切羽安定性評価装置２０００は、切羽１０の周囲の音を録音することで得られる音声データ２２、及び切羽１０を撮像することで得られるビデオデータ３２を取得する。切羽安定性評価装置２０００は、音声データ２２によって表される音の種類を特定する。切羽安定性評価装置２０００は、ビデオデータ３２を用いて、切羽１０における崩落領域の面積である崩落面積を算出する。切羽安定性評価装置２０００は、特定した音の種類及び算出した崩落面積に基づいて、切羽１０の安定度を特定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得部と、
前記音声データによって表される音の種類を特定する音種別特定部と、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出部と、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定部と、を有する切羽安定性評価装置。
前記音声データによって表される音の種類を特定する音種別特定部と、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出部と、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定部と、を有する切羽安定性評価装置。
【請求項2】
前記音種別特定部は、前記音声データによって表される音が、掘削音を含まない音、軽い掘削音、及び重い掘削音のうちのどの種類であるかを特定し、
重い掘削音は、軽い掘削音と比較し、高周波成分が大きい音である、請求項１に記載の切羽安定性評価装置。
重い掘削音は、軽い掘削音と比較し、高周波成分が大きい音である、請求項１に記載の切羽安定性評価装置。
【請求項3】
前記崩落面積算出部は、前記ビデオデータのビデオフレームから動体を表す動体領域を検出し、前記動体領域がマーキングされた前記ビデオフレームに対してセマンティックセグメンテーションを行うことにより、前記崩落領域を表す前記動体領域を検出する、請求項１又は２に記載の切羽安定性評価装置。
【請求項4】
前記崩落面積算出部は、前記ビデオデータを用いて、掘削機械によって掘削されている位置である掘削点を特定し、前記掘削点に基づいて、前記掘削機械によって砕かれた岩盤の土砂が堆積している領域である堆積領域を特定し、前記崩落領域から前記堆積領域を除外する、請求項１から３いずれか一項に記載の切羽安定性評価装置。
【請求項5】
前記崩落面積算出部は、前記評価対象の切羽に含まれる複数の部分領域それぞれについて、その部分領域に含まれる前記崩落領域の面積を、前記崩落面積として算出する、請求項１から４いずれか一項に記載の切羽安定性評価装置。
【請求項6】
前記安定度特定部は、前記音声データによって表される音の種類が、掘削音を含まない音ではなく、なおかつ、前記崩落面積が閾値以上である場合、前記評価対象の切羽の安定度が、複数のレベルの安定度のうち、最も高い安定度であると特定する、請求項１から５いずれか一項に記載の切羽安定性評価装置。
【請求項7】
前記安定度特定部は、前記崩落領域の面積が前記閾値未満である場合において、前記音声データによって表される音の種類が重い掘削音である場合における前記評価対象の切羽の安定度を、前記音声データによって表される音の種類が軽い掘削音である場合における前記評価対象の切羽の安定度よりも高くする、請求項６に記載の切羽安定性評価装置。
【請求項8】
前記評価対象の切羽の安定度に関する情報である安定度情報を出力する出力部を有し、
前記安定度情報は、前記評価対象の切羽の安定度の時間変化を表すグラフを含む、請求項１から７いずれか一項に記載の切羽安定性評価装置。
前記安定度情報は、前記評価対象の切羽の安定度の時間変化を表すグラフを含む、請求項１から７いずれか一項に記載の切羽安定性評価装置。
【請求項9】
コンピュータによって実行される制御方法であって、
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、
前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を有する制御方法。
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、
前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を有する制御方法。
【請求項10】
コンピュータに、
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、
前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を実行させるプログラム。
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、
前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、掘削現場の安定性を評価する技術に関する。
【背景技術】
【0002】
トンネル施工などといった掘削作業の現場では、作業の安全性を確保し、必要に応じて適切な対策を実施するために、切羽の安定性を確認しながら作業を行うことが求められている。この点、切羽の安定性を人手で評価することは、主観的な部分が多く評価にバラつきが発生するため、経験豊富な熟練技術者の判断に負うところが大きい。しかしながら、掘削箇所にこのような熟練技術者を長時間臨場させることは難しい場合が多い。そこで、情報処理技術を利用して切羽の安定性を評価する技術が開発されている。
【0003】
特許文献１は、切羽の発破孔に関するデータを利用して、切羽の安定度を特定する技術を開示している。特許文献２は、切羽を撮影した画像から、切羽の風化の状態、切羽の崩落の頻度、切羽面に生じた亀裂の状態、切羽を構成する岩種、及び切羽面に生じた湧き水の状態を解析することにより、切羽の安定度を特定する技術を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－０７１１６５号公報
【特許文献2】特開２０１９－１９００６２号公報
【非特許文献】
【0005】
【非特許文献1】Vijay Badrinarayanan、Alex Kendall、R. Cipolla、「SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation」、[online]、２０１６年１０月１０日、arXiv、インターネット＜URL:https://arxiv.org/pdf/1511.00561.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１では、発破掘削が行われることが前提となっている。そのため、油圧ブレーカ等で切羽を掘削するケースでは、特許文献１の技術を利用することができない。特許文献２は、切羽の画像のみを用いて切羽の安定性を評価する。そのため、切羽の安定性の評価に、視覚的な情報以外の情報が考慮されない。本発明はこれらの課題に鑑みてなされたものであり、その目的の一つは、切羽の安定性を評価する新たな技術を提供することである。
【課題を解決するための手段】
【0007】
本開示の切羽安定性評価装置２０００は、評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得部と、前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出部と、前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定部と、を有する。
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出部と、前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定部と、を有する。
【0008】
本開示の制御方法は、コンピュータによって実行される。当該制御方法は、評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、前記音声データによって表される音の種類を特定する音種別特定ステップと、前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を有する。
【0009】
本開示のプログラムは、本開示の制御方法をコンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、切羽の安定性を評価する新たな技術が提供される。
【図面の簡単な説明】
【0011】
【図1】実施形態１の切羽安定性評価装置の動作の概要を例示する図である。
【図2】実施形態１の切羽安定性評価装置の機能構成を例示するブロック図である。
【図3】切羽安定性評価装置を実現するコンピュータのハードウエア構成を例示するブロック図である。
【図4】実施形態１の切羽安定性評価装置によって実行される処理の流れを例示するフローチャートである。
【図5】音の種類を分類する方法を例示する図である。
【図6】堆積領域を例示する図である。
【図7】判定ルールに従って切羽の安定度を特定する処理の流れを例示するフローチャートである。
【図8】判定ルールに従って切羽の安定度を特定する処理の流れを例示するフローチャートである。
【図9】出力部を有する切羽安定性評価装置の機能構成を例示するブロック図である。
【図10】安定度情報を例示する図である。
【発明を実施するための形態】
【0012】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶部などに予め格納されている。さらに、特に説明しない限り、記憶部は、１つ以上の任意の数の記憶装置で構成される。
【0013】
図１は、実施形態１の切羽安定性評価装置２０００の動作の概要を例示する図である。ここで、図１は、切羽安定性評価装置２０００の概要の理解を容易にするための図であり、切羽安定性評価装置２０００の動作は、図１に示したものに限定されない。
【0014】
切羽安定性評価装置２０００は、評価対象の切羽である切羽１０について、その安定性の評価を行う。ここでいう切羽とは、掘削機械を用いた掘削の現場（トンネル工事の現場など）における掘削面を意味する。
【0015】
切羽１０の安定性の評価は、音声データ２２及びビデオデータ３２を用いて行われる。音声データ２２は、マイクロフォン２０を利用して、切羽１０の周囲の音を録音することで生成された音声データである。ビデオデータ３２は、カメラ３０を利用して、切羽１０を撮影することで得られたビデオデータである。なお、図１ではマイクロフォン２０とカメラ３０が分けて図示されているが、これらは、同一の筐体に収められていてもよい。
【0016】
切羽安定性評価装置２０００は、音声データ２２によって表されている音の種類を、複数の特定の種類の中から特定する。例えば音の種類としては、１）掘削音なし、２）軽い掘削音、及び３）重い掘削音という３つを採用することができる。「掘削音なし」に分類される音は、掘削音がほとんど又は全く含まれていない音である。このような音は、掘削機械による掘削が行われていない状況の音である。
【0017】
「軽い掘削音」に分類される音は、掘削機械の音が主体の音であり、高周波数成分が大きい。このような音は、比較的軟らかい地山を掘削するときに発生する音である。「重い掘削音」に分類される音は、掘削機械と岩盤が一体となって発生される音であり、軽い掘削音と比較し、低周波数の成分が大きくなっている。このような音は、比較的硬い地山を掘削するときに発生する音である。このように、軽い掘削音と重い掘削音の違いには、掘削している切羽１０の堅さの違いが反映されている。
【0018】
さらに切羽安定性評価装置２０００は、ビデオデータ３２を用い、切羽１０から崩落した領域である崩落領域の面積を算出する。そして、切羽安定性評価装置２０００は、音声データ２２を利用して特定された音の種類と、ビデオデータ３２を利用して算出された崩落面積とに基づいて、切羽１０の安定度を特定する。
【0019】
＜作用効果の一例＞
本実施形態の切羽安定性評価装置２０００によれば、切羽１０の周囲の音を録音することで得られた音声データ２２、及び切羽１０を撮像することで得られたビデオデータ３２を利用して、切羽１０の安定度が特定される。このように、切羽安定性評価装置２０００によれば、切羽の安定性を評価する新たな技術が提供される。また、切羽安定性評価装置２０００によれば、画像だけでなく、音声も利用して切羽１０の安定度が特定される。そのため、画像だけを利用して切羽１０の安定度を特定するケースと比較し、切羽１０の安定度をより正確に特定することができる。さらに、切羽安定性評価装置２０００では、掘削機械を利用した掘削作業において、切羽１０の安定度を特定することができる。
本実施形態の切羽安定性評価装置２０００によれば、切羽１０の周囲の音を録音することで得られた音声データ２２、及び切羽１０を撮像することで得られたビデオデータ３２を利用して、切羽１０の安定度が特定される。このように、切羽安定性評価装置２０００によれば、切羽の安定性を評価する新たな技術が提供される。また、切羽安定性評価装置２０００によれば、画像だけでなく、音声も利用して切羽１０の安定度が特定される。そのため、画像だけを利用して切羽１０の安定度を特定するケースと比較し、切羽１０の安定度をより正確に特定することができる。さらに、切羽安定性評価装置２０００では、掘削機械を利用した掘削作業において、切羽１０の安定度を特定することができる。
【0020】
以下、本実施形態の切羽安定性評価装置２０００について、より詳細に説明する。
【0021】
＜機能構成の例＞
図２は、実施形態１の切羽安定性評価装置２０００の機能構成を例示するブロック図である。切羽安定性評価装置２０００は、取得部２０２０、音種別特定部２０４０、崩落面積算出部２０６０、及び安定度特定部２０８０を有する。取得部２０２０は、音声データ２２及びビデオデータ３２を取得する。音種別特定部２０４０は、音声データ２２によって表される音の種類を特定する。崩落面積算出部２０６０は、ビデオデータ３２を利用して、崩落面積を算出する。安定度特定部２０８０は、音の種類及び崩落面積に基づいて、切羽１０の安定度を特定する。
図２は、実施形態１の切羽安定性評価装置２０００の機能構成を例示するブロック図である。切羽安定性評価装置２０００は、取得部２０２０、音種別特定部２０４０、崩落面積算出部２０６０、及び安定度特定部２０８０を有する。取得部２０２０は、音声データ２２及びビデオデータ３２を取得する。音種別特定部２０４０は、音声データ２２によって表される音の種類を特定する。崩落面積算出部２０６０は、ビデオデータ３２を利用して、崩落面積を算出する。安定度特定部２０８０は、音の種類及び崩落面積に基づいて、切羽１０の安定度を特定する。
【0022】
＜ハードウエア構成の例＞
切羽安定性評価装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、切羽安定性評価装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
切羽安定性評価装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、切羽安定性評価装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0023】
図３は、切羽安定性評価装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ５００は、切羽安定性評価装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
【0024】
例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、切羽安定性評価装置２０００の各機能が実現される。上記アプリケーションは、切羽安定性評価装置２０００の各機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体（DVD ディスクや USB メモリなど）から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。
【0025】
コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。
【0026】
プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
【0027】
入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0028】
ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。
【0029】
ストレージデバイス５０８は、切羽安定性評価装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、切羽安定性評価装置２０００の各機能構成部を実現する。
【0030】
切羽安定性評価装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。
【0031】
＜＜マイクロフォン２０及びカメラ３０について＞＞
マイクロフォン２０は、切羽１０の周囲の音を記録して音声データを生成することができる任意のマイクロフォンである。マイクロフォン２０によって生成された音声データ２２は、任意の記憶部に格納される。例えばマイクロフォン２０は、入出力インタフェース５１０又はネットワークインタフェース５１２を介して、コンピュータ５００（切羽安定性評価装置２０００）と通信可能に接続されている。ただし、マイクロフォン２０によって生成された音声データ２２が切羽安定性評価装置２０００によって取得できればよく、マイクロフォン２０は、切羽安定性評価装置２０００と通信可能に接続されていなくてもよい。
マイクロフォン２０は、切羽１０の周囲の音を記録して音声データを生成することができる任意のマイクロフォンである。マイクロフォン２０によって生成された音声データ２２は、任意の記憶部に格納される。例えばマイクロフォン２０は、入出力インタフェース５１０又はネットワークインタフェース５１２を介して、コンピュータ５００（切羽安定性評価装置２０００）と通信可能に接続されている。ただし、マイクロフォン２０によって生成された音声データ２２が切羽安定性評価装置２０００によって取得できればよく、マイクロフォン２０は、切羽安定性評価装置２０００と通信可能に接続されていなくてもよい。
【0032】
カメラ３０は、切羽１０を撮像してビデオデータを生成することができる任意のカメラである。カメラ３０によって生成されたビデオデータ３２は、任意の記憶部に格納される。例えばカメラ３０は、入出力インタフェース５１０又はネットワークインタフェース５１２を介して、コンピュータ５００（切羽安定性評価装置２０００）と通信可能に接続されている。ただし、カメラ３０によって生成されたビデオデータ３２が切羽安定性評価装置２０００によって取得できればく、カメラ３０は、切羽安定性評価装置２０００と通信可能に接続されていなくてもよい。
【0033】
＜処理の流れ＞
図４は、実施形態１の切羽安定性評価装置２０００によって実行される処理の流れを例示するフローチャートである。取得部２０２０は、音声データ２２及びビデオデータ３２を取得する（Ｓ１０２）。音種別特定部２０４０は、音声データ２２によって表されている音の種類を特定する（Ｓ１０４）。崩落面積算出部２０６０は、ビデオデータ３２を用いて、崩落面積を算出する（Ｓ１０６）。安定度特定部２０８０は、特定された音の種類と、算出された崩落面積とに基づいて、切羽１０の安定度を特定する（Ｓ１０８）。
図４は、実施形態１の切羽安定性評価装置２０００によって実行される処理の流れを例示するフローチャートである。取得部２０２０は、音声データ２２及びビデオデータ３２を取得する（Ｓ１０２）。音種別特定部２０４０は、音声データ２２によって表されている音の種類を特定する（Ｓ１０４）。崩落面積算出部２０６０は、ビデオデータ３２を用いて、崩落面積を算出する（Ｓ１０６）。安定度特定部２０８０は、特定された音の種類と、算出された崩落面積とに基づいて、切羽１０の安定度を特定する（Ｓ１０８）。
【0034】
なお、切羽安定性評価装置２０００によって行われる処理の流れは、図４に示した流れに限定されない。例えば、音の種類の特定（Ｓ１０４）とビデオデータ３２の取得（Ｓ１０６）は、図４に示されている順序とは逆の順序で行われてもよいし、並行して行われてもよい。
【0035】
切羽安定性評価装置２０００は、図４に示されている処理を繰り返し実行することにより、切羽１０の安定度を繰り返し特定することが好適である。例えば切羽安定性評価装置２０００は、特定の時間ごとに図４に示されている処理を行うことにより、特定の時間ごとに切羽１０の安定度を特定する。
【0036】
＜音声データ２２及びビデオデータ３２の取得：Ｓ１０２＞
取得部２０２０は、音声データ２２及びビデオデータ３２を取得する（Ｓ１０２）。取得部２０２０が音声データ２２を取得する方法は任意である。例えば取得部２０２０は、音声データ２２が格納されている記憶部にアクセスし、音声データ２２を読み出すことにより、音声データ２２を取得する。その他にも例えば、取得部２０２０は、他の装置（例えばマイクロフォン２０）から送信される音声データ２２を受信することで、音声データ２２を取得する。
取得部２０２０は、音声データ２２及びビデオデータ３２を取得する（Ｓ１０２）。取得部２０２０が音声データ２２を取得する方法は任意である。例えば取得部２０２０は、音声データ２２が格納されている記憶部にアクセスし、音声データ２２を読み出すことにより、音声データ２２を取得する。その他にも例えば、取得部２０２０は、他の装置（例えばマイクロフォン２０）から送信される音声データ２２を受信することで、音声データ２２を取得する。
【0037】
取得部２０２０がビデオデータ３２を取得する方法についても同様である。すなわち、例えば取得部２０２０は、ビデオデータ３２が格納されている記憶部からビデオデータ３２を読み出したり、他の装置（例えばカメラ３０）から送信されたビデオデータ３２を受信したりすることで、ビデオデータ３２を取得する。
【0038】
また、取得部２０２０は、音声データ２２とビデオデータ３２の双方を含むデータを取得し、当該データから、音声データ２２とビデオデータ３２のそれぞれを抽出してもよい。例えばカメラ３０が、マイクロフォン２０が内臓されているビデオカメラであるとする。この場合、カメラ３０を利用して、音声と映像の双方が記録されたビデオファイルを生成することができる。取得部２０２０は、当該ビデオファイルを取得し、そのビデオファイルに含まれるデータのうち、映像を表すデータを、ビデオデータ３２として抽出する。また、取得部２０２０は、当該ビデオファイルに含まれるデータのうち、音声を表すデータを、音声データ２２として抽出する。
【0039】
＜音の種類の特定：Ｓ１０４＞
音種別特定部２０４０は、音声データ２２によって表されている音の種類を特定する（Ｓ１０４）。例えば前述したように、音声の種類としては、１）掘削音無し、２）軽い掘削音、及び３）重い掘削音という３つの種類が用いられる。
音種別特定部２０４０は、音声データ２２によって表されている音の種類を特定する（Ｓ１０４）。例えば前述したように、音声の種類としては、１）掘削音無し、２）軽い掘削音、及び３）重い掘削音という３つの種類が用いられる。
【0040】
音声データ２２によって表されている音の種類を分類する方法は様々である。例えば音種別特定部２０４０は、図５に示す流れの処理により、音の種類の分類を行う。図５は、音の種類を分類する方法を例示する図である。音種別特定部２０４０は、音声データ２２を所定の時間長ごと（例えば１秒ごと）に分割することで、複数の部分音声データを得る（Ｓ２０２）。音種別特定部２０４０は、各部分音声データを閾値と比較することで、各部分音声データを２値化する（Ｓ２０４）。以下、この２値化で得られる値を音声フラグと呼ぶ。音声フラグが１であることは、部分音声データによって表される音声の中に、掘削音が含まれる蓋然性が高いことを意味する。
【0041】
例えば音種別特定部２０４０は、部分音声データによって表される音圧の時系列データから、音圧の統計値（平均値、最大値、又は最頻値など）を算出する。そして、音種別特定部２０４０は、算出した統計値が閾値以上であれば、当該部分音声データを、値が１の音声フラグに変換する。一方、算出した統計値が閾値未満であれば、音種別特定部２０４０は、当該部分音声データを、値が０の音声フラグに変換する。
【0042】
音種別特定部２０４０は、各部分音声データから得られた音声フラグの統計値（平均値や最頻値など）を算出する（Ｓ２０６）。例えば音声データ２２の長さが N 秒間であり、部分音声データの長さが 1 秒間であり、統計値の種類として平均値を利用するとする。この場合、音種別特定部２０４０は、N 個の部分音声データから得られた N 個の音声フラグの平均値を算出する。
【0043】
音種別特定部２０４０は、音声フラグの統計値に基づいて、音声データ２２によって表される音の種類を特定する（Ｓ２０８）。ここで、音声フラグの統計値が大きいほど、音声データ２２において掘削音の発生頻度が高いことを意味する。また、切羽１０が堅いほど、激しい掘削が必要になるために、掘削音の発生頻度が高くなる。そのため、音声データ２２が重い掘削音を表している場合、音声データ２２が軽い掘削音を表している場合よりも、音声フラグの統計値が大きくなる。また、音声データ２２が軽い掘削音を表している場合、音声データ２２に掘削音が含まれていない場合よりも、音声フラグの統計値が大きくなる。
【0044】
そこで例えば、予め、音声フラグの統計値の数値範囲を、重い掘削音を表す範囲、軽い掘削音を表す範囲、及び掘削音なしを表す範囲の３つに分割しておく。そのために、重い掘削音の範囲と軽い掘削音の範囲とを分ける閾値（以下、第１フラグ閾値）と、軽い掘削音の範囲と掘削音なしの範囲とを分ける閾値（以下、第２フラグ閾値）とを定めておく。音種別特定部２０４０は、音声データ２２について算出した音声フラグの統計値が、上記３つの数値範囲のうちのどれに含まれるかを判定する。
【0045】
音声フラグの統計値が第１フラグ閾値以上である場合、音種別特定部２０４０は、音声データ２２によって表される音の種類が、重い掘削音であると判定する。音声フラグの統計値が第２フラグ閾値以上第１フラグ閾値未満である場合、音種別特定部２０４０は、音声データ２２によって表される音の種類が、軽い掘削音であると判定する。音声フラグの統計値が第２フラグ閾値未満である場合、音種別特定部２０４０は、音声データ２２によって表される音の種類が、掘削音なしであると判定する。
【0046】
ここで、音種別特定部２０４０は、図５に示した処理を行う前に、音声データ２２に対して任意の前処理を行ってもよい。例えば前処理は、高周波数領域や低周波数領域の雑音の除去である。なお、特定の周波数領域に含まれる雑音を除去する技術には、ハイパスフィルタやローパスフィルタを利用するなどいった既存の技術を利用することができる。
【0047】
音の種類を分類する方法は、図５に示す方法に限定されない。例えば音種別特定部２０４０は、訓練済みの機械学習モデルを利用して、音声データ２２によって表される音の種類の分類を行ってもよい。以下、このモデルを音種別分類モデルと呼ぶ。音種別分類モデルは、音声データ２２が入力されたことに応じ、その音声データ２２によって表される音の種類を示すラベルを出力するように、予め訓練されている。このようなモデルには、時系列データを扱うことができる任意の機械学習モデル（例えば、RNN（recurrent neural network））を利用することができる。
【0048】
音種別分類モデルの訓練は、訓練入力データと訓練正解データのペアで構成される訓練データを複数利用することで行うことができる。訓練入力データは音声データである。訓練正解データは、対応する音声データによって表されている音の種類を示すラベルである。このような訓練データを利用して機械学習モデルの訓練を行う技術には、既存の種々の技術を利用することができる。
【0049】
ここで、音の種類の特定を行う時間的なスケールは任意である。例えば音種別特定部２０４０は、音声データ２２によって表される音全体について、音の種類を１つ特定する。その他にも例えば、音種別特定部２０４０は、音声データ２２を所定時間（例えば１秒ごと）ごとの音声データに分割し、各音声データについて、その音声データによって表される音の種類を特定してもよい。
【0050】
＜崩落面積の算出：Ｓ１０６＞
崩落面積算出部２０６０は、ビデオデータ３２を利用して、崩落面積を算出する（Ｓ１０６）。崩落面積の算出は、切羽１０の画像領域から崩落している領域である崩落領域を検出し、検出した崩落領域の面積を算出することで実現できる。
崩落面積算出部２０６０は、ビデオデータ３２を利用して、崩落面積を算出する（Ｓ１０６）。崩落面積の算出は、切羽１０の画像領域から崩落している領域である崩落領域を検出し、検出した崩落領域の面積を算出することで実現できる。
【0051】
ここで、切羽１０から崩落領域を検出する方法について説明する。例えば崩落面積算出部２０６０は、ビデオデータ３２を構成する複数のビデオフレームを比較することにより、切羽１０を表す画像領域の中から、動体を表す領域である動体領域を検出する。ここで、動体を検出する技術には、背景差分法、Lucas-Kanade法、又は Gunnar Farneback法などといった種々の技術を利用することができる。
【0052】
さらに崩落面積算出部２０６０は、動体領域を、その領域に含まれる物体の種類ごとに分類することで、崩落領域を特定する。例えば崩落領域は、その中に含まれる物体が土砂である動体領域として定義することができる。そこで崩落面積算出部２０６０は、その中に含まれる物体が土砂である動体領域を、崩落領域として特定する。
【0053】
崩落領域の検出には、例えば、セマンティックセグメンテーションを利用することができる。具体的には、崩落面積算出部２０６０は、ビデオデータ３２を用いて動体領域の検出を行った後、ビデオデータ３２の各ビデオフレームに対し、動体領域のマーキングを行う。動体領域のマーキングは、例えば、動体領域に対して特定の色を重畳したり、動体領域を特定の色で置換したりすることによって行われる。そして、崩落面積算出部２０６０は、動体領域がマーキングされたビデオフレームに対してセマンティックセグメンテーションを行うことで、崩落領域を検出する。
【0054】
セマンティックセグメンテーションでは、ビデオフレームに含まれる各ピクセルについて、そのピクセルによって表される物体の種類が特定される。これにより、崩落領域に分類される各ピクセルを検出することができるため、崩落領域を検出することができる。
【0055】
セマンティックセグメンテーションを行う具体的な方法は任意である。例えば、セマンティックセグメンテーションを行うように訓練された分類器を用いることができる。セマンティックセグメンテーションを実現する分類器を訓練する技術には、既存の技術を利用することができる。例えば、非特許文献１に開示されている技術を利用することができる。
【0056】
崩落面積算出部２０６０は、検出した崩落領域の面積を算出することで、崩落面積を算出する。なお、崩落領域が複数検出された場合、例えば崩落面積算出部２０６０は、各崩落領域の面積を合計することで、崩落面積が算出される。
【0057】
ここで、予め切羽１０を複数の部分領域に分割しておき、部分領域ごとに崩落面積が算出されてもよい。この場合、崩落面積は部分領域ごとに算出される。具体的には、崩落面積算出部２０６０は、ビデオデータ３２を構成する各ビデオフレームから各部分領域を検出し、部分領域ごとに崩落領域の検出を行う。そして、崩落面積算出部２０６０は、部分領域ごとにその部分領域の中で検出された崩落領域の面積を合計することで、部分領域ごとの崩落面積を算出する。
【0058】
崩落領域の面積は、例えば、当該領域の画像上の面積で表される。すなわち、崩落面積算出部２０６０は、崩落領域の面積を、崩落領域を構成するピクセルの数（すなわち、画像上の面積）として算出する。その他にも例えば、崩落面積算出部２０６０は、崩落領域に対応する現実世界上の領域の面積を、崩落領域の面積として算出してもよい。この場合、ビデオデータ３２における画像上の単位面積に対する、現実世界上の単位面積の比率を予め定めておく。そして、崩落面積算出部２０６０は、崩落領域の画像上の面積を算出し、算出した値に上記比率を掛けることで、現実世界上の領域の面積で表される崩落領域の面積を算出する。例えば、１ピクセルが現実世界上の N[cm^2] に対応する場合、崩落領域を構成するピクセルの数に N を掛けることで、現実世界上の面積（単位 cm^2）として崩落領域の面積を算出することができる。
【0059】
その他にも例えば、崩落領域の面積は、全体の面積に対する崩落領域の面積の比で表されてもよい。切羽１０全体について１つの崩落面積が算出される場合、全体の面積は、切羽１０の面積である。一方、部分領域ごとに崩落面積が算出される場合、全体の面積は、部分領域の面積である。
【0060】
ここで、切羽を掘削機械で掘削すると、掘削機械によって砕かれた岩盤が土砂となって堆積していく。この土砂は、崩落として検出したい対象ではない。そのため、このように掘削機械によって砕かされた岩盤の土砂の面積は、崩落面積に含めないことが好適である。しかしながら、土砂が動いている領域を崩落領域として検出する場合、掘削機械によって砕かれた岩盤の土砂を表す領域（以下、堆積領域）も、崩落領域として検出されてしまう。
【0061】
そこで例えば、崩落面積算出部２０６０は、崩落面積から堆積領域の面積を減算することで、堆積領域が崩落領域として扱われないようにする。図６は、堆積領域を例示する図である。図において、符号１００は、掘削機械が切羽１０と接触する箇所の座標（以下、掘削位置１００）を表す。また、符号１１０は、堆積領域を表す。図６において、堆積領域１１０は、上辺の中心が掘削位置１００であり、上辺の長さが所定長Ｌであり、下辺が切羽１０の下辺（すなわち地面）となる長方形として定められている。なお、堆積領域１１０の形状は長方形には限定されず、任意の形状とすることができる。
【0062】
堆積領域１１０の特定は、例えば以下のようにして行われる。まず崩落面積算出部２０６０は、各ビデオフレームから、掘削機械のうち、切羽１０の掘削を行っている部分（以下、掘削部）を検出する。掘削部は、例えば油圧ブレーカの先端部分などである。ここで、掘削部の検出には、既存の種々の物体認識技術を利用することができる。例えば、掘削部を検出するように訓練された機械学習モデルを利用する方法などを採用できる。
【0063】
崩落面積算出部２０６０は、掘削部の特定の部位（例えば中心点や重心点など）の座標を、掘削位置１００として検出する。さらに崩落面積算出部２０６０は、掘削位置１００に基づいて、堆積領域１１０を決定する。
【0064】
崩落面積算出部２０６０は、崩落領域のうち、堆積領域１１０に含まれる領域の面積を、崩落面積から減算する。なお、減算をする代わりに、崩落面積算出部２０６０は、崩落領域の面積を合計して崩落面積を算出する際に、堆積領域１１０の中に含まれる崩落領域を計算対象から除外してもよい。
【0065】
また、崩落面積算出部２０６０は、崩落領域の検出を行う前に堆積領域１１０の検出を行い、崩落領域の検出対象とする領域から堆積領域１１０を除外してもよい。このようにすることで、堆積領域１１０からは崩落領域が検出されないため、堆積領域１１０において土砂が動いている領域の面積は、崩落面積に含まれないようになる。
【0066】
崩落面積を算出する時間的なスケールは任意である。例えば崩落面積算出部２０６０は、ビデオデータ３２に含まれる各ビデオフレームについて、そのビデオフレームによって表されている状態における崩落面積を算出する。その他にも例えば、崩落面積算出部２０６０は、ビデオデータ３２に含まれるビデオフレームのうち、所定時間ごとに１つのビデオフレーム（例えば１秒間や１分間ごとに１つのビデオフレーム）について、崩落面積を算出してもよい。
【0067】
その他にも例えば、崩落面積算出部２０６０は、所定時間ごとに崩落面積の統計値（平均値や最大値など）を算出してもよい。例えば、30fps（frames per second）のビデオデータ３２について、各ビデオフレームについて崩落面積が算出され、かつ、１秒間ごとに崩落面積の統計値が算出されるとする。この場合、崩落面積算出部２０６０は、３０枚のビデオフレームごとに、それら３０枚の動画フレームそれぞれから算出した崩落面積の統計値を算出する。
【0068】
＜切羽１０の安定度の特定：Ｓ１０８＞
安定度特定部２０８０は、音声データ２２によって表される音の種類と、崩落領域の面積とに基づいて、切羽１０の安定度を特定する（Ｓ１０８）。ここで、音声データ２２に掘削音が含まれておらず、かつ、崩落面積が大きいとする。これは、切羽１０において、掘削による振動が加えられていなくても、大きな崩落が発生していることを意味する。そのため、このような状況では、切羽１０の安定度が低いと考えられる。一方で、音声データ２２に掘削音が含まれており、かつ、崩落面積が小さいとする。この場合、切羽１０において、掘削による振動が加えられていても、崩落が小さいことを意味する。そのため、このような状況では、切羽１０の安定度が高いと考えられる。
安定度特定部２０８０は、音声データ２２によって表される音の種類と、崩落領域の面積とに基づいて、切羽１０の安定度を特定する（Ｓ１０８）。ここで、音声データ２２に掘削音が含まれておらず、かつ、崩落面積が大きいとする。これは、切羽１０において、掘削による振動が加えられていなくても、大きな崩落が発生していることを意味する。そのため、このような状況では、切羽１０の安定度が低いと考えられる。一方で、音声データ２２に掘削音が含まれており、かつ、崩落面積が小さいとする。この場合、切羽１０において、掘削による振動が加えられていても、崩落が小さいことを意味する。そのため、このような状況では、切羽１０の安定度が高いと考えられる。
【0069】
そこで例えば、安定度特定部２０８０は、予め定められている判定ルールに基づいて、切羽１０の安定度を特定する。図７及び図８は、判定ルールに従って切羽１０の安定度を特定する処理の流れを例示するフローチャートである。
【0070】
図７及び図８の処理では、切羽１０の安定度が、危険度レベルで表されている。切羽１０の危険度レベルが高いほど、切羽１０の安定度が低いこと（危険度が高いこと）を表す。より具体的には、危険度レベルとして、危険度レベル１、危険度レベル２、危険度レベル３Ａ、危険度レベル３Ｂ、及び危険度レベル４という５つのレベルが設定されている。危険度レベル１が最も高い安定度を表し、危険度レベル４が最も低い安定度を表す。危険度レベル３Ａと危険度レベル３Ｂはいずれも、危険度レベル２よりも安定度が低く、危険度レベル４よりも安定度が高い。ただし、危険度レベル３Ａと危険度レベル３Ｂについては、どちらの方が安定度が高いのかは特定しておらず、例えば互いに同程度の安定度である。
【0071】
安定度特定部２０８０は、音声データ２２に掘削音が含まれるか否かを判定する（Ｓ３０２）。ここで、音声データ２２によって表される音の種類が掘削音無しの場合には、音声データ２２に掘削音が含まれないと判定され、それ以外の場合は、音声データ２２に掘削音が含まれると判定される。
【0072】
音声データ２２に掘削音が含まれる場合（Ｓ３０２：ＹＥＳ）、安定度特定部２０８０は、崩落面積が第１面積閾値以上であるか否かを判定する（Ｓ３０４）。崩落面積が第１面積閾値未満である場合（Ｓ３０４：ＮＯ）、安定度特定部２０８０は、切羽１０の安定度が危険度レベル１であることを特定する（Ｓ３０６）。切羽１０の安定度が危険度レベル１となる状況は、掘削が行われている（音声データ２２に掘削音が含まれている）にもかかわらず、崩落が小さい（崩落面積が第１面積閾値未満）という状況である。
【0073】
崩落面積が第１面積閾値以上である場合（Ｓ３０４：ＹＥＳ）、安定度特定部２０８０は、音声データ２２によって表される音の種類が重い掘削音であるか否かを判定する（Ｓ３０８）。音声データ２２によって表される音の種類が重い掘削音である場合（Ｓ３０８：ＹＥＳ）、安定度特定部２０８０は、切羽１０の安定度が危険度レベル２であると判定する（Ｓ３１０）。音声データ２２によって表される音の種類が重い掘削音でない場合（Ｓ３０８：ＮＯ）、すなわち、音の種類が軽い掘削音である場合、安定度特定部２０８０は、切羽１０の安定度が危険度レベル３Ａであると判定する（Ｓ３１２）。
【0074】
ここで、切羽１０の安定度が危険度レベル２又は危険度レベル３Ａとなる状況は、掘削が行われており（音声データ２２に掘削音が含まれている）、かつ、崩落がある程度大きい（崩落面積が第１面積閾値以上である）という点で共通している。そこで、掘削の重さで安定度が区別されている。より具体的には、前述した通り、掘削音が重いケースの方が、掘削音が軽いケースよりも、掘削されている岩盤が固い。そのため、掘削音が重いケースの方が、掘削音が軽いケースよりも、切羽１０の安定度が高いと考えられる。よって、音声データ２２によって表される音声の種類が重い掘削音である場合の方が、音声データ２２によって表される音声の種類が軽い掘削音である場合よりも、切羽１０の安定度が高いと判定されている（前者は危険度レベル２で、後者は危険度レベル３Ａ）。
【0075】
音声データ２２に掘削音が含まれない場合（Ｓ３０２：ＮＯ）、安定度特定部２０８０は、崩落面積が第２面積閾値以上であるか否かを判定する（Ｓ３１４）。崩落面積が第２面積閾値以上である場合（Ｓ３１４：ＹＥＳ）、安定度特定部２０８０は、切羽１０の安定度が危険度レベル４であると判定する（Ｓ３１６）。切羽１０の安定度が危険度レベル４となる状況は、掘削が行われていない（音声データ２２に掘削音が含まれていない）にもかかわらず、崩落が大きい（崩落面積が第２面積閾値以上）という状況である。
【0076】
崩落面積が第２面積閾値未満である場合（Ｓ３１４：ＮＯ）、安定度特定部２０８０は、崩落面積が第３面積閾値以上であるか否かを判定する（Ｓ３１８）。ここで、第２面積閾値＞第３面積閾値である。崩落面積が第３面積閾値以上である場合（Ｓ３１８：ＹＥＳ）、安定度特定部２０８０は、切羽１０の安定度が危険度レベル３Ｂであると特定する（Ｓ３２０）。切羽１０の安定度が危険度レベル３Ｂとなる状況は、掘削が行われておらず（音声データ２２に掘削音が含まれていない）、かつ、ある程度の崩落がある（崩落面積が第３面積閾値以上第２面積閾値未満）という状況である。
【0077】
崩落面積が第３面積閾値未満である場合（Ｓ３１８：ＹＥＳ）、安定度特定部２０８０は、切羽１０の安定度を、判定保留とする（Ｓ３１８）。ここで、音声データ２２に掘削音が含まれず、かつ、崩落面積が第３面積閾値未満であるという状況は、掘削が行われておらず、かつ、崩落が小さい状況である。このような状況の切羽１０については、掘削が行われた場合における崩落の大きさを検証しないと、安定度の特定が難しい。そこで安定度特定部２０８０は、判定の結果を保留とする。なお、判定保留は、「判定結果なし」と表現してもよい。
【0078】
【0079】
ここで、崩落面積が部分領域ごとに算出される場合、切羽１０の安定度は、部分領域ごとに特定される。そのため例えば、安定度特定部２０８０は、図７及び図８で示される判定ルールに基づいて、部分領域ごとに、危険度レベルを特定する。
【0080】
＜結果の出力＞
切羽安定性評価装置２０００は、安定度特定部２０８０によって特定された切羽１０の安定度を示す情報（以下、安定度情報）を出力する。安定度情報の出力を行う機能構成部を、出力部と呼ぶ。図９は、出力部２１００を有する切羽安定性評価装置２０００の機能構成を例示するブロック図である。図９において、出力部２１００から安定度情報２００が出力されている。
切羽安定性評価装置２０００は、安定度特定部２０８０によって特定された切羽１０の安定度を示す情報（以下、安定度情報）を出力する。安定度情報の出力を行う機能構成部を、出力部と呼ぶ。図９は、出力部２１００を有する切羽安定性評価装置２０００の機能構成を例示するブロック図である。図９において、出力部２１００から安定度情報２００が出力されている。
【0081】
安定度情報２００に含まれる情報は様々である。例えば安定度情報２００は、安定度特定部２０８０によって特定された切羽１０の安定度の時系列データを示す。図１０は、安定度情報２００を例示する図である。図１０の安定度情報２００は、切羽１０の分割態様を表す表示２１０、及び安定度の時系列データのグラフである危険度グラフ２２０を示す。
【0082】
表示２１０は、切羽１０がどのように部分領域に分割されているのかを表す。図１０の例において、切羽１０は、４つの部分領域Ｒ１からＲ４に分割されている。切羽安定性評価装置２０００は、これら４つの分割領域それぞれについて、所定時間ごとに危険度レベルを特定する。
【0083】
危険度グラフ２２０は、部分領域ごとに、危険度レベルの時系列データを折れ線で示している。危険度グラフ２２０において、横軸は時間を示しており、縦軸は危険度レベルを示している。ここで、危険度レベル３Ａと３Ｂはいずれも、危険度レベル３として扱われている。
【0084】
図１０において、安定度情報２００は、危険度グラフ２２０を２つ示している。危険度グラフ２２０－１は、切羽１０の危険度をリアルタイムで示している。一方、危険度グラフ２２０－２は、過去（例えば前日）の切羽１０の危険度を示している。
【0085】
出力部２１００が安定度情報２００を生成するタイミングはリアルタイムに限定されない。例えば出力部２１００は、定期的なタイミングで特定の期間の切羽１０についての安定度情報２００を生成し、出力してもよい。具体的な例としては、出力部２１００は、１日に一度、その日の切羽１０についての安定度情報２００を生成する。
【0086】
危険度グラフ２２０の時間軸のスケールは、切羽安定性評価装置２０００が切羽１０の安定度を特定する時間のスケールより粗くてもよい。この場合、例えば切羽安定性評価装置２０００は、切羽１０の安定度の統計値を算出して、危険度グラフ２２０にプロットする。例えば、カメラ３０のフレームレートが 30fps であり、ビデオデータ３２のビデオフレームごとに切羽１０の安定度が特定されるとする。また、危険度グラフ２２０の時間軸のスケールが１秒であるとする。この場合、出力部２１００は、１秒ごとに、切羽１０について算出された３０個の安定度の統計値を算出し、その統計値を危険度グラフ２２０にプロットする。
【0087】
安定度情報２００が含む情報は、危険度グラフ２２０に限定されない。例えば出力部２１００は、所定のレベル以上の危険度が特定された場合に、警告を表す安定度情報２００を生成してもよい。例えば警告は、一度でも所定のレベル以上の危険度が特定された場合に行われる。その他にも例えば、警告は、所定のレベル以上の危険度が所定の頻度以上で特定された場合に行われてもよい。
【0088】
ここで、警告の方法は任意である。例えば警告を表す安定度情報２００は、切羽１０の状態が危険である旨のメッセージを含む。このメッセージは、テキストメッセージであってもよいし、画像で表されたメッセージであってもよいし、音声メッセージであってもよい。その他にも例えば、警告を表す安定度情報２００は、警告音であってもよい。
【0089】
安定度情報２００の出力態様は任意である。例えば出力部２１００は、安定度情報２００を任意の記憶部に格納する。その他にも例えば、出力部２１００は、安定度情報２００を任意のディスプレイ装置（掘削現場に設置されたディスプレイ装置など）に表示させたり、任意のスピーカ（掘削現場に設置されたスピーカなど）に再生させたりする。その他にも例えば、出力部２１００は、安定度情報２００を任意の端末（例えば、掘削現場の作業員や管理者が利用している端末）に送信する。
【0090】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0091】
なお、上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0092】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得部と、
前記音声データによって表される音の種類を特定する音種別特定部と、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出部と、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定部と、を有する切羽安定性評価装置。
（付記２）
前記音種別特定部は、前記音声データによって表される音が、掘削音を含まない音、軽い掘削音、及び重い掘削音のうちのどの種類であるかを特定し、
重い掘削音は、軽い掘削音と比較し、高周波成分が大きい音である、付記１に記載の切羽安定性評価装置。
（付記３）
前記崩落面積算出部は、前記ビデオデータのビデオフレームから動体を表す動体領域を検出し、前記動体領域がマーキングされた前記ビデオフレームに対してセマンティックセグメンテーションを行うことにより、前記崩落領域を表す前記動体領域を検出する、付記１又は２に記載の切羽安定性評価装置。
（付記４）
前記崩落面積算出部は、前記ビデオデータを用いて、掘削機械によって掘削されている位置である掘削点を特定し、前記掘削点に基づいて、前記掘削機械によって砕かれた岩盤の土砂が堆積している領域である堆積領域を特定し、前記崩落領域から前記堆積領域を除外する、付記１から３いずれか一項に記載の切羽安定性評価装置。
（付記５）
前記崩落面積算出部は、前記評価対象の切羽に含まれる複数の部分領域それぞれについて、その部分領域に含まれる前記崩落領域の面積を、前記崩落面積として算出する、付記１から４いずれか一項に記載の切羽安定性評価装置。
（付記６）
前記安定度特定部は、前記音声データによって表される音の種類が、掘削音を含まない音ではなく、なおかつ、前記崩落面積が閾値以上である場合、前記評価対象の切羽の安定度が、複数のレベルの安定度のうち、最も高い安定度であると特定する、付記１から５いずれか一項に記載の切羽安定性評価装置。
（付記７）
前記安定度特定部は、前記崩落領域の面積が前記閾値未満である場合において、前記音声データによって表される音の種類が重い掘削音である場合における前記評価対象の切羽の安定度を、前記音声データによって表される音の種類が軽い掘削音である場合における前記評価対象の切羽の安定度よりも高くする、付記６に記載の切羽安定性評価装置。
（付記８）
前記評価対象の切羽の安定度に関する情報である安定度情報を出力する出力部を有し、
前記安定度情報は、前記評価対象の切羽の安定度の時間変化を表すグラフを含む、付記１から７いずれか一項に記載の切羽安定性評価装置。
（付記９）
コンピュータによって実行される制御方法であって、
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、
前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を有する制御方法。
（付記１０）
前記音種別特定ステップにおいて、前記音声データによって表される音が、掘削音を含まない音、軽い掘削音、及び重い掘削音のうちのどの種類であるかを特定し、
重い掘削音は、軽い掘削音と比較し、高周波成分が大きい音である、付記９に記載の制御方法。
（付記１１）
前記崩落面積算出ステップにおいて、前記ビデオデータのビデオフレームから動体を表す動体領域を検出し、前記動体領域がマーキングされた前記ビデオフレームに対してセマンティックセグメンテーションを行うことにより、前記崩落領域を表す前記動体領域を検出する、付記９又は１０に記載の制御方法。
（付記１２）
前記崩落面積算出ステップにおいて、前記ビデオデータを用いて、掘削機械によって掘削されている位置である掘削点を特定し、前記掘削点に基づいて、前記掘削機械によって砕かれた岩盤の土砂が堆積している領域である堆積領域を特定し、前記崩落領域から前記堆積領域を除外する、付記９から１１いずれか一項に記載の制御方法。
（付記１３）
前記崩落面積算出ステップにおいて、前記評価対象の切羽に含まれる複数の部分領域それぞれについて、その部分領域に含まれる前記崩落領域の面積を、前記崩落面積として算出する、付記９から１２いずれか一項に記載の制御方法。
（付記１４）
前記安定度特定ステップにおいて、前記音声データによって表される音の種類が、掘削音を含まない音ではなく、なおかつ、前記崩落面積が閾値以上である場合、前記評価対象の切羽の安定度が、複数のレベルの安定度のうち、最も高い安定度であると特定する、付記９から１３いずれか一項に記載の制御方法。
（付記１５）
前記安定度特定ステップにおいて、前記崩落領域の面積が前記閾値未満である場合において、前記音声データによって表される音の種類が重い掘削音である場合における前記評価対象の切羽の安定度を、前記音声データによって表される音の種類が軽い掘削音である場合における前記評価対象の切羽の安定度よりも高くする、付記１４に記載の制御方法。
（付記１６）
前記評価対象の切羽の安定度に関する情報である安定度情報を出力する出力ステップを有し、
前記安定度情報は、前記評価対象の切羽の安定度の時間変化を表すグラフを含む、付記９から１５いずれか一項に記載の制御方法。
（付記１７）
コンピュータに、
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、
前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を実行させるプログラム。
（付記１８）
前記音種別特定ステップにおいて、前記音声データによって表される音が、掘削音を含まない音、軽い掘削音、及び重い掘削音のうちのどの種類であるかを特定し、
重い掘削音は、軽い掘削音と比較し、高周波成分が大きい音である、付記１７に記載のプログラム。
（付記１９）
前記崩落面積算出ステップにおいて、前記ビデオデータのビデオフレームから動体を表す動体領域を検出し、前記動体領域がマーキングされた前記ビデオフレームに対してセマンティックセグメンテーションを行うことにより、前記崩落領域を表す前記動体領域を検出する、付記１７又は１８に記載のプログラム。
（付記２０）
前記崩落面積算出ステップにおいて、前記ビデオデータを用いて、掘削機械によって掘削されている位置である掘削点を特定し、前記掘削点に基づいて、前記掘削機械によって砕かれた岩盤の土砂が堆積している領域である堆積領域を特定し、前記崩落領域から前記堆積領域を除外する、付記１７から１９いずれか一項に記載のプログラム。
（付記２１）
前記崩落面積算出ステップにおいて、前記評価対象の切羽に含まれる複数の部分領域それぞれについて、その部分領域に含まれる前記崩落領域の面積を、前記崩落面積として算出する、付記１７から２０いずれか一項に記載のプログラム。
（付記２２）
前記安定度特定ステップにおいて、前記音声データによって表される音の種類が、掘削音を含まない音ではなく、なおかつ、前記崩落面積が閾値以上である場合、前記評価対象の切羽の安定度が、複数のレベルの安定度のうち、最も高い安定度であると特定する、付記１７から２１いずれか一項に記載のプログラム。
（付記２３）
前記安定度特定ステップにおいて、前記崩落領域の面積が前記閾値未満である場合において、前記音声データによって表される音の種類が重い掘削音である場合における前記評価対象の切羽の安定度を、前記音声データによって表される音の種類が軽い掘削音である場合における前記評価対象の切羽の安定度よりも高くする、付記２２に記載のプログラム。
（付記２４）
前記評価対象の切羽の安定度に関する情報である安定度情報を出力する出力ステップを有し、
前記安定度情報は、前記評価対象の切羽の安定度の時間変化を表すグラフを含む、付記１７から２３いずれか一項に記載のプログラム。
（付記１）
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得部と、
前記音声データによって表される音の種類を特定する音種別特定部と、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出部と、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定部と、を有する切羽安定性評価装置。
（付記２）
前記音種別特定部は、前記音声データによって表される音が、掘削音を含まない音、軽い掘削音、及び重い掘削音のうちのどの種類であるかを特定し、
重い掘削音は、軽い掘削音と比較し、高周波成分が大きい音である、付記１に記載の切羽安定性評価装置。
（付記３）
前記崩落面積算出部は、前記ビデオデータのビデオフレームから動体を表す動体領域を検出し、前記動体領域がマーキングされた前記ビデオフレームに対してセマンティックセグメンテーションを行うことにより、前記崩落領域を表す前記動体領域を検出する、付記１又は２に記載の切羽安定性評価装置。
（付記４）
前記崩落面積算出部は、前記ビデオデータを用いて、掘削機械によって掘削されている位置である掘削点を特定し、前記掘削点に基づいて、前記掘削機械によって砕かれた岩盤の土砂が堆積している領域である堆積領域を特定し、前記崩落領域から前記堆積領域を除外する、付記１から３いずれか一項に記載の切羽安定性評価装置。
（付記５）
前記崩落面積算出部は、前記評価対象の切羽に含まれる複数の部分領域それぞれについて、その部分領域に含まれる前記崩落領域の面積を、前記崩落面積として算出する、付記１から４いずれか一項に記載の切羽安定性評価装置。
（付記６）
前記安定度特定部は、前記音声データによって表される音の種類が、掘削音を含まない音ではなく、なおかつ、前記崩落面積が閾値以上である場合、前記評価対象の切羽の安定度が、複数のレベルの安定度のうち、最も高い安定度であると特定する、付記１から５いずれか一項に記載の切羽安定性評価装置。
（付記７）
前記安定度特定部は、前記崩落領域の面積が前記閾値未満である場合において、前記音声データによって表される音の種類が重い掘削音である場合における前記評価対象の切羽の安定度を、前記音声データによって表される音の種類が軽い掘削音である場合における前記評価対象の切羽の安定度よりも高くする、付記６に記載の切羽安定性評価装置。
（付記８）
前記評価対象の切羽の安定度に関する情報である安定度情報を出力する出力部を有し、
前記安定度情報は、前記評価対象の切羽の安定度の時間変化を表すグラフを含む、付記１から７いずれか一項に記載の切羽安定性評価装置。
（付記９）
コンピュータによって実行される制御方法であって、
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、
前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を有する制御方法。
（付記１０）
前記音種別特定ステップにおいて、前記音声データによって表される音が、掘削音を含まない音、軽い掘削音、及び重い掘削音のうちのどの種類であるかを特定し、
重い掘削音は、軽い掘削音と比較し、高周波成分が大きい音である、付記９に記載の制御方法。
（付記１１）
前記崩落面積算出ステップにおいて、前記ビデオデータのビデオフレームから動体を表す動体領域を検出し、前記動体領域がマーキングされた前記ビデオフレームに対してセマンティックセグメンテーションを行うことにより、前記崩落領域を表す前記動体領域を検出する、付記９又は１０に記載の制御方法。
（付記１２）
前記崩落面積算出ステップにおいて、前記ビデオデータを用いて、掘削機械によって掘削されている位置である掘削点を特定し、前記掘削点に基づいて、前記掘削機械によって砕かれた岩盤の土砂が堆積している領域である堆積領域を特定し、前記崩落領域から前記堆積領域を除外する、付記９から１１いずれか一項に記載の制御方法。
（付記１３）
前記崩落面積算出ステップにおいて、前記評価対象の切羽に含まれる複数の部分領域それぞれについて、その部分領域に含まれる前記崩落領域の面積を、前記崩落面積として算出する、付記９から１２いずれか一項に記載の制御方法。
（付記１４）
前記安定度特定ステップにおいて、前記音声データによって表される音の種類が、掘削音を含まない音ではなく、なおかつ、前記崩落面積が閾値以上である場合、前記評価対象の切羽の安定度が、複数のレベルの安定度のうち、最も高い安定度であると特定する、付記９から１３いずれか一項に記載の制御方法。
（付記１５）
前記安定度特定ステップにおいて、前記崩落領域の面積が前記閾値未満である場合において、前記音声データによって表される音の種類が重い掘削音である場合における前記評価対象の切羽の安定度を、前記音声データによって表される音の種類が軽い掘削音である場合における前記評価対象の切羽の安定度よりも高くする、付記１４に記載の制御方法。
（付記１６）
前記評価対象の切羽の安定度に関する情報である安定度情報を出力する出力ステップを有し、
前記安定度情報は、前記評価対象の切羽の安定度の時間変化を表すグラフを含む、付記９から１５いずれか一項に記載の制御方法。
（付記１７）
コンピュータに、
評価対象の切羽の周囲の音を録音することで得られる音声データ、及び前記評価対象の切羽を撮像することで得られるビデオデータを取得する取得ステップと、
前記音声データによって表される音の種類を特定する音種別特定ステップと、
前記ビデオデータを用いて、前記評価対象の切羽における崩落領域の面積である崩落面積を算出する崩落面積算出ステップと、
前記特定した音の種類及び前記算出した崩落面積に基づいて、前記評価対象の切羽の安定度を特定する安定度特定ステップと、を実行させるプログラム。
（付記１８）
前記音種別特定ステップにおいて、前記音声データによって表される音が、掘削音を含まない音、軽い掘削音、及び重い掘削音のうちのどの種類であるかを特定し、
重い掘削音は、軽い掘削音と比較し、高周波成分が大きい音である、付記１７に記載のプログラム。
（付記１９）
前記崩落面積算出ステップにおいて、前記ビデオデータのビデオフレームから動体を表す動体領域を検出し、前記動体領域がマーキングされた前記ビデオフレームに対してセマンティックセグメンテーションを行うことにより、前記崩落領域を表す前記動体領域を検出する、付記１７又は１８に記載のプログラム。
（付記２０）
前記崩落面積算出ステップにおいて、前記ビデオデータを用いて、掘削機械によって掘削されている位置である掘削点を特定し、前記掘削点に基づいて、前記掘削機械によって砕かれた岩盤の土砂が堆積している領域である堆積領域を特定し、前記崩落領域から前記堆積領域を除外する、付記１７から１９いずれか一項に記載のプログラム。
（付記２１）
前記崩落面積算出ステップにおいて、前記評価対象の切羽に含まれる複数の部分領域それぞれについて、その部分領域に含まれる前記崩落領域の面積を、前記崩落面積として算出する、付記１７から２０いずれか一項に記載のプログラム。
（付記２２）
前記安定度特定ステップにおいて、前記音声データによって表される音の種類が、掘削音を含まない音ではなく、なおかつ、前記崩落面積が閾値以上である場合、前記評価対象の切羽の安定度が、複数のレベルの安定度のうち、最も高い安定度であると特定する、付記１７から２１いずれか一項に記載のプログラム。
（付記２３）
前記安定度特定ステップにおいて、前記崩落領域の面積が前記閾値未満である場合において、前記音声データによって表される音の種類が重い掘削音である場合における前記評価対象の切羽の安定度を、前記音声データによって表される音の種類が軽い掘削音である場合における前記評価対象の切羽の安定度よりも高くする、付記２２に記載のプログラム。
（付記２４）
前記評価対象の切羽の安定度に関する情報である安定度情報を出力する出力ステップを有し、
前記安定度情報は、前記評価対象の切羽の安定度の時間変化を表すグラフを含む、付記１７から２３いずれか一項に記載のプログラム。
【符号の説明】
【0093】
１０ 切羽
２０ マイクロフォン
２２ 音声データ
３０ カメラ
３２ ビデオデータ
１００ 掘削位置
１１０ 堆積領域
２００ 安定度情報
２１０ 表示
２２０ 危険度グラフ
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
２０００ 切羽安定性評価装置
２０２０ 取得部
２０４０ 音種別特定部
２０６０ 崩落面積算出部
２０８０ 安定度特定部
２１００ 出力部
２０ マイクロフォン
２２ 音声データ
３０ カメラ
３２ ビデオデータ
１００ 掘削位置
１１０ 堆積領域
２００ 安定度情報
２１０ 表示
２２０ 危険度グラフ
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
２０００ 切羽安定性評価装置
２０２０ 取得部
２０４０ 音種別特定部
２０６０ 崩落面積算出部
２０８０ 安定度特定部
２１００ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】