特許 7577603 情報処理プログラム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-25

(45)【発行日】2024-11-05

(54)【発明の名称】情報処理プログラム、装置、及び方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20241028BHJP

   G06T 7/00 20170101ALI20241028BHJP

   G06T 7/20 20170101ALI20241028BHJP

   G06T 7/223 20170101ALI20241028BHJP

   B60W 40/09 20120101ALI20241028BHJP

【ＦＩ】

G08G1/00 D

G06T7/00 650A

G06T7/20 100

G06T7/223

B60W40/09

G08G1/00 X

【請求項の数】 13

(21)【出願番号】P 2021076785

(22)【出願日】2021-04-28

(65)【公開番号】P2022170575

(43)【公開日】2022-11-10

【審査請求日】2024-01-04

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(73)【特許権者】

【識別番号】309007911

【氏名又は名称】サントリーホールディングス株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】深町 侑加

(72)【発明者】

【氏名】小玉 光志

(72)【発明者】

【氏名】鵜川 誠

(72)【発明者】

【氏名】林 真亜子

(72)【発明者】

【氏名】吉田 孟弘

【審査官】西畑 智道

(56)【参考文献】

【文献】特開２０１９－００３５１２（ＪＰ，Ａ）

【文献】特開２０１９－１８２６２３（ＪＰ，Ａ）

【文献】特開２０１７－１５１８１５（ＪＰ，Ａ）

【文献】特開２０１４－１９２７７６（ＪＰ，Ａ）

【文献】特開２０１２－１０４０５３（ＪＰ，Ａ）

【文献】特開２０２０－１３５６７５（ＪＰ，Ａ）

【文献】特開２００９－０１５６８４（ＪＰ，Ａ）

【文献】特開２００１－１１６１３６（ＪＰ，Ａ）

【文献】特開２０２１－０３３４０３（ＪＰ，Ａ）

【文献】特開２０２０－０４２８５３（ＪＰ，Ａ）

【文献】特開２０２０－１４９７０８（ＪＰ，Ａ）

【文献】特開２０１４－２０２５４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／０２２９２３８（ＵＳ，Ａ１）

【文献】独国特許出願公開第１０２００９０３０９５３（ＤＥ，Ａ１）

【文献】韓国公開特許第１０－２０１９－０００３６０２（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／２２３

Ｂ６０Ｗ ４０／０９

(57)【特許請求の範囲】

【請求項1】

移動体本体に対して相対的に可動する可動部を含む移動体の運転状態を撮影した動画像から、前記移動体の走行状態、及び前記可動部の操作状態を判定し、
前記走行状態及び前記操作状態の判定結果に基づいて、前記動画像において、前記移動体の危険運転が行われているか否かを特定することを含む処理をコンピュータに実行させるための情報処理プログラムであって、
前記走行状態を判定する処理は、前記動画像に含まれる各フレームから算出したオプティカルフローの大きさと第１閾値との比較に基づいて、フレーム毎に前記移動体が走行中か停止中かを判定すると共に、走行中と判定されたフレームについて、さらに、フレーム内でのオプティカルフローの角度の分布に基づいて、前記移動体が前進若しくは後進中か、又は旋回中かを判定する、
情報処理プログラム。

【請求項2】

前記動画像のある区間が、前記危険運転が行われている区間か否かに基づいて、前記動画像の再生速度を変更することを含む請求項１の記載の情報処理プログラム。

【請求項3】

前記動画像の再生速度を変更する処理は、前記危険運転が行われていない区間の再生速度を、前記危険運転が行われている区間の再生速度よりも速くすることを含む請求項２に記載の情報処理プログラム。

【請求項4】

前記走行状態として、前記移動体が走行中であると判定され、かつ前記操作状態として、前記可動部を操作中であると判定されている前記動画像の区間を、前記危険運転が行われている区間として特定する請求項１～請求項３のいずれか１項に記載の情報処理プログラム。

【請求項5】

基準となる動画像の各フレームから算出したオプティカルフローの統計値に対する、対象の動画像の各フレームから算出したオプティカルフローの統計値の比率を前記第１閾値に乗算する請求項１に記載の情報処理プログラム。

【請求項6】

前記走行状態として、前記移動体が停止中であると判定された場合、停止状態の継続時間が第２閾値以下の前記動画像の区間を、前記危険運転が行われている区間として特定する請求項１～請求項５のいずれか１項に記載の情報処理プログラム。

【請求項7】

前記操作状態を判定する処理は、前記動画像の各フレームから前記可動部を示す第１領域を検出し、検出した前記第１領域におけるオプティカルフローと、フレーム全体におけるオプティカルフローとの差と第３閾値との比較、及び、前記動画像の各フレームから、前記可動部又は前記可動部に取り付けたマーカの特定の色を示す第２領域を検出し、前記第２領域のフレーム間での変動量と第４閾値との比較の少なくとも一方に基づいて、フレーム毎に前記可動部を操作中か停止中かを判定することを含む請求項１～請求項６のいずれか１項に記載の情報処理プログラム。

【請求項8】

前記走行状態及び前記操作状態の判定結果と、前記危険運転が行われている区間の特定結果とを、前記動画像に対応付けて表示することをさらに含む処理を前記コンピュータに実行させるための請求項１～請求項７のいずれか１項に記載の情報処理プログラム。

【請求項9】

前記移動体への乗員の乗降状態をさらに判定し、
前記動画像において、前記乗員が前記移動体に乗車中であると判定された区間に対する、前記危険運転が行われている区間の割合を安全係数として算出し、
前記安全係数を、さらに前記動画像に対応付けて表示する
請求項８に記載の情報処理プログラム。

【請求項10】

前記乗降状態を判定する処理は、前記動画像の各フレームから前記乗員を示す第３領域を検出し、各フレームにおける前記第３領域の位置と、前記動画像全体における前記第３領域の位置の平均との差と、第５閾値との比較に基づいて、フレーム毎に前記乗員が前記移動体に乗車中か、前記移動体から降車中かを判定することを含む請求項９に記載の情報処理プログラム。

【請求項11】

前記動画像の再生速度を変更する処理は、前記乗員が前記移動体に乗車中の区間の再生速度を、前記乗員が前記移動体から降車中の区間の再生速度よりも速くすることを含む請求項１０に記載の情報処理プログラム。

【請求項12】

移動体本体に対して相対的に可動する可動部を含む移動体の運転状態を撮影した動画像から、前記移動体の走行状態、及び前記可動部の操作状態を判定する判定部と、
前記走行状態及び前記操作状態の判定結果に基づいて、前記動画像において、前記移動体の危険運転が行われているか否かを特定する特定部と、を含み、
前記判定部は、前記動画像に含まれる各フレームから算出したオプティカルフローの大きさと第１閾値との比較に基づいて、フレーム毎に前記移動体が走行中か停止中かを判定すると共に、走行中と判定されたフレームについて、さらに、フレーム内でのオプティカルフローの角度の分布に基づいて、前記移動体が前進若しくは後進中か、又は旋回中かを判定する、
情報処理装置。

【請求項13】

移動体本体に対して相対的に可動する可動部を含む移動体の運転状態を撮影した動画像から、前記移動体の走行状態、及び前記可動部の操作状態を判定し、
前記走行状態及び前記操作状態の判定結果に基づいて、前記動画像において、前記移動体の危険運転が行われているか否かを特定することを含む処理をコンピュータが実行する情報処理方法であって、
前記走行状態を判定する処理は、前記動画像に含まれる各フレームから算出したオプティカルフローの大きさと第１閾値との比較に基づいて、フレーム毎に前記移動体が走行中か停止中かを判定すると共に、走行中と判定されたフレームについて、さらに、フレーム内でのオプティカルフローの角度の分布に基づいて、前記移動体が前進若しくは後進中か、又は旋回中かを判定する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。

【背景技術】

【0002】

移動体の危険運転の検知に関し、例えば、移動体の挙動を観測し、観測結果が特定条件を満たすことを契機として、移動体に危険運転の可能性があると判断するシステムが提案されている。このシステムにおいて、特定条件は、例えば、移動体に対して後方の移動体が異常接近する行為、後方の移動体が急加速したり若しくは急に減速したり、又は急加速と急な減速とを繰り返す行為等である。

【0003】

また、取得した情報に基づいて加工された映像をユーザが見ることができるようにする再生装置が提案されている。この再生装置では、パーソナルコンピュータの表示装置の表示画面上に再生ウインドウが表示され、ドライブレコーダによって記録された映像が再生ウインドウの映像表示領域に表示される。また、この再生装置は、車両の運転操作に伴い変化する情報を記録し、被写体の動きの変化がない映像部分の表示速度を被写体の動きの変化がある映像部分の表示速度と比較して速くする。また、この再生装置は、映像データの記録時における車両の状況に関する情報を表示させる。

【0004】

また、フォークリフト等の荷役車両の危険運転の検知に関する技術も提案されている。例えば、乗員へフォークリフトの操作に役立つ情報を提供する画像処理装置が提案されている。この画像処理装置は、フォークリフトの車体の前方を撮影する撮影部の撮影により得られた映像から物体を検出し、車体の移動速度情報を取得し、車体の前方側に昇降可能に支持されたフォークの姿勢及び高さ方向の位置に関する状態情報を取得する。また、この画像処理装置は、フォーク上の荷物の有無又は荷物のサイズを検出し、フォークの状態情報及び荷物の検出結果に応じて、フォークリフトの作業状況を判定する。そして、この画像処理装置は、判定した作業状況に応じた表示画像を生成し、フォークリフトの運転席から視認できる位置に取り付けられた表示部に表示させる。

【0005】

また、例えば、リーチ式フォークリフトに搭載され、リーチ式フォークリフトの周囲の少なくとも一部を撮像するカメラを備えたフォークリフト用運転支援装置が提案されている。この装置は、操舵角に応じた走行予想軌跡上に最大旋回円を生成し、カメラにて撮像された画像に最大旋回円を重畳して表示し、旋回開始位置の判断を支援する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－１０２０９２号公報

【文献】特開２０１９－３２７３９号公報

【文献】特開２０２０－１４２９０３号公報

【文献】特開２０２０－８３５７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

例えば、物流倉庫内で荷役作業を行うフォークリフト等の移動体が安全運転を行っているか否かを評価する方法として、移動体に取り付けられたドライブレコーダの映像を点検することが考えられる。しかし、映像を人手で点検する場合、膨大な工数を要する。

【0008】

一つの側面として、開示の技術は、移動体の運転状態を撮影した動画像から危険運転を判定することを目的とする。

【課題を解決するための手段】

【0009】

一つの態様として、開示の技術は、移動体本体に対して相対的に可動する可動部を含む移動体の運転状態を撮影した動画像から、前記移動体の走行状態、及び前記可動部の操作状態を判定する。そして、開示の技術は、前記走行状態及び前記操作状態の判定結果に基づいて、前記動画像において、前記移動体の危険運転が行われているか否かを特定する。

【発明の効果】

【0010】

一つの側面として、移動体の運転状態を撮影した動画像から危険運転を判定することができる、という効果を有する。

【図面の簡単な説明】

【0011】

【図1】情報処理装置の機能ブロック図である。

【図2】前処理後の動画像の１フレームの一例を示す図である。

【図3】走行状態の判定を説明するための図である。

【図4】旋回中のオプティカルフローの向きを説明するための図である。

【図5】前後進のオプティカルフローの向きを説明するための図である。

【図6】旋回中のオプティカルフローの向きの条件を説明するための図である。

【図7】バックレストの検出及び爪可動領域の特定を説明するための図である。

【図8】爪の可動方向に対応するオプティカルフローの角度を説明するための図である。

【図9】バックレストに特定色のテープを貼付した例を示す概略図である。

【図10】特定色の領域の抽出を説明するための図である。

【図11】人物の位置の特定を説明するための図である。

【図12】人物の位置と平均位置との距離を説明するための図である。

【図13】判定結果と運転状態との関係を示すテーブルの一例を示す図である。

【図14】加工動画像の表示の一例を示す図である。

【図15】情報処理装置として機能するコンピュータの概略構成を示すブロック図である。

【図16】情報処理ルーチンの一例を示すフローチャートである。

【図17】走行判定処理の一例を示すフローチャートである。

【図18】操作判定処理の一例を示すフローチャートである。

【図19】乗降判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。本実施形態では、フォークリフトの運転評価を行う場合を例に説明する。なお、フォークリフトは、開示の技術の移動体の一例であり、フォークリフトの爪（フォーク）は、開示の技術の、移動体本体に対して相対的に可動する可動部の一例である。

【0013】

図１に示すように、本実施形態に係る情報処理装置１０には、動画像が入力され、情報処理装置１０が、動画像を運転評価用に加工して、加工動画像として出力する。情報処理装置１０に入力される動画像は、フォークリフトに取り付けられたドライブレコーダから出力される動画像である。例えば、ドライブレコーダは、フォークリフト本体、爪の可動領域、乗員等を含む領域を撮影し、フォークリフトの運転状態を認識可能な動画像を取得するカメラと、撮影された動画像を記憶するレコーダとを備える。このカメラとしては、例えば、フォークリフトのヘッドカバーやマストの先端等の上部に取り付けられ、上部からフォークリフト本体側を撮影する３６０度広角カメラを適用してよい。レコーダに記憶された動画像は、例えば、パーソナルコンピュータ等のユーザ端末により読み出され、ユーザ端末から、ネットワークを介して情報処理装置１０にアップロードすることにより、情報処理装置１０に入力される。動画像は、所定のフレームレート（例えば、１０ｆｐｓ）で撮影されており、動画像の１ファイルには、複数のフレームが含まれる。

【0014】

情報処理装置１０は、機能的には、図１に示すように、前処理部１１と、走行判定部１２と、操作判定部１３と、乗降判定部１４と、特定部１５と、算出部１６と、生成部１７とを含む。走行判定部１２、操作判定部１３、及び乗降判定部１４は、開示の技術の判定部の一例である。

【0015】

前処理部１１は、情報処理装置１０に入力された動画像に対して前処理を行う。例えば、前処理部１１は、動画像の各フレームを所定のサイズにリサイズする。リサイズするサイズは、例えば、後段の処理でディープラーニングを適用する場合に、ディープラーニングの処理に適したサイズ（例えば、２５６画素×２５６画素）とすればよい。

【0016】

また、前処理部１１は、動画像に含まれる全てのフレームの輝度を、例えば、適応的ヒストグラム平坦化処理等により正規化する。撮影場所が屋内から屋外、又は屋外から屋内へ移動する場合など、画像の明るさの変化の激しさによる、後段の各機能部での誤判定等を抑制するためである。

【0017】

また、前処理部１１は、動画像において、ピントのぼやけが発生しているフレームを検知する。例えば、前処理部１１は、各フレームにラプラシアンフィルタを適用し、フィルタ適用後のフレーム全体の画素値の分散が１，０００未満の場合、ぼやけが発生しているフレームとして検知する。

【0018】

図２に、前処理後の動画像の１フレームの一例を示す。前処理部１１は、前処理後の動画像を、走行判定部１２、操作判定部１３、及び乗降判定部１４の各々へ受け渡す。

【0019】

走行判定部１２は、前処理部１１から受け渡された動画像から、フォークリフトの走行状態を判定する。具体的には、走行判定部１２は、動画像に含まれる各フレームからオプティカルフローを算出し、オプティカルフローの大きさと第１閾値との比較に基づいて、フレーム毎に、フォークリフトが走行中か停止中かを判定する。

【0020】

より具体的には、走行判定部１２は、フレーム間で対応する画素の対応付けにより、フレーム間の画像の変動を表すオプティカルフローを示すベクトルを算出し、フレーム内のベクトルの大きさの中央値を算出する。なお、中央値に替えて、平均値等の他の統計値を算出してもよい。また、統計値として、所定フレーム分の移動平均を適用してもよい。オプティカルフローの値が大きい場合には、フレーム間での画像の変動が大きいことを表しているため、フォークリフトが走行中の可能性が高い。一方、オプティカルフローの値が小さい場合には、フレーム間での画像の変動が小さいことを表しているため、フォークリフトが停止中の可能性が高い。

【0021】

そこで、走行判定部１２は、図３に示すように、処理対象のフレームから算出したオプティカルフローの中央値Ｘが閾値ＴＨ１以上の場合、そのフレームに「走行中」の仮判定結果を示すフラグ「１」を付与する。閾値ＴＨ１としては、例えば、走行中と停止中とのオプティカルフローの大きさを区別可能な値を予め定めておけばよい。走行判定部１２は、フレーム毎に算出したオプティカルフローの中央値の、動画像全体における最大値と最小値間の幅を、基準動画像から算出された幅で除算した比率Ｒａｔｉｏを予め定めた値に乗算した値を、閾値ＴＨ１として設定してよい。基準動画像としては、明るさが標準的な動画像を予め定めておけばよい。また、走行判定部１２は、処理対象のフレームから算出したオプティカルフローの中央値Ｘが、閾値ＴＨ１未満の場合、そのフレームに「停止中」の仮判定結果を示すフラグ「０」を付与する。また、走行判定部１２は、前処理部１１において、ぼやけの発生が検知されているフレームには、オプティカルフローの中央値Ｘの大きさにかかわらず、そのフレームにフラグ「０」を付与する。ぼやけが発生しているフレームについて、誤って「走行中」と判定されることを抑制するためである。

【0022】

走行判定部１２は、図３に示すように、フラグ「１」が付与されているフレームの前後所定数のフレーム（例えば、３フレーム）に、判定結果「走行中」を示すメタデータを付与する。また、走行判定部１２は、残りのフレームに、判定結果「停止中」を示すメタデータを付与する。これにより、判定結果の過度な切り替わりを抑制する。

【0023】

また、走行判定部１２は、判定結果「走行中」のフレームについて、さらに、フレーム内でのオプティカルフローの角度の分布に基づいて、フォークリフトが前進若しくは後進（以下、「前後進」という）中か、又は旋回中かを判定する。

【0024】

例えば、図４に示すように、フレームを左右半分ずつの領域に分けた場合、フォークリフトが旋回中であれば、左領域と右領域とで、オプティカルフローは相反する向きとなる。一方、図５に示すように、フォークリフトが前後進中であれば、左領域と右領域とで、オプティカルフローは同じ向きとなる。

【0025】

そこで、走行判定部１２は、フレームの左領域及び右領域の各々からオプティカルフローの角度の中央値を算出し、左領域と右領域とで、オプティカルフローの角度の組み合わせが所定条件を満たすか否かを判定する。所定条件としては、例えば、図６に示すように角度の範囲を設定した場合、左領域及び右領域の一方の角度が範囲１に含まれ、他方の角度が範囲３に含まれる場合、又は、一方の角度が範囲２に含まれ、他方の角度が範囲４に含まれる場合のいずれかとする。

【0026】

走行判定部１２は、処理対象のフレームから算出されたオプティカルフローの角度の組み合わせが条件を満たす場合、そのフレームに「旋回中」の仮判定結果を示すフラグ「１」を付与する。一方、条件を満たさない場合、走行判定部１２は、そのフレームに「前後進」の仮判定結果を示すフラグ「１」を付与する。また、走行判定部１２は、図３の場合と同様に、フラグ「１」が付与されているフレームの前後所定数のフレーム（例えば、５フレーム）に付与されている判定結果「走行中」を示すメタデータを、判定結果「旋回中」を示すメタデータに変更する。また、走行判定部１２は、残りのフレームに付与されている判定結果「走行中」を示すメタデータを、判定結果「前後進」を示すメタデータに変更する。

【0027】

また、走行判定部１２は、判定結果「停止中」のフレームについて、停止状態の継続時間に基づいて、適正な停止か、一時停止かを判定する。例えば、走行判定部１２は、判定結果「停止中」のフレームが、第２閾値ＴＨ２以上のフレーム数（例えば、２０フレーム）連続しているか否かを判定する。閾値ＴＨ２としては、適正な停止として求められる停止状態の継続時間（例えば、２秒）を予め定めておけばよい。連続している場合、走行判定部１２は、連続している区間に含まれる各フレームに付与されている判定結果「停止中」のメタデータを、適正な停止を示す判定結果「適正停止中」を示すメタデータに変更する。また、走行判定部１２は、判定結果「停止中」のフレームの連続数が所定時間に満たない場合、各フレームに付与されている判定結果「停止中」のメタデータを、判定結果「一時停止」を示すメタデータに変更する。

【0028】

操作判定部１３は、前処理部１１から受け渡された動画像から、爪の操作状態を判定する。具体的には、操作判定部１３は、動画像の各フレームから爪に対応する領域を検出し、検出した領域におけるオプティカルフローと、フレーム全体におけるオプティカルフローとの差と第３閾値との比較に基づいて、フレーム毎に、爪を操作中か否かを判定する。

【0029】

より具体的には、操作判定部１３は、例えば、ＹＯＬＯ（You Only Look Once）等のディープラーニングによる物体検出手法により、予め大量のバックレスト画像を用いて訓練されたモデルを用いて、各フレームからバックレストを示す領域を検出する。バックレストとは、爪の上に載せた荷物がマストの後方に落下するのを防ぐための荷受け枠であり、爪の上下方向の可動に対応して可動する。したがって、バックレストの動きを検知することにより、爪の動きを検知することになる。

【0030】

例えば、操作判定部１３は、図７上図に示すように検出したバックレストを示す領域２１と、ドライブレコーダのカメラの取り付け位置とに基づいて、図７下図に示すように、爪の可動範囲を示す爪可動領域２２を特定する。操作判定部１３は、フレーム毎に、フレーム内のオプティカルフローを算出し、算出したオプティカルフローから、爪可動領域２２内、かつ爪の可動方向に対応する角度のオプティカルフローを抽出する。図７の例の場合、例えば図８の網掛で示す範囲の角度を、爪の可動方向に対応する角度として予め定めておいてよい。操作判定部１３は、抽出したオプティカルフローの大きさの中央値Ｘ１と、フレーム全体のオプティカルフローの大きさの中央値Ｘ２との差が、閾値ＴＨ３以上の場合、そのフレームに「操作中」の仮判定結果を示すフラグ「１」を付与する。一方、Ｘ１とＸ２との差が閾値ＴＨ３未満の場合、操作判定部１３は、そのフレームに「非操作中」の仮判定結果を示すフラグ「０」を付与する。閾値ＴＨ３としては、例えば、爪の操作中と非操作中とのオプティカルフローの大きさを区別可能な値を予め定めておけばよい。

【0031】

操作判定部１３は、図３の場合と同様に、フラグ「１」が付与されているフレームの前後所定数のフレーム（例えば、３フレーム）に、判定結果「操作中」を示すメタデータを付与する。また、操作判定部１３は、残りのフレームに、判定結果「非操作中」を示すメタデータを付与する。

【0032】

また、操作判定部１３は、動画像の各フレームから、爪可動領域２２内における、予め定めた特定色の領域を検出し、検出した領域のフレーム間での変動量と第４閾値との比較に基づいて、フレーム毎に、爪を操作中か否かを判定してもよい。特定色の領域は、例えば、図９に示すように、バックレスト２３の所定位置に貼付した特定色のテープ等のマーカ２４を示す領域である。また、マーカ２４を貼付する場合に限らず、バックレスト自体の少なくとも一部に塗布された特定色の領域であってもよい。なお、特定色としては、蛍光色等の画像上での認識が容易な色を採用することが望ましい。

【0033】

具体的には、操作判定部１３は、フレーム毎に、爪可動領域２２の各画素のＨＳＶ値に基づいて、特定色を示す画素を抽出し、図１０に示すように、爪可動領域２２において特定色を抽出できた画素を白、抽出できなかった画素を黒で表現した２値画像を生成する。操作判定部１３は、フレーム間で２値画像の背景差分をとって、特定色を示す領域の変化量Ｃを算出する。操作判定部１３は、算出した変化量Ｃが、閾値ＴＨ４以上の場合、そのフレームに「操作中」の仮判定結果を示すフラグ「１」を付与する。一方、変化量Ｃが閾値ＴＨ４未満の場合、操作判定部１３は、そのフレームに「非操作中」の仮判定結果を示すフラグ「０」を付与する。閾値ＴＨ４としては、例えば、走行中と停止中との特定色を示す領域の変化量Ｃの大きさを区別可能な値を予め定めておけばよい。そして、上記と同様に、操作判定部１３は、フラグに基づいて、フレーム毎に、判定結果「操作中」又は「非操作中」を示すメタデータを付与する。

【0034】

なお、操作判定部１３は、上記のオプティカルフローに基づく判定と、特定色に基づく判定とを合わせて行ってもよい。例えば、操作判定部１３は、オプティカルフローの大きさの中央値Ｘ１とＸ２との差が閾値ＴＨ３以上、かつ特定色を示す領域の変化量Ｃが閾値ＴＨ４以上の場合に、フラグ「１」を付与するようにしてもよい。

【0035】

乗降判定部１４は、前処理部１１から受け渡された動画像から、フォークリフトへの乗員の乗降状態を判定する。具体的には、乗降判定部１４は、動画像の各フレームから人物に対応する領域を検出する。そして、乗降判定部１４は、各フレームにおいて検出した領域の位置と、全フレームから検出された領域の位置の平均との差と第５閾値との比較に基づいて、フレーム毎に、乗員が乗車中か降車中かを判定する。

【0036】

より具体的には、乗降判定部１４は、例えば、ＹＯＬＯ等のディープラーニングによる物体検出手法により、予め大量の人物画像を用いて訓練されたモデルを用いて、各フレームから人物示す領域を検出する。なお、１フレームから人物を示す領域が２つ以上検出された場合は、モデルから出力される、検出した領域が人物であることの尤もらしさを示す確信度が高い方の領域を採用すればよい。乗降判定部１４は、図１１に示すように、フレーム毎に人物を示す領域として検出したバウンディングボックス２５の中心点のフレーム内での座標を人物の位置Ｐ１として特定する。また、乗降判定部１４は、各フレームから特定した位置Ｐ１の動画全体における平均を、人物の平均位置Ｐ２として特定する。Ｐ２は、乗員を示す領域が平均的にフレーム上のどの位置に存在するかを示す基準点となる。

【0037】

乗降判定部１４は、図１２に示すように、フレーム２７における人物の位置Ｐ１と平均位置Ｐ２との距離Ｄが、閾値ＴＨ５以上の場合、そのフレームに「降車中」の仮判定結果を示すフラグ「１」を付与する。また、乗降判定部１４は、人物を示す領域が検出されていないフレームにも、フラグ「１」を付与する。一方、距離Ｄが閾値ＴＨ５未満の場合、乗降判定部１４は、そのフレームに「乗車中」の仮判定結果を示すフラグ「０」を付与する。閾値ＴＨ５としては、例えば、フレームのサイズ、画角、フレーム内の運転席の領域等に基づいて、乗車中と降車中との位置関係の相違を区別可能な値（例えば、７０画素）を予め定めておけばよい。

【0038】

乗降判定部１４は、フラグ「１」のフレームが、所定時間（例えば、１秒）以上のフレーム数（例えば、１０フレーム）連続している区間に含まれる各フレームに、判定結果「降車中」を示すメタデータを付与する。また、乗降判定部１４は、それ以外のフレームに、判定結果「乗車中」を示すメタデータを付与する。

【0039】

特定部１５は、走行状態及び爪の操作状態の判定結果に基づいて、動画像において、フォークリフトの危険運転が行われている区間を特定する。ここで、「区間」とは、動画像に時間軸に対応した区切りである。動画像における区間は、例えば、区間の開始時に対応するフレームに対応付けられた時間情報又はフレーム番号、及び、区間の終了時に対応するフレームに対応付けられた時間情報又はフレーム番号により特定される。本実施形態では、走行しながら爪を操作している「ながら操作」、及び停止不足を危険運転とする。具体的には、特定部１５は、フレームの判定結果が「旋回中」又は「前後進」、かつ「操作中」である動画像の区間を、危険運転が行われている区間として特定する。また、特定部１５は、フレームの判定結果が「一時停止」である動画像の区間を、危険運転が行われている区間として特定する。

【0040】

例えば、特定部１５は、図１３に示すような、判定結果と運転状態との関係を示すテーブルを保持しておく。図１３の例では、判定結果が「旋回中」かつ「操作中」の場合、運転状態は、「ながら操作」のうち「旋回ながら操作」である。また、判定結果が「前後進」かつ「操作中」の場合、運転状態は、「ながら操作」のうち「走行ながら操作」である。図１３では、太線枠で示す運転状態「旋回ながら操作」、「走行ながら操作」、及び「停止不足」が危険運転である。なお、図１３のテーブルに含まれる「再生速度」については後述する。

【0041】

特定部１５は、このテーブルを参照し、各フレームに付与された判定結果に対応する運転状態を特定し、各フレームに、特定した運転状態の種別を示すメタデータを付与する。そして、特定部１５は、運転状態が「旋回ながら操作」、「走行ながら操作」、及び「停止不足」のいずれかであると特定されたフレームに、危険運転であることを示すメタデータを付与する。危険運転であることを示すメタデータが付与されたフレームが連続している区間が、危険運転が行われている区間である。

【0042】

算出部１６は、動画像において、乗員がフォークリフトに乗車中であると判定された区間に対する、危険運転が行われている区間の割合を安全係数として算出する。具体的には、算出部１６は、運転状態が「旋回ながら操作」、「走行ながら操作」、及び「停止不足」のいずれかであると特定されたフレーム数を、判定結果「乗車中」のフレーム数で除算した値を安全係数として算出する。

【0043】

生成部１７は、危険運転が行われている区間か否かの特定結果に基づいて、動画像の再生速度が変更されるように動画像を加工する。具体的には、生成部１７は、危険運転が行われていない区間の再生速度が、危険運転が行われている区間の再生速度よりも速くなるように、動画像を倍速処理する。生成部１７は、倍速処理として、再生速度を速くする区間のフレーム数を間引いてもよいし、再生時に指定した再生速度となるような制御情報を動画像に付加してもよい。また、生成部１７は、例えば、図１３に示すテーブルのように、運転状態に応じた「再生速度」を予め定めておき、この「再生速度」を参照して、動画像の各区間の再生速度を決定してよい。図１３の例では、危険運転の場合は１倍速、すなわち通常の再生速度、危険運転ではない乗車中の場合は６倍速、降車中の場合は１０倍速と定められている。このように定めておくことで、動画像を評価する際、危険運転のシーンは通常再生、それ以外のシーンは早送り再生となり、評価の工数を大幅に削減することができる。

【0044】

また、生成部１７は、走行判定部１２、操作判定部１３、及び乗降判定部１４の各々の判定結果と、特定部１５の特定結果と、算出部１６により算出された安全係数が、動画像に対応付けて表示されるように、動画像を加工する。例えば、生成部１７は、図２に示すような動画像に対して、図１４に示すように、各フレームに付与されたメタデータに基づく情報が各フレームに表示されるように、動画像に情報を付加する。

【0045】

図１４の例では、加工された動画像（以下、「加工動画像」という）２８には、危険運転が行われていると判定された区間について、その運転状態の種別が表示される危険運転状態表示２９が含まれる。また、加工動画像２８には、各判定部による判定結果を示す判定結果表示３０が含まれる。図１４の例では、判定結果表示３０は、判定結果を示す文字列にランプが対応付けられた表示であって、該当する判定結果に対応するランプが点灯する表示となっている。また、加工動画像２８には、乗降判定部１４で検出された人物を示す領域表示３１、算出部１６で算出された安全係数を示す安全係数表示３２、及び運転状態に応じて決定した再生速度を示す倍速表示３３が含まれる。

【0046】

生成部１７は、上記のように、動画像に倍速処理及び情報付加の加工を行い、加工動画像２８を生成し、加工動画像２８のファイルをユーザ端末へ送信する。ユーザ端末への送信は、情報処理装置１０の所定の記憶領域に記憶した加工動画像２８を、加工動画像２８のダウンロード要求を行ったユーザ端末へダウンロードすることで行われてよい。

【0047】

情報処理装置１０は、例えば図１５に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

【0048】

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、情報処理装置１０として機能させるための情報処理プログラム５０が記憶される。情報処理プログラム５０は、前処理プロセス５１と、走行判定プロセス５２と、操作判定プロセス５３と、乗降判定プロセス５４と、特定プロセス５５と、算出プロセス５６と、生成プロセス５７とを有する。

【0049】

ＣＰＵ４１は、情報処理プログラム５０を記憶部４３から読み出してメモリ４２に展開し、情報処理プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、前処理プロセス５１を実行することで、図１に示す前処理部１１として動作する。また、ＣＰＵ４１は、走行判定プロセス５２を実行することで、図１に示す走行判定部１２として動作する。また、ＣＰＵ４１は、操作判定プロセス５３を実行することで、図１に示す操作判定部１３として動作する。また、ＣＰＵ４１は、乗降判定プロセス５４を実行することで、図１に示す乗降判定部１４として動作する。また、ＣＰＵ４１は、特定プロセス５５を実行することで、図１に示す特定部１５として動作する。また、ＣＰＵ４１は、算出プロセス５６を実行することで、図１に示す算出部１６として動作する。また、ＣＰＵ４１は、生成プロセス５７を実行することで、図１に示す生成部１７として動作する。これにより、情報処理プログラム５０を実行したコンピュータ４０が、情報処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

【0050】

なお、情報処理プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

【0051】

次に、本実施形態に係る情報処理装置１０の作用について説明する。フォークリフトに取り付けられたドライブレコーダにより得られた動画像が情報処理装置１０に入力されると、情報処理装置１０において、図１６に示す情報処理ルーチンが実行される。なお、情報処理ルーチンは、開示の技術の情報処理方法の一例である。

【0052】

ステップＳ１０で、前処理部１１が、情報処理装置１０に入力された動画像を取得し、取得した動画像に対して、リサイズ、輝度の正規化、ぼやけが発生しているフレームの検知等の前処理を行う。

【0053】

次に、ステップＳ２０で、走行判定処理が実行される。ここで、図１７を参照して、走行判定処理について説明する。

【0054】

ステップＳ２１で、走行判定部１２が、前処理後の動画像に含まれる各フレームからオプティカルフローを算出し、オプティカルフローを示すベクトルのフレーム内での中央値Ｘを算出する。

【0055】

次に、ステップＳ２２で、走行判定部１２が、フレーム毎に算出したオプティカルフローの中央値の、動画像全体における最大値と最小値間の幅を、基準動画像から算出された幅で除算した比率Ｒａｔｉｏを算出する。走行判定部１２は、予め定めた値（例えば、０．１５）にＲａｔｉｏを乗算した値を、閾値ＴＨ１として設定する。

【0056】

次に、ステップＳ２３で、走行判定部１２が、各フレームについて、オプティカルフローの中央値Ｘが閾値ＴＨ１以上か否かを判定する。Ｘ≧ＴＨ１となるフレームについては、ステップＳ２４へ移行し、走行判定部１２が、そのフレームにフラグ「１」を付与する。一方、Ｘ＜ＴＨ１となるフレームについては、ステップＳ２５へ移行し、走行判定部１２が、そのフレームにフラグ「０」を付与する。また、走行判定部１２は、前処理部１１において、ぼやけの発生が検知されているフレームについても、フラグ「０」を付与する。

【0057】

次に、ステップＳ２６で、走行判定部１２が、フラグ「１」が付与されているフレームの前後所定数のフレーム（例えば、３フレーム）に、判定結果「走行中」を示すメタデータを付与する。また、走行判定部１２は、残りのフレームに、判定結果「停止中」を示すメタデータを付与する。

【0058】

次に、ステップＳ２７で、走行判定部１２が、判定結果「走行中」のフレームについて、フレーム内でのオプティカルフローの角度の分布が所定条件を満たすか否かを判定する。所定条件を満たすフレームについては、ステップＳ２８へ移行し、走行判定部１２が、そのフレームにフラグ「１」を付与する。一方、所定条件を満たさないフレームについては、ステップＳ２９へ移行し、走行判定部１２が、そのフレームにフラグ「０」を付与する。

【0059】

次に、ステップＳ３０で、走行判定部１２が、フラグ「１」が付与されているフレームの前後所定数のフレーム（例えば、５フレーム）に付与されている判定結果「走行中」を示すメタデータを、判定結果「旋回中」を示すメタデータに変更する。また、走行判定部１２が、残りのフレームに付与されている判定結果「走行中」を示すメタデータを、判定結果「前後進」を示すメタデータに変更する。

【0060】

次に、ステップＳ３１で、走行判定部１２が、判定結果「停止中」のフレームが、閾値ＴＨ２（例えば、２秒）以上のフレーム数（例えば、２０フレーム）連続しているか否かを判定することにより、停止状態がＴＨ２以上か否かを判定する。停止状態がＴＨ２以上の場合、ステップＳ３２へ移行し、走行判定部１２が、判定結果「停止中」のフレームが連続している区間に含まれる各フレームに付与されている判定結果「停止中」のメタデータを、判定結果「適正停止中」を示すメタデータに変更する。一方、停止状態がＴＨ２未満の場合、ステップＳ３３へ移行し、各フレームに付与されている判定結果「停止中」のメタデータを、判定結果「一時停止」を示すメタデータに変更する。そして、走行判定処理は終了し、情報処理ルーチン（図１６）に戻る。

【0061】

次に、ステップＳ４０で、操作判定処理が実行される。ここで、図１８を参照して、操作判定処理について説明する。

【0062】

ステップＳ４１で、操作判定部１３が、前処理部１１から受け渡された動画像の各フレームからバックレストを示す領域を検出する。そして、操作判定部１３が、検出したバックレストを示す領域と、ドライブレコーダのカメラの取り付け位置とに基づいて、爪可動領域を特定する。

【0063】

次に、ステップＳ４２で、操作判定部１３が、フレーム毎に、フレーム内のオプティカルフローを算出し、算出したオプティカルフローから、爪可動領域内、かつ爪の可動方向に対応する角度のオプティカルフローを抽出する。そして。操作判定部１３が、抽出したオプティカルフローの大きさの中央値Ｘ１と、フレーム全体のオプティカルフローの大きさの中央値Ｘ２を算出する。

【0064】

次に、ステップＳ４３で、操作判定部１３が、フレーム毎に、爪可動領域から特定色を示す領域を抽出し、フレーム間での特定色を示す領域の変化量Ｃを算出する。

【0065】

次に、ステップＳ４４で、操作判定部１３が、フレーム毎に、オプティカルフローの大きさの中央値Ｘ１とＸ２との差が閾値ＴＨ３以上、かつ特定色を示す領域の変化量Ｃが閾値ＴＨ４以上か否かを判定する。｜Ｘ１－Ｘ２｜≧ＴＨ３、かつＣ≧ＴＨ４のフレームについては、ステップＳ４５へ移行し、操作判定部１３が、そのフレームにフラグ「１」を付与する。一方、｜Ｘ１－Ｘ２｜＜ＴＨ３、又はＣ＜ＴＨ４のフレームについては、ステップＳ４６へ移行し、操作判定部１３が、そのフレームにフラグ「０」を付与する。なお、本ステップにおいて、｜Ｘ１－Ｘ２｜≧ＴＨ３、又はＣ≧ＴＨ４の場合に、肯定判定となるようにしてもよい。

【0066】

次に、ステップＳ４７で、操作判定部１３が、フラグ「１」が付与されているフレームの前後所定数のフレーム（例えば、３フレーム）に、判定結果「操作中」を示すメタデータを付与する。また、操作判定部１３が、残りのフレームに、判定結果「非操作中」を示すメタデータを付与する。そして、操作判定処理は終了し、情報処理ルーチン（図１６）に戻る。

【0067】

次に、ステップＳ５０で、乗降判定処理が実行される。ここで、図１９を参照して、乗降判定処理について説明する。

【0068】

ステップＳ５１で、乗降判定部１４が、動画像の各フレームから人物示す領域を検出し、人物を示す領域として検出したバウンディングボックス２５の中心点のフレーム内での座標を人物の位置Ｐ１として特定する。次に、ステップＳ５２で、乗降判定部１４が、各フレームから特定した位置Ｐ１の動画像全体での平均を、人物の平均位置Ｐ２として特定する。

【0069】

次に、ステップＳ５３で、乗降判定部１４が、フレーム毎に、人物の位置Ｐ１と平均位置Ｐ２との距離Ｄが、閾値ＴＨ５以上か否かを判定する。Ｄ≧ＴＨ５のフレームについては、ステップＳ５４へ移行し、乗降判定部１４が、そのフレームにフラグ「１」を付与する。一方、Ｄ＜ＴＨ５のフレームについては、ステップＳ５５へ移行し、乗降判定部１４が、そのフレームにフラグ「０」を付与する。

【0070】

次に、ステップＳ５６で、乗降判定部１４が、フラグ「１」のフレームが、所定時間（例えば、１秒）以上のフレーム数（例えば、１０フレーム）連続している区間に含まれる各フレームに、判定結果「降車中」を示すメタデータを付与する。また、乗降判定部１４が、それ以外のフレームに、判定結果「乗車中」を示すメタデータを付与する。そして、乗降判定処理は終了し、情報処理ルーチン（図１６）に戻る。

【0071】

次に、ステップＳ６０で、特定部１５が、各フレームの判定結果に基づいて、運転状態の種別を特定し、各フレームに、運転状態の種別を示すメタデータを付与する。特定部１５が、運転状態の種別が「旋回ながら操作」、「走行ながら操作」、又は「停止不足」であるフレームに、危険運転であることを示すメタデータを付与することで、動画像において、危険運転が行われている区間を特定する。

【0072】

次に、ステップＳ７０で、算出部１６が、運転状態の種別が「旋回ながら操作」、「走行ながら操作」、及び「停止不足」のいずれかであると特定されたフレーム数を、判定結果「乗車中」のフレーム数で除算した値を安全係数として算出する。

【0073】

次に、ステップＳ８０で、生成部１７が、危険運転が行われていない区間の再生速度が、危険運転が行われている区間の再生速度よりも速くなるように、動画像を倍速処理する。また、生成部１７が、上記ステップＳ２０～Ｓ５０の各々での判定結果、上記ステップＳ６０での特定結果、上記ステップＳ７０で算出された安全係数等の情報が、動画像に対応付けて表示されるように、動画像を加工する。このようにして、生成部１７が、加工動画像を生成し、加工動画像のファイルをユーザ端末へ送信する。そして、情報処理ルーチンは終了する。

【0074】

なお、上記の情報処理ルーチンにおいて、ステップＳ２０、Ｓ４０、及びＳ５０の処理は、順番を入れ替えて実行してもよいし、並列に実行してもよい。

【0075】

以上説明したように、本実施形態に係る情報処理装置は、フォークリフトの運転状態を撮影した動画像から、フォークリフトの走行状態、及び爪の操作状態を判定する。また、情報処理装置は、走行状態及び操作状態の判定結果に基づいて、動画像において、危険運転が行われている区間を特定する。そして、情報処理装置は、危険運転が行われている区間か否かの特定結果に基づいて、動画像の再生速度を変更する。これにより、車体本体の運転に加え、爪の操作が行われるフォークリフトの運転状態について、動画像のみから危険運転が行われている区間が特定されると共に、危険運転が行われている区間か否かにより再生速度を変更することができる。したがって、運転評価を効率良く行えるように支援することができる。

【0076】

また、乗降状態をさらに判定し、乗降中の危険運転の割合から安全係数を算出し、走行状態、操作状態、乗降状態、危険運転か否か、安全係数等を動画像に表示するため、運転評価をさらに効率良く行えるように支援することができる。

【0077】

なお、上記実施形態では、停止状態の継続時間に応じて、適正停止中か一時停止かを判定し、一時停止の場合は危険運転として特定する場合について説明したが、これに限定されない。適正な停止時間に満たない場合の停止を、更に段階的に分類してもよい。例えば、２秒以上の停止が適正である場合、停止状態が１秒以上２秒未満の一時停止と、停止時状態が１秒未満の瞬停止とに分類してもよい。

【0078】

また、上記実施形態では、フォークリフトの運転状態の評価を行う場合を例に説明したが、移動体本体に対して相対的に可動する可動部を含む移動体の運転状態であれば、開示の技術を適用可能である。

【0079】

また、上記実施形態では、情報処理プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

【0080】

以上の実施形態に関し、更に以下の付記を開示する。

【0081】

（付記１）
移動体本体に対して相対的に可動する可動部を含む移動体の運転状態を撮影した動画像から、前記移動体の走行状態、及び前記可動部の操作状態を判定し、
前記走行状態及び前記操作状態の判定結果に基づいて、前記動画像において、前記移動体の危険運転が行われているか否かを特定する、
ことを含む処理をコンピュータに実行させるための情報処理プログラム。

【0082】

（付記２）
前記危険運転が行われている区間か否かに基づいて、前記動画像の再生速度を変更することを含む付記１に記載の情報処理プログラム。

【0083】

（付記３）
前記動画像の再生速度を変更する処理は、前記危険運転が行われていない区間の再生速度を、前記危険運転が行われている区間の再生速度よりも速くすることを含む付記２に記載の情報処理プログラム。

【0084】

（付記４）
前記走行状態として、前記移動体が走行中であると判定され、かつ前記操作状態として、前記可動部を操作中であると判定されている前記動画像の区間を、前記危険運転が行われている区間として特定する付記１～付記３のいずれか１項に記載の情報処理プログラム。

【0085】

（付記５）
前記走行状態を判定する処理は、前記動画像に含まれる各フレームから算出したオプティカルフローの大きさと第１閾値との比較に基づいて、フレーム毎に前記移動体が走行中か停止中かを判定することを含む付記１～付記４のいずれか１項に記載の情報処理プログラム。

【0086】

（付記６）
基準となる動画像の各フレームから算出したオプティカルフローの統計値に対する、対象の動画像の各フレームから算出したオプティカルフローの統計値の比率を前記第１閾値に乗算する付記５に記載の情報処理プログラム。

【0087】

（付記７）
走行中と判定されたフレームについて、さらに、フレーム内でのオプティカルフローの角度の分布に基づいて、前記移動体が前進若しくは後進中か、又は旋回中かを判定する付記５又は付記６に記載の情報処理プログラム。

【0088】

（付記８）
前記走行状態として、前記移動体が停止中であると判定された場合、停止状態の継続時間が第２閾値以下の前記動画像の区間を、前記危険運転が行われている区間として特定する付記１～付記７のいずれか１項に記載の情報処理プログラム。

【0089】

（付記９）
前記操作状態を判定する処理は、前記動画像の各フレームから前記可動部を示す第１領域を検出し、検出した前記第１領域におけるオプティカルフローと、フレーム全体におけるオプティカルフローとの差と第３閾値との比較、及び、前記動画像の各フレームから、前記可動部又は前記可動部に取り付けたマーカの特定の色を示す第２領域を検出し、前記第２領域のフレーム間での変動量と第４閾値との比較の少なくとも一方に基づいて、フレーム毎に前記可動部を操作中か停止中かを判定することを含む付記１～付記８のいずれか１項に記載の情報処理プログラム。

【0090】

（付記１０）
前記走行状態及び前記操作状態の判定結果と、前記危険運転が行われている区間の特定結果とを、前記動画像に対応付けて表示することをさらに含む処理を前記コンピュータに実行させるための付記１～付記９のいずれか１項に記載の情報処理プログラム。

【0091】

（付記１１）
前記移動体への乗員の乗降状態をさらに判定し、
前記動画像において、前記乗員が前記移動体に乗車中であると判定された区間に対する、前記危険運転が行われている区間の割合を安全係数として算出し、
前記安全係数を、さらに前記動画像に対応付けて表示する
付記１０に記載の情報処理プログラム。

【0092】

（付記１２）
前記乗降状態を判定する処理は、前記動画像の各フレームから前記乗員を示す第３領域を検出し、各フレームにおける前記第３領域の位置と、前記動画像全体における前記第３領域の位置の平均との差と、第５閾値との比較に基づいて、フレーム毎に前記乗員が前記移動体に乗車中か、前記移動体から降車中かを判定することを含む付記１１に記載の情報処理プログラム。

【0093】

（付記１３）
前記動画像の再生速度を変更する処理は、前記乗員が前記移動体に乗車中の区間の再生速度を、前記乗員が前記移動体から降車中の区間の再生速度よりも速くすることを含む付記１２に記載の情報処理プログラム。

【0094】

（付記１４）
移動体本体に対して相対的に可動する可動部を含む移動体の運転状態を撮影した動画像から、前記移動体の走行状態、及び前記可動部の操作状態を判定する判定部と、
前記走行状態及び前記操作状態の判定結果に基づいて、前記動画像において、前記移動体の危険運転が行われているか否かを特定する特定部と、
を含む情報処理装置。

【0095】

（付記１５）
前記危険運転が行われている区間に基づいて、前記動画像の再生速度を変更する生成部を含む付記１４に記載の情報処理装置。

【0096】

（付記１６）
前記生成部は、前記危険運転が行われていない区間の再生速度を、前記危険運転が行われている区間の再生速度よりも速くする付記１５に記載の情報処理装置。

【0097】

（付記１７）
前記特定部は、前記走行状態として、前記移動体が走行中であると判定され、かつ前記操作状態として、前記可動部を操作中であると判定されている前記動画像の区間を、前記危険運転が行われている区間として特定する付記１５又は付記１６に記載の情報処理装置。

【0098】

（付記１８）
前記判定部は、前記走行状態を判定する処理は、前記動画像に含まれる各フレームから算出したオプティカルフローの大きさと第１閾値との比較に基づいて、フレーム毎に前記移動体が走行中か停止中かを判定することを含む付記１５～付記１７のいずれか１項に記載の情報処理装置。

【0099】

（付記１９）
移動体本体に対して相対的に可動する可動部を含む移動体の運転状態を撮影した動画像から、前記移動体の走行状態、及び前記可動部の操作状態を判定し、
前記走行状態及び前記操作状態の判定結果に基づいて、前記動画像において、前記移動体の危険運転が行われているか否かを特定する、
ことを含む処理をコンピュータが実行する情報処理方法。

【0100】

（付記２０）
移動体本体に対して相対的に可動する可動部を含む移動体の運転状態を撮影した動画像から、前記移動体の走行状態、及び前記可動部の操作状態を判定し、
前記走行状態及び前記操作状態の判定結果に基づいて、前記動画像において、前記移動体の危険運転が行われているか否かを特定する、
ことを含む処理をコンピュータに実行させるための情報処理プログラムを記憶した記憶媒体。

【符号の説明】

【0101】

１０ 情報処理装置
１１ 前処理部
１２ 走行判定部
１３ 操作判定部
１４ 乗降判定部
１５ 特定部
１６ 算出部
１７ 生成部
２１ バックレストを示す領域
２２ 爪可動領域
２３ バックレスト
２４ マーカ
２５ バウンディングボックス
２７ フレーム
２８ 加工動画像
２９ 危険運転状態表示
３０ 判定結果表示
３１ 人物を示す領域表示
３２ 安全係数表示
３３ 倍速表示
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０ 情報処理プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】