特開 2018-22297 向き判別装置、向き判別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-22297(P2018-22297A)

(43)【公開日】2018年2月8日

(54)【発明の名称】向き判別装置、向き判別方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20180112BHJP

   G06T 7/00 20170101ALI20180112BHJP

【ＦＩ】

   G06T7/60 150P

   G06T7/00 300F

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

【全頁数】24

(21)【出願番号】特願2016-152338(P2016-152338)

(22)【出願日】2016年8月2日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度、国立研究開発法人科学技術振興機構 研究成果展開事業 センター・オブ・イノベーションプログラム『多様化・個別化社会イノベーションデザイン拠点』委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

【住所又は居所】愛知県豊田市トヨタ町１番地

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人名古屋大学

【住所又は居所】愛知県名古屋市千種区不老町１番

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】川西 康友

【住所又は居所】愛知県名古屋市千種区不老町１番 国立大学法人名古屋大学内

(72)【発明者】

【氏名】新村 文郷

【住所又は居所】愛知県名古屋市千種区不老町１番 国立大学法人名古屋大学内

(72)【発明者】

【氏名】出口 大輔

【住所又は居所】愛知県名古屋市千種区不老町１番 国立大学法人名古屋大学内

(72)【発明者】

【氏名】井手 一郎

【住所又は居所】愛知県名古屋市千種区不老町１番 国立大学法人名古屋大学内

(72)【発明者】

【氏名】村瀬 洋

【住所又は居所】愛知県名古屋市千種区不老町１番 国立大学法人名古屋大学内

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA35

5L096FA67

5L096GA19

5L096JA11

5L096JA22

5L096KA04

5L096MA07

(57)【要約】

【課題】画像に含まれる人の向きを実際と大きく異なる方向に検出してしまう誤検出を抑制することが可能な向き検出装置を提供すること。
【解決手段】画像に含まれる人の予め規定される複数の部分の特徴を表す特徴情報を抽出する抽出部と、抽出部により抽出される特徴情報に基づき、人の向きを判別する判別部と、を備える向き判別装置であって、判別部は、複数の部分のうち、一の方向と、該一の方向を含まず且つ該一の方向の反対方向を含む他の方向範囲との間で特徴に差異が生じにくい部分の特徴情報よりも、一の方向と他の方向範囲との間で特徴に差異が生じ易い部分の特徴情報に重みづけをして、人の向きを判別する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

画像に含まれる人の予め規定される複数の部分の特徴を表す特徴情報を抽出する抽出部と、前記抽出部により抽出される前記特徴情報に基づき、前記人の向きを判別する判別部と、を備える向き判別装置であって、
前記判別部は、前記複数の部分のうち、一の方向と、該一の方向を含まず且つ該一の方向の反対方向を含む他の方向範囲との間で前記特徴に差異が生じにくい部分の前記特徴情報よりも、前記一の方向と前記他の方向範囲との間で前記特徴に差異が生じ易い部分の前記特徴情報に重みづけをして、前記人の向きを判別する、
向き判別装置。

【請求項2】

前記判別部は、前記複数の部分の前記特徴情報を独立変数とする所定の関数の値と、所定値との大小関係に基づき、前記人の向きが前記一の方向を含む一の方向範囲に含まれるか、前記他の方向範囲を含む前記一の方向範囲以外の方向範囲に含まれるかを判別する、
請求項１に記載の向き判別装置。

【請求項3】

前記所定の関数及び前記所定値は、複数の学習用画像に含まれる人の向きが前記一の方向範囲に含まれるか前記一の方向範囲以外に含まれるかが判別される場合に、前記複数の学習用画像のうちの前記一の方向範囲に含まれない学習用画像の人の向きが前記一の方向範囲に含まれると誤って判別されたとき、及び前記複数の学習用画像のうちの前記一の方向範囲に含まれる学習用画像の人の向きが前記一の方向範囲以外に含まれると誤って判別されたときに加算される加算値であって、前記一の方向範囲に含まれない前記学習用画像の人の向きと前記一の方向範囲との差が大きくなるほど大きくなる加算値の合計が最小になるように決定される、
請求項２に記載の向き判別装置。

【請求項4】

前記所定の関数は、前記抽出部により前記複数の部分から抽出されるＮ個（Ｎ≧２）の前記特徴情報を表す独立変数ｘ_ｉと、定数であるφ_ｉ、ａ_ｉ、及びｂ（ｉ＝１、２、...、Ｎ）とを用いて、次式で表され、

前記ａ_ｉ及び前記ｂは、前記加算値の前記合計が最小になるように決定される、
請求項３に記載の向き判別装置。

【請求項5】

前記φ_ｉは、１である、
請求項４に記載の向き判別装置。

【請求項6】

抽出部が画像に含まれる人の予め規定される複数の部分の特徴を表す特徴情報を抽出する抽出ステップと、判別部が前記抽出ステップで抽出される前記特徴情報に基づき、前記人の向きを判別する判別ステップとを含む、向き判別方法であって、
前記判別ステップでは、前記判別部が、前記複数の部分のうち、一の方向と、該一の方向を含まず且つ該一の方向の反対方向を含む他の方向範囲との間で前記特徴に差異が生じにくい部分の前記特徴情報よりも、前記一の方向と前記他の方向範囲との間で前記特徴に差異が生じ易い部分の前記特徴情報に重みづけをして、前記人の向きを判別する、
向き判別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる人の向きを判別する向き判別装置に関する。

【背景技術】

【0002】

画像等の入力データ（入力データの画像に含まれる対象等も含む）が予め規定される複数のクラスのうちの特定のクラスに含まれるか否かを判別するクラス分類器が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−１２７２３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述のようなクラス分類器を用いて、車両周辺を撮像する車載カメラの撮像画像に含まれる人（歩行者）の向きを判別し、当該車両の制御装置（ＥＣＵ：Electric Control Unit）が、判別した歩行者の向きに基づき、当該歩行者との衝突回避のための運転支援を行う場合がある。例えば、車両前方の歩道上の歩行者が車両に背を向けている場合、車両に気付いていない可能性があるため、突然の飛び出しによる衝突のリスクがあると判断できるからである。また、車両前方の歩道上の歩行者が車道側を向いている場合、車道に侵入してくる可能性が高く、飛び出しによる衝突のリスクが高いと判断できるからである。

【0005】

しかしながら、クラス分類器は、車載カメラの撮像画像に含まれる歩行者の向きを誤判別してしまう場合がある。そのため、歩行者の向きを実際の方向と大きく異なる方向、特に、反対の方向に誤判別してしまうと、以下のような不都合が生じる可能性がある。例えば、実際の車両前方の歩道上の歩行者は、車両に背を向けているにも関わらず、歩行者の向きが反対方向（即ち、車両に正面を向けている方向）に誤判別されると、歩行者は、車両に気付いていないにも関わらず、当該歩行者との衝突のリスクが低いと誤判断される可能性がある。また、実際の車両前方の歩道上の歩行者の向きは、車道に侵入する方向であるにも関わらず、車道から離れる方向であると誤判別されると、歩行者が車道に侵入してくる可能性が高いにも関わらず、衝突のリスクが低いと誤判断される可能性がある。

【0006】

そこで、上記課題に鑑み、画像に含まれる人の向きを実際と大きく異なる方向に判別してしまう誤判別を抑制することが可能な向き判別装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一実施形態では、
画像に含まれる人の予め規定される複数の部分の特徴を表す特徴情報を抽出する抽出部と、前記抽出部により抽出される前記特徴情報に基づき、前記人の向きを判別する判別部と、を備える向き判別装置であって、
前記判別部は、前記複数の部分のうち、一の方向と、該一の方向を含まず且つ該一の方向の反対方向を含む他の方向範囲との間で前記特徴に差異が生じにくい部分の前記特徴情報よりも、前記一の方向と前記他の方向範囲との間で前記特徴に差異が生じ易い部分の前記特徴情報に重みづけをして、前記人の向きを判別する、
向き判別装置が提供される。

【0008】

本発明の一実施形態によれば、一の方向と、比較的大きく異なる（具体的には、一の方向を含まず且つ一の方向の反対方向を含む）他の方向範囲との間でシルエットやテクスチャ等の特徴に差異が生じにくい部分の特徴情報よりも、一の方向と他の方向範囲との間で上記特徴に差異が生じ易い部分の特徴情報に重きを置いて、人の向きが判別される。そのため、一の方向を向いている人を、一の方向から大きく異なる他の方向範囲を向いていると判別する誤判別を抑制することができる。

【0009】

また、上述の実施形態において、
前記判別部は、前記複数の部分の前記特徴情報を独立変数とする所定の関数の値と、所定値との大小関係に基づき、前記人の向きが前記一の方向を含む一の方向範囲に含まれるか、前記他の方向範囲を含む前記一の方向範囲以外の方向範囲に含まれるかを判別してもよい。

【0010】

本実施形態によれば、特徴情報を独立変数とする所定の関数に、人が含まれる画像から抽出される複数の部分の特徴情報を抽出して代入し、その値を所定値と比較するだけであるため、画像に含まれる人の向きを容易に判別することができる。

【0011】

また、上述の実施形態において、
前記所定の関数及び前記所定値は、複数の学習用画像に含まれる人の向きが前記一の方向範囲に含まれるか前記一の方向範囲以外に含まれるかが判別される場合に、前記複数の学習用画像のうちの前記一の方向範囲に含まれない学習用画像の人の向きが前記一の方向範囲に含まれると誤って判別されたとき、及び前記複数の学習用画像のうちの前記一の方向範囲に含まれる学習用画像の人の向きが前記一の方向範囲以外に含まれると誤って判別されたときに加算される加算値であって、前記一の方向範囲に含まれない前記学習用画像の人の向きと前記一の方向範囲との差が大きくなるほど大きくなる加算値の合計が最小になるように決定されてよい。

【0012】

本実施形態によれば、複数の学習用画像を用いる機械学習において、加算値を最小にするために、一の方向範囲との差が比較的大きい他の方向範囲に含まれる学習用画像の人の向きが一の方向範囲に含まれると誤判別されないように、所定の関数及び所定値が最適化される。そのため、一の方向を向いている人を、一の方向から大きく異なる他の方向範囲を向いていると判別する誤判別を抑制することができる。

【0013】

また、上述の実施形態において、
前記所定の関数は、前記抽出部により前記複数の部分から抽出されるＮ個（Ｎ≧２）の前記特徴情報を表す独立変数ｘ_ｉと、定数であるφ_ｉ、ａ_ｉ、及びｂ（ｉ＝１、２、...、Ｎ）とを用いて、次式で表され、

前記ａ_ｉ及び前記ｂは、前記加算値の前記合計が最小になるように決定されてもよい。

【0014】

本実施形態によれば、例えば、非線形ＳＶＭ（Support Vector Machine）等の統計的学習方法を用いて、予め規定されるｘ_ｉの冪指数であるφ_ｉ（例えば、既知のカーネル関数等に対応して予め規定されうる）を前提に、数理計画法による最適化問題として、定数であるａ_ｉ及びｂを求めることができる。

【0015】

また、上述の実施形態において、
前記φ_ｉは、１であってもよい。

【0016】

本実施形態によれば、上記関数は、線形になるため、線形ＳＶＭ等を用い、線形計画法等の数理計画法による最適化問題として、より容易に、定数であるａ_ｉ及びｂを求めることができる。

【0017】

また、本発明の他の実施形態では、
抽出部が画像に含まれる人の予め規定される複数の部分の特徴を表す特徴情報を抽出する抽出ステップと、判別部が前記抽出ステップで抽出される前記特徴情報に基づき、前記人の向きを判別する判別ステップとを含む、向き判別方法であって、
前記判別ステップでは、前記判別部が、前記複数の部分のうち、一の方向と、該一の方向を含まず且つ該一の方向の反対方向を含む他の方向範囲との間で前記特徴に差異が生じにくい部分の前記特徴情報よりも、前記一の方向と前記他の方向範囲との間で前記特徴に差異が生じ易い部分の前記特徴情報に重みづけをして、前記人の向きを判別する、
向き判別方法が提供される。

【発明の効果】

【0018】

本実施の形態によれば、画像に含まれる人の向きを実際と大きく異なる方向に判別してしまう誤判別を抑制することが可能な向き判別装置を提供することができる。

【図面の簡単な説明】

【0019】

【図1】本実施形態に係るクラス分類器の構成の一例を示す構成図である。

【図2】人の向きを表す方向区分を説明する図である。

【図3】本実施形態に係るクラス分類器の構成の一例を示す機能ブロック図である。

【図4】特徴抽出部による特徴情報の抽出処理を説明する図である。

【図5】人の向きを判別する方法を説明する図である。

【図6】本実施形態に係る機械学習装置の構成の一例を示す構成図である。

【図7】本実施形態に係る機械学習装置の構成の一例を示す機能ブロック図である。

【図8】本実施形態に係る機械学習装置による統計的学習処理の一例を概略的に示すフローチャートである。

【図9】本実施形態に係る機械学習装置による統計的学習処理の一例を概略的に示すサブブローチャートである。

【図10】本実施形態に係る機械学習装置による統計的学習方法の作用を説明する図である。

【図11】本実施形態に係る機械学習装置による統計的学習方法の作用を説明する図である。

【図12】本実施形態に係るクラス分類器を実装する車両の構成の一例を示す構成図である。

【図13】ＥＣＵの機能ブロック図である。

【発明を実施するための形態】

【0020】

以下、図面を参照して発明を実施するための形態について説明する。

【0021】

まず、本実施形態に係るクラス分類器１の構成について説明する。

【0022】

図１は、本実施形態に係るクラス分類器１の構成の一例を概略的に示す構成図である。クラス分類器１（向き判別装置の一例）は、画像に含まれる人の向きを判別する処理を行う。以下、本例では、図２に示すように、人の向きは、４５°ずつの範囲で８つの方向範囲（前向き、右前向き、左向き、左後向き、後向き、右後ろ向き、右向き、及び右前向き）に予め区分され、クラス分類器１は、画像に含まれる人の向きが各区分（以下、「方向区分」と称する）の何れに含まれるかを判別する。

【0023】

尚、図２に示すように、本実施形態では、「前向き」は、便宜上、画像の撮像方向（カメラ）と正対する方向を中心とする４５°の角度範囲を表す。また、本実施形態では、「前向き」を起点として、人を上から見たときの時計回りに、「左前向き」、「左向き」、「左後向き」、「後向き」、「右後向き」、「右向き」、及び「右前向き」の順で４５°の角度範囲を表す各方向区分が設定される。また、人の向きを表す方向区分の数（区分数）は、任意に設定されてよく、例えば、９０°ずつの角度範囲に対応する４であってもよいし、２２．５°ずつの角度範囲に対応する１６であってもよい。

【0024】

クラス分類器１は、バス６で相互に接続されるＣＰＵ２と、ＲＯＭ３と、ＲＡＭ４と、外部から入力されるデータ（画像）を受信するインターフェース部５（例えば、Ｉ／Ｏポートや通信モデム等）とを備えるコンピュータを中心に構成される。

【0025】

図３は、本実施形態に係るクラス分類器１の構成の一例を示す機能ブロック図である。クラス分類器１は、例えば、ＲＯＭ３に格納される１つ以上のプログラムをＣＰＵ２上で実行することにより実現される機能部として、画像取得部１０、特徴抽出部２０、クラス分類部３０、向き判別部４０を含む。また、クラス分類器１は、例えば、ＲＯＭ３等の内部メモリに規定される記録領域として、学習データ格納部５０を含む。

【0026】

画像取得部１０は、向きを判別する対象となる人が含まれる画像（或いは人が含まれる可能性がある画像）を取得する。画像取得部１０は、例えば、クラス分類器１の外部からの要求に応じて、該要求に含まれる画像を向き判別の対象として取得する。画像取得部１０が取得する画像は、既に、特徴抽出部２０による処理用に加工された画像、即ち、例えば、カメラで撮像された画像のうちの対象となる人が含まれる部分を切り出した画像であってよい。また、画像取得部１０が取得する画像は、特徴抽出部２０による処理用に加工される前の画像、即ち、例えば、カメラで撮像された画像そのものであってもよい。

【0027】

特徴抽出部２０は、画像における人の予め規定される部分の特徴を表す特徴情報を抽出する。例えば、特徴抽出部２０は、元の画像（即ち、カメラの撮像画像そのもの）から人が存在する領域として切り出された画像、即ち、予め規定される縦横比の領域一杯に人が配置された画像（以下、「人画像」と称する）を、縦横に複数の矩形部分（小領域）に分割し、各矩形部分の特徴情報を抽出する。以下、図４を参照して、特徴抽出部２０による特徴情報の抽出処理について説明する。

【0028】

尚、画像取得部１０が取得する画像が加工される前の画像である場合、任意のカメラで撮像された画像そのものから人が存在する部分を認識し、当該部分を切り出すことにより人画像を生成する。また、この際の画像における人を認識する方法としては、既知の様々な方法が任意に適用されてよい。

【0029】

図４は、特徴抽出部２０による特徴情報の抽出処理の一例を説明する図である。具体的には、図４（ａ），（ｂ）は、それぞれ、前向き及び右向きの人が含まれる人画像Ｐ１，Ｐ２を表す。

【0030】

図４（ａ），（ｂ）に示すように、人画像Ｐ１，Ｐ２は、上述の如く、それぞれ、縦横に複数の矩形部分に分割されている。本例では、人画像Ｐ１，Ｐ２は、縦横のそれぞれに等間隔で５分割され、２５個の矩形部分に分割されている。以下、本実施形態の説明では、本例と同様、２５個の矩形部分に分割される前提で説明を続ける。

【0031】

人画像Ｐ１，Ｐ２を比較すると、前向きの人と右向きの人とでは、例えば、手や足のシルエットや胴体部のシルエット（幅）等が異なる。また、例えば、本例では、描画しないが、前向きの人と右向きの人とでは、目、鼻、耳、髪等の見えの違いによる頭部のテクスチャが異なる。即ち、２５個の矩形部分のそれぞれには、人画像に含まれる人の向きを特徴付ける、例えば、人の形状を表すシルエットや人の色彩や模様を表すテクスチャ等の特徴情報が含まれることになる。本実施形態では、人画像に含まれる人のシルエットやテクスチャ等を表す特徴情報として、各矩形部分の輝度の勾配方向（例えば、２０°毎の９方向）のヒストグラムを線形結合した多次元の画像特徴量であるＨＯＧ（Histogram of Oriented Gradients）特徴量を用いる。以下、特に断らない限り、特徴抽出部２０は、人画像の各矩形部分のＨＯＧ特徴量を抽出する前提で説明を続ける。

【0032】

尚、ＨＯＧ特徴量の次元数は、ヒストグラムを抽出する領域の数と、輝度の勾配方向の数により決まる。例えば、各矩形部分のＨＯＧ特徴量が更に４分割された小領域ごとの９方向の輝度勾配のヒストグラムとして表される場合、３６次元（＝４×９）になる。また、本実施形態では、画像特徴量としてＨＯＧ特徴量を用いるが、例えば、ＬＢＰ（Local Binary Pattern）特徴量等、適宜、他の画像特徴量を用いてもよい。また、人画像を分割することにより生成される矩形部分の個数は、任意に設定されてよい。また、人画像のうちの人の一部が含まれない可能性が高い矩形部分、例えば、四隅にある矩形部分は、特徴情報の抽出対象から省略されてもよい。

【0033】

図３に戻り、クラス分類部３０は、特徴抽出部２０が抽出した特徴情報（ＨＯＧ特徴量）に基づき、人の向きを分類（判別）する処理を行う。具体的には、クラス分類部３０は、特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人の向きを判別する。クラス分類部３０は、それぞれ、人画像に含まれる人の向きが８つの方向区分のうちの対象となる方向区分（以下、対象方向区分と称する）に含まれるか否かを判別する第１クラス分類器３１〜第８クラス分類器３８を含む。以下、図５を参照して、第１クラス分類器３１〜第８クラス分類器３８の概要について説明する。

【0034】

図５は、人画像に含まれる人の向きを判別する方法を説明する図である。具体的には、簡単な事例として、人画像を３分割した３つの矩形部分のそれぞれから１つずつ抽出される特徴情報に基づき、人画像に含まれる人の向きを判別する方法を示す図である。

【0035】

人画像を分割した各矩形部分には、上述の如く、人の向きを特徴付ける特徴情報が含まれる。そのため、各矩形部分から抽出される特徴情報を数値化した特徴量ｘ_１〜ｘ_３の組み合わせで表される点（以下、「特徴量ベクトル」と称する）ｘ＝（ｘ_１，ｘ_２，ｘ_３）は、人画像に含まれる人の向きに応じて、３次元のベクトル空間（特徴量の組み合わせに対応する入力空間）における分布に偏りが生じうる。即ち、入力空間上のある特定の方向区分に含まれる人画像に対応する特徴量ベクトルの集合と、該特定の方向区分に含まれない（即ち、該特定の方向区分以外に含まれる）人画像に対応する特徴量ベクトルの集合との間には、所定のルールに沿って、式（１）に示すように、それらを分離する分離平面Ｐを設定することができる。

【0036】

ｗ^Ｔ・ｘ＋ｂ＝ｗ_１・ｘ_１＋ｗ_２・ｘ_２＋ｗ_３・ｘ_３＋ｂ＝０ ・・・（１）
尚、分離平面Ｐを決定する各パラメータは、それぞれ、重みベクトルｗ＝（ｗ１，ｗ２，ｗ３）、及びバイアスｂ（スカラ量）である。

【0037】

図５に示すように、分離平面Ｐは、３次元の入力空間を、対象方向区分に対応する部分空間と、対象方向区分以外に対応する部分空間とに分離することができる。

【0038】

通常、上述の如く、人画像を分割した多数（本実施形態では、２５個）の矩形部分が設定されると共に、各矩形部分から多次元の特徴量（本実施形態では、ＨＯＧ特徴量）が抽出される。この場合、Ｋ個の矩形部分のそれぞれから抽出されるＭ次元（Ｍ個）の特徴量ｘ_１，ｘ_２，...，ｘ_Ｍ，ｘ_Ｍ＋１，ｘ_Ｍ＋２，...，ｘ_２Ｋ，...，ｘ_Ｎ（Ｎ＝Ｋ・Ｍ）の組み合わせで表される特徴量ベクトルｘ＝（ｘ１，ｘ２，...，ｘＮ）は、４次元以上となる。そのため、４次元以上の場合を含むＮ次元（Ｎ≧２）の入力空間に拡張（一般化）することにより、入力空間上のある特定の方向区分に含まれる人画像に対応する特徴ベクトルの集合と、該特定の方向区分に含まれない（即ち、該特定の方向区分以外に含まれる）人画像に対応する特徴ベクトルの集合との間に、所定のルールに沿って、式（２）に示すように、それらを分離する分離超平面を設定することができる。

【0039】

ｗ^Ｔ・ｘ＋ｂ＝ｗ_１・ｘ_１＋ｗ_２・ｘ_２＋...＋ｗ_Ｎ・ｘ_Ｎ＋ｂ＝０ ・・・（２）
尚、分離超平面を決定する各パラメータは、入力空間が３次元の場合と同様、重みベクトルｗ＝（ｗ１，ｗ２，...，ｗＮ）、及びバイアスｂ（スカラ量）である。

【0040】

従って、第１クラス分類器３１〜第８クラス分類器３８は、それぞれ、人画像から抽出される特徴量ベクトルｘが、分離超平面により分離される部分空間のうちの対象方向区分に対応する部分空間に含まれるか、対象方向区分以外に含まれるかを判別する。具体的には、第１クラス分類器３１〜第８クラス分類器３８は、式（２）の左辺に対応する式（３）の関数ｆ（ｘ）に人画像から抽出される特徴量ベクトルｘを代入し、その値が正値（０より大きい）か、負値である（０より小さい）かに基づき、人画像に含まれる人の向きが対象方向区分に含まれるか否かを判別することができる。

【0041】

ｆ（ｘ）＝ｗ^Ｔ・ｘ＋ｂ＝ｗ_１・ｘ_１＋ｗ_２・ｘ_２＋...＋ｗ_Ｎ・ｘ_Ｎ＋ｂ ・・・（３）
尚、分離超平面、即ち、分離超平面を決定する各パラメータ（重みベクトルｗ及びバイアスｂ）は、後述の如く、統計的学習手法（ＳＶＭ）を用いることにより、学習データとして生成することが可能である。また、関数ｆ（ｘ）＝０である場合に、人の向きを対象方向区分に含まれるとするか、対象方向区分に含まれないとするかは、任意に決定されてよい。また、関数ｆ（ｘ）から定数項（バイアスｂ）を削除して、定数項を削除した関数ｆ（ｘ）と定数項（バイアスｂ）に対応する所定値との大小関係に基づいて、人画像に含まれる人の向きが対象方向区分に含まれるか否かを判別してもよい。また、分離超平面を更に拡張して、入力空間を対象方向区分に対応する部分空間と対象方向区分以外に対応する部分空間とに分離する分離超曲面を用いてもよい。即ち、分離超平面（φ_ｉ＝１）或いは分離超曲面（φ_ｉ≠０）を表す式（４）の左辺に対応する関数ｆ（ｘ_ｉ）の値が正値（０より大きい）か、負値である（０より小さい）かに基づき、人画像に含まれる人の向きが対象方向区分に含まれるか否かを判別してもよい。この場合、分離超曲面、即ち、分離超曲面を決定する各パラメータ（φ_ｉ，ａ_ｉ，ｂ）は、後述の如く、カーネル法（カーネルトリック）等による非線形ＳＶＭを用いることにより、学習データとして生成することが可能である。即ち、予め規定されるｘ_ｉの冪指数であるφ_ｉ（例えば、既知のカーネル関数に対応して規定されうる）を前提に、数理計画法等による最適化問題として、ａ_ｉ，ｂを求めることができる。

【0042】

また、例えば、人の向きと各矩形部分の特徴量の関係性等を考慮して、各矩形部分から抽出される特徴量ｘｉのうちの任意の２以上の特徴量を結合して、新たな特徴量ベクトルＸを生成してもよい。例えば、特徴量ｘｉのうちの任意の２つの特徴量ｘ_ｊ，ｘ_ｋ（ｊ，ｋ＝１，２，...，Ｎ）から定数ａ_ｊｋ、φ_ｊ、及びφ_ｋを用いて、特徴量Ｘ_ｊｋ＝ａ_ｊｋ・ｘ_ｊ^φｊ・ｘ_ｋ^φｋを複数生成し、その組み合わせにより新たな特徴量ベクトルＸを生成してもよい。この場合も、上記と同様に、新たに生成される特徴量ベクトルＸに対する分離超平面或いは分離超曲面を用いて、人画像に含まれる人の向きを判別することができる。

【0043】

図２に戻り、第１クラス分類器３１〜第８クラス分類器３８のそれぞれについて説明をする。

【0044】

第１クラス分類器３１は、特徴抽出部２０が抽出した特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人の向きが前向きであるか否かを判別する。例えば、学習データ格納部５０には、学習データとして、人画像の各矩形部分のＨＯＧ特徴量の組み合わせに対応するＮ次元空間（入力空間）を、前向きに対応する部分空間と前向き以外に対応する部分空間とに分離する第１の分離超平面のデータが格納されている。そして、第１クラス分類器３１は、人画像の各矩形部分のＨＯＧ特徴量の組み合わせで表される入力空間上の特徴量ベクトルｘが第１の分離超平面により分離される部分空間のうちの前向きに対応する側にあるか、前向き以外に対応する側にあるかにより、人の向きが前向きであるか前向き以外であるかを判別する。

【0045】

また、第１クラス分類器３１は、判別結果（「前向き」或いは「前向き以外」）の確からしさを表す情報（確からしさ情報）を生成する。例えば、第１クラス分類器３１は、確からしさ情報として、特徴量ベクトルｘと、第１の分離超平面との距離を算出する。特徴量ベクトルｘが、第１の分離超平面から離れるほど、その判別結果の確からしさが高まると考えられるからである。

【0046】

尚、第１クラス分類器３１は、判別結果と確からしさを表す情報を１つにまとめたスコアを生成してもよい。例えば、第１クラス分類器３１は、人の向きが前向きであると判別した場合、特徴量ベクトルｘと、第１の分離超平面との距離をスコアとして出力し、人の向きが前向き以外であると判別した場合、特徴量ベクトルｘと、第１の分離超平面との距離に−１を乗じた値をスコアとして出力してよい。これにより、スコアの正負の別により、前向きと判別されたのか、前向き以外と判別されたのかを表すことができると共に、スコアの絶対値で確からしさを表すことができる。

【0047】

第２クラス分類器３２は、第１クラス分類器３１と同様、特徴抽出部２０が抽出した特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人が左前向きであるか否かを判別する。例えば、学習データ格納部５０には、学習データとして、入力空間を左前向きに対応する部分空間と左前向き以外に対応する部分空間とに分離する第２の分離超平面のデータが格納されている。そして、第２クラス分類器３２は、特徴量ベクトルｘが、第２の分離超平面で分離される部分空間のうちの左前向きに対応する側にあるか、左前向き以外に対応する側にあるかにより、人の向きが左前向きであるか左前向き以外であるかを判別する。

【0048】

また、第２クラス分類器３２は、第１クラス分類器３１と同様、確からしさ情報を生成する。例えば、第２クラス分類器３２は、確からしさ情報として、特徴量ベクトルｘと、第２の分離超平面との距離を算出する。また、第２クラス分類器３２は、第１クラス分類器３１と同様、判別結果と確からしさを表す情報を１つにまとめたスコアを生成してもよい。

【0049】

第３クラス分類器３３は、第１クラス分類器３１等と同様、特徴抽出部２０が抽出した特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人が左向きであるか否かを判別する。例えば、学習データ格納部５０には、学習データとして、入力空間を左向きに対応する部分空間と左向き以外に対応する部分空間とに分離する第３の分離超平面のデータが格納されている。そして、第３クラス分類器３３は、特徴量ベクトルｘが、第３の分離超平面により分離される部分空間のうちの左向きに対応する側にあるか、左向き以外に対応する側にあるかにより、人の向きが左向きであるか左向き以外であるかを判別する。

【0050】

また、第３クラス分類器３３は、第１クラス分類器３１等と同様、確からしさ情報を生成する。例えば、第３クラス分類器３３は、確からしさ情報として、特徴量ベクトルｘと、第３の分離超平面との距離を算出する。また、第３クラス分類器３３は、第１クラス分類器３１等と同様、判別結果と確からしさを表す情報を１つにまとめたスコアを生成してもよい。

【0051】

第４クラス分類器３４は、第１クラス分類器３１等と同様、特徴抽出部２０が抽出した特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人が左後向きであるか否かを判別する。例えば、学習データ格納部５０には、学習データとして、入力空間を左後向きに対応する部分空間と左後向き以外に対応する部分空間とに分離する第４の分離超平面のデータが格納されている。そして、第４クラス分類器３４は、特徴量ベクトルｘが、第４の分離超平面により分離される部分空間のうちの左後向きに対応する側にあるか、左後向き以外に対応する側にあるかにより、人の向きが左後向きであるか左後向き以外であるかを判別する。

【0052】

また、第４クラス分類器３４は、第１クラス分類器３１等と同様、確からしさ情報を生成する。例えば、第４クラス分類器３４は、確からしさ情報として、特徴量ベクトルｘと、第４の分離超平面との距離を算出する。また、第４クラス分類器３４は、第１クラス分類器３１等と同様、判別結果と確からしさを表す情報を１つにまとめたスコアを生成してもよい。

【0053】

第５クラス分類器３５は、第１クラス分類器３１等と同様、特徴抽出部２０が抽出した特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人が後向きであるか否かを判別する。例えば、学習データ格納部５０には、学習データとして、入力空間を後向きに対応する部分空間と後向き以外に対応する部分空間とに分離する第５の分離超平面のデータが格納されている。そして、第５クラス分類器３５は、特徴量ベクトルｘが、第５の分離超平面により分離される部分空間のうちの後向きに対応する側にあるか、後向き以外に対応する側にあるかにより、人の向きが後向きであるか後向き以外であるかを判別する。

【0054】

また、第５クラス分類器３５は、第１クラス分類器３１等と同様、確からしさ情報を生成する。例えば、第５クラス分類器３５は、確からしさ情報として、特徴量ベクトルｘと、第５の分離超平面との距離を算出する。また、第５クラス分類器３５は、第１クラス分類器３１等と同様、判別結果と確からしさを表す情報を１つにまとめたスコアを生成してもよい。

【0055】

第６クラス分類器３６は、第１クラス分類器３１等と同様、特徴抽出部２０が抽出した特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人が右後向きであるか否かを判別する。例えば、学習データ格納部５０には、学習データとして、入力空間を右後向きに対応する部分空間と右後向き以外に対応する部分空間とに分離する第６の分離超平面のデータが格納されている。そして、第６クラス分類器３６は、特徴量ベクトルｘが、第６の分離超平面により分離される部分空間のうちの右後向きに対応する側にあるか、右後向き以外に対応する側にあるかにより、人の向きが右後向きであるか右後向き以外であるかを判別する。

【0056】

また、第６クラス分類器３６は、第１クラス分類器３１等と同様、確からしさ情報を生成する。例えば、第６クラス分類器３６は、確からしさ情報として、特徴量ベクトルｘと、第６の分離超平面との距離を算出する。また、第６クラス分類器３６は、第１クラス分類器３１等と同様、判別結果と確からしさを表す情報を１つにまとめたスコアを生成してもよい。

【0057】

第７クラス分類器３７は、第１クラス分類器３１等と同様、特徴抽出部２０が抽出した特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人が右向きであるか否かを判別する。例えば、学習データ格納部５０には、学習データとして、入力空間を右向きに対応する部分空間と右向き以外に対応する部分空間とに分離する第７の分離超平面のデータが格納されている。そして、第７クラス分類器３７は、特徴量ベクトルｘが、第７の分離超平面により分離される部分空間のうちの右向きに対応する側にあるか、右向き以外に対応する側にあるかにより、人の向きが右向きであるか右向き以外であるかを判別する。

【0058】

また、第７クラス分類器３７は、第１クラス分類器３１等と同様、確からしさ情報を生成する。例えば、第７クラス分類器３７は、確からしさ情報として、特徴量ベクトルｘと、第７の分離超平面との距離を算出する。また、第７クラス分類器３７は、第１クラス分類器３１等と同様、判別結果と確からしさを表す情報を１つにまとめたスコアを生成してもよい。

【0059】

第８クラス分類器３８は、第１クラス分類器３１等と同様、特徴抽出部２０が抽出した特徴情報と、学習データ格納部５０に格納される学習データとに基づき、人画像に含まれる人が右前向きであるか否かを判別する。例えば、学習データ格納部５０には、学習データとして、入力空間を右前向きに対応する部分空間と右前向き以外に対応する部分空間とに分離する第８の分離超平面のデータが格納されている。そして、第８クラス分類器３８は、特徴量ベクトルｘが、第８の分離超平面により分離される部分空間のうちの右前向きに対応する側にあるか、右前向き以外に対応する側にあるかにより、人の向きが右前向きであるか右前向き以外であるかを判別する。

【0060】

また、第８クラス分類器３８は、第１クラス分類器３１等と同様、確からしさ情報を生成する。例えば、第８クラス分類器３８は、確からしさ情報として、特徴量ベクトルｘと、第８の分離超平面との距離を算出する。また、第８クラス分類器３８は、第１クラス分類器３１等と同様、判別結果と確からしさを表す情報を１つにまとめたスコアを生成してもよい。

【0061】

クラス分類部３０は、第１クラス分類器３１〜第８クラス分類器３８のそれぞれの判別結果及び確からしさ情報（或いは、判別結果及び確からしさ情報を１つにまとめたスコア）を向き判別部４０に出力する。

【0062】

向き判別部４０は、クラス分類部３０から入力される第１クラス分類器３１〜第８クラス分類器３８のそれぞれの判別結果及び確からしさ情報（或いはスコア）に基づき、人画像に含まれる人の向きが予め区分される８つの方向区分の何れに含まれるかを最終的に判別する。例えば、向き判別部４０は、第１クラス分類器３１〜第８クラス分類器３８のうちの１つだけが、人画像に含まれる人の向きを対象区分の向き（例えば、第１クラス分類器３１であれば、「前向き」）であると判別している場合、その対象区分の向きが人の向きであると判別する。また、例えば、向き判別部４０は、第１クラス分類器３１〜第８クラス分類器３８のうちの２以上が人の向きを対象区分の向きであると判別している場合、該当する２以上のクラス分類器のそれぞれの確からしさ情報を比較する。そして、向き判別部４０は、確からしさ情報がより高い確からしさ（例えば、特徴ベクトルｘと分離超平面との距離がより大きい）を表している判別結果に対応する対象区分の向きを人の向きと判別してよい。また、向き判別部４０は、第１クラス分類器３１〜第８クラス分類器３８のうちの上記スコアが正値且つ最大値である１つに対応する対象区分の向きを人画像に含まれる人の向きと判別してよい。

【0063】

次に、学習データ格納部５０に格納される学習データ、即ち、入力空間における判別境界を表す第１〜第８の分離超平面を生成する機械学習装置１００について説明をする。

【0064】

図６は、本実施形態に係る機械学習装置１００の構成の一例を概略的に示す構成図である。機械学習装置１００は、バス１０６で相互に接続されるＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ディスクドライブ１０４と、操作入力部１０５（例えば、キーボード等）を備えるコンピュータを中心に構成される。

【0065】

図７は、本実施形態に係る機械学習装置１００の構成の一例を示す機能ブロック図である。本実施形態に係る機械学習装置１００は、統計的学習方法であるＳＶＭを用いて、上述の入力空間を、予め区分される８つの方向区分に含まれる一の方向区分に対応する部分空間と、一の方向区分以外に対応する部分空間とに分離する分離超平面（第１〜第８の分離超平面）を学習データとして生成する。機械学習装置１００は、例えば、ＲＯＭ１０２に格納される１つ以上のプログラムをＣＰＵ１０１上で実行することにより実現される機能部として、学習用画像取得部１１０、特徴抽出部１２０、ベース教師データ生成部１３０、誤分類ペナルティ算出部１４０、教師データ生成部１５０、学習処理部１６０を含む。また、機械学習装置１００は、例えば、ＲＯＭ１０２等の内部メモリやディスクドライブ１０４に挿入された記録用の各種ディスク（ＤＶＤ−Ｒ等）の記録領域として規定される学習データ格納部１７０を含む。

【0066】

学習用画像取得部１１０は、操作入力部１０５におけるユーザの操作、或いは、予め規定されたプログラムに基づく処理に従い、ＲＯＭ１０２等の内部メモリやディスクドライブ１０４に挿入された各種ディスクから学習用画像を取得する。学習用画像は、予め区分される８つの方向区分毎に準備される多数の人画像であり、各人画像には、人の向きを表すラベル（正解向きラベル）が予め紐付けられている。

【0067】

特徴抽出部１２０は、クラス分類器１の特徴抽出部２０と同様、学習用画像（人画像）における人の予め規定される部分（即ち、人画像を複数の小領域に分割した各矩形部分）の特徴を表す特徴情報を抽出する。本実施形態では、特徴抽出部１２０は、上述の如く、人画像の各矩形部分のＨＯＧ特徴量を抽出する。

【0068】

ベース教師データ生成部１３０は、各学習用画像の人の向き（予め区分される上述の８つの方向区分の何れか）と特徴情報（ＨＯＧ特徴量）を組み合わせたベース教師データを生成する。

【0069】

誤分類ペナルティ算出部１４０は、学習処理部１６０による機械学習処理、具体的には、ＳＶＭにおける分離超平面の最適化処理において、各学習用画像の人の向きが誤分類された場合のペナルティ値（誤分類ペナルティζ）を算出する。各学習用画像が誤分類されるパターンには、正しい向きと異なる特定の向き（正しい向きに対応する方向区分以外の７つの方向区分の何れか）に誤分類される７パターンと、正しい向きに対応する方向区分（正解区分）に含まれるか否かの判別により、正解区分に含まれないと誤分類される１パターンの合計８パターンがある。よって、誤分類ペナルティ算出部１４０は、各学習用画像に対して、８つの誤分類ペナルティζを算出し、８つの誤分類ペナルティζを組み合わせた誤分類ペナルティベクトルを生成する。

【0070】

具体的には、誤分類ペナルティ算出部１４０は、各学習用画像の人の向きが特定の方向区分に誤分類される場合の誤分類ペナルティζを、正しい向きに対応する方向区分と特定の方向区分との差に応じて、決定する。即ち、誤分類ペナルティ算出部１４０は、正しい向きに対応する方向区分と特定の方向区分との差が大きくなる程、誤分類ペナルティζを大きくする。例えば、誤分類ペナルティ算出部１４０は、誤分類される特定の方向区分が正しい向きに対応する方向区分に隣接する場合、誤分類ペナルティζを比較的小さい値（例えば、ζ＝０．５）に設定する。一方、誤分類ペナルティ算出部１４０は、誤分類される特定の方向区分が正しい向きに対応する方向区分に隣接しない場合、即ち、特定の方向区分が正しい向きに対応する方向区分から２区分以上異なる場合、誤分類ペナルティζを比較的大きい値（例えば、ζ＝１．０）に設定する。これにより、後述の分離超平面の最適化処理において、学習用画像の人の向きが、正しい向きから大きく離れた方向区分（例えば、正しい向きに対応する方向区分の反対の方向区分）に誤分類されにくくすることができる。また、各学習用画像の人の向きが、正しい向きに対応する方向区分に含まれるか否かの判別により、正しい向きに対応する方向区分に含まれないと誤分類される（即ち、例えば、前向きであるか否かの判別により、正しい前向きではなく、誤った前向き以外であると判別される場合）の誤分類ペナルティζは、比較的大きい値（例えば、ζ＝１．０）に設定する。正しい向き以外には、正しい向きに対応する方向区分と隣接しない大きく離れた方向区分が含まれるからである。

【0071】

尚、誤分類ペナルティζは、正しい向きに対応する方向区分と特定の方向区分との差が大きくなるのに応じて、多段階で大きくなる態様であってもよい。

【0072】

教師データ生成部１５０は、各学習用画像に対応するベース教師データと、各学習用画像の誤分類ペナルティζ（誤分類ペナルティベクトル）を組み合わせた教師データを生成する。即ち、教師データは、各学習用画像の人の向き、特徴情報（ＨＯＧ特徴量）、及び誤分類ペナルティベクトルを含む。

【0073】

学習処理部１６０は、統計的学習方法であるＳＶＭ（具体的には、ソフトマージンＳＶＭ）を用いて、上述の入力空間を、予め区分される８つの方向区分に含まれる一の方向区分に対応する部分空間と、一の方向区分以外に対応する部分空間とに分離する分離超平面（第１〜第８の分離超平面）を生成する。学習処理部１６０は、生成した学習データである第１〜第８の分離超平面のデータを学習データ格納部１７０に格納する。

【0074】

具体的には、学習処理部１６０は、既知の数理計画方法等の最適化手法を用いて、誤分類される人の向きに対応する学習用画像の誤分類ペナルティζの合計を最小化する分離超平面（第１〜第８の分離超平面）を探索する。より具体的には、誤分類される人の向きに対応する学習用画像の誤分類ペナルティζの合計を最小化するように、上述の式（２）のパラメータ（重みベクトルｗ及びバイアスｂ）を最適化する。通常、入力空間上における各学習用画像の特徴量ベクトルｘは、重なり等により、一の方向区分に対応する学習用画像と、一の方向区分以外に対応する学習用画像とを完全に分離する分離超平面を探索できない場合が多い。そのため、ソフトマージンＳＶＭでは、誤分類を許容しつつ、誤分類に対して予め規定するペナルティが最小になるように分離超平面の最適化処理を行う。本実施形態では、上述の如く、各学習用画像の人の向きが特定の方向区分に誤分類される場合の該特定の方向区分と、正しい向きに対応する方向区分との差が大きいほど、大きくなる誤分類ペナルティζを採用する。また、上述の如く、各学習用画像の人の向きが、正しい向きに対応する方向区分に含まれるか否かの判別により、正しい向きに対応する方向区分に含まれないと誤分類される場合の誤分類ペナルティζを比較的大きい値にする。これにより、学習用画像の人の向きが、正しい向きから大きく離れた方向区分（例えば、正しい向きに対応する方向区分の反対の方向区分）に誤判別されにくい分離超平面を生成することができる。

【0075】

換言すれば、学習処理部１６０は、学習用画像の各矩形部分のうち、一の方向区分と、大きく異なる他の方向区分（即ち、一の方向区分を含まず且つ一の方向区分の反対の方向区分を含む方向区分であり、本例の場合、２区分以上異なる方向区分）との間で特徴に差異が生じにくい矩形部分の特徴情報（ＨＯＧ特徴量）よりも、一の方向区分と他の方向区分との間で上記特徴に差異が生じ易い矩形部分の特徴情報（ＨＯＧ特徴量）に重きを置いて、分離超平面（第１〜第８の分離超平面）を探索する。そのため、クラス分類器１（第１クラス分類器３１〜第８クラス分類器３８）は、人画像の各矩形部分のうち、一の方向区分と、大きく異なる他の方向区分との間でシルエットやテクスチャ等の特徴に差異が生じにくい特徴情報（ＨＯＧ特徴量）よりも、一の方向区分と他の方向区分との間で上記特徴に差異が生じ易い特徴情報（ＨＯＧ特徴量）に重みづけをして、人画像に含まれる人の向きを判別する。従って、クラス分類器１は、大きく離れた方向区分（例えば、正しい向きに対応する方向区分の反対の方向区分）に判別する誤判別を抑制することができる。

【0076】

尚、本実施形態では、一の方向区分と大きく異なる他の方向区分は、隣接する区分以外、即ち、２区分以上異なる方向区分であるが、誤判定が許容されない方向範囲として、適宜、３以上の所定区分数以上異なる方向区分等に設定してもよい。また、機械学習装置１００は、ＳＶＭを用いて、入力空間で分離超平面を探索したが、カーネル法（カーネルトリック）を用いて、高次元の特徴空間における分離超平面を探索する態様であってもよい。即ち、機械学習装置１００は、非線形ＳＶＭを用いて、入力空間における上述した分離超曲面を探索してもよい。

【0077】

次に、機械学習装置１００による処理フローについて説明する。

【0078】

図８は、本実施形態に係る機械学習装置１００による処理の一例を概略的に示すフローチャートである。

【0079】

ステップＳ１０２にて、学習用画像取得部１１０は、正解向きラベルが紐づけられる学習用画像を取得する。

【0080】

ステップＳ１０４にて、特徴抽出部１２０は、上述の如く、学習用画像のそれぞれについて、各矩形部分の特徴情報（ＨＯＧ特徴量）を抽出する。

【0081】

ステップＳ１０６にて、ベース教師データ生成部１３０は、上述の如く、学習用画像の人の向き及び特徴情報（ＨＯＧ特徴量）を組み合わせて、ベース教師データを生成する。

【0082】

ステップＳ１０８にて、誤分類ペナルティ算出部１４０は、上述の如く、各学習用画像に対して、８つの誤分類ペナルティζを算出し、８つの誤分類ペナルティζを組み合わせた誤分類ペナルティベクトルを生成する。

【0083】

ステップＳ１１０にて、教師データ生成部１５０は、上述の如く、各学習用画像に対応するベース教師データと、各学習用画像の誤分類ペナルティζ（誤分類ペナルティベクトル）を組み合わせて、教師データを生成する。

【0084】

ステップＳ１１２にて、学習処理部１６０は、上述の如く、統計的学習処理、即ち、ＳＶＭを用いた学習処理を行う。

【0085】

ステップＳ１１４にて、学習処理部１６０は、生成された学習データ（第１〜第８の分離超平面のデータ）を学習データ格納部１７０に記録する。

【0086】

図９は、本実施形態に係る機械学習装置１００による処理の一例、具体的には、図８のステップＳ１１２の統計的学習処理を概略的に示すサブフローチャートである。

【0087】

尚、図９に示すサブフローチャートによる処理は、第１〜第８の分離超平面のそれぞれに対応して実行される。即ち、本サブフローチャートによる処理は、８回実行される。

【0088】

ステップＳ１１２１にて、学習処理部１６０は、教師データを取得する。

【0089】

ステップＳ１１２２にて、学習処理部１６０は、入力空間上で分離超平面、即ち、上述の式（２）のパラメータ（重みベクトルｗ及びバイアスｂ）を決定する。

【0090】

ステップＳ１１２３にて、学習処理部１６０は、ステップＳ１１２２で決定された分離超平面で誤分類される人の向きに対応する学習用画像の誤分類ペナルティζの総和（合計値）を算出する。

【0091】

ステップＳ１１２４にて、学習処理部１６０は、分離超平面が最適化されたか否か、即ち、誤分類ペナルティζの合計値が最小であるか否かを判定する。学習処理部１６０は、誤分類ペナルティζの合計値が最小でないと判定した場合、ステップＳ１１２５に進み、誤分類ペナルティζの合計値が最小であると判定した場合、ステップＳ１１２６に進む。

【0092】

ステップＳ１１２５にて、学習処理部１６０は、誤分類ペナルティの合計値が小さくなるように分離超平面、即ち、上述の式（２）のパラメータ（重みベクトルｗ及びバイアスｂ）を修正し、ステップＳ１１２３に戻る。

【0093】

尚、ステップＳ１１２２〜Ｓ１１２５の処理は、例えば、線型計画法等の既知の数理計画法等を用いることにより実行することができる。

【0094】

一方、ステップＳ１１２６にて、学習処理部１６０は、分離超平面、即ち、上述の式（２）のパラメータ（重みベクトルｗ及びバイアスｂ）を確定し、本フローによる処理を終了する。

【0095】

次に、本実施形態に係る機械学習装置１００による統計的学習方法の作用について更に説明する。

【0096】

図１０、図１１は、本実施形態に係る機械学習装置１００による統計的学習方法の作用を説明する図である。具体的には、図１０は、比較例に係る従来の統計的学習方法（誤分類数を最小化するソフトマージンＳＶＭ）で生成される分離超平面ＨＰ１の一例を模擬的に表す図である。図１１は、本実施形態に係る機械学習装置１００による統計的学習方法（正しい方向に対応する方向区分と誤分類される特定の方向区分との差に応じた誤分類ペナルティζの合計値を最小化するソフトマージンＳＶＭ）で生成される分離超平面ＨＰ２の一例を模擬的に表す図である。

【0097】

尚、図１０、図１１における各学習用画像の配置は、各矩型部分のＨＯＧ特徴量の違いによる入力空間ＳＰ上の配置分散状態を模擬的に表す。また、分離超平面ＨＰ１，ＨＰ２は、人画像の各矩形部分のＨＯＧ特徴量の組み合わせに対応する入力空間ＳＰを、前向きに対応する部分空間と、前向き以外に対応する部分空間とに分離する。

【0098】

図１０に示すように、比較例に係る従来の統計的学習方法では、誤分類数を最小化する分離超平面ＨＰ１が生成される。比較例では、誤分類数が４と最小化されるが、前向きの反対の方向区分である後向きの学習用画像Ｄ１８０が前向きに対応する部分空間に含まれてしまっている。そのため、分離超平面ＨＰ１を用いて、前向きであるか否かを判別すると、実際は後向きの人を、大きく異なる前向きと判別してしまう可能性が高くなる。また、比較例では、前向きの学習用画像Ｄ０が前向き以外に対応する部分空間に含まれてしまっている。そのため、分離超平面ＨＰ１を用いて、前向きであるか否かを判別すると、実際は前向きの人を前向きでないと判別してしまう可能性が高くなり、前向きから大きく異なる他の方向区分（例えば、反対の方向区分である後向き）と判別されてしまう可能性がある。

【0099】

これに対して、図１１に示すように、本実施形態では、正しい向きに対応する方向区分と、誤分類される特定の方向区分との差が大きくなるほど、大きくなる誤分類ペナルティζを採用し、誤分類ペナルティζの合計値を最小化する分離超平面ＨＰ２が生成される。そのため、前向きとの差が比較的大きい方向区分、例えば、後向きの学習用画像Ｄ１８０がより厳密に前向きに対応する部分空間に含まれないように、分離超平面ＨＰ２が生成されている。その代わり、前向きとの差が比較的小さい、即ち、本例では、前向きに隣接する方向区分である左前向きの学習用画像Ｄ４５及び右前向きの学習用画像Ｄ３１５が前向きに対応する部分空間に含まれる誤分類をある程度許容する形で分離超平面ＨＰ２が生成される。換言すれば、学習処理部１６０は、学習用画像の各矩形部分のうち、一の方向区分と、隣接する方向区分との間で特徴に差異が生じ易い矩形部分の特徴情報（ＨＯＧ特徴量）よりも、一の方向区分と、大きく異なる他の方向区分との間で特徴に差異が生じ易い矩形部分の特徴情報（ＨＯＧ特徴量）に重きを置いて、分離超平面（第１〜第８の分離超平面）を探索する。そのため、クラス分類器１（第１クラス分類器３１〜第８クラス分類器３８）は、人画像の各矩形部分のうち、一の方向区分と、隣接する方向区分との間でシルエットやテクスチャ等の特徴に差異が生じ易い特徴情報（ＨＯＧ特徴量）よりも、一の方向区分と、大きく異なる他の方向区分との間で上記特徴に差異が生じ易い特徴情報（ＨＯＧ特徴量）に重みづけをして、人画像に含まれる人の向きを判別する。通常、人画像の各矩形部分のうち、一の方向区分と隣接する方向区分との間で差異が生じ易い部分と、一の方向区分と大きく異なる他の方向区分との間で差異が生じ易い部分は、異なる場合が多い。即ち、一の方向区分と隣接する方向区分との間で差異が生じ易い部分は、一の方向区分と大きく異なる他の方向区分との間で差異が生じにくい部分である場合が多い。従って、クラス分類器１は、大きく離れた方向区分（例えば、正しい向きに対応する方向区分の反対の方向区分）に判別する誤判別を抑制することができる。

【0100】

尚、一の方向区分と隣接する方向区分への誤判別が生じても、通常、問題はほとんど生じない場合が多い。例えば、後述の如く、人（歩行者）の向きに応じて、歩行者が車両に気付いているか、車道に侵入しそうか等を判断する場合、隣接する方向区分に誤分類されても、判断結果にはほとんど影響が出ない。

【0101】

また、図１０、図１１を比較すると、誤分類数は、共に、４で同じであるが、図１０に対応する誤分類ペナルティζの合計は、３．５（＝１×３＋０．５）であるのに対して、図１０に対応する誤分類ペナルティζの合計は、２（＝０．５×４）となっている。即ち、正しい向きに対応する方向区分と、誤分類される特定の方向区分との差が大きくなるほど大きくなる誤分類ペナルティζの合計値を最小化するソフトマージンＳＶＭを採用することで、人画像の人の向きを、正しい向きと大きく異なる方向区分（例えば、反対の方向区分）に判別してしまう誤判別を抑制することができることがわかる。

【0102】

次に、本実施形態に係るクラス分類器１の実装例について説明する。

【0103】

図１２は、本実施形態に係るクラス分類器１を実装する車両２００の構成の一例を示す構成図である。

【0104】

車両２００は、カメラ２１０、ＥＣＵ２２０を備える。

【0105】

カメラ２１０は、車両２００の前方を撮像する撮像手段である。カメラ２１０は、例えば、約１／３０秒毎に車両２００の前方を撮像し、撮像画像をＥＣＵ２２０に出力する。

【0106】

ＥＣＵ２２０は、カメラ２１０の撮像画像に基づき、車両２００の前方の障害物（本例では、歩行者）との衝突を回避するための運転支援に関する制御処理を行う電子制御ユニットである。ＥＣＵ２２０は、図１に示すようなＣＰＵ２，ＲＯＭ３，ＲＡＭ４，インターフェース部５を含むマイクロコンピュータを中心に構成される。

【0107】

図１３は、ＥＣＵ２２０の機能ブロック図である。ＥＣＵ２２０は、図１に示すようなＲＯＭ３に格納される１以上のプログラムをＣＰＵ２上で実行することにより実現される機能部として、歩行者検出部２２１、クラス分類器２２２、衝突可能性判断部２２３、運転支援制御部２２４を含む。

【0108】

歩行者検出部２２１は、カメラ２１０から入力される撮像画像から歩行者を検出する。歩行者の検出に用いられる手法は、任意であってよく、例えば、歩行者検出部２２１は、上述のクラス分類器１と同様、統計的学習方法を用いて生成される学習データに基づき、歩行者を検出してよい。歩行者検出部２２１は、撮像画像内に歩行者を検出した場合は、歩行者を含む人画像を生成し、クラス分類器２２２に出力する。また、歩行者検出部２２１は、撮像画像内に歩行者を検出した場合、歩行者検出部２２１は、検出した歩行者が車道にいるのか、左側の歩道にいるのか、右側の歩道にいるのかを判別する。歩行者検出部２２１は、判別結果、即ち、検出した歩行者がいる場所に関する情報を衝突可能性判断部２２３に出力する。

【0109】

クラス分類器２２２は、クラス分類器１と同じ機能構成を有し、歩行者検出部２２１から入力される人画像内の歩行者の向きを判別する。クラス分類器２２２は、判別結果を衝突可能性判断部２２３に出力する。

【0110】

衝突可能性判断部２２３は、歩行者検出部２２１から入力される歩行者がいる場所に関する情報、クラス分類器２２２から入力される歩行者の向き、及び車両２００と歩行者との距離等に基づき、歩行者検出部２２１が検出した歩行者との衝突可能性を判断する。衝突可能性判断部２２３は、衝突可能性に関する判断結果を運転支援制御部２２４に出力する。

【0111】

衝突可能性判断部２２３は、例えば、歩行者が車道内にいる場合、衝突可能性が非常に高いと判断してよい。また、衝突可能性判断部２２３は、歩行者が歩道にいる場合であって、歩行者が車道側を向いている場合（即ち、左側の歩道で右向き、右前向き、右後向きの場合或いは右側の車道で左向き、左前向き、左後向きの場合）、歩行者が車道に侵入する可能性があるため、衝突可能性が比較的高いと判断してよい。また、衝突可能性判断部２２３は、歩行者が歩道にいる場合であって、歩行者が車両２００に背を向けている場合（即ち、歩行者が後向きである場合や左側の車道で右後向き或いは右側の車道で左後向きの場合）、歩行者が車両２００に気付いておらず、突然、歩道に侵入することもあり得るため、衝突可能性が中程度であると判断してよい。また、衝突可能性判断部２２３は、歩行者が歩道にいる場合であって、歩行者が正面を向いている場合（即ち、歩行者が前向きの場合）、歩行者が車両２００に気付いており、突然、歩道に侵入する可能性は低いため、衝突可能性が比較的低いと判断してよい。また、衝突可能性判断部２２３は、歩行者が歩道にいる場合であって、歩行者が車道の反対側を向いている場合（即ち、歩行者が左側の車道で左前向き、左向き或いは右側の車道で右前向き、右向きの場合）、歩行者が歩道に侵入する可能性は低いため、衝突可能性が比較的低いと判断してよい。

【0112】

尚、上述した衝突可能性の判断は、歩行者のいる場所と歩行者の向きのみを考慮した判断の一例であり、衝突可能性判断部２２３は、更に、車両２００と歩行者との距離に基づく衝突可能性を考慮する。また、車両２００と歩行者との距離は、例えば、カメラ２１０の撮像画像から算出されてよいし、車両２００が備える図示しないＴＯＦ（Time Of Flight）センサ（例えば、レーザレーダ、ミリ波レーダ等）から入力される検出信号に基づき、算出されてもよい。

【0113】

運転支援制御部２２４は、衝突可能性判断部２２３から入力される衝突可能性に関する判断結果に基づき、歩行者との衝突を回避するための運転支援制御を行う。例えば、運転支援制御部２２４は、衝突可能性判断部２２３により衝突可能性が比較的高いと判断された場合、その旨を車両２００の運転者に報知（警告）する運転支援を行う。具体的には、運転支援制御部２２４は、車室内の表示装置（例えば、メータユニット等）にワーニングを表示させると共に、音声による警告を行う。これにより、運転者に対して、歩行者の突然の飛び出し等への注意を促すことができる。また、運転支援制御部２２４は、衝突可能性判断部２２３により衝突可能性が非常高いと判断された場合、自動的に、車両２００の制動力を発生させたり、車両２００の駆動力を制限したり等する。これにより、運転者の操作とは関係なく、車両２００を減速させるため、例えば、車道に侵入した歩行者との衝突を回避することができる。

【0114】

ここで、歩行者の向きを実際の方向と大きく異なる方向、特に、反対の方向に誤判別してしまうと、以下のような不都合が生じる可能性がある。例えば、実際の車両２００の前方の歩行者の向きは、車両２００の進行方向と同じ向きである（即ち、車両２００に背を向けている）にも関わらず、反対方向（即ち、車両の進行方向の反対の向き）に誤分類されると、歩行者は、車両に気付いていないにも関わらず、当該歩行者との衝突可能性が低いと誤判断される可能性がある。また、実際の車両２００の前方の歩行者の向きは、車道に侵入する方向であるにも関わらず、車道から離れる方向であると誤分類されると、歩行者が車道に侵入してくる可能性が高いにも関わらず、衝突可能性が低いと誤判断される可能性がある。

【0115】

これに対して、本実施形態に係るクラス分類器２２２（即ち、クラス分類器１）は、上述の如く、大きく離れた方向区分（例えば、正しい向きに対応する方向区分の反対の方向区分）に判別する誤判別を抑制することができる。そのため、運転支援制御部２２４は、歩行者との衝突回避のためのより適切な運転支援を行うことができる。

【0116】

尚、本実施形態では、クラス分類器１（向き判別装置）が車両２００に実装される一例を説明したが、車両２００の外部でクラス分類器１が人の向きを判別し、該判別結果が車両２００に送信される態様であってもよい。例えば、車両２００と双方向に通信可能なセンタサーバにクラス分類器１が実装されると共に、路側に配備されるカメラや他の車両２００に搭載されるカメラが撮像した画像をセンタサーバが受信し、クラス分類器１が該画像に含まれる歩行者の向きを判別してもよい。この場合、センタサーバは、画像が撮像された場所付近を走行する車両２００に判別結果を送信することにより、車両２００（運転支援制御部２２４）は、当該判別結果に基づき、歩行者との衝突を回避する運転支援を行うことができる。

【0117】

以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0118】

例えば、上述した実施形態では、クラス分類器１は、統計的学習方法に基づき、人の向きを判別するが、予め規定するルール（即ち、人画像の各矩形部分の特徴情報に関する判別条件）に従って、人の向きを判別してよい。この場合、クラス分類器１は、予め規定するルールとして、人画像の各矩形部分のうち、一の方向区分と、大きく異なる他の方向区分との間でシルエットやテクスチャ等の特徴に差異が生じにくい特徴情報（ＨＯＧ特徴量）よりも、一の方向区分と他の方向区分との間で上記特徴に差異が生じ易い特徴情報（ＨＯＧ特徴量）に重みづけをして、人画像に含まれる人の向きを判別すればよい。これにより、上述の実施形態と同様、大きく離れた方向区分（例えば、正しい向きに対応する方向区分の反対の方向区分）に判別する誤判別を抑制することができる。

【符号の説明】

【0119】

１ クラス分類器（向き検出装置）
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ インターフェース部
６ バス
１０ 画像取得部
２０ 特徴抽出部（抽出部）
３０ クラス分類部
３１ 第１クラス分類器
３２ 第２クラス分類器
３３ 第３クラス分類器
３４ 第４クラス分類器
３５ 第５クラス分類器
３６ 第６クラス分類器
３７ 第７クラス分類器
３８ 第８クラス分類器
４０ 向き判別部（判別部）
５０ 学習データ格納部
１００ 機械学習装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ディスクドライブ
１０５ 操作入力部
１０６ バス
１１０ 学習用画像取得部
１２０ 特徴抽出部
１３０ ベース教師データ生成部
１４０ 誤分類ペナルティ算出部
１５０ 教師データ生成部
１６０ 学習処理部
１７０ 学習データ格納部
２００ 車両
２１０ カメラ
２２０ ＥＣＵ
２２１ 歩行者検出部
２２２ クラス分類器
２２３ 衝突可能性判断部
２２４ 運転支援制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】