コンテスト概要
今回のアルゴリズムコンテストでは、見かけの同じ物体を複数種類含む画像に対し、 各種類の物体がどこにあるかを検出するアルゴリズムを募集します。 例えば、下の画像の場合、 赤もしくは青い矩形で囲まれた物体が同じ種類の物体ということになります。
課題レベル
本コンテストでは、合成画像、実画像の違いや物体の種類の数等によって 難易度の異なる3つのレベルを設定しています。 ただし、すべてのレベルにおいて、出現する物体は平面的なものに限定します。
レベル1
レベル1では、2種類の物体画像を任意背景に合成した画像が物体領域を示すマスク画像と共に与えられます。物体画像に対して大きさの変化やオクルージョン（画像の隠れ）はありません。また、物体画像にはノイズは加えませんが、回転によって誤差が生じるため、画像が完全に一致するとは限りません。
レベル2
レベル2では、2種類の物体を白い平面に並べ撮影した実画像のみが与えられます。物体はすべて同じ面が見えるように配置され、オクルージョンはありません。同種類の物体は複製品であるため、見かけはほとんど同じですが、照明条件や経年変化などによる違いがあります。
レベル3
レベル3では、何種類かの物体を白い平面に並べ撮影した実画像のみが与えられます。物体はすべて同じ面が見えるように配置され、オクルージョンがあります。同種類の物体は複製品ですが、照明条件や経年変化に加え、破損や汚れにより見かけが比較的大きく異なる場合があります。
審査基準
審査では、課題レベルで示したサンプル画像とは別の画像を用い、 以下の要素を総合的に評価します。
出力結果の正しさ
応募者の実装するアルゴリズムは、同じ種類の物体には同じラベルが付与されるよう、各物体の位置とラベルの組をリストとして出力します。出力結果の正しさは、画像中の同種類の物体をどれだけ正確に検出できたかを表す得点により評価します。
出力は、物体ごとに
- 物体領域を囲む最小矩形の左上と右下の座標
- ラベル
- 代表例かどうかを表すフラグ
の形式とします。このとき、最小矩形とは傾きがなく、検出された領域の最大幅、最大高さを持つものとします。 またラベルとは、各種類の物体に割り当てられる0から始まる通し番号とします。 代表例とは、各種類の物体のうち任意の一つとします。
精度の評価に用いられる正解は、手作業で指定した各物体の最小矩形（以下、正解矩形）とラベル（以下、正解ラベル）により構成されます。これを正解物体と呼びます。ただし、物体に対してオクルージョンがある場合は、物体の見えている領域を囲む最小矩形を正解矩形とします。以下は正解矩形の例です。
評価では、まず出力された物体と正解物体を以下の手順により対応付けます。
- 各正解矩形について、その70％以上の領域を含み、かつそれ以外の領域が50％以下の抽出矩形を見つける。
つまり、（正しく抽出された部分の面積）/（正解矩形の面積）が70%以上、かつ(誤って抽出された部分の面積)/(抽出矩形の面積)が50%以下の抽出矩形を見つけます(5/11追記)。 - 見つかった抽出矩形の中から、各正解矩形の左上座標と右下座標の誤差の総和が最小になるように抽出矩形と正解矩形を対応付ける。
続いて、出力された代表例に基づきラベルの正確さを評価します。 以下の例を見て下さい。太線の矩形は上記の方法により正解矩形と対応付けられた抽出矩形、細線の矩形は正解矩形と対応づいていない抽出矩形、つまりゴミとなります。また、同じ色の矩形が同じ種類として検出された物体、右図で点線で囲まれた物体が代表例を表します。
この結果を 以下のように定義されるF値により評価します。
F値＝2×再現率×精度÷（再現率＋精度）
再現率＝同じ種類として正しく検出された物体÷同じ種類の物体
精度＝同じ種類として正しく検出された物体÷同じ種類として検出された物体
- 緑の矩形は代表例が消しゴムに対応付けられています。 緑の矩形は一つのみで、実際の消しゴムは2個存在しますので、 再現率＝1/2、精度＝1/1、F値＝2×1/2×1/1÷（1/2＋1/1） ＝2/3となります。
- 青い矩形と赤い矩形はそれぞれ代表例が黒ペンに対応付いています。このように同じ種類の物体が種類の異なる物体として検出された場合、F値が高くなる方を選びます。 ここでは、実際の黒ペンは3個存在し、青い矩形のうち黒ペンは2つ、赤い矩形のうち黒ペンは1つなので、青い矩形を黒ペンと考えた場合、再現率＝2/3、精度＝2/3、F値＝2/3、 赤い矩形を黒ペンと考えた場合、再現率＝1/3、精度＝1/3、F値＝1/3となります。 よって、青い矩形が黒ペンに対応すると考え、F値＝2/3とします。
- 黄色の矩形の代表例は、どの種類の物体にも対応付いていないので、無視します。
- 赤ペンを代表例とする矩形はないので、赤ペンについてはF値＝0とします。
このようにして得られたF値に対し、各種類の物体の数の割合に基づいて 加重平均をとり100倍したものを、アルゴリズムの出力の得点とします。ここでは、 物体の総数が7個なので、
｛2/3×2/7（消しゴム）＋2/3×3/7（黒ペン）＋0×2/7（赤ペン）｝×100＝約47.6点
となります。
ここで、代表例の選び方により得点が異なることに注意して下さい。例えば、下の例では、赤い矩形と青い矩形がそれぞれ同じ種類の物体として検出されています。
このとき、代表例の選び方により以下のように得点が異なります。
- Case 1: 赤い矩形、青い矩形の代表例がそれぞれ羊、狼の場合
羊に対して、再現率＝6/7、精度＝6/7、F値＝6/7、 狼に対して、再現率＝5/6、精度＝5/6、F値＝5/6となり、 得点は（6/7×7/13＋5/6×6/13）×100＝約84.6点となる。 -
Case 2: 赤い矩形、青い矩形の代表例がどちらも狼の場合
赤い矩形を狼とした場合、再現率＝1/6、精度＝1/7、F値＝2/13、 青い矩形を狼とした場合、再現率＝5/6、精度＝5/6、F値＝5/6となるため、 F値が高い青い矩形の方を狼とする。また、羊を代表例とする矩形はないので、 羊についてはF値＝0。よって、 得点は（0×7/13＋5/6×6/13）×100＝約38.5点となる。
処理時間
実装したアルゴリズム（関数 my_alg_levelx()）でかかる時間を処理時間とします。 画像の読み込みなどの時間は含みません。審査は下記の 計算機環境で行う予定です。
| CPU | Intel Xeon 3.06GHz DUAL |
|---|---|
| Memory | 2GB |
| OS | CentOS 5.2, kernel 2.6.18-128.el5 |
| Compiler | gcc 4.1.2 |
配布しているMakefileのコンパイルオプションにおいて、処理時間が10分を超えた場合は計算が完了しなかったものとします。
アルゴリズムの独自性、アイディア
必ずしも性能だけを追求するのではなく、独自の着眼点やアイディアを積極的に評価します。 よって、必ずそのアピールをアルゴリズムの説明書に盛り込んでください （プログラムだけではその独自性を発見するのが難しい事が多いからです）。
お問い合わせは
alcon2009(あっと)nanase.comm.eng.osaka-u.ac.jp