顔スキャンテストはどう動く？ランドマーク・自撮り・スコア

一段落でいうと流れ

顔スキャンテストは、あなたの自撮りを三つの段階に通します。顔を検出し、その顔に一連のランドマーク点を置き、それらの点に式を走らせて数字を出す。第1段階と第2段階は、ありふれた、確立されたコンピュータビジョンです。第3段階でお楽しみが始まります。式は測定ではなく、編集上の選択だからです。

どの段階がどの段階かを理解することが、この記事の要点です。「ソフトウェアがあなたのあごを正確に位置特定した」と「その数字に意味がある」を切り離せれば、結果はずっと正しく読めます。

第1段階：顔を見つける

最初の仕事は、写真の中でどのピクセルが顔に属するかを決めることです。これは検出の問題で、現代の検出器はこれをうまくこなします。混雑した集合写真でも働き、メガネやひげにも対応し、斜めに構えたスマホも許容します。

検出器があなたに求めるのは、顔が実際に見える写真です。スキャンがそもそも失敗するよくある理由：

• 顔が小さすぎる。 全身写真はモデルに扱えるピクセルをほとんど与えません。
• 光が背後にある。 逆光のシルエットは、検出器が頼るコントラストを奪います。
• 顔が大きく隠れている。 手、マスク、顔を横切る髪が、検出しきい値を下回らせることがあります。
• 画像が人の写真ではない。 明らかですが、書く価値はあります。実際に試す人がいるからです。

スキャンがスコアではなくエラーを返すなら、原因はたいてい検出です。そのエラーは、流れ全体で唯一正直なフィードバックです。ソフトウェアが本当に顔を見つけられず、そして顔をでっち上げなかった、という意味だからです。

第2段階：ランドマーク点

顔が見つかると、モデルはその上に定義済みの点の集合を置きます。これがランドマークです。目頭と目尻、鼻先と鼻筋、あごのライン、口、眉のための正確なピクセル座標です。

この段階の出力は、説明でも判断でもありません。数字の表です。典型的な項目は (312.4, 188.9) のように見えます — 画像上の x と y の位置です。

そこから二つのことが従い、どちらも重要です。

• 点は幾何的で、意味的ではない。 モデルは、ある点があなたの左目の外眼角にあることを知っています。目が何を意味するかはまったく知らず、そこから結論を引き出す能力もありません。
• 点は写真に合わせて拡大縮小される。 同じ顔を近くから撮っても遠くから撮っても、座標は同じ幾何を別の単位で表します。式が使いたいものは何でも、まず基準長さ — 通常は目の間の距離 — で正規化する必要があります。

サイトがランドマーク数を宣伝するとき、その数字はモデルが置く点の数にすぎません。数が多いほど座標メッシュが密になり、ノイズに対して幾何が少し頑健になります。それは点がより「真実」という意味でもなく、最終スコアに意味があるかどうかについても何も語りません。

第3段階：式

ここでランドマークメッシュが、交際人数や忠誠スコアや金運に変わります。この変換は算術です。距離、比率、角度、そして重み付きの和を、開発者が書きます。

ここは率直に言う価値があります。式は設計上の決定であり、発見ではありません。 実際の人々の生活についてのデータから誰かがそれを抽出したわけではありません。それに必要なデータが存在しないからです。誰かが、広い比率はスコアを押し上げ、狭い比率は押し下げるべきだと決め、係数を選び、結果に覚えやすい名前を付けたのです。

それは秘密の陰謀ではありません — 娯楽製品が作られる普通のやり方です。フォーチュンクッキーの言葉も誰かが書いています。問題は、出力が脚本ではなく測定として提示されたときにだけ始まります。

式が固定されているので、テストは少なくとも内部的に一貫しています。同じ顔を同じように撮れば、同じスコアが出ます。この一貫性は正確さと取り違えられやすい。スコアが動かなくなると、何か実在のものに固定されているように感じられます。それは式に固定されているのであって、止まった時計が1日2回正しいのと同じ理由で安定しているだけです。

自撮りが運べるもの、運べないもの

一枚の正面写真は、情報のごく薄い一片です。実際に何が入っているかを知る価値があります：

左の列は、他の目的には本当に有益です — 顔の幾何はアニメーション、アクセシビリティツール、写真編集、そして臨床医が結果を解釈する医用画像研究で使われています。右の列が娯楽の層です。左の列の何も、点を増やしても計算量を増やしても右の列にはなりません。

なぜ同じ顔でスコアが変わるのか

人はしばしば、試すたびにスコアが変わるのに気づいて、ソフトが壊れていると結論づけます。壊れていません。設計どおりに動いており、入力が変わっただけです。

• ポーズと角度。 わずかな頭の傾きが、式が読む投影距離を変えます。
• 光と影。 影は輪郭が見える位置を動かし、それがランドマーク位置を動かします。
• 表情。 笑顔は口とあごの幾何を変え、一部の式は笑顔を測定として読みます。
• フィルターと美顔。 自動の肌滑らか化、小顔化、目拡大は、画像がモデルに届く前に適用されています。
• 圧縮。 ひどく圧縮されたスクリーンショットはエッジの細部を失い、それとともに精度の一部も失います。

少なくとも互いに一貫したスコアが欲しいなら、それらの変数を揃えてください。正面、均一な光、無表情、フィルターなし、スクリーンショットなし。より安定した数字が得られます。それでも、より意味のある数字は得られません。

正直なまとめ

三つの段階、そして工学なのは最初の二つだけです。顔検出とランドマーク配置は、ちゃんとした仕事をする、有能でよく理解された技術です。最後から出てくるスコアは、娯楽を目的として書かれた式です。

その文の両半分は同時に成り立ち、実際どちらも真です。技術は本物です。主張は本物ではありません。テストを試したいなら、正直な理由は、友達と比べて楽しいから — そして実際楽しい。ただ、スコアはそれが属する列に置いておくだけです。