Как работают тесты сканирования лица? Точки и оценки

Процесс в одном абзаце

Тест сканирования лица проводит ваше селфи через три этапа: обнаруживает лицо, расставляет набор опорных точек на этом лице и прогоняет по этим точкам формулу, дающую число. Первый и второй этапы — обычное, давно устоявшееся компьютерное зрение. На третьем начинается развлечение, потому что формула — это редакционный выбор, а не измерение.

Понимание того, какой этап какой, — весь смысл этой статьи. Как только вы сможете отделить «программа точно определила вашу челюсть» от «число что-то значит», результаты станут куда легче читать правильно.

Этап первый: найти лицо

Первая задача — решить, какие пиксели на фото вообще относятся к лицу. Это задача обнаружения, и современные детекторы справляются с ней хорошо: они работают на плотном групповом снимке, тянут очки и бороды, терпят телефон под углом.

Что им нужно от вас — фото, на котором лицо действительно видно. Частые причины полного провала сканирования:

• Лицо слишком маленькое. Снимок в полный рост даёт модели очень мало пикселей.
• Свет позади вас. Контровой силуэт убирает контраст, на который опирается детектор.
• Лицо сильно перекрыто. Рука, маска или волосы поперёк лица могут опустить его ниже порога обнаружения.
• Изображение — не фото человека. Очевидно. Но стоит сказать, потому что находятся желающие проверить программу.

Если сканирование возвращает ошибку, а не оценку, причина обычно в обнаружении. Эта ошибка — единственная честная обратная связь во всём процессе: она значит, что программа действительно не нашла лицо и не выдумала его.

Этап второй: опорные точки

Как только лицо найдено, модель расставляет на нём определённый набор точек. Это опорные точки: точные пиксельные координаты уголков глаз, кончика и переносицы носа, линии челюсти, рта и бровей.

Выход этого этапа — не описание и не суждение. Это таблица чисел. Типичная запись выглядит как (312.4, 188.9) — позиция x и y на изображении.

Отсюда следуют две вещи, и обе важны:

• Точки геометрические, а не смысловые. Модель знает, что точка находится у внешнего уголка вашего левого глаза. Она понятия не имеет, что значит глаз, и не способна делать из него выводы.
• Точки масштабируются вместе с фото. Если одно и то же лицо снять вблизи и издалека, координаты опишут одну и ту же геометрию в разных единицах. Всё, что захочет использовать формула, нужно сперва нормировать на опорную длину — обычно расстояние между глазами.

Когда сайт рекламирует число опорных точек, это число — просто сколько точек ставит модель. Большее число означает более плотную сетку координат, что может сделать геометрию чуть устойчивее к шуму. Это не значит, что точки «правдивее», и вообще ничего не говорит о том, осмысленна ли итоговая оценка.

Этап третий: формула

Здесь сетка опорных точек превращается в число партнёров, оценку верности или финансовую судьбу. Превращение — это арифметика: расстояния, отношения, углы и взвешенные суммы, написанные разработчиком.

Вот часть, которую стоит сказать прямо. Формула — это проектное решение, а не открытие. Никто не извлекал её из данных о жизни реальных людей, потому что нужных для этого данных не существует. Кто-то решил, что более широкое отношение должно поднять оценку, а более узкое — опустить, выбрал коэффициенты и дал результату запоминающееся имя.

Это не тайный заговор — это обычный способ, которым строят развлекательные продукты. Надпись в печенье с предсказанием тоже кто-то пишет. Проблема начинается лишь тогда, когда выход подают как измерение, а не как сценарий.

Поскольку формула фиксирована, тесты как минимум внутренне согласованы. Одно и то же лицо, снятое одинаково, даст одну и ту же оценку. Эту согласованность легко принять за точность: если оценка перестала двигаться, она кажется привязанной к чему-то реальному. Она привязана к формуле, а та устойчива по той же причине, по которой остановившиеся часы верны дважды в сутки.

Что селфи может и не может передать

Одно фронтальное фото — узкая полоска информации. Полезно знать, что в ней реально есть:

Левый столбец действительно информативен для других целей — геометрия лица применяется в анимации, в инструментах доступности, в редактировании фото и в медицинской визуализации, где результат интерпретирует врач. Правый столбец — развлекательный слой. Ничто из левого столбца не становится правым от добавления точек или вычислений.

Почему одно и то же лицо получает разные оценки

Люди часто замечают, что оценка меняется от попытки к попытке, и заключают, что программа сломана. Нет; она делает ровно то, для чего создана, а входные данные изменились.

• Поза и угол. Лёгкий наклон головы меняет проекционные расстояния, которые читает формула.
• Свет и тень. Тени сдвигают то, где кажутся контуры, а это двигает опорные точки.
• Выражение. Улыбка меняет геометрию рта и челюсти, а некоторые формулы читают улыбку как измерение.
• Фильтры и «улучшения». Автосглаживание, сужение лица и увеличение глаз применяются до того, как изображение дойдёт до модели.
• Сжатие. Сильно сжатый скриншот теряет детали краёв, а с ними и часть точности.

Если вы хотите оценки, хотя бы согласованные между собой, контролируйте эти переменные: анфас, ровный свет, нейтральное выражение, без фильтра, без скриншота. Вы получите более стабильное число. Более осмысленного вы всё равно не получите.

Честное резюме

Три этапа, и инженерия — только первые два. Обнаружение лица и расстановка точек — это грамотные, хорошо изученные техники, делающие настоящую работу. Оценка, выходящая в конце, — это формула, написанная ради развлечения.

Обе половины этой фразы могут быть верны одновременно, и они верны. Технология реальна. Утверждение — нет. Если вы хотите попробовать тесты, честная причина в том, что их весело сравнивать с друзьями, — и это так. Просто держите оценку в том столбце, к которому она принадлежит.