Реконструкция изображений

«Всё в порядке, просто ему нравится твоя форма черепа» Доктор Гонзо

Реконструкция лица используется преимущественно в двух областях: криминалистике и антропологии. Реконструкция заключается в следующем: на основе входных данных (форма черепа), подбирают подходящие черты лица и тем самым узнают, как выглядел человек. Современные общепринятые методы основаны на ручном ваянии лица из пластичного вещества на копии исследуемого черепа с учётом анатомических особенностей и справочной информации. Это занимает несколько недель.

Ранние подходы к компьютерному восстановлению

Не так давно были предложены автоматизированные методы реконструкции лиц на основе 3D модели черепа. В работах, посвященных этим методам, используются различные техники для последовательной реконструкции лица. Рассмотрим некоторые из них.

Terner и коллеги в своей работе A novel method of automated skull registration for forensic facial approximation ввели новый метод для автоматизированного получения 3D модели черепа и восстановления черепно-лицевой части головы, который основан на получении отдельных поверхностей из данных томографии. Для получения трёхмерной модели предложенный метод находит грани лица, например, надбровные дуги и подбородок, с помощью алгоритма ICP, а затем применяет сплайновый алгоритм интерполяции под названием “thin plate spline warping — TPPW”.

Shui и коллеги в своей работе Densely Calculated Facial Soft Tissue Thickness for Craniofacial Reconstruction in Chinese Adults представили подход, основанный на FSTT статистике томографических данных (FSTT — Facial soft tissue thickness – толщина лицевого кожного покрова).  Их метод использует 78 меток, вручную выбираемых на черепе, которые определяют общие особенности его строения. Затем происходит более точное определение его структуры и реконструкция лица с использованием алгоритмов ICP и TPPW.

FSTT измерения происходят для каждой вершины исследуемого черепа в направлении, зависящем от её геометрических координат. Грубое восстановление лица достигается за счёт смещения каждой вершины черепа в определённом направлении на расстояние FSTT, измеренной в этой вершине. Для достижения более гладкого представления лица необходимо добавить 6 дополнительных меток, которые будут определять деформацию сплайнов при грубом восстановлении. И наконец, восстановление рта, глаз и носа должно производиться при участии криминологического эксперта. Таким образом, использование данного метода требует вмешательства человека.

Предлагаемый подход

Новый подход к реконструкции лица условно разделён на две стадии: генерация модели и восстановление лица. Предлагаемый метод полностью автоматизирован, начиная с получения 3D модели черепа и заканчивая определением структуры лица, и поэтому не требует вмешательства человека. Исключение составляет лишь начальная генерация модели (т.н. фаза тренировки). Ниже перечислены модели, используемые в рассматриваемом методе:

• Параметрическая модель черепа.
• FSTT статистика.
• Параметрическая модель головы.

Генерация моделей

Рассмотрим процесс создания моделей. Первый шаг заключается в установлении зависимости между различными моделями черепа и моделями головы. Для этой цели посредством аппроксимации происходит определение подходящей шаблонной модели черепа для каждой заданной сетки, построенной по определенным входным данным (см. Рис.1). Затем появляется возможность использовать шаблоны аппроксимации для определения геометрической вариативности моделей черепа и, соответственно, лиц, что происходит посредством PCA алгоритма. В результате мы определяем сразу две параметрических модели: модель черепа и модель головы. И далее на основе томографических сканов полученных 3D моделей черепа и головы строится FSTT карта.

Генерация параметрической модели черепа

Для генерации параметрической модели черепа устанавливается связь между различными 3D моделями черепа из специально созданной базы данных. Для этой цели один шаблон сравнивается с каждой отдельной моделью черепа. Для того, чтобы точно воспроизводить структуру черепа, данная шаблонная модель должна представлять собой трёхмерную тетраэдрическую сетку. Процесс аппроксимации формы черепа включает в себя два основных этапа:

1. Глобальная трансформация. В рамках этого этапа происходит наложение входной модели черепа на шаблонную модель, и в качестве результата мы получаем грубо аппроксимированную параметрическую модель.
2. Точная аппроксимация. На данном этапе происходит уточнение шаблонной модели с помощью ICP алгоритма. Уточнение деталей происходит итерационно, на каждой итерации минимизируется энергия для определения подходящего закона трансформации:

где S – вершина сетки, Efit – аппроксимирующее слагаемое, Ereg – регулиризующее слагаемое. В случае используемой нежёсткой трансформации Efit может быть записано как:

где sc – вершина шаблона, fc – точка, близкая к сетке входной модели черепа. Ereg может быть записано как:

Это слагаемое выражает геометрическое расхождение шаблона и входной модели в ходе аппроксимации.

Генерация статистики толщины лицевой ткани

В процессе статистической оценки измеряются дистанции между 43-мя моделями черепа и соответствующими моделями голов, полученными из данных томографии.  Для этой цели определяется кратчайшее расстояние между каждой точкой черепа и поверхностью кожи полученной головы. И наконец, для каждой точки вычисляются стандартное отклонение и среднее для FSTT. Рис.2 иллюстрирует распределение этих величин по поверхности черепа.

Генерация параметрической модели формы головы

Так же как и модель черепа, модель головы генерируется посредством аппроксимации шаблонной моделью сканов реальных объектов: сначала устанавливается соответствие между ними и затем производится статистический анализ на основе PCA алгоритма. Для генерации модели извлекаются лицевые поверхности с 43-х томографических сканов,  которые затем используются для построения FSTT статистики. Далее скан головы представляется в виде набора точек Q = {q1, … , qn}. Так как модель головы представляет собой только поверхности кожи, то аппроксимирующий шаблон головы является трёхмерной треугольной сеткой, состоящей из примерно 6000 вершин H = {h1, … , hn}. Процесс аппроксимации шаблоном состоит из двух этапов, сходных с этапами аппроксимации формы черепа:

1. Вначале оптимизируются масштаб, поворот и сдвиг шаблонной модели для дальнейшего наложения на набор точек Q. Оптимизация происходит посредством минимизации квадрата расстояний между точками из набора Q и точками шаблона H с помощью ICP алгоритма.
2. После произведенной грубой инициализации происходит уточнение модели за счёт преобразования точек из набора H таким образом, чтобы шаблонная модель наилучшим образом аппроксимировала точки из набора Q. Нелинейная функция преобразования может быть записана как:

Аппроксимирующее слагаемое Efit выражает квадрат расстояния между точками набора Q и соответствующими точками набора H:

Регулиризующее слагаемое Ereg выражает геометрическое расхождение состояния модели на предыдущей итерации и состояния модели на текущей итерации:

Заключение

Авторы предложили полностью автоматизированный метод восстановления лица на основе 3D модели черепа, использующий параметрическую модель формы черепа, лица и FSTT статистику.

Подход позволяет узнать, как выглядело лицо человека по форме его черепа. Метод основан на проведении статистических оценок посредством использования томографической базы данных и 3D сканов головы. С помощью создания набора правдоподобных (с точки зрения статистических оценок) моделей головы появляется возможность распознать личность человека, которому принадлежит череп.

Главное достоинство рассмотренного подхода по сравнению с ориентированными FSTT измерениями заключается в получении плотной FSTT карты без необходимости использования дополнительной априорной информации. Для каждой вершины параметрической модели формы черепа FSTT значение определяется непосредственно из FSTT статистики. Можно ожидать, что рассмотренный метод найдёт широкое применение в криминологии и антропологии в ближайшем будущем.