Для обнаружения исследуемых живых организмов используется алгоритм нахождения среднего фона, затем производится морфологическое вычитание фона из исходных изображений, обработанных гауссовским фильтром. После этого выполняется пороговая бинаризация. Полученные пятна соответствуют положению исследуемых организмов на каждом кадре.

Для исправления ошибок, связанных с наложением исследуемых организмов в проекции кадра и выявления индивидуальных характеристик животных, применяется трекинг. Для каждого организма с на текущем кадре вычисляется вектор характеристик — (x,y,x1,y1,x2,y2), где (x,y) - координаты центра организма, (x1, y1) — проекции скоростей тела на плоскость кадра по соответствующим осям, (x2, y2) — проекции ускорений на плоскость кадра по соответствующим осям. Далее, на следующем кадре, вычисляются аналогичные вектора для всех обнаруженных объектов, после чего составляется ковариационная матрица соответствия дафний между кадрами. Из которой определяется движение каждого конкретного объекта между кадрами, а также их слияние/расхождение.

В качестве отдельного случая анализируются объекты, которые не могут быть представлены в виде ключевой точки, поскольку имеют достаточно большой охват кадра и могут иметь градиентные переходы на поверхности своего тела. В таких случаях в качестве детектора обучается сегментационная нейронная сеть, которая способна определять области кадра, где находится исследуемый организм.

Для определения состояния здоровья группы животных используется нейронная сеть, обученная определять степень старения популяции в целом. Архитектура сети представляет собой рекуррентный кодер-декодер, целью которого является выделение признаков старения, выраженных в виде числового вектора.

Входом нейронной сети является набор векторов [x, y, x1, y1, x2, y2] (о которых говорилось ранее), пропущенных через дополнительную сверточную нейронную сеть магистрального типа, которая служит для сгущения и обобщения информации о положении и движении объекта.

Нейронная сеть обучается путем съемки объектов на протяжении всего жизненного цикла, с учетом удаления новорожденных, таким образом, обучение происходит на данных, отражающих непрерывное старение.

Затем мы планируем использовать динамические дифференциальные уравнения из проекта "Математическая физика для обнаружения старения" для векторов из полученных вкраплений для подсчета биомаркеров старения.

В настоящее время проводится исследование принципиальной возможности использования сетевой съемки, основанной на следующих принципах:

При известных параметрах калибровки камеры преобразование от точки к прямой линии известно и задано однозначно. Это означает, что область совпадения для каждой точки может быть ограничена только соответствующей эпиполярной линией на другом изображении. Более того, можно установить соответствие один к одному между эпиполярными линиями на двух изображениях.

Для технического упрощения такого одномерного поиска на практике используется специальное представление изображения, в котором его эпиполярные линии совпадают с рядами пикселей. Такое изображение называется ректифицированным, а процесс его получения — ректификацией. Обычно ректификация пары изображений заключается в проецировании их на некоторую плоскость, параллельную стереобазе.

Для отслеживания организмов в 3-х мерном пространстве мы использовали аналог эпиполярных линий — линии горизонта, на ректифицированные изображения с камер, установленных на стенках аквариума перпендикулярно друг другу. Ведь в случае, когда главные оси камер перпендикулярны друг другу, эпиполярные линии одной камеры обычно вырождаются в точки другой камеры. Что касается линии горизонта, то мы будем рассматривать отражение в каждой из камер плоскости, параллельной дну аквариума, при этом свойства ректификации и вытекающее из них удобство отслеживания особых точек (в нашем случае в качестве классических особых точек выступают движущиеся организмы) сохранят свою применимость.