Всем привет.
Работаю над задачей детекции артикуляционных движений языка через фронтальную камеру смартфона. Конкретно нужно стабильно классифицировать вертикальное движение (подъём / опускание / нейтральное положение) в реальном времени. Среда бытовая — обычное освещение, без доп. оборудования. Аудитория - дети, что добавляет вариативности по анатомии и поведению перед камерой.
Пощупал MediaPipe, но с самим языком он так себе работает. Подскажите, есть ли подходы, которые реально работают, или это в принципе задача с жёсткими ограничениями, при таких условиях съёмки. Или может можно подтянуть из смежных областей что-то, условно, из трекинга деформируемых объектов или промышленного детекшена, где похожая задача уже решена достаточно хорошо?
Если кто-то реально делал детекцию или трекинг внутриротовых объектов (язык, зубы) на мобильном железе что реально может сработать с высокой точностью детекшена?
Заранее спасибо.

Вам понадобятся нанодатчики, встроенные в мышцы гортани и ротовой полости.

сейчас практически все мобилки умеют отслеживать направление взгляда. скорее всего библиотеки готовые где то есть.
и думаю что прокатит нейронку по месту обучать на типовой мимике.