Трекинг (англ. tracking) — это специальная технология, лежащая в основе взаимодействия человека с виртуальным миром. Она предназначена для определения позиции и ориентации реального объекта в виртуальной среде.

Это три пространственные координаты (x, y, z) и три угла (α, β, λ), задающие его позицию и ориентацию в пространстве. Определение позиции и ориентации реального объекта в пространстве осуществляется при помощи специальных датчиков и маркеров. Датчики снимают сигнал с реального объекта при его перемещении и передают полученную информацию в компьютер.

Система трекинга виртуальной реальности (ВР) представляет собой некую копию методов позиционирования и ориентации, которые уже существуют в природе. «Естественные» системы трекинга в реальном мире — органы чувств человека. Например, зрение помогает человеку определить, где он находится относительно других предметов и людей.

Ни одна система не может считаться полноценной системой ВР, если она не будет знать позицию и ориентацию пользователя и его действия в каждый момент времени. Трекинг организует передачу этой информации в «головной мозг» системы.

Трекинг — это «глаза и уши» системы ВР.

Системы оптического трекинга (англ. optical tracking) основаны на том же принципе, что и стереоскопическое зрение человека.

Когда человек видит двумя глазами, он способен определить, на каком расстоянии находится объект, как он ориентирован и куда он перемещается в трехмерном пространстве.

Работа систем оптического трекинга основана на отслеживании специальных оптических маркеров, которыми оснащено устройство взаимодействия с ВР.

Система трекинга передает сигнал в компьютер, где информация обрабатывается. После этого система реагирует на изменение позиции и ориентации интерактивного устройства. При этом она видоизменяет виртуальный мир согласно заданному сценарию взаимодействия.

Одной из задач системы оптического трекинга является калибровка в координатах реального мира. Это делается для установления взаимно однозначной связи между координатами в реальном и виртуальном пространствах. При этом человек в реальном пространстве может «взять» виртуальный предмет своей рукой или специальным устройством, а система отражает это действие в своем виртуальном пространстве.

Разработки EligoVision на базе оптического трекинга:

• технология дополненной реальности «живые 3D метки»: маркерная и безмаркерная (6 DOF*);
• интерактивная студия дополненной реальности — AR студия (6 DOF);
• интерактивное устройство 3D Пойнтер (5 DOF).

* DOF (англ. degree of freedom) — степень свободы. Узнайте больше о степенях свободы в нашей статье. 

Недостатки стандартного оптического трекинга на базе 2-х и более камер

Основной недостаток систем оптического трекинга — необходимость точной калибровки модулей приема оптического сигнала (камеры). Для работы такой системы обычно требуется 2 камеры или больше. Их рабочая зона — это область пересечения видимости камер. Чем обширнее нужна зона взаимодействия, тем больше камер необходимо установить и тем сложнее становится процедура их взаимной  калибровки. Однако оптические системы трекинга применяются чаще остальных, поскольку они более надежны и доступны по цене.

Системы профессионального оптического трекинга от западных компаний сегодня используют от 2-х до 4-х камер в каждой системе трекинга. В системах с двумя и более камерами нужно провести внутреннюю калибровку, то есть установить зависимость между внешними размерами шаблона-маски и его образом на матрице камеры. После этого следует выполнить внешнюю калибровку, связав координатные системы (реальное местоположение) камер между собой, а затем с координатной системой виртуального мира (как правило, это координаты экрана, являющегося «окном» в виртуальную реальность).

Отслеживаемая точка или объект находятся в трехмерном пространстве. Чтобы определить его координаты и углы, одной проекции недостаточно. Матрица у камеры является плоской. Следовательно, для работы с объемным пространством нужны две камеры — по одной плоской проекции на каждую камеру. Поэтому в стандартных системах оптического трекинга камеры настроены на попарную работу.

Зная физическое расположение камер в пространстве, используя методы эпиполярной геометрии, можно восстановить позицию источника оптического сигнала.

При использовании 2-х, 3-х, 4-х и более камер, необходимо их калибровать попарно. Раньше это делалось вручную, сейчас это сделано в полуавтоматическом режиме. Стоимость таких систем — от 10 000 у.е.

Мы разработали технологию оптического трекинга, основанную на использовании только одной камеры. Это инновационное и намного более удобное решение, которое сильно снижает затраты на установку и эксплуатацию всей системы.

В профессиональном трекинге EligoVision одна камера одновременно снимает и координаты объекта в пространстве, и его ориентацию (2 угла и 3 координаты).

Для нее мы специально разработали и создали новое интерактивное устройство — 3D Пойнтер (3D Pointer EligoVision).

В стандартных системах оптического трекинга работает только зона пересечения областей видимости двух камер. В системе 3D Пойнтер эта проблема решается путем использования всего лишь одной камеры. Дополнительные камеры в нашей системе трекинга также могут быть использованы, но лишь с целью увеличения площади рабочей зоны системы, вплоть до нескольких сотен кв.м. При этом необходимость в попарной калибровке камер отпадает.

• упрощается процедура калибровки системы;
• система легко масштабируется;
• используется стандартный разъем FireWire (IEEE 1394);
• работа идет при стандартном освещении;
• система может быть как стационарной, так и мобильной;
• стоимость системы снижается как минимум в 2, а чаще — в 3 раза!

Наша статья о системах трекинга для Виртуальной Реальности на ресурсе Wikipedia