Это не нормальный трекер, он работает на положении светодиодов, и если ты вывел светодиоды из зоны действия датчика - все, калибровка сбита.
Я думаю тему можно закрывать, ни одной дельной мысли я не увидел, кроме предложения про FaceTrackNoIR. Буду копать англоязычные форумы.