Так посмотрим: не затягивать цангу нельзя, это первое, у вас в этом случае сама фреза не затянута и спокойно может не только двигаться вдоль продольной оси но и проворачиваться стирая как хвастовик фрезы так и разбивая цангу. Второе : не понятно, как можно что то измерить на незатянутой цанге? У вас же сама цанга не затянута и имеет люфт в гайке, и только когда затягиваете вы зажимаете инструмент и фиксируюте цангу. Вот биение зажатого инструмента, это вопрос посложнее, там нужно все проверять, вплоть до биения самой цанги(и это не исключено, и вот на этом этапе может быть все что угодно, любой деффект как цанги так и неровность посадки цанги на вал движка даст биение инструмента), и инструмент может быть не идеальный, далее смотрим на подачи и заглубления (при перемещении торцевая кромка может оттягиваться под действием давления на материал изгибая фрезу) по определению фреза 1мм не может иметь длинную боковую спираль или что там у вас , короче рабочую боковую длинну по оси Z , длинная рабочая боковая грань возможна только при сверлении, но не при фрезеровании, так например фрезы из китайских наборов кукурузы, имеют слишком длинную боковую рабочую часть и при фрезеровке не хило так уводится, я к примеру, при резке фанеры 6-12мм меньше 2мм фрезы не использую именно из за увода, снижая который приходится сильно снижать скорость подачи и заглубление фрезы за проход. Для начала проверьте биение цанги используя абсолютно новый (другой) инструмент , а лучше не один, это покажет вам что именно бьёт,цанга или инструмент но обязательно зажав инструмент в цанге. После этого уже и нужно искать решение проблемы.