Если выбрать разностную частоту в районе 10 кГц, уровень шумовой дорожки будет меньше судя по уменьшению уровня шумов от 100 Гц до 500 Гц на 10 дБ.
В верхней строке программы функция Avg, можно включить усреднение, уровень шумовой дорожки уменьшится на несколько дБ. У вас выбрана разрядность АЦП карты 16 бит (данные в нижней строке), попробуйте поискать в настройках карты и программы, возможно есть 24 бита. Если такой режим "включится", уровень шумовой дорожки уменьшится. Ещё помогает в настройках микшера карты отключить все неиспользуемые входа карты, оставляете только тот вход на который подаёте сигнал со смесителя.