Я не знаком с применённой Вами программой, подсказать по ней ничего не могу, кроме как то, что пределы шкал нет смысла выбирать такими большими. Зачем смотреть что происходит между +150 dB и -200 dB, когда в большинстве случаев достаточно участка в 130 dB?
Ну, и почему "что-то не так" - потому что после проверки свип-тоном должна была получиться более-менее ровная линия со спадами на краях (без "лохматости").
Вот, например, проверил сейчас АЧХ старой звуковой карты Creative SB0220, неравномерность на участке 20 Гц...20 кГц укладывается в 1 dB. Ну и, вроде, уже достаточно давно интегрированные карты стали настолько хороши, что для наших измерений можно не заморачиваться на выносные карты.