Вот такая должна быть АЧХ, и посмотрите далее - на 5кГц должно быть напражение в 10 раз меньше нежели в полосе - 0,1 вольта это нормально для такого фильтра.
Это вы быстрей всего давите фазовращателем рабочую боковую полосу , не ту что нужно .и потому у вас так и происходит .Это моё мнение - может я и неправ.