Если верить Вашему АЧХ Лин.дет. (я думаю что мат.корекция отключена),
то Ваш ФНЧ настроен идеально.
Откуда берется неравномерность в 13 Дб при разомкнутом выходе и закороченом
входе сложно. Ищите хомут. Внимательно пройдитесь по схеме еще раз, проверьте
земли, питания, входы детекторов. Чудес не бывает.
Экранировка АТТ Вам ничего не даст, ну в лучшем случае 1 дБ.
Попробуйте отсоединить выходы детекторов от PICа и снимите АЧХ в режиме лог. детектора,
затем подсоедините лин. детектор и снимите АЧХ в режиме лог. детектора. Возможно это
Вам что-то прояснит. Затем отсоедините лин. и присоедините лог. детектор и опять снимите АЧХ.
Вобщем копайте, но помните одну истину - причина всегда банально проста, поэтому ее и сложно
выяснить.
Успехов.