Это вы смотрите уровень гармоник вашего генератора. его искажения. Ну и уровень подавления нерабочей боковой. Когда НЧ сигнал находится не слишком далеко от подавленной несущей, он может не полностью гаситься КФ. Ну и сама несущая, из которой формируется DSB сигнал, не может полностьб погаситься в формирователе. А находится она прямо вблизи среза КФ.
Ну и метод формирования двух тонового сигнала которым пользовался сам. Шаг 1. Сдвигаете частоту опорного генератора так, что бы он попал в полосу пропускания КФ. Выставляете его частоту где то в 500 Гц от частоты среза, и выставляете необходимый вам уровень разбаласируя модулятор. Шаг 2. Включаете НЧ генератор на частоте 1,8-2,0 кГц и подаёте его колебания на микрофонный вход. В полосе прозрачности КФ появится второй сигнал, а все гармошки НЧ генератора окажутся за частотой среза КФ. Выставляете уровень НЧ генератора равным уровню первого тона. Всё, имеете чистенький двухтональный сигнал на выходе КФ. Что важно. Если уровень одного тона 100 мВ, то при добавлении второго тона того же уровня, суммарный уровень входного сигнала возрастает вчетверо. Вначале проверьте что получается на выходе КФ. Потом смотрите прохождение сигнала далее по тракту до выхода ДПФ. Я этим же тональником измерял линейность УМ. У меня полностью независимые приёмный и передающие тракты, поэтому ИМИ на выходе ДПФ у меня получались что то получше -80 дБс при 100 мВ. Для вас задача, получить не хуже -50. Возможно что получится и лучше. Просто сам подобной схемы не собирал, и точных цифр того что должно получиться не назову. -50, это минимум, допустимый на выходе тракта формирователя. И цифра на которую следует ориентироваться поднимая уровни. Как поняли, поднимать уровень двухтональника можно всё больше разбалансируя несущую и при этом поднимая выход с НЧ генератора. Всё чистенько будет только после КФ. Если надумаете смотреть линейность до него, то сдвиньте оба тона поближе друг к другу изменением частоты НЧ генератора, а положение этих двух тонов в полосе пропускания выбираете двигая частоту опорного генератора.
Что бы сделать скрин окна монитора, не обязательно пользоваться фотоаппаратом. Снимочек окна монитора делается нажатием кнопочки Print на клавиатуре компьютера.