Бегло посмотрел блок-схему http://www.ra3pkj.ru/page13.shtml Принципиальную можно скачать оттуда. Я бы посмотрел выходной сигнал на передачу с 74CBT3253 ( обозначение IC5). Если там все нормально, то тогда на ключах IC1, IC27, K26 нужно смотреть. IMD3 возникает на нелинейностях, вот их и нужно искать. Может ключ какой подпробит. Если на 74CBT3253 сигнал плохой, то тогда проверить наличие всех связей IC5 через фильтры с кодаком IC9 TLV320AIC33IRGZ.
Попробуйте вставить между выходом Flex-1500 и RTL_SDR аттенюатор дБ на 20 и посмотрите уровень. Отношение не должно измениться.