А вы спектр того, что получается хотя бы после ДПФ смотрели? Я - смотрел.
Давайте прикинем. Пусть частота настройки 18100. Стало быть, частота гетеродина будет 18100-8860 = 9240. Преобразование на третьей его гармонике дает 3*9240-8860 = 18860 с уровнем порядка -10 dB. Насколько ваш ДПФ дополнительно подавит эту частоту, зависит от его конструкции, но не думаю, что более, чем на 10-15 dB относительно основного сигнала в самом лучшем случае, да и то ценой повышенного затухания в полосе. Итого имеем всего 20-25 dB подавления, что не вписывается ни в какие нормы... С удвоенной ПЧ еще хуже - она в данном случае равна 17720 Кгц и вряд ли вообще сколько-либо давится обычными фильтрами. Но с ней еще можно бороться в смесителе, а вот от преобразования на гармониках в случае применения ключевых смесителей никуда не уйти.