Ян Абрамович Френкель родился в Киеве 21 ноября 1920 года в
еврейской семье. Начальное музыкальное образование по классу
скрипки он получил под руководством своего отца, Абрама
Натановича Френкеля, который занимался парикмахерским делом.
С 1938 по 1941 год он обучался в Киевской консерватории имени П. И.
Чайковского, где его преподавателями по скрипке были Яков
Магазинер, а по композиции – Борис Лятошинский. С началом
Великой Отечественной войны он поступил в Оренбургское зенитное училище. В этот период он находил возможность играть на скрипке в оркестре кинотеатра "Аврора".
В 1942 году, окончив училище, он был отправлен на фронт, где получил серьезное ранение. После выздоровления, начиная с 1943 года и до конца войны, он служил во фронтовом театре, где играл на различных музыкальных инструментах, включая фортепиано, скрипку и аккордеон.
После завершения войны, с 1946 года, он поселился в Москве, где занимался созданием оркестровок для крупных музыкальных произведений и работал скрипачом в различных ресторанах столицы. Он также руководил собственным музыкальным ансамблем. Параллельно он подрабатывал корректором в комбинате Музыкального фонда.
Свою первую песню, озаглавленную "Шёл пилот по переулку" на слова Мориса Слободского и Александра Раскина, он написал еще в 1942 году, когда был курсантом. Однако широкая известность как композитору-песеннику пришла к нему в 1960-е годы, после того как его песня "Годы" на стихи Марка Лисянского стала популярной. Впоследствии он работал с такими авторами, как Михаил Танич, Игорь Шаферан, а также супруги Константин Ваншенкин и Инна Гофф.
Он записал несколько своих песен в сотрудничестве с Тульским государственным хором под управлением его друга, народного артиста РСФСР Иосифа Михайловского.
В 1969 году, благодаря инициативе Марка Бернеса, появилась знаменитая композиция "Журавли" на стихотворение Расула Гамзатова в переводе Наума Гребнева.
Ян Френкель часто давал концерты, исполняя свои песни, и зрители, как правило, подпевали ему. Его произведения включались в репертуар таких известных артистов, как Анна Герман, Иосиф Кобзон, Георг Отс, Михаил Чуев, Нани Брегвадзе, Марк Бернес, Эмиль Горовец и Майя Кристалинская.
Он также создавал музыкальное сопровождение для театральных постановок, кинофильмов и анимационных фильмов.
Френкель принял участие в качестве актера в трех кинолентах.
В начале 1970-х годов он был членом жюри популярного телевизионного конкурса "Алло, мы ищем таланты!".
Он является автором ряда статей, посвященных музыкальной тематике.
Френкель состоял в Союзе композиторов СССР. В 1979 году на IV съезде композиторов Российской Федерации он был избран на должность заместителя председателя правления Союза композиторов РСФСР.
По словам Михаила Танича, Френкель "был чрезвычайно талантливым мелодистом, деликатным и вежливым человеком – из тех, кто не наживает себе врагов".
Последнее выступление композитора состоялось в городе Томске.
Ян Френкель скончался 25 августа 1989 года в Риге от рака легких, спровоцированного длительным пристрастием к курению. Он был похоронен в Москве на Новодевичьем кладбище.