Яков Шведов появился на свет 9 (22) октября 1905 года в деревне Пенья, ныне расположенной в пределах Конаковского района Тверской области. Он вырос в крестьянской семье и завершил обучение в церковно-приходской школе. Вскоре после этого его семья переехала в Москву. В возрасте 13 лет, оставшись без родителей, Яков устроился на работу на Московский металлургический завод Гужона.
В 1922 году он начал свою карьеру в качестве рабочего корреспондента на заводской газете, что положило начало его литературной деятельности. Его произведения начали появляться не только в заводской многотиражке, но и в таких изданиях, как журнал «У станка» и газета «Рабочая Москва». Яков также активно участвовал в литературном объединении «Рабочая весна», которое существовало при газете. Осенью 1923 года, благодаря рекомендации писателя Д. А. Фурманова, он стал частью групп пролетарских писателей «Октябрь» и МАПП. В эти объединения входили такие известные авторы, как А. С. Серафимович и А. Т. Твардовский, о которых Шведов позже оставил свои воспоминания.
Первый сборник стихотворений Якова, названный «Шестерённые перезвоны», увидел свет в 1924 году и был посвящён жизни рабочего класса. В итоге, за свою карьеру Шведов выпустил более двадцати подобных сборников.
Творчество Якова сохраняло акцент на социальной значимости труда. Его прозаические произведения, такие как «На мартенах» (1929), «Юр-базар» (1929), «Обида» (1930), «Повесть о волчьем братстве» (1932) и «Ровесник» (1933), также отражали эту тематику.
В 1936 году он перевёл песню «Орлёнок» с идиша, которую композитор В. А. Белый использовал в спектакле МАДТ имени Моссовета «Хлопчик» драматурга М. Н. Даниэля. В 1984 году эта песня стала частью репертуара БДХ Всесоюзного радио и Центрального телевидения, где её исполнил Дима Голов.
С началом Великой Отечественной войны Яков Шведов был назначен фронтовым корреспондентом газеты «За победу» при управлении Юго-Западного фронта. Среди его однополчан он получил прозвище «наш окопный поэт». Именно на фронте он завершил работу над песней «Смуглянка» на музыку А. Г. Новикова, которая заняла важное место в культуре советского периода. После войны Яков был демобилизован в 1946 году с военным званием подполковника и стал членом ВКП(б) в 1945 году.
В Москве он жил в знаменитом «Доме писательского кооператива», расположенном на Камергерском переулке.
Яков Шведов скончался 31 декабря 1984 года и был похоронен на Николо-Архангельском кладбище в Москве.