В конце 1940-х годов у синатры начался творческий кризис жанра, совпавший по времени с бурным романом с актрисой авой гарднер.

1949 год стал самым тяжёлым в карьере Синатры: его уволили с радио, а через полгода планы по проведению концертов в Нью-Йорке были грубо нарушены, Нэнси подала на развод, а роман с Гарднер перерос в громкий скандал, «Columbia Records» начала отказывать ему в студийном времени. В 1950 году его контракт с MGM был расторгнут, а новый агент из MCA Records также отвернулся от Синатры. Фрэнк постоянно подвергался нападкам и травли со стороны прессы, главным образом из-за его романа с Авой Гарднер, а также по подозрению в его симпатиях к коммунистам (из-за его активной деятельности по защите прав евреев и афроамериканцев). В возрасте 34 лет Фрэнк стал «человеком прошлого». Его карьера рушилась до основания. Но разрушенная карьера его мало волновала, всё своё внимание он уделял только Гарднер.

В 1951 году Синатра потерял голос после сильнейшей простуды. В 1952 году контракт с Columbia Records закончился. Новый глава студии Митч Миллер, с которым у Синатры не сложились отношения, не стал продлевать контракт с ним. Несчастье было настолько неожиданным и тяжёлым, что певец собирался покончить жизнь самоубийством.

Возвращение к активной деятельности и «Оскар»

Проблемы с голосом были временными, и, когда он восстановился, Синатра начал всё сначала. Концерты Синатры в 1952 году в казино Лас-Вегаса собирают аншлаги. В 1953 году Синатра подписывает контракт с лейблом Capitol Records, где ему дают нового аранжировщика и дирижёра — Нельсона Риддла. Благодаря их сотрудничеству, Синатре удаётся значительно изменить репертуар и имидж. В 1954 году выходят альбомы Songs for Young Lovers и Swing Easy!. Следующий альбом In the Wee Small Hours становится первым концептуальным музыкальным альбомом, где обложка, перечень песен и их последовательность подчинены единой теме и записаны специально для этого альбома. Кроме того, это первый эстрадный альбом, который выходит на грампластинке размером 12 дюймов (ранее этот формат использовался исключительно для классической музыки). Этот альбом вместе с Songs for Swingin' Lovers! входят в список «500 величайших альбомов всех времён» по версии Rolling Stone. Не менее успешными и классическими становятся следующие альбомы A Swingin' Affair!, Where Are You?, A Jolly Christmas From Frank Sinatra (1957), Come Fly With Me, Only The Lonely (1958), Come Dance With Me! (1959), Nice’n’Easy (1960) и другие. Ряд альбомов Фрэнка достигают вершины Биллбоарда и остаются в чартах свыше двух лет. Последний контрактный альбом на этой студии Point Of No Return вышел в 1962 году.

В 1953 году он снялся в фильме «Отныне и вовеки веков» («From Here to Eternity»), получив за него «Оскар» как лучший актёр второго плана. После этого голливудские продюсеры снова приглашают Синатру попробовать себя на экране.

Он возобновляет успешную карьеру радиоведущего — ведёт шоу на NBS Radio, которое собирает большую аудиторию слушателей.

Его стали приглашать в различные кинопроекты, самыми удачными из которых стали «Человек с золотой рукой» («The Man With the Golden Arm», 1955), «Приятель Джоуи» («Pal Joey», 1957), «11 друзей Оушена» («Ocean’s Eleven», 1960), «Маньчжурский кандидат» (1962), «Детектив» («The Detective», 1968).

Хит Синатры High Hopes в 1959 году остаётся в национальном чарте 17 недель — дольше, чем любая другая композиция певца.

С конца 1950-х годов Синатра выступал в Лас-Вегасе с такими эстрадными звёздами, как Сэмми Дэвис, Дин Мартин, Джо Бишоп и Питер Лоуфорд. Их компания, известная как «Rat Pack», работала с Джоном Кеннеди во время его президентской кампании в 1960 году. Очень успешными были записи и выступления с биг-бендами Каунта Бэйси, Куинси Джонса, студийными свинговыми оркестрами Нельсона Риддла, Билли Мэя и другими, снискавшие Синатре славу одного из мастеров свинга.

В 1962 году Синатра, недовольный работой лейбла, покидает Capitol Records. Ещё в 1960 году он создаёт свой собственный лейбл Reprise Records, на котором записывался до 1988 года. В 1961 году выходит первый альбом на Reprise — Ring-A-Ding-Ding!. На этом лейбле он выпускает альбомы: Swing Along With Me, I Remember Tommy (посвящённый Томми Дорси) (1962), Sinatra And Strings (1962), The Concert Sinatra (1963), совместные с Каунтом Бейси Sinatra-Basie: An Historic Musical First (1962) и It Might As Well Be Swing (1964) (вместе с песней Fly Me to the Moon), совместно с Бингом Кросби и Фрэдом Уоррингом America, I Hear You Singing и 12 Songs of Christmas, September Of My Years (1965), Strangers In The Night (с одноимённым хитом), That’s Life (с одноимённой песней) (1966), Francis Albert Sinatra & Antonio Carlos Jobim (совместно с Антониу Карлосом Джобином в стиле босанова), The World We Knew (вместе с песней Somethin’ Stupid, записанной совместно с дочерью Нэнси) (1967), My Way (с одноимённым хитом) (1969), Trilogy: Past Present Future (вместе с песней New York, New York) (1980) и другие.