Otis, geboren in 1921, heette in werkelijkheid Ioannis Alexandres Veliotes. Hij was de zoon van een Griekse immigrant die een kruidenierszaak had in Berkeley in de staat Californië. Zijn broer was in de jaren '70 en '80 ambassadeur in Jordanië en Egypte. Ook al had hij Griekse wortels, hij voelde zich altijd meer aangetrokken tot de zwarte cultuur in Amerika. 'Ondanks alle moeilijkheden heeft de zwarte cultuur een prachtige rijkdom’, zei hij in 1979 in een interview.
Otis begon zijn carrière als drummer in diverse jazzorkesten en ging in de jaren '40 naar Los Angeles waar hij ging spelen bij de Kansas City Rockers, het huisorkest van Club Alabam aan Central Avenue. In 1945 stichtte hij zijn eigen band, die met Harlem Nocturne een jaar later een hit had. In 1947 opende hij in de zwarte wijk Watts een club waar zijn band optrad met zangers als Mel Walker en Little Esther Phillips.
Voor Etta James schreef Otis The Wallflower, ook bekend als Roll With Me Henry, dat haar eerste grote hit werd. Zijn beroemdste compositie was Every Beat Of My Heart, dat in 1952 door The Royals werd opgenomen, maar in de uitvoering van Gladys Knight & the Pips een hit werd. Zijn zoon Shuggie Otis begon zijn carriere op twaalfjarige leeftijd in zijn vaders band en bracht later nog drie albums onder eigen naam uit.
Otis was ook actief als presentator van The Johnny Otis Show, die voor het laatst in 2006 werd uitgezonden. Hij was voorganger in een door hem gestichte kerk, de Landmark Community Gospel Church, die midden jaren '90 werd opgeheven.
