Детство Армстронга, как и других пионеров джаза, прошло в атмосфере музыки - регтаймов, танцев, маршей и т.д. Конечно, у Луи не было настоящего музыкального инструмента, но в квартете подобных ему мальчишек он пел за гроши на улицах. Постоянная смена состава квартета вынуждала мальчишек петь партии различных голосов, что, несомненно, повлияло на дальнейшее становление Армстронга как музыканта.

В 14 лет Армстронг попал в колонию для цветных за то, что под Новый год выстрелил в воздух из пистолета. Там он попал в местный оркестр. Неизвестно, какую музыку играл тот оркестр и знали ли его маленькие музыканты ноты. Считается, что Армстронг не умел читать с листа. И когда он говорил, что партия альтгорна ему “удавалась очень хорошо”, он имел в виду свою способность вести на слух гармоническую линию исполняемой мелодии. Важной особенностью гения Армстронга было тонкое ощущение гармонии, в то  время как многие джазмены слабо ориентировались в теории музыки. Любой профессиональный музыкант наверняка смог бы сыграть все то, что сыграл Армстронг в оркестре “Уэйфс Хоум”, вся разница лишь в том, что в то время ему было всего четырнадцать лет и он не имел никакого музыкального образования.

Через 3 года отец забрал Луи из колонии. Его мастерство музыканта стремительно росло. Он организовал с друзьями маленький оркестр, который играл в дешевых барах и на вечеринках. В это же время Армстронг начал появляться в кабаре, где выступал оркестр под управлением Кида Ори, в составе которого играл корнетист Джо Оливер. Подобно другим музыкантам старшего поколения, Оливер проникся расположением к Армстронгу и обучил его некоторым профессиональным приемам. Реальным результатом их общения было то, что время от времени Оливер посылал Армстронга играть  вместо себя в оркестре Ори. Когда же Оливер в 1918 году уехал на север, в Чикаго, Ори взял Армстронга на его место. Джаз-оркестр Ори считался одним из лучших в Новом Орлеане, и в свои восемнадцать лет Армстронг стал в нем ведущим корнетистом.

В начале 1924 года Армстронг женился на Лилиан Хардин, пианистке из оркестра Оливера. У нее было классическое музыкальное образование, но в джазе она не преуспела, хотя и разбиралась в нем довольно хорошо. Лилиан решила сделать из своего мужа звезду джаза. Она помогла ему освоить чтение нот с листа, убедила оставить оркестр Оливера и перейти работать в кафе “дримленд”. Примерно в то же время Флетчер Хендерсон предложил Армстронгу работу в своем оркестре. В 1924 году оркестр Хендерсона не был джазовым в полном смысле этого слова, скорее он был коммерческим: играл во время танцев и шоу, аккомпанировал певцам во время записи. Хендерсон, величайший в истории джаза первооткрыватель талантов, хотел иметь в своем оркестре солиста, который мог бы сыграть ярко и эффектно - что очень нравилось слушателям того времени. Армстронг принял приглашение и работал с оркестром в течение года. Он записал с ним ряд сольных партий, среди которых приобрела запись “Sugar Foot Stomp”. Будучи с Хендерсоном в Нью-Йорке, Армстронг сделал ряд грамзаписей на свой страх и риск: аккомпанировал певцам блюзов, записывался с группами Кларенса Уильямса, в том числе с группой “Red Onion Jazz Babies”, где играл Сидней Беше.