Com oito anos, já fazia versos, respondendo aos improvisos do pai. Com a morte deste, a família teve de se mudar para a cidade, onde aos dez anos começou a ajudar a mãe no sustento da casa: foi leiteiro, condutor de bois, carregador de malas na estação, menino de recados, marceneiro, engraxate e lavrador, ao mesmo tempo em que estudava no Grupo Escolar Dr. Justino Pereira. Aos 18 anos, aceitou o convite do Dr. Afrânio Moreira Resende, medico de Miraí, para acompanhá-lo ao Rio de Janeiro, onde fixaria residência. Durante o dia, trabalhava no consultório, entregando recados e receitas, e, a noite, fazia limpeza e outros serviços domésticos na casa do médico.
Insatisfeito com a situação, conseguiu uma vaga de lavador de vidros na Farmácia e Drogaria do Povo. Rapidamente aprendeu a lidar com as drogas e tornou-se prático de farmácia. Depois do trabalho voltava para casa no bairro de Rio Comprido, onde costumava freqüentar rodas de samba. Já sabia tocar violão, cavaquinho e bandolim, e organizou um conjunto que animava as festas do bairro.
Em 1928, com apenas 19 anos, casou-se com Judite. Nessa época, em que já começara a compor, tornou-se diretor de harmonia de Fale Quem Quiser, bloco organizado pelo pessoal do bairro. Em 1933, Bide, que viria a fazer sucesso com o samba Agora e cinza (com Marçal), ouviu algumas composições suas no Rio Comprido, e resolveu apresentá-lo a Mr. Evans, diretor americano da Victor. Foi então que Almirante gravou o samba Sexta-feira, sua primeira composição a ser lançada em disco. Dias depois, Carmen Miranda, que ele havia conhecido antes de ser cantora, gravou Tempo perdido, garantindo sua entrada no mundo artístico. Em 1935, através de Almirante e Bide, conseguiu seu primeiro sucesso com Saudade do meu barracão, gravado por Floriano Belham. Seu nome cresceu muito quando apareceram as gravações do samba Saudade dela, em 1936, por Silvio Caldas e da valsa A você (com Aldo Cabral) e do samba Quanta tristeza (com André Filho), em 1937, por Carlos Galhardo, que se tornaria um dos seus grandes divulgadores. Passou a compor com Bide, Claudionor Cruz, João Bastos Filho e Wilson Batista, com quem venceu os Carnavais de 1940 e 1941, com Oh!, seu Oscar e O Bonde de São Januário.
Em 1938, Orlando Silva, outro grande interprete de suas musicas, gravou Errei, erramos. Em 1941, fez sua primeira experiência como intérprete, gravando seus sambas Leva, meu samba... e Alegria na casa de pobre (com Abel Neto). Em 1942 a situação financeira difícil e a hesitação dos cantores em gravar sua ultima composição fizeram com que ele próprio lançasse, para o Carnaval do ano, Ai, que saudades da Amélia; gravado com acompanhamento do grupo Academia do Samba e abertura de Jacó do Bandolim, o samba, feito a partir de três quadras apresentadas por Mário Lago para serem musicadas, resultou em grande sucesso popular. Juntos fizeram ainda Atire a primeira pedra, para o Carnaval de 1944, e em 1945 lançaram Capacho e Pra que mais felicidade.
Resolvido a continuar interpretando suas músicas, juntou-se a um grupo de cantoras, organizando um conjunto que, por sugestão de Pedro Caetano, foi chamado de Ataulfo Alves e suas Pastoras. Inicialmente formado por Olga, Marilu e Alda. Representativas da década de 1950, quando faziam sucesso musicas de fossa e de amores infelizes, são suas composições Fim de comedia e Errei, sim, gravadas por Dalva de Oliveira. Em 1954 participou do show O Samba nasce no coração, realizado na boate Casablanca, quando lançou o samba Pois é... O pintor Pancetti gostou muito da musica e, inspirado nela, fez um quadro com o mesmo nome, que ofereceu ao compositor. Compôs então Lagoa serena (com J. Batista), dedicando-a a Pancetti, que, novamente, o homenageou com a tela Lagoa serena.
Convidado por Humberto Teixeira, em 1961 participou de uma caravana de divulgação da musica popular brasileira na Europa, para onde levou Mulata assanhada e Na cadência do samba (com Paulo Gesta), que acabara de lançar. Retornou no mesmo ano e fundou a ATA (Ataulfo Alves Edições), tonando-se editor de suas musicas. Por essa época, desligou-se de suas pastoras – na ocasião Nadir, Antonina, Geralda e Geraldina –, passando a se apresentar sozinho, esporadicamente.
Depois de realizar em 1964 uma temporada no Top Club, do Rio de Janeiro, como sentisse piorar a úlcera no duodeno, em 1965 decidiu passar o seu titulo de General do Samba para seu filho, Ataulfo Alves Júnior. Em decorrência do agravamento da úlcera, morreu após uma intervenção cirúrgica, no Rio de Janeiro em 20 de abril de 1969.
