Filho do cozinheiro Benjamim da Silva e da lavadeira Emília Corrêa Chaves, era o mais novo de um grupo de cinco irmãos.
Diante das dificuldades financeiras enfrentadas após a morte de seu pai, mudou-se com a mãe da praia de Jurujuba (Niterói) para o bairro Estácio de Sá (Rio de Janeiro), quando tinha três anos de idade.
Ismael frequentou a escola primária e terminou o ginásio aos 18 anos, depois de morar em outros bairros do Rio de Janeiro como Rio Comprido e Catumbi.
Aos 15 anos fez o samba Já desisti, considerado como a sua primeira composição. Em 1925 teve o seu primeiro samba gravado: Me faz carinhos. Essa composição promoveu a sua aproximação com Francisco Alves, o Chico Viola ou Rei da Voz. Ao lado de Nílton Bastos e Francisco Alves, Ismael formou o trio que ficou conhecido como Bambas do Estácio e que deu origem àquele que é considerado um dos mais bonitos sambas da história: Se você jurar. Após a morte de Nilton, teve início sua contribuição com Noel Rosa. As dezoito composições da dupla fazem de Ismael Silva o mais frequente parceiro do Poeta da Vila.
Em 1928, Ismael Silva, com um grupo de sambistas do Estácio, fundou o bloco que se tornaria o precursor da primeira escola de samba de que se tem notícia: a Deixa falar. A Deixa falar desfilou nos anos de 1929, 1930 e 1931. Seu final ocorreu em função da mudança de Ismael para o Centro do Rio de Janeiro, após as mortes de Nílton Bastos e Edgar Marcelino.
Ismael foi condenado a cinco anos de cadeia – tendo cumprido apenas dois anos, devido a bom comportamento – após atirar em Edu Motorneiro, um frequentador da boêmia carioca. Depois deste episódio, ele se tornou recluso e só retornou à cena carioca na década de cinquenta. Sabe-se que durante esse período ele atravessou enormes dificuldades financeiras. Ainda nesta mesma década, teve o seu samba Antonico gravado. Foi um grande sucesso.
Seu reconhecimento como um sambista verdadeiro, lhe rendeu alguns títulos por iniciativa do jornalista e estudioso do assunto Sérgio Cabral e da Câmara dos Vereadores do Rio de Janeiro. Fez alguns shows esporádicos, nos quais participaram Aracy de Almeida, Carmem Costa e MPB-4. Um de seus últimos shows foi no ano de 1973, produzido por Ricardo Cravo Albim e intitulado Se você jurar.
Morreu em 1978 de um ataque cardíaco em decorrência das complicações surgidas após uma cirurgia para tratar de uma úlcera varicosa que tinha em uma das pernas.
Ismael Silva talvez tenha sido um dos sambista a exibir a mais alta originalidade no cenário da boêmia carioca.
Suas composições mais conhecidas são: Me faz carinhos, Se você jurar, Antonico, Para me livrar do mal, Novo amor, Ao romper da aurora, Tristezas não pagam dívidas, Me diga o teu nome entre outras.
Ismael Silva é personagem do livro Desde que o Samba é Samba, segundo romance de Paulo Lins, que gerou polêmica ao tratar sem pudores da homossexualidade do artista. A obra recria como o músico inventou o samba moderno e a escola de samba.
