Os primeiros núcleos populacionais no território do município datam, talvez, de meados do século passado, sendo que a cidade está localizada às margens do Riacho Jundiá, cujas enchentes fizeram com que fosse edificada em local mais elevado.
A povoação teve, a princípio, a denominação de JATOBÁ, devido a existência de uma árvore desse nome, localizada na confluência dos dois Riachos que banham a cidade.
Devido a proximidade com as áreas de criação de gado dos sertões da Paraíba, Jataúba sempre foi chamada de "Boca do Sertão", realizando-se semanalmente uma grande feira de gado, razão maior do crescimento do lugar, a ponto de ser elevado à categoria de distrito do município do Brejo da Madre de Deus, em 1879.
Pelo decreto-lei estadual nº 952, de 31 de dezembro de 1943, a Vila passou adenominar-se JATAÚBA.
A elevação a município autônomo ocorreu em 31 de dezembro de 1958, tendo o governador do Estado vetado a lei de criação do município, anulado o veto através de mandato de segurança impetrado junto ao Supremo Tribunal Federal. A instalação da Administração municipal ocorreu em 02 de março de 1962, sendo o primeiro prefeito eleito o sr. José Higino de Souza