En cette fin du XIXe siècle, le quartier du centre ancien est insalubre, privé d’air et de lumière. Poussé par un courant hygiéniste qui se met progressivement en place, commerçants et habitants demandent à la municipalité de l’époque la construction d’une halle couverte, comme il en existe déjà dans d’autres villes, pour y vendre des produits périssables dans de meilleures conditions. Un premier projet est rejeté en 1908.
Il faudra attendre Ernest Bloch, adjoint au maire en charge des emplacements, pour que le projet de construction des halles aboutisse et soit voté par le conseil municipal le 29 juillet 1927. La volonté de l’équipe municipale d’alors est de relier les trois principaux sites de vente alimentaire du centre-ville : la poissonnerie, située derrière l’actuelle mairie, les halles Dutasta à l’emplacement du Centre Mayol, et le marché aux coquillages de la place à l’huile.
Émile Claude, premier magistrat, lance un concours pour la construction d’un bâtiment en ciment armé de style Art-déco. La parcelle disponible représente une surface de 800m². Les architectes vont donc réaliser quelques prouesses pour que l’édifice s’insère dans le tissu urbain existant sur la place Vincent-Raspail, d’où cette forme si particulière et originale.
Après 3 ans de construction, les Halles sont inaugurées le 30 mars 1929. Par arrêté, les revendeurs ont pour obligation de n’y vendre que des produits alimentaires non issus de la terre : étals crémier, boucher, charcutier, volailler, giboyeux et biscuitier. Un restaurant ouvert de 9h à 14h, donc après la fermeture des bars environnants, propose d’y manger de la soupe de poissons.
La 2e guerre mondiale, la modification des habitudes de consommation et l’évolution de l’urbanisme vont entrainer le déclin des Halles Esther-Poggio jusqu’à leur fermeture en 2001. En 2013, elles serviront de décors à l’une des scènes du film Mea Culpa, un polar tourné en grande partie à Toulon, réalisé par Fred Cavayer et avec pour acteurs principaux Vincent Lindon et Gilles Lellouche.