Sporti tehti praeguse spordikeskuse koha peal Rakveres juba 19. sajandi lõpus, staadion avati Kastani puiesteel 1930. aasta mais.

Koos viimatiste staadioni renoveerimistöödega kerkis 2004. aastal selle kõrvale kaasaegne spordikompleks, kuhu kuuluvad muu hulgas kahe ja poole tuhande istekohaga, kõigile rahvusvahelistele nõuetele vastav spordihall ning kergejõustikumaneež.

2004. aastal loodi Rakvere linnale kuuluvate spordirajatiste haldamiseks  munitsipaalasutus Rakvere Spordikeskus, mis haldab täna kõiki Rakvere linna omanduses olevaid spordiobjekte - Spordihalli, linnastaadionit, kergejõustikumaneeži, Rahu halli, Võidu tänava kunstmurustaadionit, rahvaaia  tennisestaadionit, linnaosade spordiplatse ja Palermo terviseradasid.