Sporti tehti praeguse spordikeskuse koha peal Rakveres juba 19. sajandi lõpus, staadion avati Kastani puiesteel 1930. aasta mais.

Koos viimatiste staadioni renoveerimistöödega kerkis 2004. aastal selle kõrvale kaasaegne spordikompleks, kuhu kuuluvad muu hulgas kahe ja poole tuhande istekohaga, kõigile rahvusvahelistele nõuetele vastav spordihall ning kergejõustikumaneež.

2004. aastal loodi Rakvere linnale kuuluvate spordirajatiste haldamiseks  munitsipaalasutus Rakvere Spordikeskus, mis täna haldab kõiki Rakvere linna omanduses spordiobjekte (lisaks spordihallile ja staadionile  ka Rahu halli, kunstmurukattega jalgpallistaadioni Võidu tänaval, rahvaaias asuvat tennisestaadioni, linnaosades paiknevaid spordiplatse, terviseradasid Palermo linnaosas jne.),