Jõhvi Muusikakool avas oma uksed 1953.a detsembris Ahtme linnaosas, kus kooli kasutusse eraldati kaks klassiruumi vastvalminud keskkoolihoones. Õpetajatekaadri moodustasid kaks noort Tallinna Muusikakooli lõpetajat – direktor ja klaveriõpetaja Silva Nirk ning akordioni ja muusikateooria õpetaja Juta Bock – Orav. Sisseastumiseksamitega võeti kooli vastu 27 õpilast, neist 14 klaveri ja 13 akordioni erialale. 1954.a sügisest sai kooli kauaaegseks direktoriks Juta Orav.
1956.a kolis kool ümber Jõhvi. Õpilaste ja õpetajate arvu suurenedes tuli veel mitu korda asukohta vahetada, kuni 1970.a jõuti hoonesse, mis oli koolile koduks 35 aastat. 2005.a oktoobris sai muusikakool enda kasutusse uued ruumid vastvalminud Jõhvi kontserdimajas.
Kooli kasvades ja arenedes on aastate jooksul tulnud juurde uusi võimalusi erinevate pillide õppimiseks.
1958.a avati viiuliklass, 1959.a puhkpilliklass, 1969.a kitarriklass, 1970.a ettevalmistusklass, 1976.a tšello- ja kandleklass, 1988.a kooriklass vene õpilastele, 1996.a üldosakond eesti õpilastele, 2000.a löökpilliklass, 2006.a alustas tööd vabaõppe osakond, 2007.a täiskasvanute vabaõppe osakond ning mudilaste Laulu-mängukool.
Kui kool alustas 2 õpetaja ja 27 õpilasega, siis 30 tegutsemisaastaga oli õpetajate arv kasvanud juba 32 ning õpilaste arv 300-ni. Sellisele arvulisele tasemele jäi kool paljudeks aastateks, õpilaste arv on vahepeal ulatunud ka 350-ni.
Praegusel hetkel on õpilaste arv 170 ringis ning koolis töötab 21 pedagoogi. Koos administratsiooniga on töötajaid kokku 23.
Suurematest kollektiividest tegutsevad koolis Big Band, keelpilliansamblid, akordionistide orkester, kitarriansamblid, mudilaskoorid, poiste- ja lastekoor.
68 aasta jooksul on kooli lõpetanud 63 lendu 1114 lõpetajaga. Oma vilistlasi töötab praegu koolis 14.
Tuntumaid Jõhvi Muusikakooli vilistlasi on Jüri Tallinn, Anu Tallinn, Henn Rebane, Tõnu Raadik, Mare Puusepp, Margus Vaher, Iive Joamets, Kaupo Uibo, Anneli Tohver, Margit Tohver, Alfia Kamalova, Aleksandra Kamenskaja, Rain Rämmal.
Jõhvi Muusikakooli juhtkond läbi aegade:
Direktorid:
1953-1954 Silva Nirk
1954-1986 Juta Orav
1986-1990 Külli Rohioja
1990-2002 Anne Kaljuvee
2002- Margit Raag
Õppealajuhatajad:
1961-1982 Glory Kurvits
1982-1990 Anne Kaljuvee
1990-2001 Aime-Liidia Kiisla
2001-2002 Margit Raag
2002- Anneli Kasela