Gradska knjižnica je slijednica Čitaonice pod imenom „Ilirskog čitanja društvo “koja je osnovana 01. 03.1838. g. u drvenoj baroknoj kući Dragutina Klobučarića, na uglu tada „Kirijaške" (Šebetićeve) i Ulice sv. Barbare (Preradovićeve) koja je izgorjela u požaru 1866. g.
Nakon zabrane ilirskog imena 1843. g. postaje Karlovačka narodna čitaonica, a 1847. seli u Radićevu 2, kuću Mije Krešića.
Od 1850. - 1893. smještena je u Haulikovoj 1, u obnovljenoj i od grada kupljenoj Reicherzerovoj kući, kasnije zgradi „Grad Zagreb“ (danas Zatvor).
Godine 1893. seli u novo izgrađeni „Zorin – dom“. Nakon II. svj. rata fond od 6500 knjiga sređuje knjižničar Tomislav Jesenko (Klc.1895. - 1951.) i otvara za javnost 1948. g.
Od 1952. - 1971. g. Gradska knjižnica se nalazi u Gundulićevoj 9, danas PBZ, potom u Banjavčićevoj 8 (kući Anice Ravnikar).
Odjel za djecu izdvojen je 1956. g., a 1963. otvoren je ogranak na Švarči i Glazbeni odjel.
Ime Ivana Gorana Kovačića dobiva 1963. g.
U novu zgradu u Ulici Ljudevita Šestića 1, prvu u Hrvatskoj namjenski građenu za potrebe knjižnice useljava se 1976. g.
Raspolaže s fondom od oko 182.000 svezaka knjiga, 11.350 svezaka periodike, 8700 različitih nosača zvuka, 754 primjeraka audiovizualne građe, 150 CD ROM - ova (podaci iz 2008. g., Karlovački Leksikon).
Priredila Biserka Fabac