Tzv. Žitnu kuću podiže za vrijeme francuske okupacije vlastitim novcem 1813. g., trgovac žitom Josip Šporer, na mjestu danas nepostojeće kuće veleposjednika i narodnog zastupnika Matije pl. Sladovića. U nekadašnjoj Sladovićevoj kući bila je smještena glavna „tridesetnica“ (carinski ured) uvedena prema odredbi carice Marije Terezije 5. rujna 1777. Žitna kuća izgrađena je od čvrstog materijala jer Francuzi nisu priznavali austrijske zakone o izgradnji kuća u Predgrađu „na revers“, a bila je jedna od najljepših u Karlovcu. Josip Šporer radi privrženosti novoj vladi postaje maire (gradonačelnik) grada, bio je član slobodnozidarske lože a stekao je znatan imetak u poslu s vojnim vlastima. U kući je mladost proveo njegov sin Juraj Matija, inače rođen u roditeljskoj kući na Dubovcu, koja kasnije postaje župni dvor dubovačke župe. Josipa Šporera napušta sreća jedne noći 1813. godine tihim odlaskom Francuza iz grada ( poraz Napoleona u trodnevnoj „Bitki naroda“ kraj Leipziga 16. - 19. listopada 1813.) Vlast ponovno preuzima Austrija a Josip dolazi u nemilost povratkom „stare“ vlasti, napušta trgovačke poslove, prodaje kuću „Direkciji Lujzinske ceste“ koja tu smješta svoju upravu, živi od stečene imovine i odlazi iz Karlovca. „Svjetlo“ 7. kolovoza 1884. piše da je „Pred nekoliko dana nemila smrt otela vriedna i zaslužna muža, najstarija književnika hrvatskoga dra Matiju Jurja Šporera“ (sina Josipa Šporera). „On preminu u Rieci u dičnoj visokoj starosti u 91. godini dobe svoje. Vriedan otac imao i vriedna sina, koji oženiv se u Karlovcu zapalo ga poći kao carsko kraljevskog okružnog fizika u Dubrovnik i Spljet, gdje mu se zaista izpunila želja, koju je uviek u srdcu svome gojio, da se naime sunča na sjajnom suncu klasične nam književnosti pjesnika Osmana i Kristiade. Tu je on srkao na svježem izvoru slovinske vile čarobne napitke, koji su ga oduševljavali na vlastiti nemirni književni rad, tako da smo se mi uviek ponosili njime za njegova života, a poslije smrti evo da ćemo uspomenu i slavu pokojnika okruniti viencem slave i poštenja.“ Poslije „Direkcije“ čija se početna slova „dan danas (piše „Svjetlo“ 7. kolovoza 1884.) vide izdjelana od željeza na doksatu kuće“, u zgradu se smješta „Karlovačka štedionica“ utemeljena 1872. godine na inicijativu modruš - potočkoga vlastelina Matije pl. Sladovića i karlovačkog gradonačelnika dr. Ivana Šimunića. Kao predsjednici štedionice izmijenili su se barun Milan Vranyczany, Franjo pl. Türk i Janko Modrušan. „Svrha je Gradske štedionice s jedne strane, da svakom, a osobito siromašnijem dijelu pučanstva omogući svoje prištednje sigurno i koristno ulagati i do što jeftinije vjeresije doći, a s druge strane i da raspoloživim čistim poslovnim dobitkom promiče opće korisne i dobrotvorne svrhe Gradske općine.“ Posljednji predsjednik u nizu, 1896. godine postaje bankar i organizator mnogih javnih zabava u gradu, „Šene Karl“ - Dragutin Herman koji štedionicu pogrešnim ulaganjima dovodi 1914. do kraha. Osuđen je na dugogodišnju robiju. Kasnije je tu bila smještena „Hrvatska sveopća kreditna banka Zagreb“. Od 1919. – 1941. godine u posjedu kuće je veletrgovac i tvorničar Josip Rendeli, vlasnik tvornice parketa, sanduka i cementne robe na adresi Banija 101. On 24. srpnja 1919. dobiva gradjevnu dozvolu (broj spisa 7743/1919) za provedbu kanalizacije u njegovoj kući Zrinjski trg 2, pod uvjetom da već sada priredi priključak na buduću gradsku kanalizaciju (koja se uvodila 1931.), te da „nove prozore koje umeće u zidje prema kući Reiss izvede da se unutra otvaraju, dočim prozore budućih skladišta treba providiti ukusnim željeznim rešetkama.“ Godine 1922. dobiva dozvolu da na svojoj kući Zrinjski trg 23 „izmijeni dosadašnje krovno pokrivalo od željeznog lima sa azbestnim škriljevcem „Koranit“ uz uvjet da loše roženice izmijeni novima.“ U vrijeme kad je adresa žitne kuće bila Zrinjski trg 23, Ernest Eisler pod nazivom „Promet“ ima veleprodaju svakovrsne robe, monopolske soli i žitarica: kukuruza, zobi, posija i graha. Pregradnjom hodnika najmoprimac i mesarski obrtnik Kovačević Viktor 1923. uređuje mesnicu. Kuća mijenja vanjski izgled u prizemlju kad Rendeli 1938. dobiva dozvolu za adaptaciju jednog dijela prizemlja, mijenja „izgled vanjskih izloga i vrata koji ima biti jednak onima postojećim (ranije promijenjenim ) na istoj fronti.“ (Josip Rendeli 1940-ih napušta Karlovac.) Poslije nacionalizacije u zgradi su bile prodavaonice željezne, metalne i tehničke robe „Tehnomerkur“ i „Tekstil“. Zbog neodržavanja i dotrajalosti rušenje „rugla grada“počinje 8. listopada 2007., o čemu piše „Jutarnji list“: „u trenutku rušenja zgrade tutnjava strojeva i prašina urušenih zidova iz kuće je istjerala beskućnika koji je pukim slučajem sačuvao živu glavu.“ Na mjestu stare, gradnju nove kuće 2010. g. počinje tvrtka „Lana Commerce“ karlovačkog poduzetnika Nikole Hanžela u što je uloženo više od pet milijuna eura (KAportal 12/12/2011). Tvornica „Holcim“ d.o.o za to je isporučila 2620 kubnih metara betona. Svečano otvorenje dogodilo se 16. 12. 2011. Za sada je u podrumu zgrade otvoren prodajni prostor „Konzuma“, a u razizemlju „Splitska banka“, kafić i hrvatska lutrija. Ime „Žitna kuća“ ustvari je skraćenica od „kuća na žitnom trgu“ a udomaćilo se poslije 1980 -ih. Pravnik i publicist Radovan Radovinović kaže da se ime prvi puta pojavilo u „Karlovačkom tjedniku“ 24. 03. 1983. jer je ispod fotografije pisalo kako je „žitna kuća“ mjesto gdje se većim dijelom 19. st. trgovalo žitom. (Biserka Fabac)