Ybl Miklós kései palotaépítkezései közé számítják a Károlyi György által megrendelt és 1875-ben elkészült kétemeletes sarokházat. A feladat nem volt egyszerű, mert a telek meglehetősen szabálytalan alapterületű volt. Beépítését Ybl úgy oldotta meg, hogy a bérház a forgalmasabb külvárosi utcába, míg a palota csendesebb Erkel utcába került úgy, hogy ezen a részen a második emeletre szintén bérlakásokat tervezett. Két külön bejárata van az épületnek, mégis teljes egységet képez.
Az épület díszudvara olaszos jellegű, gazdagon kiképzett, fakockaburkolattal ellátott volt. A földszinten pilléres, az emeleten oszlopos loggia található. Az első emeleten, az oszlopok fölött címerpajzsot tartó oroszlánfők láthatók szalagokkal, a másodikon korongok. A címerpajzsban a Károlyi család legkorábbi címerábrázolásából származó, szívet karmában tartó karvaly látható.
Az Erkel utcai oldalon a telek mélysége még egy udvar kialakítását tette lehetővé a díszudvar mögött. Ez az udvar csak három oldalán körülépített és a Ráday utcai bérháztömbhöz hasonlóan függőfolyosós, szerényebb kivitelű.
