Roman pripoveduje zgodbo o dveh prijateljih, njunih družinah, ženskah v njunem življenju, njunih sinovih in o tem, kako odnosi med obema družinama postanejo napeti, najprej zaradi tragedije in nato zaradi dvoličnosti, ki počasi prihaja na površje.

Osrčje romana Kar sem ljubil (2003) je dolgoletno prijateljstvo med umetnostnim zgodovinarjem Leom Hertzbergom, pripovedovalcem romana, in likovnim umetnikom Billom Wechslerjem, ki zaznamuje tudi njuni družini. Kar sem ljubil je zgodba o ljubezni v njenih mnogih pojavnih oblikah – prijateljski, erotični, seksualni, starševski, otroški, o ljubezni do umetnosti; je pa tudi roman o duševnih težavah, izgubi, žalosti in bolečini z elementi kriminalne zgodbe. Siri Hustvedt svojega najuspešnejšega romana ni naselila samo z izjemno natančno izrisanimi in prepričljivimi, pač pa tudi z umetniškimi podobami, ki pred bralcem zaživijo, kot da ne bi bile plod pisateljičine domišljije. In res se navezujejo na mnoga stvarna dejstva in pojave iz življenja v sodobnem New Yorku.