Pour Sy Baumgartner, 71 ans, auteur et professeur de philosophie, la vie n'a plus la même saveur depuis la mort de son épouse Anna, disparue neuf ans plus tôt. Suivant le fil de ses pensées, le roman se déploie en spirales de souvenirs et de réminiscences, de leur rencontre à New York en 1968 à leur relation passionnée quarante années durant, en passant par la jeunesse de Baumgartner à Newark et la vie de son père d'origine polonaise, couturier et révolutionnaire raté.