Hong Kong, 1962. M. et Mme Chow emmenagent dans leur nouvel appartement le meme jour que leurs voisins, M. et Mme Chan. Sans comprendre comment cela a commence, Chow Mo-wan et Chan Li-zhen apprennent que leurs epoux respectifs ont une liaison. Cette decouverte les choque mais les rapproche. Ils se voient de plus en plus souvent mais le voisinage commence a s'en apercevoir. Il semble n'y avoir aucune possibilite pour eux de vivre une relation amoureuse. Mais la retenue, les reserves emotionnelles de Mme Chan hantent M. Chow, qui sent ses sentiments changer.