這是一個關于遷徙的愛情的故事。1962年的香港，報社主編周慕云（梁朝偉飾）和太太搬進了一幢公寓，與他們同時搬來的還有另一對年輕的夫婦——蘇麗珍（張曼玉）和她丈夫。蘇麗珍在一家貿易公司當秘書，而她的丈夫由于工作關系，常常出差。周慕云的妻子和蘇麗珍的丈夫一樣，經常不在家，于是獨自留守的周慕云和蘇麗珍便成了房東太太麻將桌的常客。在逐漸的交往中，周慕云和蘇麗珍發現對方有許多與自己共同的興趣和愛好，比如看武俠小說等等，相互之間也變得越來越熟悉。直至有一天，兩人突然發現各自的另一半原來早已成為了一對婚外戀的主角，周慕云和蘇麗珍不得不共同來面對這個現實。兩顆受傷的心小心翼翼、難舍難分，卻最終化成了無緣的傷痛。
那是一種難堪的相對。她一直羞低著頭，給他一個接近的機會。 他沒有勇氣接近。 她掉轉身，走了。
身處遙遠的異國，周慕云仍無法忘記過去與蘇麗珍之間的種種。如果當天她真的答應跟他走，他們現在會不會還在一起？抑或注定分離，各分東西？
也許有人會說，自從他們在同一天搬進同一層樓房，成為門戶比鄰的鄰居，命咭褜⑺麄兎旁谝黄鹆恕６�當他們發現彼此的配偶間竟發生了不可告人的關系的時候，在他們之間更像是牽連著無形的線，要割也割不斷。
至今他還能看見那一群漂蕩的身影，剎那的相聚。房東夫婦們、自己的妻子周太太、陳先生、陳太太---蘇麗珍。樓梯間，走廊上，與她擦肩而過，或微笑寒暄，又何曾想過她那素靜的面容，明媚的體態，竟會成為他日深刻的思念。他們在配偶背叛的陰影下，各懷心事地靠近。那是個一切變得飄搖不定、難堪的所在。有時她彷佛倚賴，又突然叛離。他想要占據，但缺乏勇氣。想要忤逆，但是面對著她那莊重的神色，他感到說不出來的情怯。
見不著時，愈來愈想。那些背著人偷來的、幽室相守的時光，是多么和煦而平靜。那些久候不至的苦等，明知是她卻聽不見聲音的電話，又是多么的熾熱和辛烈。直到他作出了遠行的決定，才向她道出真心的說話。此時此刻，他不禁想到他真正背叛了的人，也許是她。一切都退去了，香港、1962年、那個陳舊的秘密。不管當初是為了報復或色誘，抑或單純的慰藉，到最后，只剩下眷顧。