作了“上海小姐”的王琦瑶被国民党要员“李主任”看中，从价格不菲的戒指作见面礼，到给王买“爱丽丝”公寓。王琦瑶甘心地做了他的“金丝雀”。然而在1948年，天下都乱了的时候，哪里容得下寂静安逸的生活呢？李主任出差时遇空难身亡，留给王琦瑶的，只是一段孤独的回忆与一只雕花小盒子。
解放了，身份尴尬的王琦瑶到外婆家避乱，但最终还是回到了上海。她开了个注射诊所，由此结识了自己一生惟一爱过的男人——康明逊，有了他的孩子。但这男人的爱到了最终，也不过是一句“对不起”。王琦瑶想过赖上有办法的萨沙，把孩子打掉，最终还是在程先生的照顾下生下了女儿薇薇。这样的相处也没能使两个人相爱，程先生黯然而去，文革时自尽。
王琦瑶熬过了文革，许多惨痛自不必说了。女儿薇薇却不领情，与母亲仇人似的，倒是好友王永红与王琦瑶很是投缘。风韵犹存的王琦瑶在年轻人充满怀旧情绪的聚会上欢欢喜喜、本本分分地扮演着“遗韵”的角色，恍惚又重温了繁华旖旎的旧梦。她没有意识到，过去的永远过去了，即便回来，也不再是她的。