初识潘汉年，是在抗战爆发前夕，当时他任中共驻上海办事处主任。在冯雪峰陪同下，他和刘晓来到我的家里。他当时30多岁，已是久经战斗、革命经验丰富的人了。他那时从延安回来还不久，风尘仆仆，紫红色的脸，不象人们常说的“白面书生”的文化人，鼻梁上有几点浅浅的天花痕迹，中等身材，穿一套淡咖啡色的西装。潘、冯、刘和我爱人王尧山四人在我家相聚，主要是为商量工作的交接问题，哪些人和事由办事处管，哪些应划交上海地下党管，还有从狱中释放出来的同志，哪些可留在上海，哪些应介绍去延安或大后方等等。在我的印象中，他是个健谈而活泼的人，没有一般老资格党员的那种严谨的神情。
1942年7月，中央指示上海领导机关撤退到新四军地区去。行前，刘晓对王尧山说：“小开（潘汉年别名）也要撤退，他那里的交通线很安全。”不久，约11月初，刘晓通知王尧山和我，晚饭后到南京路四川路一家旅馆集中。我们如约到旅馆后，刘晓已开了两个房间，不多一会，张本也拎了只皮箱来了。次日黎明，我们四人分乘两辆三轮车到广东路一家商号，店堂里不见有什么货物，象是做转手生意，上海人称之为“申庄”的地方。天未大亮，电灯还亮着，由两个商人模样的人招待我们，说小开就要来的。不一会潘从店堂后面出来，似乎住在商号里过夜的，穿着一身时髦而合身的西装，外加秋季大衣，派头很大，俨然是个洋派经理的样子。他胖了些，也老了些，已不是五年前的样子了。我惊奇他怎会改变得这样快，几乎使我难以辨认了。
谈话间，已经有人叫来了两辆出租汽车，直驶北火车站，大家的行李都交给送行的商人代办托运手续。另一个穿长衫的商人模样的人把我们引进餐室。早餐后，乘上二等车厢去镇江。二等车厢很整洁，除我们五人外，全都空着，座位间的小桌上还有插着鲜花的小花瓶。沿途经过大站时，有几个腰佩指挥刀的日本军官上上下下地短途乘车。这样阔绰的旅行，是我生平第一次，比起两个月前我和刘晓、刘长胜去南京时，挤在做单帮生意的人一起，给日本宪兵推推撞撞的情景，真有天壤之别。
车到镇江时，有穿西装和长衫的两个人到车站接我们。到金山饭店后，尧山颇有点紧张地告诉我，说那个穿西装的现在是镇江特工站负责人，他就是中央通报过的叛徒，他在一次做交通工作时被捕叛变，要我当心。到镇江的第二天，潘告诉大家，有个任伪方军官的人要请我们吃饭，刘晓对是否应邀，有些犹豫，面有难色。潘说：“某某等人对国民党是很恨的，他们在严刑下被迫叛变，也明知跟汪精卫走没有前途，想为共产党效力，取得党的宽大。我在某某前只说你们是上海商人，跟我到新四军去做生意的。”这样，刘晓就同意去吃饭，我们则看刘晓的脸色行事，一起去了。汉年为了劝大家去吃饭，费了不少口舌，他还怕刘晓会担心花钱，特别说明这次费用都由对方开支。当时他说服我们这些不习惯用特殊手段去做工作的人的神态，至今想来还是十分感人的。酒菜馆离金山饭店不远，当我们跟着潘到酒菜馆二楼时，这个伪军官已等候在那里，他身穿伪军装，态度拘谨。席间我充当的角色是王太太，张本是张小姐。谈话内容始终是我们到达镇江后第一天下午游览金山寺，以及饭后将要去的竹林寺，有关政局的问题一句也未涉及。饭后即由穿西装的特工人员带我们去了竹林寺。
第三天一早，我们乘上一只去仪征的机帆船，船上各色人等都有，也有几个年轻的伪军。从这些伪军的和气态度来猜想，他们是当时镇江特工站负责人派来的。下午，到了仪征县城，住在一个很简陋的客栈里。仪征在敌伪时期是很萧条的，街上行人稀少。次日天蒙蒙亮，这个特工人员改穿了中装短衫，带来几个青年挑夫，到客栈挑着行李，陪同我们离开客栈。到城门口，只见城门还紧闭着，特工人员和守门的伪军交涉后，开了城门让我们一行十几人（连几个挑夫在内）出城。刚走出几步，城墙上的伪军就高声喊叫“站住！”大家停下来，转身抬头看城墙上的伪军，潘对伪军大声喊道：“和你们上面讲过了，还不知道吗？混蛋！”经这一训，伪军只得放下端着的步枪，不响了。潘的这一喊话，确使人相信他的神通广大。大家继续在泥土公路上前进，走了十几华里，向着一条小岔路上走，走不多远，迎面一排小山岗，两个小男孩探出头来叫“站住，不准动！”我们都一齐停步，服从命令，只派一个人上去讲话。看着这两个威严而又认真得可笑的孩子，大家都会心地微笑。潘上去对小孩说：你们罗炳辉师长的客人到了。于是他们同意我们爬上小山岗，另外两个孩子奔向村庄报信去了。我们走向一眼就能看清的第一个村庄，休息以后，由乡长招待吃了午饭。饭后特工人员带着挑夫匆匆忙忙转回去了。
我们一行由乡长和两个农民挑着行李去找区公所。路上刘晓一直在和乡长谈话，我们紧跟着走。走着走着，我发现潘掉队了，在后面步履艰难的样子，我停下来等他，他说：“真糟！皮鞋把脚磨出了血泡。”于是我陪着他慢慢地走，凡有岔道的地方，尧山在等着，指引方向。到一个小镇，找到了区公所，已是夕阳西下了。区公所铁将军把门，吃了个闭门羹。乡长把我们带到一处小饭铺里，要我们第二天再去找区公所，他就带着两个农民告辞了。
小饭铺的主人给我们做了晚餐。饭后，主人夫妇把两张方桌向土灶一边靠拢，空出一块地方，弄来些稻草，铺在地上。我把这地铺分成两块，大些的给潘、刘、王睡，我和张本合睡一块小的。在昏暗的菜油灯光下，一只狗在方桌下监视着我们。潘打开他的被卷，淡绿色的绸被面特别显眼，稻草粘在被面上，他屈着双膝去拣被面上的稻草，一面讲：“糟糕！糟糕！”（这是他的口头禅，一路上他总是这样讲）我说：“谁叫你带这么漂亮的被子呢？”大家睡下后，潘欲吹灭油灯，这时桌下的狗吠起来。女主人把狗赶出去，狗还不服气地不断扒抓门板。潘叹着气，不由说了声：“糟糕。”
正当我们睡得香甜的时候，一只老母猪咕咕咕地走出来，啃着地上的稻草，在潘的头前粗声粗气地咕噜起来。“哪来的这只猪？真糟糕！”透过门缝的亮光，看到潘一面赶猪，一面坐了起来，他的狼狈相使我不禁格格地笑了起来。笑声刚停，我自己的难题也来了，原来晚上天气突然变冷，我只穿一件单旗袍，一条短裤，冷得受不了，只得坐在被窝里不起来。潘笑着对我说：“冷，是吗？”我不作声，心里在嘀咕，不是说一到边区就可换上军装的吗？现在进入边区已有几十里路了，却连一个穿军装的新四军战士还没遇到。潘从他的手提皮箱里拿出条薄呢的西装裤说：“穿这裤子吧！”我还扭扭捏捏地不肯穿，大家说：“穿吧！穿吧！在这乡下兴许人们还以为这是城里人的时兴打扮哩！”我无可奈何地穿了，裤脚太长，潘还弯腰帮着把裤脚卷些起来。这时，他真象是大哥一样。
我们在新四军二师淮南驻地步行了三天，吃饭是有一顿没一顿的。有天夜里说是有敌情，一连换了两处房子，没睡好，但谁也不觉得苦。我们先找到当时的仪征县委书记李代耕，他把我们送到淮南区党委，找到了党委书记刘顺元，然后到上海撤退干部集中的顾家圩子。省委负责同志刘长胜、张登（即沙文汉）、刘宁一和许多同志都跑来欢迎我们，祝贺我们撤退的胜利，热烈情景颇为激动人心。这是1942年11月6日。为什么我记得这样清楚呢？因为第二天是十月革命节，顾家圩子开了庆祝会，主持会议的是大王同志（学生方面的），开头用俄语叫了声同志们，然后庆祝斯大林格勒反攻的胜利。潘在顾家圩子住了一个时期。
1943年9月我第二次回淮南时，尧山调华中局组织部工作，驻大王庄。这是军直政治部的驻地，潘住在我们隔壁的房子里，有空的时候，总是听他讲山海经，他的山海经特多，听来使人入神。
有一天，潘汉年的交通员从上海带来一位女同志，她身体结实而丰满，中等个子，相貌一般，穿天蓝色布旗袍，与潘隔张小桌面对面坐着，用广东话交谈。华中局组织部长曹山以为是老潘的部下来了，要我派个通讯员送她到招待所去住宿，我说慢慢看情况再说吧，老潘不是已和原配夫人离婚了吗？后来才知道，她就是董慧，在老潘处住了半个月，天天学习整风文件。那时干部们都各有一块自己开垦出来的自留地，种出来的蔬菜交给伙房，这叫作生产自给。降霜期到了，董慧抢着收菜，翻晒后送到伙房去加工（这是冬季的主菜），得到了大家的称赞。
董慧是香港名门之女，其父董仲维是香港总商会会长，著名实业家。董慧1918年出生，1937年从广州去北京报考大学，适遇七七事变，充满抗战热情的董慧，不愿进大学而宁愿投奔延安。在延安马列学院，她曾听过潘汉年的报告。1939年董慧被派往香港，在潘汉年的领导下从事秘密工作。董慧对潘汉年既尊敬又崇拜，潘也暗暗地爱上了比自己小12岁的董慧。在了解了潘在婚姻与感情中的不幸与苦闷后，同情与爱慕使他俩结合了。但时间长了，董慧对这非正常的关系感到无法忍受，潘汉年自己也很尴尬。如今，这一烦恼的解决，出于他俩的意料，真是天作之合啊！
董慧要回上海去了，潘亲自送她直到仪扬边区，眼看着交通员带董慧跨过了封锁线，才依依不舍地回到军部。当他独处寒室，情思董慧时，作《寒风曲》一首，诗云：“寒风吹晓月，大道锁青霜。马蹄声声得，方寸益惶惶。此别伤心处，无言泪几行。”
我和董慧做了半个多月的邻居，深感她朴实厚道、思想单纯、心地善良、劳动积极、作风正派。
潘汉年继续留在华中局任情报部长，主要负责上海、江苏敌占区的情报工作，战绩累累。他在参加华中局甄别委员会工作时，帮助弄清了不少案件，特别是扬帆被康生诬陷为大特务头子一案，也是在他的过问下平反的。这期间，他也受到挫折，在黄花塘事件中，饶漱石整陈毅，潘对此不满，在高级干部中为陈呜不平，这样他自己也被整成“小广播”、“自由主义”。我很为他担心，心想老潘就是心直口快，讲话不择对象，要知道自己人中，也有人爱搞小动作的哟！
1946年8月2日，国民党飞机轰炸延安，全面内战已不可避免，周恩来安排潘汉年和夏衍撤离上海，于是潘、夏和董慧同乘一架飞机抵达香港。
此时的香港表面上是一个自由港，但各情报机构密布，情况十分复杂。潘汉年有董慧为他所作的社会掩护和经济援助，使他在香港的活动十分活跃和顺利。家务均由董慧操持，如买菜和下山挑水等。董慧的父亲明知女儿和潘的关系已非一般，但没有正式结婚，这在香港上层社会人士眼里是很丢面子的。于是在她父亲的主持下，潘、董举行了盛大的结婚典礼，时年董慧已29岁。
潘汉年在香港一手抓情报，一手抓统战，他在香港工商界和已解放的城市如烟台、大连、天津的通航贸易上起了很大的作用。党中央发出召开新政治协商会议的号召后，大批民主党派领导人，工商、文化界人士，还有起义的国民党军长、西北军的代表，至少在350人以上，都要从大陆各地转道香港，再租船把他们送往青岛、塘沽等地。此事历时一年多，潘汉年在港英当局警戒森严，国民党特务云集的困难情况下，没有一次失误。在政治上为党作出了突出的贡献。用他的老搭档夏衍同志的话说：“潘汉年在香港，两年做了四五年的工作。”
淮海战役尚未结束，中央就决定由陈毅担任未来的上海市市长。1949年5月11日晚，周恩来在北平约见潘汉年，他说：“中央决定你担任上海市常务副市长，分管政法、统战工作，你要当好陈毅同志的助手，做好各方面的工作，使中国这个第一大城市能够正常运转下去。”1949年5月23日，潘汉年抵达中共中央华东局驻扎地丹阳，在这里，集中了一支数以千计的干部队伍，他们正紧张地做着接管上海的准备工作。
次日，潘汉年被通知去陈毅处开会，他换上了刚发给他的一套新军装，又将一支新手枪挂在腰间，这虽给他增添了几分军人的威武，但文人气质却并无多少改变。陈毅在会上重申了各项入城纪律和规定，并宣布接管方面的具体事情一律听潘副市长的指示。
解放后，作为一个管理大上海的常务副市长，潘汉年更是日理万机。当时，潘汉年和刘长胜（市委副书记）合住在丁香花园的一幢大房子里。晚饭后，大家都在大院里散步聊天，每到晚上和休假日，潘副市长家经常是高朋满座，好友如云，他们多数是工商界、文艺界、民主人士中的老熟人、老朋友，有些是较亲近的部下。从大家毫无顾虑的高谈阔论中，他得到了送上门来的许多信息，也借此联系了群众。人们觉得他谈吐自然，没有官架子，仍是从前的老潘，但大家感到不足的是丁香花园的门不好进，大门口有传达室，找人先要在登记簿上登记，然后打电话通知，因为潘汉年是一级保卫对象。
大概是出于“不方便”的原因吧，1952年，潘汉年搬到康平路居住，我去看他，只要按一下门铃，就被人领进潘的会客室。这时，常常仍有客人围着潘谈天说地，他见到我，站起来问；“有事么？”我点点头，不一会客人们就知趣地走了。我向他反映妇女问题，他仔细地听，没有丝毫首长的架势，那亲切的语言至今记忆犹新。如宣传新婚姻法，我们在调查中发现有些包工头、恶霸、流氓都有大小老婆，有的甚至有好几个。有些女工，不但被霸占了，还要把工钱全交给霸头，她们没有人身自由，新婚姻法的宣传对她们也“不起作用”。潘汉年说：“这些流氓、恶霸都是社会渣滓，只有通过社会镇反，才能把他们铲除掉。”果然不久便开始了社会镇反，那些被压在最底层的妇女纷纷起来揭发、控诉，人民政府把她们从火坑里救了出来。
在“五反”时为了避开职工和资方的正面冲突，集中了有代表性的大户303户，在和平饭店交待“五毒”。市妇联重点抓了303户的家属工作，要她们帮助丈夫过好“五反”这一关。对此我向潘汉年作了汇报。潘听了大为赞赏，他说：“正合我意，要不，白天斗，夜里回到家里也挨斗，谁能吃得消？这是要出人命的。”潘自己以华东局统战部副部长的身份，带着一批干部整天泡在和平饭店里，“五反”结束时，303户都被鉴定为守法户或基本守法户，他们皆大欢喜。
潘汉年对上海的过去和现在太了解太熟悉了，所以工作起来得心应手，做报告谈问题也使人感到贴切。他经常衣冠楚楚，身着西装，举止潇洒，为此“三反”（反贪污、反浪费、反官僚主义）开始时，我真为他担忧。
市级机关的“三反”开始了，市领导都必须“洗澡”、“下楼”才能轻装上阵。市委常委扩大会议上，潘汉年身穿毕挺的人民装，坐在第一排，不断地抽着三五牌香烟。我心想糟了，要是潘“下不了楼”，接踵而来的运动将由谁来领导？轮到潘汉年“交待”了，他笑眯眯地说：“官僚主义在我身上是严重的，忙忙碌碌的事务主义，也就是官僚主义。至于贪污浪费嘛，我无帐可算，因为我从来也没有领过工资，也不管经费开支。我到市政府办公，公务员叫我去吃饭，我就去吃。我的吃、住、行都是公家包了。至于我穿的一身衣服、鞋袜，抽的三五牌香烟，都是我老婆从她家里弄来的，我也没问过这些东西值多少钱。”就这样，这位市委第三书记轻轻松松地“下了楼”。因为大家都知道，董慧是香港银行家的女儿，从1939年调到上海情报系统工作后，就在她父亲设在上海的分行里当职员，党的大量活动经费，都是以董慧的名义，在银行里立的帐户，并由她担保，需要时可以随时支取。在这方面，她是有特殊贡献的。解放后，董慧一直在市委统战部工作，勤勤恳恳，默默无闻地做着各种具体而琐碎的事情，从不居功自傲，也不以副市长夫人的身份突出自己，是个朴朴实实的人。她也是市妇联的常委，每当常委讨论时，她常常是首先发言，与别人有不同意见时，她从不在会上和人争论，而是会后个别向我提出意见，她这样做是为了避免有人认为副市长夫人的话“有来头”。
1955年3月下旬，那天是中苏友好大厦建馆纪念日，上午9时许，潘汉年到会剪彩后，我和他一起步入展馆大厅，他对我说，今天下午他就要去北京开会。可万万没有想到，这竟是我们最后的诀别。