如今因为郭琇同为同年，他来探望的用意，一则是拉拢交情；再则是看不惯徐乾学和高士奇的行径，有意揭发，希望郭琇能够以御史的身分，上奏严劾。
  “‘四方玉帛归东海，万国金珠贡淡人’这两句话，我也听见过。”郭琇问道：“我就不明白，高淡人有何神通？能这样子得皇上的信任！”
  “这话说来就长了。要从他的出身谈起——。”
  淡人是高士奇的别号，一字江村。他跟陆陇其同乡，籍隶浙江平湖，但又自称杭州人。
  他的出身不高，而志向甚高，在康熙初年，自己挑了一担行李，到京城里去找机会。天子脚下，万人如海，要找机会，真如大海捞针；兼以“长安居，大不易”，结果流落在报国寺，卖字糊口。
  有个人叫祖泽深，是明朝的总兵，大渡河之役，投降了清太宗的祖大寿的儿子，偶然逛报国寺，看高士奇写得一笔好字；不由得想起一件事——索额图门下一个得势有权的家人，要用一个读书人，替他料理文字，顺便教他的儿子读书。有点骨气的读书人，岂肯做奴仆的门客？所以祖泽深虽“受人之托”，却一直不能“忠人之事”，这时看到高士奇这般憔悴沦落，认为不妨试探一下。
  高士奇心想，“宰相家人七品官”，做这个西席也可以；而且索额图是椒房贵戚，声势煊赫，也许就此得能搭上了线，青云直上，因而欣然许诺。
  索额图不好亲近文士，与明珠门下，大异其趣。因此，有一天要写封要紧的信，竟一时无人可找；高士奇的东主，索额图的奴才，便把他荐了上去。这一下便升了级，成为索额图的门客，相府里上上下下都称他“高相公”。
  “高相公”善于做低服小，机巧灵活；索额图便把他举荐到御前，做南书房翰林，成了天子的文学侍从之臣。
  皇帝虽然崇信理学，也懂得西洋的天算之学，但文采方面，不过尔尔；却好高士奇也是半瓶醋，跟皇帝谈起来，程度深浅相似，趣味亦相仿佛，所以十分投机，加上他那一笔好字，着实可爱，便颇受信任。
  高士奇事君，得个“小”字诀，皇帝只要找他，他一定在；皇帝问到什么，他一定能够回答——高士奇不是什么博学高才，他另有诀窍，每天一早进宫，先找在御前当差的小太监来问，皇帝昨天看了些什么书，说了些什么话，讲一件便送金豆一粒，多讲多送，往往一袋子金豆，到晚上倾囊而出。因为如此，皇帝有所垂询，他早有准备；同时皇帝的喜怒好恶，他亦无不了解，曲曲应付，自然合拍，成了皇帝左右少不得的一个侍从。
  他在南书房的职司是缮写密谕，加上他从小太监那里所得到的有关皇帝的起居动向，因此他是最了解皇帝意旨的人，这就成了高士奇招权纳贿的凭借。祸福之间，往往决定于消息的灵通与否，高士奇在这方面独擅胜场，所以他用“门路独真”的话作招摇——这话不假，走别人的门路，力量达不达得到御前，大成疑问，亦无可究诘，只有高士奇，随时可以找到跟皇帝进言的机会；当然他是用旁敲侧击，迂回婉转的方式，使皇帝在不知不觉中听了他的话。
  高士奇是很得意了，家赀巨万，在老家置了千顷良田；杭州西溪盖了一座很大的别墅。皇帝不论巡幸何处，都要带着他走，既富且贵，尊荣无比，但有两件事美中不足。一件是高士奇虽蒙特赐“同博学弘词试”而成为翰林，人值南书房，而肚子里“火烛小心”，翰林任缮写之事，岂不等于乡试会试阁中的“誊录生”？为此他发愤要著书，一本叫做《左传纪事本末》，是东抄西袭，杂凑成书的东西，一本叫做《天禄识余》，是因为他能看到深藏禁中，为外间所难寓目的秘笈，想卖弄炫耀一番，结果弄得笑话百出，前人已经发明考证过的，他自以为独得之秘，沾沾自喜。
  此外，又花钱请人做了几本书，都是关于《左传》的，因而他便以专治《左传》，自鸣得意。深于世故的，不过暗中冷笑；年少气盛，而又才大如海像朱彝尊这样的人，就免不了要说话了。
  朱彝尊自己史馆外放江南副主考，回京复命不久，即在翰林院供职；当时鸿博四布衣，李因笃不受职而归，便成了三布衣，翰林院中凡有重要文字，都归三布衣起草，名重一时，不兔遭忌。以后朱彝尊奉旨人值南书房，与高士奇成为同事，相形之下，好的愈显得好，不行的愈显得不行，高士奇便把他看成了眼中钉。
  朱彝尊当然也看不起他，做了两首“咏史”的七绝，作为讽刺：
  汉皇将将屈群雄，心许淮阴国士风，不分后来输绛灌，名高一十八元功。
  海角文章有定称，南来庾信北徐陵，谁知著作修文殿，物论翻归祖孝征。
  第一首借韩信的特受知遇，比作高士奇的得宠，倒还没有什么。第二首把他比作北齐的祖珽，便使得高士奇恨之切骨了，因为史家评祖珽：“珽之行事，小人之尤，言之污口。”
  史传说祖珽“不能廉慎守道，大有受纳，丰于财产”，与高士奇颇为相像；最贴切的是，祖珽有本著作，叫做《修文殿御览》，是由一本名为“遍略”的书，剽窃而来，与高士奇的托人著书，约略相似，巧不可言。
  尽管有人说：以祖、高相提并论，对祖珽来说是委屈的。而高士奇依然切齿于朱彝尊，据李光地告诉郭琇，高士奇曾经跟他说：“像这样的人，岂独不可接近天子，连翰林都做不得！”
  李光地如此回答他：“像这样的人不能做翰林，还有什么人可做？朱彝尊还算是老成人。”
  高士奇一听这话，大为生气，将一只手炉扔在地上，大声说道：“什么老成人！还说他老成？我断不饶他。”
  于是，不久便有翰林院掌院学士牛钮参劾朱彝尊的案子发生。
  这当然也要怪他自己失于检点。朱彝尊那时正在写一部叫做《瀛洲道古录》的书，因为四方所进的秘籍甚多，在他的那部书中，需要引证其中的资料，所以私自带了一个书手王纶，冒充听差，在内廷抄录那些秘籍。牛钮受了高士奇的指使，参劾他泄漏机密，交部议处，降官一级，高士奇总算出了一口气。
  另一件使高士奇难堪的事，是索额图对他的态度。索额图的性格，本就出名的粗暴；又以为高士奇是自己一手提拔，所以对他更不客气。一二品大臣与高士奇称兄道弟，甚至递门生帖子的不知多少；而索额图依旧当他门下厮养，见了面，让高士奇跪着说话，从不给他一个座位。索家的家人，亦仍用旧时的称呼，叫他“高相公！”
  这就是平时无事的情形，如果高士奇做了什么令索额图不满的事，索额图会把他喊了来，在院子里罚跪，不管有没有人在，拍桌大骂，一点不留余地，因此，高士奇亦颇忘旧思，打算着推倒索额图。
  由此一念，他便改换了方向，本来与明珠落落寡合，一下子变得很接近。索额图与明珠是势不两立的政敌，看高士奇倒向对方，背叛自己，怒不可遏，派人把他找了来问话。
  时方盛暑，索额图光着上半身坐在竹榻上，高士奇刚刚磕头(奇qＩsuu.cＯm書)请安，还来不及说话，索额国已经发作，这一顿骂，声震屋瓦，厚及高士奇的父母妻子。而被骂的人不敢回嘴，唯有连连磕头。
  “有个姓曹的总兵，竟因此引疾而归—一。”
  “这——，”郭琇诧异，打断李光地的说话：“何故？”
  “曹总兵进京述职，正在拜访索相，适逢其会地目睹其事。他心里在想：高士奇这等不堪的情状，落入自己眼中，事后一定会迁怒于人，不如躲避，免得受他陷害，所以引疾而归。”
  “原来如此。”郭琇问道：“照此说来，高江村已成了明珠一党了？”
  “不然。”李光地答道，“高谈人已经自成一党，不过与明珠相互为呼应接引而已。”
  郭琇微吃一惊：“如此不学无术的小人，居然亦自成一党？”
  “不学有之，说他无术，”李光地摇着头说，“华野，你小觑了此人。”
  “喔，有党必有党羽，是些什么人？”
  “第一死党是王鸿绪——。”
  李光地把高士奇的一党，王鸿绪和他的胞兄、与汤斌同为博学弘词出身的王瑞龄，以及浙江“海宁陈家”的陈元龙叔侄等人的底细，和盘托出。郭琇都仔细记着，打算找机会先拿高士奇开刀。
  存了这个心思，郭琇便要多打听一下，“我还要请教，”他问，“高淡人是用什么法子敛财？”
  “这就要靠他那班党羽，四处招摇，将高淡人说得在皇上面前，言听计从，说一不二，哄吓诈骗，无所不至。”李光地停了一下，又问：“华野，‘平安钱’这个名目，你听见过没有？”
  “听见过，那不是明相定下的规矩吗？”
  “高淡人、徐健庵无不如此；都是巨门如市，馈遗不绝。此辈成事不足，败事有余，外官不能不割一块心头肉，买得‘平安’二字。”
  “照这样看起来，潜庵先生在江苏，只怕难保其位了！”
  “着！”李光地大点其头：“潜庵先生的文章道德，并时无两；只是结怨亦甚深，想来你总有所闻。”
  “不就是为了狮子大开口，要几十万银子，没有理他吗？”
  “这是其一，还多得很。最近苏州有人来，谈起一件新闻：潜庵先生做得极正当，然而又结怨了小人——。”
  李光地所谈的“新闻”，是关于明珠的一个家人的。