汤斌一向在口才上吃亏，当时讷讷然无法出口，只有连声答道：“臣不敢！臣不敢！”
  由于种种拂过，汤斌的健康，便大受影响—一他平日自奉过于节俭，营养不足，所以身体一坏，衰象毕陈，对辅导东宫之任，便有力不从心之苦。
  为此，汤斌再次荐耿介自代。皇帝准奏，特召耿介到京，授职小詹事；由于汤斌的牵引保荐的奏疏中，说他“赋质刚方，践履笃实。家居淡泊，潜心经传，学有渊源”，所以皇帝亦甚看重耿介，召见以后，并且面谕：“你写一幅字来我看。”
  这不是要看耿介的书法，是要看他为学的心得，耿介写了一幅正楷，自己所撰的辞句是：
  孔门言仁、言孝，盖仁孝一理，仁者孝之本体；孝者仁之发用，不言仁无以见孝之广大；不言孝无以见仁之切实。
  这四十三个字，阐明孝出于仁，表里相通的道理，简明扼要，皇帝颇为欣赏，特书“存诚”二大字赐耿介，作为心许的表示。
  但是，皇帝心许，太子却不“欣赏”这位师傅。耿介上了年纪，步履蹒跚，言语亦不甚利落；而且乡居太久，形质仪容，朴实简陋，年纪正轻，活泼好动的太子，自然觉得不对劲。当时朝中大小官员，也看不起这位乡下土老儿的师傅，往往就在他背后讪笑戏侮，以致耿介大为不安，颇有悔此一行之感。
  对汤斌怀着成见的人，攻击耿介，自是不在话下，但比较公正的旁观之论，亦都觉得汤斌保荐耿介，颇欠考虑。最明白的一点是，汤斌在荐疏中说耿介“年逾六旬，精力尚健”，即非事实。
  卅二年不见，耿介已大非昔比，耳朵聋了，眼睛花了，步履瞒珊，老态龙钟，即令寸心湛然，学问深厚，见解因年龄的增长而愈见超卓，但可以为一般士子的师长，却不宜负辅导十四岁的皇太子的重任；因为皇太子到底还是一个少年，宜乎有个精力充沛，行动轻捷，言语便络，能够庄谐并作，因势利导来启发少年心性，如郭琇那样的人，才是适当的人选。
  耿介当然也有自知之明，曾经具呈吏部，自陈衰老，不堪任使，请求代奏放回田里。无奈皇恩浩荡，授职于先，赐字于后，耿介只有勉强留了下来。这一留使得妒忌汤斌的人，有了攻击的口实；于是借海关一案发作，耿介也受了连累。
  当时攻击汤斌的“重头戏”，是在余国柱和徐乾学的指使之下，由左都御史王鸿绪担任“主角”。
  第一步是对付董汉臣，当他奉旨免罪不问以后，本已无事；王鸿绪却又另辟蹊径，重起炉灶，就整个钦天监的低级官吏立言：
  钦天监灵台郎、博士官等，无知蒙昧者多，皆由其始不择流品，星卜屠沽之徒，粗识数字，便得滥竿。授官之后，又不专心学习，勉尽职掌，惟行险侥幸，希图迁擢，请敕下考试，分别去留。
  这话说得不算错，礼部详议，认为可行，复奏核可，便举行了一次考试，结果有十五个人以“词理舛误”被革了职；不用说，其中当然包含了董汉臣。
  到了汤斌因为“爱民有心，救民无术”八个字为皇帝不满之后，余国柱认为汤斌的圣眷已衰，正是攻倒他的时候，所以发动王鸿绪倾全力展开攻击，由都察院满缺左都御史绦丹和他本人联名领衔，另外加上副都史徐元珙和郑重，合词上疏，说汤斌“务名鲜实”；又说他在巡抚任内，去任时“巧饰文告，以博虚誉”。这些都是针对皇帝的心理所进的谗言，相当有力；但攻击得不分是非，颠倒黑白，就弄巧成绌了。
  其中有一句话是：“至擢巡抚，涓氵矣莫报”使得皇帝大为不满。他特地召见大学士明珠等人，神色严重地说：“汤斌擢用巡抚，是我重视其人的品德。汤斌在巡抚任内，纵有务名之心，但是政绩昭昭在人耳目，何可因为海关一事，便抹煞了他以前的好处。果真其人不足当巡抚之任，那么，我以前用他的时候，你们为什么不奏谏？”
  这番质问，使得明珠等人，哑口无言，唯有免冠碰头。不过，“惭对董汉臣”这句话，皇帝亦认为费解，便降旨令汤斌“明白回奏”。
  这是汤斌出于良心的“失言”，既然奉旨质问，便只有引罪；拖病草奏，深夜不眠，这篇奏疏很长，自陈昔年与耿介“同为词臣，其刻苦自励，杜绝交游，心窃重之，故冒昧荐举，但自顺治十二年，外转后迄今三十二年，竟未谋面。”
  已三十二年未见的人居然保荐，汤斌自道，“臣罪何辞？”及至跟耿介见了面，“惊其衰老”，更为惶恐。提到董汉臣，他是这样措词：
  御史陶式玉，循其越职言事，奉旨下问，臣亦就疏论疏，以方今求言之时，越职罪似可宽。殊不思汉臣疏内各款，皆抄录旧文，语多浮泛；惟是皇上谕教皇太子，何等精详？以臣何咎，辄敢妄议，臣不能请旨严究真倩，使狂妄小臣，幸辶官国宪，臣罪何辞？
  这样说法，是违反汤斌本意的，但因董汉臣的原疏中，隐然有指皇帝纵容太子失教之意，而储位关乎国本，如以为董汉臣所指不错，则必将兴起大狱，这正是明珠、余国柱等人所希望的。汤斌自觉一身无所惜，但动摇国本，危及朝局的事，是他绝不肯做的，同时董汉臣亦将不保首级，所以不能不这样痛斥“小臣”，来解消一重绝大的隐忧。
  复奏疏的结论是，“自谓言动轻率，衍过多端”，惟有“席藁待罪，请听皇上处分”。
  这个奏疏一上，皇帝尚无处置，却以耿介上了个奏折，“引疾乞休”以致节外生枝，为詹事对正詹尹泰的弹劾，说他“侥幸求去，实无痼疾”，当时也劾指汤斌所荐非人。这样复杂的情势，更以第三者的介人，益发搞得严重。
  这个人名叫达哈塔，原是汉人，姓佟，入旗的汉人，照例在汉姓之下加“佳”氏，所以姓佟佳氏，他是原属多尔衮的正白旗籍，以翻译进士出点，当到吏部尚书，亦为东宫辅保之一，一则为汤斌、耿介不平，再则亦不愿卷人漩涡，所以上疏说道：“臣奉命辅导东宫，数日之内，负罪实多，以汤斌、耿介不能当其任，况庸陋如臣？乞准解退。”
  这一下皇帝大为困扰，但亦愿采取独断独行的办法，只有将有关此事的奏疏，一并交吏部议复，复奏是汤斌、耿介、达哈塔俱应“革职”。
  “耿介是东宫师傅，来了不多日子，革职回乡，这变得对不起人了！”皇帝深体人情，这样对吏部尚书李之芳说：“革职改为免职。他本是道员，以原品休致好了。”
  李之芳原是承受明珠的指使，本无意与耿介为难，自然连声称是。
  “汤斌与达哈塔，改为降五级留任。”皇帝又说，“汤斌原有些错，眼前略示薄惩，将来我自有恩典。”
  虽然皇帝相当宽大，但明珠、余国柱、徐乾学、王鸿绪等人，却是大失所望，认为这样一个“大题目”都扳不倒汤斌，将来怕更难措手。需要再接再厉，再找一个题目，非把汤斌治倒了不可。
  这个消息传到汤斌耳中，他不免叹息，汤夫人也知道这些情形，看他力疾从公，身体愈来愈坏，忍不住在侍奉汤斌的时候，要劝一劝他。
  “你的做官，办公事，我从来不敢干预，如今必得要说了。”汤夫人问他：“你做官做得这么苦，到底为了什么？”
  “读圣贤书，所为何事？你也应该懂啊？”
  “我懂，”汤夫人说，“不过俗语说得好，‘留得青山在，不怕没柴烧’，现在是升平盛世，又不是刘皇叔在白帝城驾崩，诸葛武侯独力撑持，扶保幼主的情形可比，‘鞠躬尽瘁，死而后已’那两句话用不着。”
  汤斌不作声，但口中无语，心头有感，而且感触不止一端，但他的性情是从来不知天下有所谓“苦”之一字的人；也不是有意求着“鞠躬尽瘁，死而后已”的心，只是伤心人别有怀抱。
  在苏州的时候，春天他每天采巡抚衙门后园野生的荠菜佐餐；他的长子汤溥实在于心不忍，便劝他说：“爹爹，何必如此自苦？”
  起先他戚然不答，说得次数多了，他才吐露他的本心：“你们祖母未殉难之前，每天所食，粗粝不堪，今天我幸而略有成就，但子欲养而亲不待，终天之恨，无由弥补，如果稍涉奢逸，我就不能安心。这些野生的荠菜之类，都是你祖母在流寇猖狂的那两年常吃的东西，我无可一日或
  然而生母虽死，继母犹存，轩大夫人虽比他大不了几岁，毕竟名分是母亲，他想到复起服官，外则封疆，内则八卿，亦可说是位极人臣，轩太夫人应该是丫头老妈子一大堆跟在左右。然而从无一日的迎养，抚心自问，深为不安，如今又接得家书，说轩太夫人体弱多病，去日无多，应该及时告退回乡，稍稍承欢，才是为人子的道理。想到这里，端然动了归思。
  汤夫人也赞成他辞官，颐养轩太夫人还在其次，汤斌本人的病就很多，必须有个较为清静的环境来调养。因此汤斌在她的极力劝说之下，亲自动笔，上奏陈情；这个奏折的事由是：“圣息高厚未报，微臣积病日深，谨披沥吁陈，祈赐解任回籍，以免旷职”；以下分作五段，第一段叙恩遇：
  教里草茅愚陋，谬荷圣恩，起自田间。优擢侍役，三年谋幄，五月纶扉，星豉频屑，涓氵矣莫报。三吴繁剧之地，尤非薄窃所堪，桔据不遑业胜叠见，岂期未承严谴，复邀旷典，入侍青宫，宠遇之隆，无以加矣！
  第二段叙病况：来巨草木寸质，年逾六旬，精力衰惫，心血久枯，自六月内，胃部作痛，过服克伐之剂，元气益复虚损，饮食呕吐，怔忡健忘，神思恍惚，头目眩晕，因惩至上心切，犹强事药饵，力疾趋朝，冀追省德愆，薄收复效，不意于八月初七等日，呕血数次，病遂增剧，痰火上升，虚烦喘急，闻人声则惊惧，感微风则战惧，辗转床褥，形体仅存。