和珅见纪晓岚让自己更加出丑，认为纪晓岚是故意卖弄，暗暗生气。纪晓岚自恃才高，却也不顾忌和珅的想法。
乾隆有一次出一上联：“朝中有人常说，南方山明水秀，到处有才子。可谓：人云南方多山多水多才子。”
有一次，群臣随乾隆帝游玩了一天，乾隆帝意犹未尽，不觉已经到了黄昏，抬头看见天上飞来一只白鹤。乾隆帝道：“白鹤乃祥瑞之物，哪位爱卿以白鹤为题，作诗助兴啊？”
乾隆帝话音刚落，纪晓岚不假思索，才思泉涌：“万里长空一鹤飞，朱砂为顶雪为衣。”谁知纪晓岚诗还没做完，白鹤早已越飞越远，在黄昏中只剩天边一个黑点。和珅见纪晓岚又抢了自己的风头，早已心生醋意。见此情景立即不怀好意地道：“你看那鹤，现在明明是一只黑鹤，何来‘雪为衣’之说？”
乾隆帝知道这是和珅有意为难纪晓岚，他却有意试一试纪晓岚的应变能力，就饶有兴致地说：“和珅说的没错，现在确实是一只黑鹤。纪昀，你如何解释？”
纪晓岚也不恼怒：“皇上说的是。”说罢看了和珅一眼，接着吟道，“只因觅食归来晚，误入曦之蓄墨池。”乾隆帝见纪晓岚果然文思机智，夸奖道：“纪昀不愧是我朝大才子，不但学识广博，而且心眼儿转得快，作诗巧妙。”
和珅偷鸡不成蚀把米，恨得牙根疼。其实和珅《四书》、《五经》无不精熟，只是在纪晓岚面前那就是小巫见大巫了。
乾隆帝有一次南巡到了镇江，群臣陪着乾隆帝游金山的江天寺。登到山顶，乾隆帝登高远眺，心旷神怡。一旁的和珅知道乾隆帝又想吟诗作对，于是道：“万岁爷才学过人，不如和群臣共乐，一起吟联作对吧！”乾隆正有此意，只见他他远望长江景色，悠悠吟道：“长江好似砚池波，”乾隆不愧胸怀宽广，有帝王气魄。他以长江为砚池，这句诗既有诗意，又有文采。
众大臣纷纷赞叹不已，乾隆帝也自鸣得意。一旁的刘墉续道：“举起焦山当墨磨。”恰好不远处的焦山也是著名景色，碧波环抱，在万里长江之中，宛若砥柱中流，名字恰好带一“焦”字，这句诗把焦山比做墨真是再贴切不过了，众人暗中称赞。和珅当然不肯落于人后，四处一望，见东北方向有一座七层孤塔，于是道：“宝塔七层堪作笔，”乾隆大喜，称赞道：“这笔、墨、砚都有了，最后一句就差书写了，真是妙啊！”书写江山当然是皇帝的事，乾隆帝看到十五皇子永琰，有意让他来这最后一句点睛之笔。
永琰才情不比乾隆刘墉，斟酌之间，一时不知如何应对。正好纪晓岚在一侧侍立，悄悄提醒了一句，永琰豁然开朗：“青天能写几行多。”这最后一句，虽显得有些随意，仿佛信手拈来，却最为气势磅礴。四句诗嵌入了文房四宝，众人齐声叫好。乾隆帝今日得此佳句，不觉十分惬意。
和珅这次总算没落下风，心情自然很好。他看到山顶的寺庙外有一照壁，知道皇上喜欢题词，于是提议道：“恭喜皇上得此佳句。不如在寺庙留下题词，让世人瞻仰墨宝，恩泽天下，岂不妙哉？”乾隆欣然同意，但一时拿不定主意留个什么字好。
纪晓岚上前说：“皇上今天在这里览此江天，不如用‘江天一览’四字。”乾隆一听，此四字气势磅礴，邮费藏贴切，就欣然同意了。不料乾隆因年高而一时笔误，将“览”字写成“监”字却并没有发现。幸亏纪晓岚在一旁有意提醒，就对刘墉高声说：“览者，看也。”刘墉会意，也高声回答：“正是。高山览胜，实乃人生快事。”
乾隆立刻醒悟过来，当下又写了一个“览”字，写完后，众人更是齐声叫好。寺里的方丈千恩万谢，收下题词，后来专门在山顶建了一个石亭，让工匠将这御书的“江天一览”四个字刻成石碑，竖在亭内，供后人观赏。纪晓岚不仅文采飞扬，而且颇为了解人的心思，不愧天下第一才子称号。
纪晓岚不仅才情高，而且喜好幽默，爱和大臣们开玩笑。有一次，纪晓岚与一位官员闲谈，此人脑门上长了个瘤子，纪晓岚就对他说：“你身为朝廷命官，要注意形象，应当赶快找大夫医治啊。”大臣道：“实不相瞒，四处求医就是不见效啊！”纪晓岚一脸认真地说：“我知道一位郎中，此人医术高明，绝非一般庸医可比。你多备好礼前去求教，定能成功除去此疾。”大臣连忙感谢纪晓岚的关心。第二天就带着厚礼急匆匆前去拜见。谁知那位郎中的脑袋上有颗比自己脑门上还大的瘤子，这才知道被纪晓岚给戏弄了，只好苦笑而回。
纪晓岚是天下闻名的才子，众人对他的书法也是趋之若鹜。有一次，和珅修建了一座小亭子，想请纪晓岚题词，以此来炫耀自己的权势——连纪晓岚这样名满天下的大学士也要为他题词。
纪晓岚本来不想给他书写，怕玷污了自己的名声，又不好明着得罪和珅。到和珅的花园里转悠了半天，见和珅得意洋洋，想到这亭子说不定又是贪污了多少银两才修建起来的，想来心中气愤，便想趁机戏弄他一下。
他装作不经意间走到竹林旁，很认真对和珅说：“《诗经》中有一篇《小雅》，是歌咏周王宫的。有一句叫“如竹苞矣，如松茂矣”，形容竹子碧绿青翠，松柏茂密。贵府花园风景秀美，何不将这小亭称作“竹苞”？”
和珅也知道诗经中有这两句，觉得这两个字选得不错，暗暗自责没有想到这两句。此二字很符合花园的意境，于是欣然同意。纪晓岚就认真地写了“竹苞”二字，文笔饱满，苍劲有力。和珅乐呵呵地吩咐下人镶金匾额，挂在亭子上。
和府修建完毕后，乾隆帝趁机到和珅家来游玩，还叫了一帮大臣随驾，和珅深感荣耀。乾隆帝游玩到后花园中时感觉累了，便来到凉亭休息，无意间见到凉亭上“竹苞”二字，饶有兴趣地问道：“这书法饱满遒劲，名字不俗，匾额是何人所题？”
和珅正想显摆一下，就赶紧回禀皇上：“匾额出自纪晓岚之手，名字也是他起的。《诗经》中有‘如竹苞矣，如松茂矣’，此处风景正合此意。”
乾隆盯着匾额细看了一会儿，突然哈哈大笑，指着匾额说：“纪昀这个人，倒是真有意思。‘竹苞’二字，意境倒也不错，用在这里却是别有一番新意，哈哈。你再仔细看看，此中暗藏着什么玄机？”
陪同的大臣也是饱学之士，早有人看出了问题，心中暗自发笑，却又不好说破。和珅还是不解，有些纳闷地侍立一旁，只好回答：“奴才实在看不出来。皇上明察秋毫，还请赐教。” 乾隆帝大笑道：“纪昀在变着法子骂你呢！此二字拆开便是‘个个草包’，岂不有趣得很！”
和珅见纪晓岚骂了他还让他看不出来，他还在这里卖弄。现在丢人丢到皇上这儿了。和珅气愤却无法怪罪纪晓岚，只怪自己没看出来。不过，和珅趁机恭维道：“这都是皇上意会，恰巧为陛下今日游园助兴。奴才能为皇上增加一点儿乐子，实在是奴才的荣幸呵！”
和珅为了哄皇上高兴，不惜拿自己开涮，真是令人佩服。乾隆受了和珅的奉承，只觉得如沐春风，道：“纪昀有才气，和珅有雅量。平日里以文字开开玩笑，也是文学佳话；在朝中应该同心协力，为朝廷出力。”
和珅觉得这毕竟是很没面子的事，他决定找机会报复纪昀。和珅党羽众多，眼线极广，机会很快被他找到了。
不久，江苏扬州爆发了一件大案——两淮盐引案，朝野震动。纪晓岚有一个儿女亲家卢见曾，字抱孙，号雅雨山人，时任两淮盐运使。卢见曾平时慷慨好义，结交士人，宾客众多；朋友有了困难，他经常慷慨解囊，有时甚至不惜挪用公款。和珅暗暗查到此事，添油加醋地向乾隆禀报，称卢见曾犯有贪污大罪。乾隆帝勃然大怒，下令朝廷议罪，结果是抄家查办。
和珅故意给纪晓岚放出风声，把卢见曾的罪行说得很严重，纪晓岚不免心急如焚：卢见曾落到和珅手里，难保是什么结局，。思来想去，纪晓岚有了办法。他找来一个空白的信封，里面装一点儿茶叶，用加盐的面糊封好口；然后装人一个精制的盒子中，派人火速送往扬州卢家，就说里面是古玩，请亲家仔细玩赏。
卢见曾接到信后，心中疑惑。他素知纪晓岚善于玩文字游戏，仔细琢磨一会儿，终于悟出，这表示是“盐案亏空，查封”。纪晓岚正是借此报信，要他有所准备。卢见曾赶紧转移一些财产，不久果然案发。最后朝廷抄家时，由于卢见曾事先准备，家产并没有损失多少。而纪晓岚给卢见曾报信只用了一个空信封，朝廷自然没有证据。
和珅却不死心，他四处派人调查，得知纪晓岚曾经在查案之前给卢见曾送信，于是一口咬定是纪晓岚走漏了消息。乾隆传令搜查卢见曾的信件，一无所获。和珅很纳闷，命令严加刑讯，卢见曾死不认账。但是他的孙子卢荫恩扛不住酷刑，供出了纪晓岚。乾隆恼怒，立即召见纪晓岚询问事由。纪晓岚只说自己并未事先透露一句话，请圣上明察。
乾隆大怒，纪晓岚只好陈述了事情的过程，并磕头请罪道：“陛下管理官员大臣，是按照律法执行，合情合理。微臣一念之差，只顾私情，罪有应得。请皇上治微臣之罪。”
和珅在文学上无法和纪晓岚相比，这一次终于战胜了纪晓岚。两淮盐商看到卢见曾失势。可谓墙倒众人推，纷纷作证，说他贪污索贿。再加上和珅背后指使。卢见曾被判绞刑，纪晓岚也因为私自通风报信，被流放乌鲁木齐，发配充军。
纪晓岚虽然别发配，但心态很好。他的朋友为他饯行，他仍然谈笑风生。和珅听说后，一心要看看纪晓岚出丑，看看他失魂落魄的样子，于是不请自到。众人知道纪晓岚词语路途遥远，路上难免悲伤，所以只聊一些闲话，并不提送行之事。和珅却不饶他，举着酒杯幸灾乐祸地作了一首诗道：
有水为清，
无水也为青，
去水添心便为情。
不看僧面看佛面，
不看你情看我情。
明眼人一看就知道诗中隐隐有嘲笑之意，众人都不敢做声，暗骂和珅太不是东西，这个时候还在纪晓岚伤口上撒盐。
纪晓岚想，反正已经被发配充军，临走不妨戏弄他一下。于是笑道：“和大人出了题，我也只好献丑了。”说着，纪晓岚抑扬顿挫地吟道：
有水为溪，
无水也为奚，
去水添乌便为鸡。
野兽得势皆似虎，
落魄凤凰不如鸡。
众人一听，这是在讽刺和珅狐假虎威，借皇帝之手打击纪晓岚，不仅哄笑起来。和珅自讨没趣，只好悻悻而归。
纪晓岚千里迢迢充军到乌鲁木齐之后，当地军官特别照顾他，还以师相称。海兰察和兆惠取得黑水河大捷，纪晓岚还帮助处理相关事宜。同时，纪晓岚经常给将军们讲解《四书》、《圣武记》，声望极高。
乾隆没了纪晓岚，文辞方面再无人能想纪晓岚那样与自己相和，有些失落。加上纪晓岚做官这么多年，从不擅权，也不结党营私，文笔又好，心中很是不忍。不久就宣旨，赦免纪晓岚的罪责，命他返回京城任职。
和珅见纪晓岚居然又被乾隆帝召回了京师，知道了他在乾隆帝眼中的分量，也就不敢随意打击他。乾隆帝想编纂《四库全书》，重新启用博学多才的纪晓岚。乾隆安排纪晓岚任翰林院编修之职。不久，《四库全书》正式开始编纂，纪晓岚成为当之无愧的总纂官，和珅任《四库全书》总裁。二人不得不开始通力合作。
此后十余年间，纪晓岚为了《四库全书》，殚精竭力，丝毫不敢松懈。全书完成后，和珅在文渊阁中翻看，发现了一些抄录有错的地方。和珅这么多年之所以没出手，是因为乾隆给了纪晓岚历史性任务，自己不敢随便治他的罪，如今《四库全书》已经完稿，又想打击这个宿敌。
和珅细心地把书中的错误一一抄录，整理好后呈给乾隆，奏说道：“《四库全书》的本意是为了体现大清的文法盛事，纪昀、陆锡熊等人故意漠然视之，视同儿戏，不认真校对其中的错误。”
乾隆对《四库全书》也非常重视，见其中有这么多错误，当然不满。他当即命令纪晓岚率人重检《四库全书》，重新把文渊阁的藏书校正一遍，陆锡熊率人前往沈阳，把文溯阁的藏书全部校正一遍，产生的费用全部由自己来支付。这个决定可害苦了纪晓岚。
几个受处罚的人中，陆锡熊到沈阳后不久，想到自己这么多年把书完成，竟然是这样的一个结果，最后悲愤而死。总校官陆费墀被免去所有职务，还得自己出钱把《四库全书》所有的藏书都装裱一番。陆费墀不久也因劳苦不堪而去世。好在纪晓岚心态淡然，最后总算顺利完成了任务。
此后，年老的纪晓岚看到和珅深得乾隆宠幸，皇上屡次想拿自己开刀，就变得十分谨慎。纪晓岚心中明白，自己的才学在乾隆面前只是闲暇时的消遣，和珅才是乾隆最信任的人，自己只能暂时避一避。
一次，礼部侍郎尹壮图得罪了和珅，被和珅陷害弹劾，纪晓岚准备为他求情，不料却被乾隆当场痛骂了一顿。监察御史曹锡宝与纪晓岚素来交好，他弹劾和珅的家奴刘全，被陷害革职，纪晓岚再也不敢出来为他说话了。
其实，纪晓岚和曹锡宝关系很好，他却不敢与和珅作对，只有写了一首《题曹剑亭绿波花雾图》，聊以言志：
其一
醉携红袖泛春江，人面桃花照影双。
名士风流真放达，兰舟不著碧纱窗。
其二
洒落襟怀坏壕身，闲情偶付梦游春。
如何乐府传桃叶，只赋罗裙打动人。
诗中不曾明写曹锡宝，为的是不让和珅抓住把柄，但隐秘表达了同情之意。
在乾隆帝看来，纪晓岚虽满腹经纶，但毕竟只是一个学者，而学者型的人缺乏经世之才，不可委以重任。所以，无论是有实权的军机处，还是享有荣誉的内阁，都不会安排纪晓岚与身其中。
嘉庆元年(1797年)，内阁准备增补一名大学士，论资排辈纪晓岚也够了。但是太上皇却绕过纪晓岚而破格擢用董诰为大学士。董诰比纪晓岚小十六岁，中进士也比纪晓岚晚九年，乾隆就这样一直不重用纪晓岚。
乾隆曾经对刘墉、纪昀、彭元瑞、董诰几个人评价道：“刘墉、纪昀、彭元瑞三人皆资深，墉遇事模棱，元瑞以不检获愆，昀读书多而不明理，惟诰在直勤勉，超拜东阁大学士，明诏宣示，俾三人加愧励焉。”可见，在乾隆的心中，纪昀虽然才学甚高，但施政能力不足，只能做文学方面的事，这在两淮盐引案中有深刻体现。
纪晓岚一生在朝廷就做了两件事：一是主持科举，二是编修书籍。他曾两次为乡试考官，六次为文武会试考官，故门下学子甚众，在文士中影响颇大。纪晓岚主持修书的次数更多，先后做过武英殿纂修官、三通馆纂修官、功臣馆总嬖官、国史馆总纂官、方略馆总校官、四库全书馆总纂官、胜国功臣殉节录总纂官、职官表总裁官、八旗通志馆总裁官、实录馆副总裁官、会典馆副总裁官等。
纪晓岚编修《四库全书》期间，“自始至终，无一息之间”，其辛劳不言而喻，却受益匪浅。纪晓岚曾经写诗《自题校勘四库书砚》：
检校牙签十余万，濡毫滴渴玉蟾蜍。
汗青头白休相笑，曾读人间未见书。
《四库全书》修成后，纪晓岚迁礼部尚书，充经筵讲官。乾隆帝格外开恩，特赐其紫禁城内骑马。纪晓岚六十岁以后，五次出掌都察院，三次出任礼部尚书。礼部尚书主管朝廷中的礼仪、祭祀、宴餐、贡举等事务，是教育和文化事业的一把手。
嘉庆亲政后，立即将和珅处死，并重用纪晓岚。纪晓岚立刻上奏天子为曹锡宝和尹壮图平反，并负责主持《四库全书》最后一部分官修书籍的补遗工作，使这部巨著更加完善。