高知州刚上任时，那些怨他甚至骂他的人，不到一个月的时间里，就都赞扬他了。
《诗经》上不是说：“不要欺负鳏夫寡妇，不要畏惧豪强势力”吗？谁说肥沃的土质长不出好木材，刁顽的平民难以治理呢？
（26）自己有功而不请赏
怀宁县地处安徽省西南部，长江下游北岸，大别山南麓前沿。东靠安庆市，西邻天柱山，南连望江，北接桐城。
怀宁山川秀美，地理位置显赫，境内有由北向南的崇山峻岭，两侧为平岗及水网交错的复杂地形，能攻能守，历来为兵家必争之地。历史上，历史上，怀宁县城屡经变迁，自东晋建县以来，县城搬迁足有十余次之多，成为安徽乃至中国历史上奇特的“迁城现象”。
怀宁县有个士绅名叫谢崇文，家境很富裕。四月十五日，他家被盗，五月初，家里又被盗。高知州在六安查看县里呈上来的报告得知这件事，就对幕客张先生说：“谢绅士家不到一个月，却两次被盗，真是骇人听闻。被人们认为治安状况很好的地方，盗贼都如此猖獗，难保没有盗贼窜人我们六安州境内。”
幕客说：“对啊，很值得注意！”于是，高知州便告诉捕役，要严加访缉。一天，捕役密报：果然有一群盗匪潜藏在某村，那儿离州城只有四十里。高知州立即挑选精干的捕役亲自去抓捕。
捕役们赶到那里，捕获了盗匪十人，并且逮住了盗首，一起押送怀宁定案。幕客对高知州说：“捕得临县的盗匪多人，按规定应该升迁，你为什么不向上面请求嘉奖呢？”
高知州回答说：“升迁，是朝廷的恩惠。如果以捕盗受宠，难道不是亵渎朝廷，在众官面前出丑吗？”
审讯这伙盗贼时，其中一个盗贼说，他们从犯中，有一人曾经在晁家当佃户。晁家，是六安州的大户，高知州置之不理。
高廷瑶任六安知州时，凡是诉讼中涉及田土、山主、塘主、地主、屋主的，都不传讯。他说，这也是息事宁人的一个办法。若果传讯，株连的人就多了。
又有一事，那是河南商城县，有一人奸夫雇人杀害本夫。然后，又杀受雇者灭口。商城县没有抓到这个犯罪嫌疑人，也不知被害者因何致死。奸夫逃到六安后被捕役抓住，高知州审问清楚案情后，就派一个老成的仆人协助官差，将此奸夫押送去商城。这事也没有上报。
幕客张先生说：“怀宁的盗贼，是临县的盗案，你派人将其抓获，并审理案，不上，你是有不自，不是道高的人所能做到的。商城，是临省，你忘己之功，并且为他人掩饰过失，你是不是过于厚道了？”
后来，高知州在回忆起这件事时，颇有感慨地说：“今天想起来，商城的事情，应该上报朝廷才是。”
（27）士民设宴饯行虚心征求民众意见
嘉庆十年（1805年）十月十八日，高廷瑶代理六安州知州事结束后，暂时借居于聂家花园。士民乡绅们设宴为他饯行，城乡上下参与宴会的有一百余人。在席间，他举起酒杯感谢大家说：“我高某不才，勉强在此为官十多个月。审讯案子已经结案的，总计有一千三百六十多宗。虽然都是依法依律，斟情酌理判决，但凭我一人一时之见办理，难保其中没有错误。大家何不借此机会，举出失误，明白地告诉我。”
众人说：“没有错误的。”高廷瑶却严肃而诚恳地说：“古人有言，‘圣者千虑，不无一失。’现在审判案件一千三百六十多宗，难道就没有一点失误？”
一位老贡生从座位上站起来大声地说：“我家离州衙不远，州衙左右有两家茶馆，这里是人们经常聚会的地方。每次州衙里审理完案子，旁观的人们出来喝茶，心直快的人都赞扬老爷英明就是心怀人，没有言，时有人在，的错误行为。由此看来，官府没有判错。”
接着，这位贡生又说：“老爷这样询问，是体现了老爷的虚心，老爷办事大公无私，即使偶尔有一点过失，人们也能够谅解。”
当时有两位校官在座，也站起来说：“我们是读书人，过去都认为读书没有用处，看见老爷在六安做官行事以后，现在，我们已经知道读书确实有用了。”
高廷瑶说：“二位说得很正确，可是，我怎么敢当啊！现在我举两个自己发现有过失的案子，和大家说说。
一件是，阎家告徐家侵占他家墓地的案子，我开始以契约为事实依据，准许徐家在其地葬坟。后来，发现契约是伪造的，便更改原来的判决，责令徐家迁出坟墓。
第二件是，一位姓汤的人，状告某人逼近他家祖坟开挖山塘。我命吏役到现场察看，吏役回来后说，山塘是旧有的。经过传讯相关人员，当时，寨邻民众和里胥的供，都与吏役所报告的相同。就没有受理汤家的诉讼。后来，汤家请我实地察看，经过实地察看，发现山塘确实是新开挖的，才从重惩罚阎家，并更改原来的判决，责令阎家将新开挖的山塘填起来。像这样两件案子，不是过错又是什么老贡生说：“这两件事，我们都知道了。先是徐家的父亲想得到阎家的坟地，就伪造契约，并通过官府加盖了印章，这样一来，就以假成真了。事情发生在乾隆二十五年（1760年）。大人只凭地契断案的确不知道它是真是假。后来，阎家查阅档案，知道他父亲曾经在乾隆四十年有与徐家父亲因土地争执而诉讼一事，徐家的阴谋才被戳穿。那么，大人改判，也是公道的啊像汤家所指，也并不是他家的祖坟，只不过是年代久远的无主坟墓罢了。人们常说君子可欺，是因为君子端方正直，没有私心杂念啊！”
高廷瑶又说：“一般来说，大凡当官办事，不可能不出差错，但不能知错不改。女有差错，及时改正，自然就不会节外生枝了。倘若，，生，的人，理得吗？”在座的人都认为他说得很对。
高廷瑶在安徽做官二十多年，在六安才十个月，但能得以尽心为事。
后来，他又在司法部门干了十二年，所审理的案子，往往案情支离破碎，再加上诉讼师无端罗织罪名，奸伪百出，尽失其实是真相。虽然不少案件，多数都被平反昭雪，但他心里还常常担心有不实之处。
高廷瑶认为，大抵州、县判案，都是依据原始供词，细心研究，察言观色，乘虚追问，不难真情毕露。假如办案机关的那些人舞文弄墨，添油加醋，变幻离奇，就不识庐山真面目了。何况知府以上，都是根据州县上报的材料断案，不如州、县遇事权衡，操纵在己，较为顺手。这样看来，州、县上报的原始材料实在是太重要了！
（28）拒贿二三事
高廷瑶认为，当官理财，当然不能没有支出收人的账册。建立账册，是为了便于核查，以免遗忘。
他说，有一些当官的人，不重视建立官府收人支出的账册，只是将私人往来馈送的事，详细地记录下来“虽说这是为了有来有往，还人恩泽，但一旦出事，便留下把柄，实在不值得。
嘉庆九年（1804年）春，凤阳府泗州县需要白银四十万两放赈。阿雨昌巡抚对福布政使说：“去年，高别驾办宿州抚恤，办得很好。此次凤阳泗州十州县赈济工作，就委派他为总督办。”
他奉命护送赈灾银两到凤阳后，张尧山知府为他安排住处。他说：“不必麻烦，就在知府衙门里借一间房住宿就行了，不烦你们安排伙食，这不比在外住馆舍省钱吗？”
于是，他便在知府衙门里住宿。赈济事情办完以后，十州县的衙门各以一千两银子赠送他，他坚持拒绝接受。临行时，在候补州判鲁世廷那里借了二十四两银子做路费，回到省城后，如数归还给他。
当时人们讥笑他太傻了，过于迂腐固执。后来，下江山阳县侵占赈灾款项的案件被告发，知府、县令都被杀头，凡是参与赈济工作而收受馈赠的官员，都被抄家治罪。那些笑他固执的人，才觉得他固辞馈是有的。
又有一事。高廷瑶督促发放凤台县赈灾事务时，事情办完即将离开时，一位县令馈赠他白银二百两，被他拒绝了。
等到该县令去世时，发现他亏空公款白银四千余两，巡抚命高廷瑶协同怀宁县令查办此案。这位县令的家属呈上一本账簿，凡从前馈送别人的银两，都详细地记录在上面，一个不漏，但唯独没有高廷瑶的名字。
再有一事。石埭县某县令因办理赈济事宜不善，应当受到撤职查办。他当时知道高廷瑶主办此案，晚上，县令派人暗送二百两银子来斡旋，他竭力推卸。他代理池州知府时，这位县令求见，他拿出一本账册对高廷瑶说：“我没有盘缠回乡，这册子上记录的，都是过去曾经接受过我馈赠的人们的姓名，请你代我转告他们，叫他们给我凑点路费吧。”
高廷瑶笑着说：“你过去不是以二百两银子来求我斡旋吗？当时，如果我收了你的银子，那也许不免劳你把我记下来了。”
这位县令说：“接受过我馈送的人我才记下，你没有接受，我也不敢乱写。”高廷瑶说：“凡接受了馈送的人，也是领你的情，何必要讨还呢？我不会做这样的事的。”便将簿子还给了那位县令。
（29）有才有识，堪胜大用
嘉庆十三年（1808年），安徽推荐、选拔人才。铁冶亭总督送信给董观桥巡抚，询问推荐的人。董观桥巡抚回信说：“选拔推荐，就要选拔卓越的人。卓越，一定是才识超群，气量宏大，将来能任封疆守土之职。我们这里正在选拔，但安徽的知府、同知、县令，在职的都没有什么卓越的。如说卓越，大概只有高别驾一人而已。”
于是，以“有才有识，堪胜大用”八个字评语推荐了高廷瑶先生。上级来人考察，将这八个字写入他们的考察材料里上报。总督又来信说，必得七人才合乎要求。于是，巡抚就以太平府通判邹骏、石埭县令白守廉，以及校官二人、县尉二人补足其数。
人们议论说，这种推举方式太苛刻太死板了。