张释之，南阳人，连任十年骑郎都没有得到升迁的机会，他对仕途失去信心，已经打算告老还乡了。这时，袁盎欣赏张释之的德才，就将他推荐给汉文帝。张释之因此被升为谒者仆射。
有一天，文帝带着张释之等人，去视察禁苑中养虎的虎圈。文帝叫来禁苑的主管，询问禁苑中各种禽兽的登记数目，一连问了十多种，主管全都答不上来，就有些仓惶失措，左右观望。站立于一旁的虎圈啬夫替他解围，回答了文帝的问题。文帝见虎圈啬夫对答如流，便想考察他的才能，于是询问禁苑中禽兽登记的情况，问题都十分细致，虎圈啬夫随问随答，并没有被难倒。文帝说：“官吏应该是这样的才对啊！禁苑主管不值得信赖。”于是，文帝下诏，命张释之去将啬夫升为管理禁苑的主管。
张释之没有马上领旨，而是走到文帝跟前，说：“陛下在您看来绛侯周勃是个怎样的人？”文帝回答说：“是个令人尊敬的长者。”张释之又问：“那东阳侯张相如呢？”文帝答：“也是长者。”张释之说：“绛侯周勃、东阳侯张相如这样的长者，在论事时都有对答不上来的时候，却让人们学习这个啬夫的伶牙俐齿吗！秦王朝喜欢重用那些善于口诛笔伐的人，于是官场上形成了以敏捷苛察比较高低的不良风气。他们的言论往往涂有外在浮夸的形式，却缺乏实际的内容。这样的言论充斥朝廷，使得皇帝闭目塞听，了解不到朝政的过失，国家走上了土崩瓦解的末路。现在因为啬夫善于言辞上的对答，陛下就破格提拔他。我只怕天下人得知此事后，便都争先恐后地学他的样子，去练习口辩之术以博得提升的机会，却忽视真才实能的学习。到时候上行下效，比影随景，下层小官响应声得更快。作为君主，一言一行不可不十分谨慎啊！”文帝说：“您说得对啊！”于是啬夫没能升官。文帝返回皇宫时，令张释之在车里陪乘。车辆缓缓而行，一路上文帝向张释之询问秦朝政治的弊端，张释之都直接地予以回答。那天文帝回到宫中后，就将张释之升为公车令。
没过多久，太子和梁王同乘一辆车入朝，经过司马门时，二人本应下车以示恭敬，但这二人并未下车，径直驾车去了大殿门口。但是，张释之并没因为是皇帝的孩子，就放任他们，他追上太子和梁王，不准他们二人进入殿门，并弹劾二位王子说“过公门而不下车，是为大不敬”。这件事薄太后也知道了，文帝脱掉皇冠向太后赔礼，承认自己教子不严，请太后见谅。于是薄太后派了专人传诏，赦免了太子和梁王的不敬之罪，这二人才进了殿门。这件事，是文帝惊奇地发现张释之竟有这样的胆识，并更加赏识他，又将他升为中大夫。不久，他便被任命为中郎将。
文帝带领群臣巡视霸陵，对群臣说：“嗟乎！我的陵墓是用北山岩石做的外壳，间隙中填满了切碎的麻絮，又用漆将它们粘合在一起，坚固的就像一个整体，恐怕没有人能打开了！”左右近侍都唯唯诺诺，说：“是啊！是啊！”这时，只有张释之又发表不同意见，说：“假若里面放些奇珍异宝，勾起了人们的贪欲，就算用熔化的金属把整个南山封起来，也照样有人能打开；假若里面没有这些东西，就算连石墩都没有，也不必担忧有人要去打开它啊！”文帝称赞他说得好，不人云亦云。
张释之担任廷尉期间。有一次，文帝出行，车驾经过中渭桥时，从桥下跑出一个人，使皇帝驾车的马匹受了惊，从而惊了圣驾。文帝很生气，令骑士去追捕那人，并将他送交廷尉治罪。张释之将处置意见向文帝报告：“这个人违犯了皇帝出行，闲杂人等避让的规定，应当处以金钱上的惩罚。”文帝见判得如此轻，发怒道：“这个人直接使我乘的车的马受惊，幸亏这匹马脾性温和，要是换了其他的马，我早就受伤了！可廷尉为什么只简单地判他罚钱？”张释之解释说：“律令，制定了是用来规范天下所有人的。这件案子依据现在的法律，就是这样定罪，如果按照个人意愿，随意加罪重判，法律在人民心中就会丧失威信。如果在马匹受惊之际，皇上就命人将他杀死，也就算了。可廷尉在天下人心目中又是公正严明的典范，现在陛下既然已把他交给廷尉，廷尉当然要依法办事，如果有所倾斜，那么天下人用法就没有了轻重的标准，百姓将无所适从了！还请陛下深思。”文帝考虑了好一会儿，终于还是说：“廷尉判决的有理。”
那之后不久，高祖庙中神位前的玉环被盗，那个贼人被捕。汉文帝龙颜大怒，将他交给廷尉治罪。判案意见下来后，张释之奏报：按照我朝“偷盗宗庙服御器物”的律条，判处案犯当众斩首。汉文帝又大怒：“这个人如此大逆不道，连先帝的器物都敢偷盗！我把他交给廷尉审判，是要将他全族都诛灭；而你却依法只判他一个人的死罪，这和我恭敬地侍奉先祖的本意是相违背的。”张释之见皇帝如此愤怒，摘下官帽，磕头谢罪说：“依照律法这样判，已经足够。况且，就算是同样的罪名，根据情节逆顺程度不同都可以区别轻重。今天这个人因为偷盗宗庙器物的罪名就被灭族，如果某天，有个人因为愚昧无知，从高祖的长陵上取走了一捧土，陛下还有什么更重的惩罚加罪给他呢？”于是，考虑之后，向太后说明了情况，按照张释之的意见判了那个人的刑。