李敖说：“姚从吾老师有一方图章，上刻篆文‘从吾所好’。《论语》上说：‘富贵如可求，虽执鞭之士，吾亦为之；如不可求，从吾所好。’大家都以为姚从吾老师好读书、好学问、好史学方法、好辽金元史。……但是。对我说来，我却相信在这些以外，他别有一小好，那就是他一直对他一个学生的‘一往情深’。也许真的原因只是他自己‘霸才无主始怜君’的一种投射，——李敖的霸才真的吸引了他，把他搞得昏头转向，从‘从吾所好’转变到‘从敖所好’，以当仁不让始，以欲罢不能终，这一生死师徒之情，也真可说是士林佳话了！”李敖用这段话结束了他对姚从吾老师的回忆。
李敖在软禁期间所写日记，在被捕后被抄去不少，从残存的片断日记里，可以看到他这一时期的内心活动。摘录如下：
10月29日
致魏廷朝
魏胖：以下成绩，得以具体化，皆拜国民党软禁之“赐”也！
一、苦其心志地锻炼、更成熟。锻炼自己可应走难、任大事，并充分做这一准备。
二、专注于世界性大目标地研究，瞩目于新世界、太世界。而不斤斤于一个江河日下的政权、一个老人政治、一个小岛。
三、对于人情冷暖，有更清楚的测验。
四、对曾经磨难的榜样，有更大的兴味去体认。
五、能过孤独生活，且在孤独中忙个不停，自得其乐，得到不怕孤立的本领。
六、全天候做工，没有假日。增加了做工的时间，自然效果也相对地看好。
1971年1月2日
致刘绍唐
绍唐兄：我被“软禁”眼看就快一年了。上月我家发现被偷装的侦听器，我不动声色，把它转到联合国人权委员会。警总“抓”我去，逼我缴出销案。我说这个是要不回来了，等我找到第二个，一定给你们。弄得他们也没办法。当天我在“口供”中已明白表示我已无所顾惜，“政府”如想不把人丢到海外，就不要逼我。这次“中国大陆问题研讨会”，美国代表们由哥伦比亚大学的奥森伯格出面，请我吃饭，正是我被抓问后的第二天。当天晚上蒋经国请他们吃饭，奥森伯格们曾以我的处境问蒋是否于人权构成迫害，蒋不否认，但说“Repressive”而已，他的英文可真不错！我这边你还是不要采。如有卖书的机会，请代我把握。我手边有《古今图书集成》一套，《大汉和辞典》一套，《文星》从刊一套，《文星》集刊二套，《中华古籍》丛刊，《金陵丛书》、《榕村全集》等多套。1971年1月2日夜。敖之。
3月13日
孤寂
孤寂并不是看不到人，看不到“朋友”。在人群中，你常常发现只有你自己在想你想的，关切你想的。别人的面孔可能很友善、声音可能很亲切，可是那只局限于众生生活与世俗生活，除此以外，他们立刻变得无知、冰冷、麻木。比邻犹若天涯。相逢如不相识。
孤寂是要自己决定、自己排遣、自已应付难题、自己面对斧钺；孤寂是没有人可以商量、没有人可以倾心。不错。你有熟面孔。可是你怕引起他们的茫然、乏味与丑恶一面，影响到他们安全，他们有限的热心与关切，你也不得不拒贿，因为他们太软弱，他们非但无助于你，反易自伤其手（乃至终于露出人的丑恶一面，——每个人都有的那躲藏的一面）。
孤寂是处于荒原，孤寂是独行坟场，孤寂是在什么声音都没有的时候看月亮。
3月14日
朋友和“敌人”
朋友——亡命的亡命、被抓的被抓、远扬的远扬、自保的自保。一两个偶一见面的，竟又是来求助于你的，至少是增加你负荷的。总之，此一二偶一见面者，其见面也出于不得已。人道如斯，几乎已令人失去对friendship的信仰了。
“敌人”——环伺也、警告也、干扰也、穷缠也，迄无止境。他们简直要变成你的朋友了。“你不跟俺们交朋友？好！俺们把你的朋友全赶走，你不变俺们还交谁？”难道有朝一日，你岂要建立起对“敌人”的信仰吗？“敌人”至少有一点是值得信托的，——就是他们绝不变，绝不像朋友一般地忘记你。他跟你永不分离。
日记是人心灵最真实、最无私的窗口。从李敖这些片断的记载里，我们既看到他软禁生活的一些侧影，也可窥见他心灵的秘密。他对人情冷暖做了入木三分的分析。他歌颂了孤独。凡是“个人的自大”主义者，都是大孤独者。李敖也是一个大孤独者。他独立于众人之外、之上。他又为他们着想，不让他们来看他，怕出意外。在人情上，他是大孤独者，在思想上，在心灵上，他一点也不孤独。他站在人们的前头，给他们指示路径，也给他们树立榜样。这样的人是无畏的。
日记中有给“绍唐大哥”的信。刘当时是出版界大名人，他办的《传记文学》很有名。李敖软禁以前，在一次闲聊里，李敖谈到查良鉴当了司法行政部长一定比郑彦棻干得好以后。刘绍唐说：“敖之啊，你太年轻，对世事有所不知。你以为查良鉴是博士是学者，形象好，能够推动司法行政，其实不然。他固然如你所说，高于郑彦棻，但郑彦棻有一项条件，他却不够，那就是党政关系。郑彦棻有很好的党政关系，他搞司法行政，阻力反倒少；查良鉴则不然，他关系不够，很多良法美意，到头来都是空的。在国民党统治下要想做出一点事，关系够不够是很重要的。”刘绍唐这一席话，触及国民党一党统治的本质，给李敖留下深刻的印象，他后来专门写了《忆绍唐大哥的一段话》，记述此事，并说他由这段话想到当时尤清和李锡锟竞选一事。以为李虽“无能，但可能具体的搬出几块砖头”，因为他有较好的“党政关系”，而尤虽能干。却“只能带我们抽象的做场好梦”。李敖跟刘绍唐订交于1962年文化大论战的时候，是由高荫祖介绍的。
七、铁窗生涯，写出《我最难忘的一个“匪谍”》
1971年3月19日晚上，“跟监”的林组长（名业振）上楼来敲门，低声说：“处（保安处）里要请李先生现在去一趟。派黑轿车来，就在楼下。”因为跟踪久了，不无交情，随又补了一句：“情况很麻烦，你要有心理准备。”李敖点点头。旋即走进卧室，把早有准备的一包十万现金给了小营，并还给她一包照片，嘱咐小蕾现金备用。照片不能给第三者看到。然后相拥而别。
李敖正式被捕了。
李敖改押景美军法看守所，先被关在第二房。过了几个月，转到十一房，再转到第八房，在第八房住了两年半之久。八号房的户限与来去，主要靠墙与她交接点上的一个小洞，长方形，约有30×15公分大，每天三顿饭，就从小洞推进来；喝的水，装在五公升的塑胶桶里，也从小洞拖进来；采购日用品、借针线、借剪指甲刀、寄信、倒垃圾……统统经过小洞；甚至外面寄棉被来，检查后，也卷成一长卷，从小洞一段段塞进。门虽设而常关，高高的窗户倒可开启，可是透过窗上的铁栏看到的窗外，一片灰墙与肃杀，纵在晴天，也令人有阴霾之感。李敖把这间房子称为“洞房”。
也有“放风”的时候。李敖说：“我从‘大作家’变为‘大坐牢家’以后，每个星期，如不下雨，有四次‘太阳见我十分钟’的机会。我斗室独居，偶尔放风时会碰到新来的泪流满面的满口喊冤的小市民。我因为资深，因为德高望重，被目为‘大龙头’，常常被小市民请教。小市民只知道我是龙头老大，并不一定知道李敖是老儿。常常在十分钟的请教过程里，我得到一点外面的消息。”
就在景美军法看守所，李敖的判决下来了。警总军法处的判决“主文”是：“李敖预备以非法之方法颠覆‘政府’，处有期徒刑十年，褫夺公权六年。”所谓李敖叛乱的罪行，昭彰者不过三类：第一类是“与彭来往带信罪”——说李明知彭明敏特赦出狱后“叛国”之念未泯，仍秘密与之交往，并且介绍了某外籍人士为彭明敏带出一封信到海外，未加检举。第二类是“家藏文件入伙罪”——说李接受谢聪敏交阅的叛乱宣言及月刊多件，并同意加入以彭明敏为首的叛乱活动，做了“台湾本部”的委员。第三类是“监狱名单外泄罪”——说李把泰源监狱叛乱犯名单交某外籍人士带赴国外，作为攻讦“政府”之运用。判决日是1972年3月10日。收到判决书后，李敖拒绝上诉，准备坐它十年。但是军事检察官说判得太轻了，声请复判。一直拖了三年多，1975年8月12日，复判下来了，“主文”是“原判决撤销发回台湾警备总司令部更为审理”。于是，老庭重开，再为判决，因为赶上蒋介石死了大减刑，所以刑期就短了，其“主文”是：“李敖预备以非法之方法颠覆‘政府’，处有期徒刑八年六月，褫夺公权六年，减处有期徒刑五年八月，褫夺公权四年。”
同案共八人。在他们被捕前五个月（1970年10月12日），台南美国新闻处发生了爆炸案；在他们被捕前一个月（1971年2月5日），台北美国商业银行发生了爆炸案。他们一行也被说成这两起案件的制造者，实在离奇，因为后五人是李敖从不认识的，到1972年2月29日第一次秘密审判开庭时候，才得相见。刘辰旦其人，是一位戴黑边眼镜的壮汉，一直侧身微笑，以后在狱中住处相邻，相处甚好，经常秘密传递信息。1975年4月25日，李敖独自在房中看小蕾托她父母送来祝贺四十岁生日的《生活杂志》画册，忽然班长送进一个生日蛋糕，原来是刘辰旦请他姐姐特地买了送来的。李敖在牢里结识了不少人，但与刘辰旦独亲。
李敖在坐牢期间，目睹亲闻了许多冤假错案。黄中国是其中之一。
黄中国，五十多岁，是一个好大的胖子，肚皮之大，在全看守所允称第一。他皮肤粗糙，面目黧黑，傻不啦唧。李敖关进军法处第二房时，黄新任“外役”，每天给各押房送饭送水。送水是用塑胶水桶，每房一个，他用一根粗麻绳，在饭后把木桶一个个串起来带走。串水桶的时候，空桶相碰，嗵嗵作响，犯人们就知道是他来待所客厅，未几吴俊才老师出现。吴说：“收到你的信很感动，为‘国家’为学生我都愿出面处理。”吴老师问李敖有什么困难。李敖说，他入狱后，他弟弟把放在他名下的水晶大厦房子押在华侨银行，又不缴利息，以致房子落在银行之手，盼能代为解决。
后来吴俊才老师再和李敖见一次面，他说水晶大厦房子他帮忙解决；去外国部分等出狱后再说：案中案的司法冤狱部分，查明如确是冤狱，可通过协调，以“不执行”解决。吴又提出，李出狱后可到政治大学国际关系研究中心任副研究员，以表示大家不再敌对，并且也解决了生活问题，这样，所谓叛乱案的“褫夺公权六年”的问题也就不了了之。
1976年11月19日，李敖第一次作为政治犯，出狱了。这个时候在大陆“四人帮”已经被粉碎；在台湾蒋介石已经不在人世，蒋经国时任“行政院长”，正准备全面“接班”（在两年后的1978年3月，被选为“总统”）；在李敖自己距他四十二岁生日，尚有五个月。
八、隐居待发，该出手时再出手
李敖一心想过狱中那种平静与苍茫的生活，息交绝友。谢绝人事。
李敖原有两座房子，入狱后弟弟私下抵押给华侨银行，又不交利息，以致鱼烂河决，难以收拾，李敖在出狱前就托吴俊才老师帮忙解决，前已谈及。吴俊才老师不负学生所托，他请保安处出面，保安处转由林家祺个人出面见证，“逼迫”华侨银行以二百三十万买下水晶大厦房子。李敖还给该行一百万欠债后，又还了另一户房子的三十多万欠债，手上留有百万元左右这成了他过隐居生活的经济基础。后来买下教化南路金兰大厦十二楼的房子。搬进去以后，生活基调还是息交绝友式的，但有一笔财路，大大改进了经济状况。
原来辜振甫成立“中国合成橡胶公司”时，送给萧同兹一批股票钱，当时是二十五万元。萧同兹死后，由萧孟能继承，因五年不涨，持之乏味，转卖给李敖，李敖就成为该公司的股东。先前1976年6月，李敖在“仁爱庄”看报得知有所谓“中国信托投资公司”信用卡发行，只要存五万元即可自然取得，不必靠人介绍，有了卡对一个政治犯出狱者说方便许多，于是就在6月10日汇去五万元，依法成为该公司一个小股东。没想到买下萧孟能的“中国合成橡胶公司”股票后，却发现在“中国合成橡胶有限公司股东名册”中，信托投资公司所占股数竟超出总股数近百分之五十四。这是违反“财政部”不得超过百分之四十的规定的，形成李敖所参加的两个公司相互之间有大吃小、左手吃右手的怪现象，因而发生复杂严重的冲突。从1979年3月26起，李敖以股东身份三次发函“中国合成橡胶公司”质问，并于4月3日派弟弟李放参加股东会议。这次股东会议即是应李敖信中的要求而召开的。三天后，李敖致信公司详细叙述了开会情况和经过，以做备忘。又过六天，再发一信，指出：“贵公司负责人所为，实已在《刑法》第十五章伪造文书罪至第三十一章侵占罪至第三十二章诈欺背信罪之间。贵公司诸公，无一非此岛上‘有头有脸’之财阀阶级，今竟利令智昏如此，通谋由辜振甫先生一马当先，以特权总归户姿态，上通当道，下凌百姓，目无有条之法，手提非分之财，如此横行，本人绝不干休。先致此信，请答复、谢罪并赔偿。如不获合理解决，本人将续循舆论与法律途径处理，特此正告。”
辜振甫收到信后，自知事态严重。他请小姨子华严出面，前来谈判。华严带了她的许多新作。十多年不见，相见甚欢。首先谈到严侨的去世，两人都不胜伤感。然后“政经分离”，谈股票一事。华严说：“辜先生自感对李先生很抱歉，我姊妹辜太太本来也想一起来拜访李先生，我说我跟李敖最熟，还是我自己来好了。这次纠纷的确公司方面不对，现在愿以一倍的价钱，由我出面买回股票。我是称‘师姑’，请给我面子。”李敖说：“我老师被捕时候，严师母带了三个小孩到台北投靠亲戚，可是到处吃闭门羹，谁给了她面子？其中辜振甫最可恶，我今天要跟他算二三十年的旧账，绝不轻饶他。”经华严好说歹说，最后以八倍价钱买回股票。
11月19日，李敖请来了已经十多年不见的严师母，当面送了十万元即期支票给她。李敖对严师母说：“这个钱你可以章，这就是三十年前对你闭门不见的那人的钱。今天我总算给你出这口恶气。”严师母哭了，她收下了钱，收下了温情与旧情，也收下了李敖式的义气。
从严师母和严方、严正的口中，李敖得知了严侨死前的一些情况。严侨死前六年，已经遁入皈依宗教的境地，绝口不谈人间事。他皈依的是密宗，家里佛像、法器一大堆。李敖参观了严侨的遗物，看到了这些佛像、法器和一件件走火入魔的文件，为之感叹不已。严侨说他“不断寻觅二十余载”始得成解脱，其实他错了，因为最后取代自己的，只不过是更旧的玄学而已。回顾严侨的一生，李敖始终以他未能生归故国，一展抱负为憾。
辜振甫购回股票所给的二百万台币，李敖除给严师母和弟弟以外，还在东丰街买了一家小店面，后来赶上房地产大涨价，使他有了翻一番的本钱，从而彻底改变了经济状况。