8月19日，李敖收到姚从吾老师一封信，两次说到李济。一次说：“上礼拜五芮逸夫先生请刘子健夫妇、我和济之先生坐在一起。谈到你的事：他说：实秋写信给雪亭先生和我了，说得很恳切。他是不大管事的，承他建议，我们当然考虑接受。适之先生常谈到李敖，我也知道一些，留有印象…”一次说：“今天晚饭后子水先生来谈。说：上午与济之兄闲谈，也说到了您的事情。李说：‘雪亭先生看报，知道李敖与胡秋原的讼事，要和解了。这样就可以决定了。’毛先生并说：‘这可不是条件，希望李君不要误会。’”
第二天，李敖致信姚从吾老师：
前些日子，“国史馆”的姚渔湘先生同我说：“罗家伦先生表示在官司过后可去‘国史馆’任职”；昨天下午，文献会的高荫祖先生向法官说：“过些日子（实际是官司过后），我们请李敖先生再采帮忙。”老师您看：在官司没了之前，没人敢“赏”我一碗饭！我可大言：凡在官司没了之前犹豫给我这碗饭吃的，在官司过后，我绝不回头来吃这碗饭！——这是古话所说的“贫贱者骄人”！这是一个有人捧骂无人敢请的臭文人的一点臭架子！
李敖在回忆这事时，感慨甚多。他说：“我在文献会被请出门，‘中央研究院’不准进门，接连的事件，使我深刻感到原来一个人坚守原则不入国民党；坚守原则跟国民党打官司；坚守原则我手写我口、决心做党外。到头来会混得没有职业，混得已到手的职业会失去、没到手的职业会泡汤。但是，这又算得了什么呢？这些啊这些，在国民党的统治下岂不都是求仁得仁的必然结果吗？”
另一方面，李敖又为自己坚持不跟国民党合作的态度而感到自豪。本来，在李敖离开文献会以后，国民党中有高于陶希圣的两派人马，曾经不同程度地秘密找李敖合作。一派是陈诚，一派是蒋经国。先是陈诚约李敖长谈，被谢绝了。后来是李焕请吃饭，安排与蒋经国见面，也予以谢绝。这都是1964年的事（详后）。李敖说，他知道他这种“不识抬举”要冒什么险，“但我就是不要同国民党合作”。在1985年6月5日写的《“北土非吾愿，东林怀我师”——回想姚从吾老师》一文最后，李敖说：“中国最伟大的不合作主义者陶渊明，在鄙弃当道，返回田园时写诗，有句是：‘道狭草木长，夕露沾我衣。衣沾不足惜，但使愿无违！’姚从吾老师希望我做学者，陶希圣希望我做打手，陈诚希望我做‘师爷’，蒋经国希望我做‘少保’，我希望我做我自己。最后，我成功了！——‘衣沾不足惜，但使愿无违！’我付了无数的代价，但我无违素愿，我毕竟成功了！”
那么，李敖离开文献会以后，究竟到什么地方去了。他没有正式职业，而是以写作为生，同时帮助萧孟能编《文星》。
早在1963年7月18日，《文星》主编陈立峰让贤，荐李敖接任主编，李敖不肯。后来陈立峰离职，萧孟能找李敖帮忙，李敖同意，说不拘形式，把《文星》办下去吧。萧孟能的长处是能欣赏人才，但是他的人事关系太好，因人情而来的稿件太多，清除起来，颇为麻烦。萧孟能很容易被说服，但是要把他的人事关系——破坏，也没有必要。李敖常常提醒自己：“《文星》只要稳住水平就好了，那是萧孟能的杂志，可怜可怜他吧！”于是，就在这种互相迁就下，《文星》一期期办了出来。严格说，它不是李敖心目中的刊物，只是就原有水平，给予提升了而已。
李敖接手《文星》以后，发表了好多思想犀利、揭短不留情面的文章，特别是他揭露教育和学术机构腐败的文章（详下节），使许多人如坐针毡，当局也更加睁大了警觉的眼睛。有一次，萧孟能受了压力，在1964年9月1日第八十三期《文星》上登出“内政部”来函，函中要求“嗣后注意改进”，不要“攻击”医师法及“肆意攻击民意代表及整个舆论界”，李敖大为不满，在下一期里就登出“李敖的两句话：今后我对文星杂志的编务，不再过问，特此声明。”在10月8日的札记里，李敖写道：“我极为这封窝囊的复‘内政部’函恼怒。傍晚很不客气地指责孟能。孟能夜来寓，谈到清早五时。”在《文星》共事的日子里，两人从没吵过架，但为了维护立场，李敖也颇坚持自己的信念。萧孟能很有礼贤下士的大家风度，李敖还是继续替《文星》稳住水平，直到大祸临头为止。
五、向教育界的腐败开火
李敖向教育界的腐败开火，不是完全靠自己一个人的力量，他还组织了一些人一起上阵。李敖在《文星》上发表《高等教育的一面怪现状》首开先河，攻击台大；1964年5月1日，转向辅大，在《文星》第七十九期刊出孟祥柯（孟绝子）根据他人提供的材料撰写的《从一巴掌看辅仁大学》，又掀起商潮。
孟绝子的文章发表后，李敖跟方豪吃饭，劝方再写写辅大。方豪义正词严地说：“我是神父，我怎么可以这么做？”李敖说：“台湾好挤——啊！”他故意拉长了“挤”字的声音，方豪顿时脸色大变。李敖又说：“一、我保证这件事只有你和我知道；二、我和你一起写，文章也有我写的部分；三、不论出了什么事，我自己一个人挡，绝对与你无关。老师想想看：田耕莘他们从大陆到台湾，‘乞丐赶庙公’，把台湾的地方教会都给夺了权，你们怎么忍得了这口气？教会这样黑暗，这种黑暗，又侵蚀到高等教育里，老师怎可以不说话？天下坏事的造成，有两个原因，一个是坏人做坏事，一个是好人容忍、坐视，甚至默许坏人做坏事。做好人是不够的，得做奋斗的好人才成。所谓奋斗的好人，就是要挺身出来向坏人作战、向恶势力作战、向腐败和愚昧作战、向老朽和开倒车作战、向头脑不清的混蛋作战。奋斗的好人不会背后袖手叹气，不会关着门埋怨，不会闷着头给坏人欺负或看坏人欺负人，奋斗的好人总该发挥打击力出来。今天我劝老师写点东西，目的也无非在此。”方豪终于心动，同意写一篇，不过附加一个条件，就是文章底稿最后要还他。李敢答应了这个条件，不久，文章写出来了，题目是《从三文件看辅仁大学文学院》，李敖加进自己写的部分后，以“沈沉”的笔名，发表在9月1日出版的《文星》第八十三期上。
这篇文章一出。无异把一颗原子弹丢在天主教头上。田耕莘立刻召开紧急会议，追究教会内部文件怎么泄露的，作者是谁？与会人士一致断定非方豪莫属，于是把方豪找来，由田耕莘亲自审问。方豪死不肯招。田耕莘要他在圣母面前跪下发誓，方豪扑身便倒，脱口而出，仍矢口否认。田耕莘仍不相信，方豪心生一计，说请到《文星》查对便知。教会决定派徐熙光神父去查。
查证的结果，可想而知。李敖不仅让徐神父空手而归，而且以“你可以转告田耕莘，我保证在你们告我的第二天，就公布闹同性恋的神父名单—包括你徐神父在内”的话，吓得徐神父连忙说：“哪里的话，哪里的话，李先生对我们误会了。田枢机派我来，绝不是通知要告《文星》，相反的，教会方面还准备送二十万元现金给《文星》资料室，不要收据。教会方面决意要清除神父的败类，所以无论如何要李先生帮忙。”李敖说：“二十万是个大数目，可是你们看错了人。你请回去吧，告诉田耕莘，留着二十万，去买别人吧！李敖不卖，也不帮忙！并且顺便带一句：文章是我写的，可别罚到方豪，别冤枉了好人。方豪如受到教会的惩罚，我可不能沉默。”就这样，方豪安然过了关。辅仁大学大改组，头目周幼伟下台。周幼伟气得要死，印了一本小册子——“不得已而辩”，大骂方豪，被田耕莘下令收回，不得散发。周幼传离开台湾，不久就气死了。
六、李济的悲剧
对李敖揭露台大腐败一事，并非没有人提出反击。那个人不是别人，而是李敖在文献会工作时的头子陶希圣；时间也不是李敖文章发表之后，而是在过了一年以后，成为《文星》即将倒霉时候的一支小插曲。李敖在“回想姚从吾老师”的《北土非吾愿，东林怀我师》里说：
最有趣的，陶希圣在拉我加入国民党不成，恼羞成怒，在《文星》越闹越凶的时候，终于时我反目相向，在国民党第一党报《中央日报》上写短论批我。他先写了一篇《保全台大的名誉》（一九六四年九月二日），其中说台大有好学生，“但是不肖的学生亦间有之。如某杂志最近几个月。连续刊载某毕业生诬蔑台太的文章，叛师毁友，极尽其架空造谣刻薄恶毒之能事。台大在校师生以及海外师友看见此种文章，至少感觉其为母枝之羞，无可容忍。”“中国人一向有不入官府，不打官司的风尚。我们亦不愿鼓励任何人打官司。但是我们认为台大对于这种玷辱校誉的事情，应该依法追诉，无所用其姑息。”四天以后（一丸六四年九月六日），他又写了一篇“谤书”，其中说：“市场上出现一部书，名为《胡适评传》。这本书只出了第一册。就这一册来说，表面上是赞扬胡适之，而实际上从胡适之的上代，到他的本人，处处都是轻薄、鄙笑、讽刺，使读者不忍卒读。这样一部书，若是如此一册一册出版，而无人提出异议。可以说是士林之耻。我们今日愿以这篇短文，表示异议。”我对陶希圣站在党报立场攻击我，丝毫不感惊异，因为那是我不跟他们合作、不跟他们同流合污的必然发展。只是在时机上，倒别有十人原因。那时陶希圣要犯他儿子陶晋生、媳妇鲍家麟双双送入台大历史系教书，故向文学院长沈刚伯表态，而洗刚伯正是被我批评的焦点；另一方面，陶希圣要抢北大在台湾的龙头地位，因而貌似拥胡。井在后来支持胡夫人江冬秀朝《文星》打官司。凡此种种行径，对陶希圣这种人说来。其实都是最拿手的事。最好笑的是无耻的他居然还谈什么是“士林之耻”。他真是太妙了！
《李济：他的贡献和悲剧》是跟《高等教育的一面怪现状》同时发出的。
李济，1896年生，考古学家。1918年赴美留学，五年期间，“得了三个学位，二十六岁就戴上哈佛大学的博士帽子”。回国后，先在南开大学执教，“后来转入清华，在清华研究院中以讲师资格担任导师（另外三位导师是梁启超、王国维、陈寅恪）。”1928年南京成立中央研究院，李到历史研究所考古组任主任。“这时候他开始他‘挖’的人生”，即搞考古发掘，主要在河南安阳发掘殷墟，收获甚丰。除本职外，1930年起被聘为中华教育文化基金董事会研究教授，1935年起任中央研究院的历届评议员，1934年至1947年兼任原中央研究院筹备处主任。1948年，随历史语言研究所迁台湾，历任台湾大学历史系教授、中央研究院代院长等职，现为中央研究院历史语言研究所所长、台湾大学考古人类学系主任。还有许多国外研究机构的荣誉职务。
李敖在文章中，对李济学术研究上的贡献做了充分的论述，还说李济有“一种博大的透视力、远景的描绘、计划的构想和对纯学术以外的热情”，“例如：他在四十年前就注意到中国民族的移动问题；三十九年前就注意到中国苦力的劳动量问题；三十八年前就注意到外人发掘古物必须留在中国的问题；二十九年前就注意到古物一律不得私人藏有的问题……这些观点和构想，都是很博大的，都是超乎一般普通学者教授们的‘管’见的。这些博大的观点，自然使具有它们的人，逐渐能从本行的专业，发衍为‘科学的东方学正统’，再从而在中国全面的有组织的推进科学思想，以使中国真正达成现代化。”
李济的悲剧在哪里呢？
作者从李济曾经担心出现“文化沙漠”的悲观主义论调写起，说产生这种情绪，“不能把恶果全朝政客身上推。也不能全朝抽象现由上推”，而应该问问自己。李敖认为，中国的学界缺少像政界那样“你争我夺”的现象，也就缺少“一种促进新陈代谢的法子”，以致造成一种“大一统”的局面，“至少也是‘群雄割据’的场面，各自尊重对方的势力范围，和平共存或相轻共存”。“这种‘群雄割据’的场面，二三十年或三四十年下来，已经慢慢演进成‘群“老”割据’的‘恶劣的趋势’。在这种趋势的冷冻下，未免有一些明眼人会这样感慨——中国的‘军阀’倒了！可是‘学阀’呢？作者慨叹：“三十年下来，学界里没有‘改选’、没有‘政变’、没有‘造反’，也没有‘革命’，只有白发与黄沙。”这些论述，跟李敖在《老年人和棒子》等文中所表述的思想是一致的。
李济的悲剧还有个人的原因。“第一，李济继承了这副僵化的衣钵与工具他无法施展，对老学人老教授他无法把他们从牌桌上拉下来：拉下来也没用，他们已不会或从来不会凿井。”“第二，李济老了。他的年龄、心力与病情，都不再使他能施展朔方健儿的身手了。”“第三，李济在性格上有他基本的不适合做领导人物的‘缺憾’。例如，他没有蔡元培的雍容、没有丁立江的精明、没有胡适之的小事糊涂，也没有傅斯年的硬冲。他的性格属于狷介的一面，严肃而不可亲。”总之，就个人原因说。李济也应当交“棒子”了。
这篇文章的口气是和缓的，容易使人接受的，跟《给谈中西文化的人看看病》不同，即使跟《高等教育的一面怪现状》比较，也能使人感到区别来。
在这篇文章之后，李敖写了《从李济的悲剧看中央研究院的几个黑暗面》一文，把矛头指向中央研究院，举出了一些事例。结尾是：“当年的李济已经死掉了。现在的李济，已经告诉我们他不是一个生龙活虎的学者了，他简直一个欺名盗世的皮尔当（Piltdown）人了”。
七、《历史与人像》拉开幕序
1963年8月18日，李敖为他的《历史与人像》写了《自序》，此书随即出版。
这是一本学术性著作，有论文也有札记，共包括十二篇文字。最早的一篇《杜威的教育思想及其他》。是作者十七岁（1952年）上高中一年级时候写的；最晚的一篇是《李易安再嫁了吗？》写于成书之前不久的4月，时间跨度为十一年。作者大学毕业时的论文《夫妻同体主义下的宋代婚姻的无效撤销解消及其效力与手续》亦收在此书之中。这本书和后来出版的《要把金针度与人》、《读史指南》两书，是作者历史研究的主要成果。
对作者在学术上所取得的成就本书无力评价，笔者感到兴趣的有两点，一是选题的广泛，一是对现实的关注。
李敖的历史研究，寓专于博，博大而精深；重点在宋代婚姻，却又不限于此。即以《历史与人像》说，全书共写到八个人物，其中属于古代的只有余玠和李易安两个，属于近现代的有袁世凯、谭嗣同、徐树铮三个，另有外国二人，当代一人。《宋代婚姻》一文，资料之丰富、论述之有力，是少见的。为李清照改嫁做辩护，自是宋代婚姻研究的副产品。如果说这本书所写的历史限于宋代，那么另两本就突破断代的限制了。《读史指南》中所收《四部备要暨四部丛刊书目对照表例》，是作者在中学读书时于1952年8月9日到27日做的，作者在1982年所写附记说：“我在三十年后发表这些早年的成绩，证明给大家看：李敖对中国文化的研究，远在三十年前十七岁时候，就已达到什么水准了。我当年的功力和用功，和我今天的功力和成绩，显然有着因果的连贯，我的敌人、我的朋友，都该注意这一点。”