砚是何时由何人发明的，已经无法考证了。今天能见到的最古老的实物，是仰韶文化时期姜寨遗址中发现的一块石砚。它有砚盖，有磨扦，砚心微凹，与汉代石砚极为相似。砚弯有陶质的水盂，还有5块黑色颜料。在遗址中，人们也发现了水和墨。毫无疑问，砚诞生于5000年前的新石器时代。
汉代以后，砚的花样便有很多翻新。从材料方面看，不仅有石砚、瓦砚，而且也出现了玉砚、陶砚、漆砚和青铜砚等。它们的形状或方形或圆形，或山形或龟形，有的还带有三足。
歙砚历来是文人墨客推崇的砚台之一，出现于唐代，别名龙尾砚，因取石于古代歙州龙尾山（今属江西省婺源县）而得名。歙砚的出现有一个美丽的传说。相传有一位猎人外出打猎，追捕野兽时他一下追到龙尾山山脚的武溪旁。这时，他看到溪水上方有一缕白烟宛转浮游，状如行龙，像要引导猎人去一个地方。那位猎人跟随指引，挖掘出一块奇异的石料。他把石料带回家中，又请技艺高超的匠人把它仔细研磨，终于雕琢成一块精美的砚台。几经辗转，砚台献给了歙州县令，这才引起官府的重视。
歙砚质地致密细腻，孔隙少，不会损坏毛笔，而且砚石中含有颗粒均匀分布的云母，使砚石具有“细中有锋，柔中有刚”的特点。歙石石质优良，莹润细密，有“坚、润、柔、健、细、腻、洁、美”八德。它嫩而坚，润而不滑，扣之有声，抚之若肤，磨之如锋，比较适于发墨。并且歙砚的纹理灿烂，色如碧天，长久使用，砚上的残墨陈垢入水一洗，就变得莹洁光润，焕然一新。
歙砚在宋朝时就受文人学士所青睐。据说著名书法家蔡襄对歙砚尤其钟爱。有一次，他的一位朋友邀他到府上观赏一方歙砚，蔡襄看后赞不绝口，并作诗一首：“玉质纯美理纹精，锋芒都去墨无声。相如闻道还持去，肯要秦人十五城。”短短四句诗，就把歙砚质纯如玉、纹理精致、墨之锋芒，磨尽却听不到一丝声音等特点，描绘得淋漓尽致，并把此砚比作战国时的“和氏璧”，可见歙砚在蔡襄心目中的地位。