有一年，俞伯牙奉命出使楚国。八月十五那天，他乘船来到了汉阳江口。遇风浪，船停泊在一座小山下。晚上，风浪渐渐平息，云开月出，景色十分迷人。望着空中的一轮明月，俞伯牙琴兴大发，拿出随身带来的琴，专心致志地弹了起来。弹了一曲又一曲，他完全沉醉在优美的琴声之中了。突然，“啪”的一声，琴弦被拨断了一根。
按照琴家的说法，遇到有人偷听，琴弦就会断掉。伯牙站起来，向岸上望去，只见岸边站着一个人。伯牙正在奇怪，这么晚了，是什么人还不回家？岸上那个人却开口说话了：“大人，我是个樵夫，回家晚了，路上听见这么优美的琴声，我就循着琴声找过来，不想冲撞了大人的雅兴，还请不要怪罪。”
俞伯牙心想，一个打柴的樵夫，怎么会听懂我的琴呢？于是他就问：“你既然懂得琴声，那就请你说说看，我刚才弹的是一首什么曲子？”打柴的人笑着回答：“先生，您刚才弹的是孔子赞叹弟子颜回的曲子，只可惜，您弹到第四句的时候，琴弦断了。”
俞伯牙大吃一惊，马上邀请他到船上一叙。
此人名叫钟子期，他请俞伯牙继续弹琴。伯牙看到周围的高山，琴声变得高亢激昂。钟子期说：“多么巍峨啊，雄伟的高山！”伯牙又看着身边的流水，琴声变得舒缓流畅，钟子期说：“多么浩瀚啊，清清的流水。”
伯牙非常高兴，他没有想到，在这荒山野岭中居然遇到了真正的知音。
两人越谈越投机，相见恨晚，就结拜为兄弟。因为伯牙有公事在身，就约定来年的中秋再到这里相会。
和钟子期洒泪而别后的第二年中秋，俞伯牙如约来到了汉阳江口，可是他等啊等啊，怎么也不见钟子期来赴约。他弹起琴来召唤这位知音，可是又过了好久，还是不见人来。
第二天，俞伯牙上岸去寻找，路上遇到一位老人，伯牙向他打听钟子期的下落，老人告诉他，钟子期已不幸染病去世了。
听了老人的话，俞伯牙万分悲痛，他来到钟子期的坟前，拿出心爱的瑶琴，为知音弹奏了最后一曲。弹罢，他长叹一声，把心爱的瑶琴在青石上摔了个粉碎。他悲伤地说：“我唯一的知音已不在人世了，这琴还弹给谁听呢？”
从此以后，俞伯牙终身不再弹琴。
俞伯牙和钟子期的故事感动了后人，他们成为“知音”的代称。而且后人还根据他们的传说，谱写了《高山》和《流水》两首著名的琴曲。