张良更加愤怒了，但是既然已经把他的鞋子捡上来了，那就穿上吧，于是跪下身来，为老者将鞋穿上。老者坦然让张良为自己穿上鞋后，站起身来，微笑而去，没有留下一句话。张良大吃一惊，目送老者远去。老者走出有五百来步远，转身又走了回来，指着张良说道：“你小子还算是个识相的。五天以后的平明时分（天亮时），在这里等我。”
此时的张良，知道老者不是一般的人，于是跪下来恭敬地施礼答道：“小子明白，谨遵吩咐！”
五天以后的平明时分，张良如约前往，不料老者已经等在沂水桥头。老者怒斥张良说：“与老人有约，反而后到，成何道理？”说完转身离去，只丢下一句话：“五天以后早早来。”
五天以后，张良早了一个时辰，鸡鸣时分就赶到桥头，老者又已经先到了，再次怒斥张良说：“为何还是晚到？五天后再来。”
这样又过了五天。这次张良不敢有稍许怠慢，未到半夜就出发前往桥头等待。不久，老者也来了。老者见了张良，高兴地说：“这回就对了。”从怀中取出一个丝绸包袱递给张良说：“这里有帛书一部，读通了可以成为辅佐王者的师傅。十年以后兴事发迹，十三年后来济北相见，谷城山下的黄石就是我。”
话刚一说完，老者转身离去，再没有话，也从此不再出现。天亮以后，张良打开包袱，里面是一部用墨写在丝绸上的兵书，篇题是《太公兵法》。太公者，周文王、周武王的军政导师姜子牙也。姜子牙善于兵法谋略，辅佐文王行政强兵，辅佐武王灭殷兴周，被尊称为姜太公，封地就在领有济北的齐国。《太公兵法》，据说是姜太公的著作，是他一生政治军事经验的总结。从此，张良日夜研习兵书，俯仰天下大事，终于成为一个深明韬略、文武兼备，足智多谋的“智囊”。
赠书教导张良的这位老者，后来被称为黄石公。黄石公的得名，源于他留给张良的那句话，“十三年后来济北相见，谷城山下的黄石就是我”。
据说，十三年后，张良跟随刘邦经过济北郡，果然在谷城县境内的谷城山下见到了一块黄色的石头，张良大为铭感，取下石头宝贵珍藏，奉时祭祀。张良死的时候，将这块石头放在自己的棺椁中一同埋葬，嘱咐后人，扫墓祭祀的时候，一定要供奉黄石，如同自己生前。
黄石公与张良的故事，是司马迁采访收集的传说。司马迁不是迷信鬼神的人，但他以为人世间的怪异神奇是有的。张良本身就是一位神奇的人物，他早年刺杀秦始皇，后来辅佐刘邦平定天下，晚年超脱人世辟谷求仙，一生不同凡响，为人行事，宛若有仙人指引。司马迁以为，张良见黄石公的事，怪异是怪异，也在人间的情理变异之中，所以特别详细地记录下来。
黄石公交付给张良的《太公兵法》，就是假托姜太公名义的古代兵书系列，至今流传于世的，有《黄石公三略》、《阴符经》和《六韬》。只要通读三部太公书，便感叹有加，张良后来辅佐刘邦平定天下，运筹帷幄之中，决胜千里之外，他的智慧谋略，正是渊源于《太公兵法》。
矢志抗秦的张良也聚集了一百多人，扯起了反秦的大旗。后因自感身单势孤，难以立足，只好率众往投景驹（自立为楚假王的农民军领袖），途中正好遇上刘邦率领义军在下邳一带发展势力。两人一见倾心，据说张良修得《太公兵法》以后，说与别人听，都没有反应，说与刘邦听，刘邦马上觉得好，当即一一实行。张良不由得感慨：“沛公殆天授。” 于是，张良果断地改变了投奔景驹的主意，决定跟从刘邦。天授天授，上天所授与也。张良的聪明智慧，是上天所授；刘邦的英断决行，也是上天所授。上天又假手黄石公和《太公兵法》将二人连接在一起，打造出君主和帝师、主帅和谋臣的天作之合。作为士人，深通韬略固然重要，但施展谋略的前提则是要有善于纳谏的明主。这次不期而遇，张良“转舵”明主，反映了他在纷纭复杂的形势中清醒的头脑和独到的眼光。从此，张良深受刘邦的器重和信赖，他的聪明才智也有机会得以充分地发挥。
等到刘邦到了薛地，会见项梁。项梁拥立了楚怀王。张良于是劝说项梁道：“您已经拥立了楚王的后人，而韩国各位公子中横阳君韩成贤能，可以立为王，增加同盟者的力量。”项梁派张良寻找到韩成，把他立为韩王，任命张良为韩国司徒。
张良“复韩”的目的终于达到了，“复家”的政治夙愿也得以实现，因而竭尽全力扶持韩王成，挥师收复韩地（指战国时韩国地盘），游兵于颍川附近，时而攻取数城，时而又被秦兵夺回，迟迟未能开创大局面。
这一年年底，楚怀王命刘邦、项羽分兵伐秦，并约定：谁先入关进咸阳，谁便可以立而为王。刘邦取道颍川、南阳，打算从武关进入关中。
秦二世三年（公元前207年）七月，刘邦率兵攻占颍川。韩王和张良便与刘邦会合了。刘邦请韩王留守阳翟（韩故都，今河南禹州市），而让张良随军南下。九月，军队抵达南阳郡（今河南南阳市）。南阳郡守奇退入宛城（河南南阳）固守。
刘邦灭秦心切，见宛城一时难以攻取，打算绕过宛城继续西进。张良认为不妥，劝道：“您虽然急于进关，但这一路上秦兵还很多，而且都扼据着险要的地势。现在不拿下宛城，一旦宛城的秦兵从后面追杀过来，那时，强秦在前，追兵在后，就很危险了。”
刘邦采纳了他的建议，立即更换旗帜，率兵乘夜间抄小路悄悄返回。拂晓时分，刘邦的军队已把宛城重重围住。接着，刘邦又采纳了陈恢的意见，以攻心之术，招抚南阳太守，赦免全城吏民，兵不血刃地轻取了宛城。解除了刘邦西进的后顾之忧，刘邦兵威大振，南阳郡的其他城池见太守已降，纷纷起而效之，望风而降。
同年十二月，刘邦率军抵达蛲关（今陕西兰阳东南）。蛲关是古代南阳与关中的交通要隘，易守难攻，是通往秦都咸阳的咽喉要塞，也是拱卫咸阳的最后一道关隘，秦有重兵扼守此地。刘邦赶到关前，想要亲率所部两万余众，强行攻取。
张良劝谏道：“目前秦守关的兵力还很强大，不可轻举妄动。”刘邦唯恐项羽大军先入关中，因而心急如焚，忙向张良问计。张良向刘邦献了一个智取的妙计。他说：“我听说蛲关的守将是个屠夫的儿子，这种市侩小人，只要用点财币就可以打动他的心了。您可以派先遣部队，预备五万人的粮饷，并在四周山间增设大量军队的旗号，虚张声势，作为疑兵。然后再派郦食其多带珍宝财物去劝诱秦将，事情就可能成功了。”
刘邦依计而行，蛲关守将果然献关投降，并表示愿意和刘邦联合进攻咸阳。刘邦大喜，张良却认为不可。他冷静地分析道：“这只不过是蛲关的守将想叛秦，他部下的士卒未必服从。如果士卒不从，后果将不堪设想。不如乘秦兵懈怠之机消灭他们。”于是，刘邦率兵向蛲关突然发起攻击，结果秦军大败，弃关退守蓝田（今陕西蓝田县西）。刘邦乘胜追击，引兵绕过蛲关，穿越蒉山，大败秦军于蓝田。然后，大军继续西进，于公元前206年元月抵达霸上（今西安市东二十五里）。
公元前205年，正当项羽与齐、赵激战时，刘邦率兵出关向中原进军。汉军声势浩大，共五十六万人，东向伐楚，次年四月，攻下了彭城。
这时，秦二世已被赵高杀死，仅仅做了四十六天秦王的子婴眼见义军兵临城下，大势已去，只好以绳系颈，乘素车白马，捧着玉玺符节，开城出降。至此，雄霸四方、威振海内的大秦帝国灭亡了。
刘邦从奉楚怀王之命西进，到进入关中，迫使子婴投降，历时仅一年，由于他采纳了张良的计谋，保证了军事上的顺利进展，从而赢得了时间，终于比项羽抢先一步进入关中。
当初，项羽和宋义向北去救赵，等到项羽杀了宋义，代替他做了上将军，各路将领如黥布等都归属了项羽；项羽打败了秦将王离，降服了章邯，诸侯都归附了他。赵高杀了秦二世之后，派人来求见，想和刘邦定约在关中分地称王。
沛公以为其中有诈，就用了张良的计策，派郦生、陆贾去游说秦将，并用财利进行引诱，乘此机会前去偷袭武关，攻了下来。又在蓝田南面与秦军交战。增设疑兵旗帜，命令全军，所过之处，不得掳掠，秦地的人都很高兴，秦军瓦解，因此大败秦军。接着在蓝田的北面与秦军交战，又大败秦军。于是乘胜勇战，终于彻底打败了秦军。
刘邦集团“共天下”的理念，是由张良提出来的。公元前202年，刘邦和项羽决战垓下，张良正式向刘邦提出，只有君主能够与诸侯臣下“共天下”，才能上下内外协力，击败项羽，取得胜利。刘邦接受了张良的建议，与各国约定共同分配天下权益，终于集结诸侯国联军，一举击败项羽。
话说回来，汉元年（公元前206年）十月，刘邦的军队在各路诸侯中最先到达霸上。秦王子婴驾着白车白马，用丝绳系着脖子，封好皇帝的玉玺和符节，在枳道旁投降。将领们有的说应该杀掉秦王。刘邦说：“当初怀王派我攻关中，就是认为我能宽厚容人；再说人家已经投降了，又杀掉人家，这么做不吉利。”于是把秦王交给主管官吏，就向西进入咸阳。刘邦想留在秦宫中休息，樊哙、张良劝阻，这才下令把秦宫中的贵重宝器财物和府库都封好，然后退回来驻扎在霸上。
刘邦大军进入咸阳，看到那豪华的宫殿、美貌的宫女和大量的珍宝异物，使许多人忘乎所以，昏昏然，以为可以尽享天下了。连刘邦也情不自禁，被秦宫里的一切倾倒，想留居宫中，安享富贵。武将樊哙冒死犯颜强谏，直斥刘邦“要做富家翁”。然而，刘邦根本不予理睬。部下的一些贤达志士对此心急如焚。
在这关键时刻，张良向刘邦分析利害，劝道：“秦王多做不义的事，所以您才能推翻他而进入咸阳。既然您已经为天下人铲除了祸害，就应该布衣素食，以示节俭。现在大军刚入秦地，您就沉溺在享乐中，这就是所谓助纣为虐了。常言道良药苦口利于病，忠言逆耳利于行，愿沛公您，听从樊哙等人的话。”
张良语气平和，但软中有硬，尤其是话中对古今成败的揭示以及“无道秦”、“助纣为虐”等苛刻字眼，隐隐地刺疼了刘邦近乎沉醉的心。这种紧打慢唱的手法，果然奏效。刘邦愉快地接受了这卓有远见的规劝，下令封存秦朝宫宝、府库、财物，还军霸上整治军队，以待项羽等路起义军。
在此期间，刘邦还采纳张良建议，召集诸县父老豪杰，对他们说：“父老们苦于秦朝的苛虐法令已经很久了，批评朝政得失的要灭族，相聚谈话的要处以死刑，我和诸侯们约定，谁首先进入关中就在这里做王，所以我应该当关中王。现在我和父老们约定，法律只有三条：杀人者处死刑，伤人者和抢劫者依法治罪。其余凡是秦朝的法律全部废除。所有官吏和百姓都像往常一样，安居乐业。总之，我到这里来，就是要为父老们除害，不会对你们有任何侵害，请不要害怕！再说，我所以把军队撤回霸上，是想等着各路诸侯到来，共同制定一个规约。”
随即派人和秦朝的官吏一起到各县镇乡村去巡视。向民众讲明情况。秦地的百姓都非常喜悦，争着送来牛羊酒食，慰劳士兵。刘邦推让不肯接受，说：“仓库里的粮食不少，并不缺乏，不想让大家破费。”秦地百姓听罢此言，越发高兴，唯恐刘邦不为秦地之王。
刘邦采纳张良的建议，采取的这一系列安民措施，争得了民心，为他日后经营关中，并以此为根据地与项羽争雄天下，奠定了良好的政治基础。
有人游说刘邦：“秦地的富足是其他地区的十倍，地理形势又好。现在听说章邯投降项羽，项羽给他的封号是雍王，在关中称王。如今要是他来了，沛公您恐怕就不能拥有这个地方了。可以赶快派军队守住函谷关，不要让诸侯军进来。并且逐步征集关中的兵卒，加强自己的实力，以便抵抗他们。”沛公认为他的话有道理，就依从了他的计策。十一月中旬，项羽果然率领诸侯军西进，想要进入函谷关，可是关门却紧闭着。