1995年7月，上海开通了互联网专线。而此时的中国黄页还没有摆脱对美国的依赖。
一天，马云意外发现了一份投来的简历，叫李琪，马云就让他研究网页设计，一星期后，他做出了一个网页。由于之前制作一个网页，美国方要收60%的费用，因此还是在国内做比较划算。“那时候第一个网页做得丑死了，但我们很高兴，因为我们毕竟能够自己做网页了。过了一段时间之后，我就跟合作伙伴断绝了关系。”
公司成立不久，马云就在市内一家报纸上做了个广告，二分之一的通栏，叫“海博公告”，内容有关信息高速公路。形象包装他十分舍得花钱，甚至还做了一份很不错的样本册。
1995年7月，中国黄页为浙江省外宣办做了一个网站，在网上宣传浙江经济、文化。《钱江晚报》以“中国最早的政府网上工程”为题做了大篇幅的报道。媒体报道在社会引起了巨大轰动，连美国参议院都发来了贺电，祝贺中国省政府上网。
据何一兵回忆，1995年还有比较有意思的事是，当时F1摩托艇世界锦标赛在西湖举行，那是该赛事第一次到中国来，当时中国黄页给赛事做了官方网站。何一兵说：“马云给这些礼仪小姐培训英语，礼仪小姐都是美女，但马云要求很严格。所以我们后来有句话说是‘英雄难过美人关，美人难过马云关’。”
中国互联网的第一例并购案
1995年12月，何一兵跟马云还去过一趟北京。在中关村，他们看到了瀛海威信息公路的广告，还见了张树新。
何一兵回忆，“当时我们找了一个什么借口，两个互联网爱好者，去见她。因为我们也想了解，居然有人跟我们做同样的事，我们第一次发现，所以就过去了。我跟马云两个人到了张树新办公室，张树新的办公室好豪华，很大的真皮沙发。当时我跟马云看了之后说，好有钱。当时我看看马云，马云看看我，我们太寒碜了。”
此行北上，马云还带了一些文章，想请朋友帮忙发表。不久，《中国贸易报》在头版发了一篇文章，当时马云十分吃惊，吃惊之余更加佩服的是那个批准在头版发这么一篇文章的总编。因为当时大家还都是观望状态，还没有媒体敢提互联网。于是马云立刻去找了这位总编，想和他谈一谈，一次深入详谈之后，这位报纸负责人听得也很激动，他说，“马云，我帮你一个忙。”他请了北京的很多媒体，让马云给大家做一个演讲。
那一天很冷，马云早早把两台电脑安装好，将网页和资料准备好。马云给这些记者讲了两个小时，讲什么是互联网，网络有什么好处……记者们听得也是热血沸腾。不久，马云又上了《东方时空》。
在《东方时空》栏目工作的负责人樊馨蔓当时并不懂马云的网络模式，但是却被他的热情打动了，毕竟这个节目就是讲述老百姓自己的故事。于是不久，有了一集名为《书生马云》的专题片，它真实记录了马云在北京的凄凉遭遇。樊馨蔓说：“在片子里，他就像一个坏人，虽然滔滔不绝，但表情总有一点鬼鬼祟祟。他对人讲他要干什么什么，要干中国最大的国际信息库，但再看听者的表情就知道，人家根本不知道他说的是什么。”
回到杭州后，“中国黄页”陷入困境，一度发不出工资来。当时已经招了五六名销售人员。
这个时候，杭州电信就来谈收购的事情了。为了生存，为了长远发展，也为了得到资金的支持，中国黄页与杭州电信合资200万元，成立了迪佛海博信息发展有限公司。中国黄页将资产折合人民币60万元，占30%股份；杭州电信投资140万元，占70%股份。
何一兵回忆，“差不多1995年年底，我和马云第一次跟张新建谈，好像没两下就谈好了。”
曾参与收购“中国黄页”的时任杭州电信迪福公司总经理张新建回忆，“对中国黄页的收购，这个事情的发生肯定是中国互联网第一例并购案，这之前肯定不会有。”
时任杭州电信数据分局副分局长黄优刚回忆，“当时我数据分局的公司也做得很大。因为中国黄页几个字，原来觉得是我们电信搞的，所以说是想收购，但这个意见反应就比较强，最后就合在一起进行了并购。”
1996年，马云失去了对这家公司的控制权。到1996年年底，中国黄页实现盈利，营业额突破700万人民币。尽管如此，双方合作并不愉快，马云觉得完全施展不开手脚。
由于后来和杭州电信意见不合，马云最终离开了重组后的中国黄页。“每次打击，只要你扛过来了，就会变得更加坚强。我又想，通常期望越高，结果失望越大，所以我总是想明天肯定会倒霉，一定会有更倒霉的事情发生，那么明天真的有打击来了，我就不会害怕了。你除了重重地打击我，又能怎样？来吧，我都扛得住。抗打击能力强了，真正的信心也就有了。”
曾参与收购“中国黄页”的杭州电信数据分局局长谢峰评价马云，“我是没有看到过这样的人，那么执着……他等于说是屡败屡战。”
何一兵评价，“以前马云就是做生意的，你看他当老师的时候就已经在炒股票了，还做礼品，他就是一个想做生意的人，从本质上来讲，大生意、小生意他都做，我们哪有这种观念。马云会把生意包装成一个很伟大的事业。”
随着互联网的普及，马云受到了外经贸部的注意。外经贸部对马云表示，到北京来吧，你能干得更好！
1997年，马云带着他的团队来到北京，加入了外经贸部一个由联合国发起的项目——EDI中心，并参与开发外经贸部官方站点等项目。
在租来的20平方米的房间苦干一年后，不仅让外经贸部成为中国第一个上网的部级单位，而且将净利润做到了287万元人民币。“在这之前，我只是一个杭州的小商人。在外经贸部的工作经历，让我知道了国家未来的发展方向，学会了从宏观上思考问题，我不再是井底之蛙。”
马云和他的团队在北京相继开发了网上中国商品交易市场、网上中国技术出口交易会、中国招商、网上广交会等一系列国家级站点。
在北京的一年多里，马云始终认为北京的网络太浮躁，也受够了在政府企业做事条条框框的束缚。他几乎时刻在想：下一步该怎么办？
1998年年底，马云的B2B思路逐渐成熟，马云选择了为中小企业服务，他打了一个比方：听说过捕龙虾富的，没听说过捕鲸富的。“在现在的经济世界，大企业是鲸鱼，大企业靠吃虾米为生。小虾米又以吃大鲸鱼的剩餐为生，互相依赖。而互联网的世界则是个性化独立的世界，小企业通过互联网组成独立的世界，产品更加丰富多彩，这才是互联网真正的革命性所在。”
在一段时间的挣扎与考问中，马云又做出了他人生中一个颇具里程碑意义的决定：回杭州！
在这期间，刚进中国的雅虎创始人杨致远曾真诚邀请马云出任雅虎中国的总经理，马云拒绝了。这一年年底，刚刚起步的新浪重金邀请马云加盟，也被马云拒绝了。马云当时的内心独白是，“互联网是一片昏暗的江湖，谁也不知道未来是什么。这时候你可以去找一份收入不错的工作，但很可能你几年后还得换工作。”
这一年，马云正式辞去公职，决定开拓电子商务应用，尤其是B2B业务。那一晚，马云约齐了团队里的所有人。这些人跟着马云从杭州到北京，从无埋怨，工作出色。马云对他们说：“我近来身体不太好，打算回杭州了。你们可以留在部里，这儿有外经贸部这棵大树，也有宿舍，在北京的收入也非常不错；你们在互联网混了这么多年，都算是有经验的人，也可以到雅虎，雅虎刚进中国，是家特别有钱的公司，工资会很高，每月几万块的工资都有；也可以去刚刚成立的新浪，这几条路都行，我可以推荐。反正我是要回杭州了。”马云回杭州的决定惊呆了所有人，马云接着说，“你们要是跟我回家二次创业，工资只有500元，不许打的，办公就在我家那150平方米里，做什么还不清楚，我只知道我要做一个全世界最大的商人网站。如何抉择，我给你们三天时间考虑。”
而意想不到的是，大家都留了下来，决定跟随马云。那一刻，马云心情复杂。在北京的一年多时间里，大家从没有出去玩儿过，于是马云决定带大家去长城玩一次。
离开北京前的最后一晚，马云和他的团队聚在一个小酒馆里，大家大碗喝酒，有的抱头痛哭。“创业的时候，我的同事可能流过泪，我的朋友可能流过泪，但我没有，因为流泪没有用。”
1999年1月15日，马云和他的团队悄然南归。