通信联络中断，莫斯科几乎失去了同各军区之间的联络。斯大林和他的统帅部并不知道，在战争第一天，苏军共损失了1200多架飞机，大部分飞机是被德军炸毁在机场上的。德军掌握了制空权并从宽约1500公里的广大地区向苏联发起正面进攻。德国的坦克部队和摩托化步兵师潮水般冲向苏联各边防要塞和城市。苏军在边境地区的军用仓库、武器弹药及其他军需物资，几乎全部落入德军手中，苏军官兵虽然奋力反击，但无法阻挡德军的快速推进。在战争的头几天，苏联西部边境各条战线都是乱糟糟的，有时简直是一片混乱。统帅部不断发出新的指示和命令，但这些指示和命令又都落后于急速变化的形势。在战争的头五六天里德军就深入了苏联国土150～200公里。
斯大林心情沮丧，甚至有些慌乱，但他很快从消沉的情绪中摆脱出来，振作起来，重新负起他身上的重任。为了摸清前线情况，他命令大本营的朱可夫大将到西南方面军、沙波升尼科和库利克元帅到西方方面军。
6月28日，德军在明斯克完成合围，苏军43个师又3个旅被围歼于明斯克，傍晚，白俄罗斯首府明斯克失守。斯大林沉痛地说：“列宁亲手缔造了我们的国家，而我们大家却把它误了！”
为了战争的需要，斯大林亲自兼任了国防人民委员，稍后，又亲自担任苏联武装部队最高统帅。斯大林集党、政、军大权一身，这在战争时期是必要的。斯大林命令将工业向东转移，根据这个命令，1500多个企业其中包括1300多个庞大军工厂，向后方疏散。这些工厂很快就完成迁移，并又很快地恢复生产，这为以后的战争胜利打下了深厚的物质基础。
德军攻破了列宁格勒以东20公里的筑垒区。9月8日，攻占了拉多加湖畔的计利湖利堡。列宁格勒被德军包围，列宁格勒居民开始了近500天的保卫战。
在西南方向，德军的南方集团军群从利沃夫出发，直逼乌克兰首都基辅。朱可夫紧急求见斯大林，向斯大林汇报总参谋部的作战方案，建议加强中央方面军，建议把西南方面军撤到第聂伯河以东。斯大林问道：“基辅怎么办？”朱可夫坚持己见：“基辅不得不放弃。”斯大林发火了，他高声说道：“把基辅交给敌人，亏你想得出来。”朱可夫委屈地回答说：如果你认为我这个参谋长只会胡说八道，那么还要我干什么。我请求解除我的总参谋长职务，把我派到前线去，我在那里可能对祖国更有好处一些。”
“请你冷静些，”斯大林说：“再说……如果你这样提出问题，那么我们缺了你也能行……你去工作吧，我们一会儿叫你来。”大约半小时后，朱可夫被召去。斯大林说：“我们商量了一下，决定解除你的总参谋长职务，由沙波什尼科夫接任。他的身体确实不太好，但没有关系，我们可以帮助他。”
斯大林接着问朱可夫，愿意上哪，并同意由他来指挥他所提议的对叶尔尼亚突击部的反突击。
朱可夫要求离去时，斯大林微笑地请他一起坐下喝茶。他珍惜朱可夫的帅才，尽可能消除他的情绪，斯大林提醒他，他仍然是副国防人民委员和最高统帅部的成员。
在整个二战期间，朱可夫是斯大林最得力的助手之一。他被频繁地调来调去，他指挥了莫斯科保卫战，列宁格勒反击战……他为祖国立下了大功。二战中，他成了最声名卓著的苏联元帅。
朱可夫的计划是正确的，但斯大林没有采纳他的建议。斯大林打电话给西南方面军司令员基尔波诺斯，要他不惜一切守住基辅。经过一个多月的苦战，基辅还是陷落了。基尔波诺斯战死沙场，苏军被围歼60～70万人。
战场上的胜利鼓舞了希特勒，他集中优势兵力准备在入冬前占领莫斯科。在莫斯科前沿的苏联西方方面军、预备队方面军、布良斯克方面军和加里宁方面军英勇奋战。到10月6日还是被围困在维亚泽马地区。经过几次突围均告失败。10月10日，60万苏军在维亚泽马覆没。13日，德军已挺进到离莫斯科不到100公里的地区，莫斯科面临现实的威胁。斯大林命令立即撤退主要的社会活动家和国务活动家。政府迁往古比雪夫，各大企业一律布雷，但他仍希望会有良好的结局，因为西伯利亚和远东的援军已经登车。
敌人的逼近和大规模的撤离一度在市民中引起恐慌，关于斯大林和政治局已经离开莫斯科的谣言也流传开来。10月17日，中央委员会书记向全国广播说，斯大林本人就在莫斯科，他严厉地斥责了要放弃莫斯科的谣言。斯大林留在莫斯科的消息鼓舞了人民。“绝不放弃莫斯科”，“我们无路可退了”成了对每个苏联人的崇高的爱国主义的命令。秩序很快得到恢复，街头呈现出沉着坚定的气氛。首都准备战斗到底。
德国士兵择路通过斯大林格勒一家被炮火击毁的涡轮厂。贝利亚曾向斯大林报告说，在莫斯科近郊某车站已为他准备好一辆专列，还有大本营的4架飞机也已经准备就绪，其中有1架是斯大林的专机“道格拉斯”。斯大林一言不发，他深知，只要军队、人民知道斯大林在莫斯科，就会给他们增添信心，他决心留在莫斯科直到最后一人。
1941年11月6日是十月革命纪念日，庆祝活动安排在地下铁道的马雅可夫斯基车站举行，斯大林在会上发表了讲话并立即广播发表。在首都岌岌可危的时候，斯大林的演讲具有不同寻常的意义。
斯大林说：在反***战争中，苏联并不孤立。英国和美国已表示支持。……问题在于，现在欧洲大陆上没有任何一支同德国***军队作战的英国或美国的军队。因此德国人不必分散自己的力量，不必在东西两个战场上作战。
他用充满激愤的语调说：“这一群丧尽天良、毫无人格、充满兽性的人，恬不知耻地号召消灭伟大的俄罗斯民族，消灭普列汉诺夫和列宁、别林斯基和车尔尼雪夫斯基、普希金和托尔斯泰……苏利科夫和库图佐夫的民族！德国侵略者想对苏联各族人民进行歼灭战。好吧，既然德国人想进行歼灭战，他们就一定会得到歼灭战！今后我们的任务就是把侵入我们祖国领土的所有德国人——占领者一个不剩地歼灭掉……”
在这些关键的日子，斯大林非常重视从精神上鼓舞苏联人民必胜的信心。他决定第二天照常举行传统的阅兵式。
11月7日，斯大林在红场检阅了部队，听他演讲的部队随即开赴前线。斯大林在讲话中最后号召：“你们进行的战争是解放战争，正义的战争！让我们伟大的先辈英勇的形象在这次战争中鼓舞着你们！让伟大的列宁的胜利旗帜引导你们！消灭德国占领者！我们光荣的祖国，我们祖国的自由，我们祖国的独立万岁！在列宁的旗帜下向胜利前进！”
斯大林在11月6日和7日的两次讲话的文本迅速在军队和人民中散发。每个苏联人都如饥似渴地阅读了斯大林的讲话。这些讲话极大地振奋了军队和老百姓的士气，它表达了他们对自己祖国的热爱和对残暴、狂妄的敌人的仇恨，同时也产生了重大的国际影响。
11月15日，德军再次向莫斯科发动攻击。德军不顾一切，不惜一切代价，用坦克在前头开路，妄图冲进莫斯科。德军的先头部队已冲到离莫斯科20公里远的地方，指挥官用望远镜已能看到克里姆林宫顶端的红星了。斯大林打电话给朱可夫：“你坚信我们能够守住莫斯科吗？我怀着内心的痛苦在问你这个问题，希望你作为共产党员诚实地回答。”
“毫无疑问，我们能够守住莫斯科。但是至少还需要增加2个集团军和200辆坦克。”朱可夫答道。
“你能有这样的信心，这不错。你打电话到总参谋部去接洽一下，看把你所要的2个预备队集团军集中到哪里。他们在11月底将准备好，但是坦克现在还不能给。”
苏军的顽强抵抗迫使德军未能再前进一步。德国的进攻也就慢慢停了下来。敌人一停下来，斯大林、朱可夫和铁木辛哥就立即计划冬季的反攻。
11月30日铁木辛哥发起了进攻并收复了罗斯托夫，他准备进攻德国中央集团军的侧翼，斯大林表示同意。
12月5日、6日，加里宁方面军、西方方面军、西南方面军相继转入进攻，并取得了惊人的成功。把德军向西击退了150公里，解除了对莫斯科的包围。希特勒遭受了第二次世界大战以来的第一次大失败。