1941年6月22日，苏德战争爆发。古德里安作为第2装甲集群司令，再次率领他的装甲部队冲在德军最前头。战斗打响后，由于苏军对德军的闪电战准备不足，德军迅速突入苏联国境。古德里安冒着生命危险，始终在第一线指挥作战，苏军炮弹有好几次在他身边不远处爆炸，使他差点一命呜呼。
在不到一个星期的时间内，古德里安部队就攻占了明斯克，接着将进攻矛头向东指向斯摩棱斯克。古德里安认为，拿下斯摩棱斯克，等于打开通往莫斯科的门户，那么攻占莫斯科不过是指日可待的事了。
就当时的战局而言，古德里安的分析无疑是正确的，但最高统帅部却置之不理。希特勒意欲先将被包围的苏军彻底歼灭，尔后步步为营，进攻下一个目标。这样做实际上使装甲部队突然袭击的威力大打了折扣，古德里安牢骚满腹，也只有服从命令。
7月初，古德里安排除上司干扰，率军强渡第聂伯河，并于7月16日占领斯摩棱斯克。第二天，希特勒下令给古德里安等有功之臣颁发十字勋章上的橡树叶，这是德国军人所能得到的最高荣誉。
正当古德里安踌躇满志，准备进攻莫斯科时，希特勒却命令他率兵南下，肃清残余苏军。古德里安实在搞不明白希特勒为什么要放弃莫斯科这样一个战略目标。8月初，希特勒赴前线视察，古德里安借机向希特勒陈述己见，一再说明进攻莫斯科是事关战争全局成败的关键，一些陆军将帅也极力附和，希特勒却无动于衷。