最高统治层的不稳定，给了一些边远地区脱离罗马帝国控制的机会。正当帝国内部陷入长期混乱的时候，居住在帝国北部边陲的许多所谓“蛮族”受匈奴人冲击，纷纷进入罗马帝国境内。“蛮族”主要是指日耳曼人各部落，包括东哥特人、西哥特人、汪达尔人和勃艮第人等等。罗马人难以抵挡日尔曼人内迁，只好采取以蛮制蛮的策略：允许一部分蛮族人移居境内，让他们抵制另一些蛮族入境；或是招募他们为兵，以对付内忧外患，结果帝国境内的蛮族日益增多。
公元284年戴克里先登基，对官僚体制和军队作了一些改革和整顿，稍稍稳定了帝国混乱的局面。戴克里先退位以后，继承帝位的是君士坦丁。
公元330年，君士坦丁把首都迁到拜占廷（后改名为群士坦丁堡），号称“新罗马”。公元395年，狄奥多西皇帝去世。他留下遗嘱，把帝国版图划分为东西两部，让他的两个儿子分别统治东西两个帝国。东罗马帝国拥有从黑海到亚得里亚海之间的广大地区，包括巴尔干半岛、小亚细亚、叙利亚、巴勒斯坦、埃及、美索不达迷亚以及外高加索的一部分。首都设在君士坦丁堡（现在土耳其的伊斯坦布尔）。这个国家后来又叫做拜占廷帝国，它一直存在到公元1453年。西罗马帝国的领土比东罗马帝国要大一些，包括现在的意大利、法国、西班牙、比利时、英国的大不列颠、奥地利、匈牙利、南斯拉夫的西北、地中海的整个西部，以及阿尔及利亚、摩洛哥、突尼斯、利比亚的北部。首都仍设在罗马。两个帝国形成后，各自经历了不同的历史命运。由于东部地区相对较为稳定，拜占廷以新的社会形态跨入中古时期，又存在了1000多年。而西罗马帝国受到日尔曼人的冲击，苟延残喘了几十年就很快灭亡了。
公元408年，一支哥特人在他们的首领阿拉列的率领下，侵入意大利北部，向罗马挺进。不久，哥特人占领了罗马的港口奥斯提亚，断绝了罗马的粮食来源。罗马城内人口众多，立刻陷入饥荒，随后又爆发了瘟疫，死者众多。罗马元老院迫不得已派人去向阿拉列求和，献出黄金5000磅，白银30000磅，绸料 4000匹，皮革3000张，东方胡椒3000磅，又提交一些贵族做人质，才换取哥特人的解围，被允许到港口买粮。和平是短暂的。公元410年，阿拉列决定打进罗马城并向士兵们宣布：攻进罗马，可以任意抢劫三天。一个雷电交加的夏夜，城里的罗马奴隶为攻城者打开了城门，号称“永恒之城”的罗马陷落了。三天三夜的洗劫，四面八方的大火，使巍峨的殿宇、壮丽的宫室化成了焦土一片。哥特人是贪图罗马的财富才进攻罗马的。他们并不打算长期占领这座城市，当然更没有管理整个帝国的思想准备。在入城的第六天，他们就放弃了罗马，向意大利南部推进，打算渡海远征西西里，再去非洲。但是阿拉列突然病死，使哥特人远渡的计划没有实现。后来他们在西罗马帝国的西南——今天的西班牙北部，建立起西哥特王国。
这以后，在西罗马帝国广大的领土上，东哥特人、汪达尔人、法兰克人、勃艮人、盎格鲁撒克逊人陆续建立起一个个“蛮族”小王国。帝国的版图就象一片被蚕啃过的桑叶，四周都吃光了，中间也已经千疮百孔。那些“蛮族”小国就是今天欧洲一些国家的前身。