尔朱荣，字天宝，北秀容人。世代任部落的酋长，他的祖先居住在尔朱川，因地名取为姓氏。
他的高祖尔朱羽健，魏道武帝登国初年任领人酋长，率领契胡的武士跟从魏军攻破晋阳，平定中山，被封为散骑常侍，因而定居在秀容川。朝廷下诏划定周围三百里的土地分封给他，作为永久的家业。道武初年，因南秀容原野肥沃宽广，想让他迁到那里居住。他说：“以后我家世代为国家效劳，侍奉在皇帝陛下左右，北秀容既然已经被开垦，离京城又近，怎么能因为土地的肥沃与瘠薄，再迁往离京城较远的地方呢？”道武帝同意他的请求。他住的地方曾有狗用舌头舔地，因而在那地方挖掘得到一股甘泉，便取名为狗舔泉。
曾祖尔朱郁德、祖父尔朱代勤，继任为酋长。代勤，是太武帝敬哀皇后的舅父。因为有外戚的关系，加上多次征战有功，朝廷在他的封地内免除一百年的徭役，授予他为立义将军衔。他曾到山中围猎，部落中有人用箭射杀猛虎，误中了他的大腿。他让人将箭拔出，竟不追问是谁射的，说：“这是误伤，怎么忍心再加罪给他呢？”部落内的人都被他所感动。官至肆州刺史，被封为梁郡公。后因年老辞官，朝廷每年赐给他布帛一百匹作为常例。去世后，谥号为庄。孝庄帝初年，追赠为太师、司徒公、录尚书事。
尔朱荣的父亲尔朱新兴，太和年间继任为酋长。曾赶着马群遇见一条白蛇，头上长有两只角，因而祝愿祈祷，请求畜牧兴旺。从此，牛羊驼马，一天比一天繁盛。他凭身上的毛色将它们分列成群，用山谷的长短来测出它们的数量。朝廷每次打仗，他都献出自己养的马，又准备好军粮，供军队需用。因而得到孝文帝的嘉奖。迁都洛阳后，朝廷特别允许他冬天到京城朝拜，夏天回到部落。每次入朝，所有的王公大臣，竞相把珍奇玩好送给他，他也送名马报答。官位至散骑常侍、平北将军、秀容第一领人酋长。每年春秋两个季节，他都与妻子到山川大泽中检阅畜牧的情况，并骑马射猎以作娱乐。孝明帝时，因自己年迈，请求朝廷将他的爵位传给儿子尔朱荣。去世后，谥号为简。孝庄帝初年，赠封号为太师、相国、西河郡王。
尔朱荣肤色白净，容貌俊美，从小就智慧超人，明于决断。长大后，喜欢骑马射猎，每次围猎誓众，都按照军队布阵的方式，号令严明，众人不敢违犯。秀容一带有三处水池，都在高山上，清冽幽深，无法测量，相传叫祁连池，就是北魏时所说的天池。他的父亲尔朱新兴同他一起到池中游泳，忽然听到空中传来箫笛锣鼓的声音。父亲对他说：“古代传说，听到这种声音的人，都官至王公宰辅。我年纪已到迟暮，当应在你的身上。”他继承父亲的爵位，后来又被授予直寝、游击将军。
正光年间，四方起兵，天下大乱，尔朱荣散掉畜群，招集义勇健儿。因讨贼立下战功，被晋封为博陵郡公，过去的爵位给了他的二儿子。他率领军队到肆州，刺史尉庆宾关闭城门，不让进入。他非常恼怒，挥军将城池攻下，任命他的从叔尔朱羽生为刺史，押解尉庆宾回到秀容。从此，兵马逐渐强盛，朝廷也不能加罪于他。葛荣吞并杜洛周以后，尔朱荣担心他会向南进攻邺城，上表请求向东援助相州，孝明帝不同意。他又认为山东一带盗贼强大，怕他们向西进犯，便派兵把守滏口以作提防。北部派军队捍卫御马邑，东部命军士驻守井泾。
不久，孝明帝驾崩。由于事出突然，尔朱荣便与元天穆等人密议，准备进京匡扶朝廷。他们向朝廷上表抗议，说：“现在天下议论纷纷，异口却同说一句话，都认为皇帝是被鸠酒毒害致死，抛出潘嫔的女儿以欺骗天下百姓，抬出不会说话的小孩子来君临天下。我们请求把徐纥、郑俨之流交给有司处置。还要召集皇室宗亲，推举有道德有威望的人当皇帝。”于是，准备统率军队进京。灵太后十分恐慌，下诏命李神轨为大都督，将要在太行山一带布防。尔朱荣上表抗言之初，就派他的从子尔朱天光、亲信奚毅和仓头王相悄悄进入洛阳，与他的从弟尔朱世隆密谋废立皇帝的事。尔朱天光见到孝庄帝元子攸，谈了尔朱荣的打算，元子攸同意即位。尔朱天光等人回到尔朱荣那里，他便从晋阳出发，向洛阳进军。他还怀疑拥立的皇帝是否合适，便用铜铸造孝文帝和咸阳王元禧等五王的子孙们的像，铸成的当拥立为君主。惟有元子攸的像铸造成功。军队到达河内，他又派王相秘密将元子攸与孝明帝的哥哥、彭城王元勋、弟弟始平王元子正接来。武泰元年(528)四月，元子攸从高渚过黄河来到尔朱荣的军队，将士们一齐高呼万岁。
孝庄帝即位，下诏封尔朱荣为使持节、都督中外诸军事、大将军、开府、尚书令、领军将军、领左右、太原王。尔朱荣率军渡过黄河，胡太后便散开发髻上路迎接，朝廷内外的官员都到河桥迎接孝庄帝的车驾。
尔朱荣受武卫将军费穆之谗言的迷惑，以为可以乘机夺取天下。便诈称官员们要共同设盟立誓，将大家引向河阴西北三里的地方，到南面的长堤旁，命他们都下马向西渡河，立即派胡族骑兵将他们四面包围，扬言丞相高阳王想谋反，借机杀死了所有的官员。王公卿士二千多人也都束手被杀。他又命二三十个心腹持刀来到行宫，孝庄帝和彭城王、霸城王都走出军帐。尔朱荣先派并州人郭罗察和西部高车国的叱列杀鬼守在孝庄帝的左右，作为接应。他们二人看见事变发生，假称要保护皇帝，抱起孝庄帝进入军帐，其他的人便杀害了彭城王和霸城王。又命四五十人将孝庄帝迁移到河桥，将灵太后和少主元钊沉入黄河溺死。这时，又有朝臣一百多人随后来到，在河堤东面被包围。军士们拔出利刃，尔朱荣高声说道“：能够写传位诏书的人站出来，可以给你活命。”当时，有陇西人李神俊、顿丘人李谐、太原人温子升，都是当代的文章高手，被包围在当中，因耻于干这件事，便俯伏在地上不答应。御史赵元则，怕会被杀戮，出来起草传位的禅文。尔朱荣又命人告诫将士们，说元氏就要灭亡，尔朱氏即将兴起，大家都要喊他万岁。他便用金属铸造自己的像，四次都没有成功。此时，他所信赖的幽州人刘灵助善于占卜，说今天时机还不成熟。他便说：“如果我当皇帝不吉利，当迎立尔朱天穆。”灵助说：“天穆也不吉利，惟长乐王有称帝的兆头。”尔朱荣听后精神恍惚，不能自持，又惭愧又悔恨，到四更天时，又请出孝庄帝，跪在孝庄帝的马前叩头请死。他的三千多骑兵因滥杀朝臣，便不敢进入京城，想向北作迁都的打算。徘徊迟疑一天，才护卫着皇帝的车驾向洛阳进发。登上邙山，看到城门，又心怀畏惧，不肯再向前走。武卫将军泛礼苦苦劝告，他也不听。又向前行进，入城后，也不朝拜皇帝，保卫京城。跟从他北边来的人，都骑着马进入宫殿。朝廷公卿大臣死的死，逃的逃，朝堂站班也没有了次序。孝庄帝左右只有数名旧臣。尔朱荣仍然坚持迁都的意见，孝庄帝也无法抗拒。他又在明光殿重新对河桥滥杀之事向朝廷谢罪，发誓说自己不再有二心。孝庄帝站起来劝止他，也向着他发誓，说自己没有任何疑心。尔朱荣高兴，因而举杯饮酒，等到他醉倒后，孝庄帝想杀掉他，左右的人苦苦劝阻才停止，便把尔朱荣睡的床抬到中常侍省。他到半夜才醒酒，到天明也不敢入睡，从此不再在宫中住宿。
他的女儿原为孝庄帝的嫔妃，想立为皇后，孝庄帝迟疑未决。给事黄门侍郎祖莹说：“过去文公在秦，怀赢奉父亲秦穆公之命嫁给他。事情都有违反常情而又合乎道理的，陛下您为何再迟疑呢？”孝庄帝同意立尔朱荣的女儿为后，他非常高兴。
这时，人们有的传说着尔朱荣想迁都晋阳，有的说他想纵兵大肆掳掠，人人惊恐不安。京城中的读书人十不存一，相率逃跑，没有人敢出来。全城守卫空虚，官衙内空旷荒废。尔朱荣听说后，上书向朝廷谢罪。无上王上表请求追尊先帝庙号；死去的各王和刺史，请赠给三司；位列三品的官员，请赠给令仆；五品的官员，赠给方伯；六品以下以及不在品位的，赠给镇郡。那些被杀害的官员如无后代，听凭其他人继承，都授予封爵。根据地位的高低、官阶的大小，使恩德施加在每个生者和亡者的身上，以便使他们得到抚慰。朝廷下诏按他们的表章办理。无上王又启奏孝庄帝，派使者到京城各处安抚慰问，人们的情绪因此稍微安定了一些。逃亡的朝臣也渐渐归来。尔朱荣又奏请朝廷，让朝臣们轮流当值，每月的初一和十五，召见三公、令、仆、尚书、九卿，以及司州牧、河南尹、洛阳、河阴执事等官员，参与讨论国家大事，并作为制度固定下来。
这年五月，尔朱荣回到晋阳，便命元天穆进京，任侍中、太尉公、录尚书事、京畿大都督，兼领军将军，封为上党王。他还在各个职务上安插心腹，朝廷的一举一动，都要根据他的意思去办。七月，朝廷加封尔朱荣为柱国大将军。
这时，葛荣领军向洛阳进发，号称有百万之众。相州刺史李神俊闭门自守，不阻拦敌人。尔朱荣率领精锐骑兵七千，每个骑兵配有两匹马，倍道兼行，东出滏口，拦击葛荣。而兵力却与葛荣众寡悬殊。葛荣听说后喜形于色，便令他的士兵置办长绳，尔朱荣的骑兵来了便将他们捆起来。自邺城以北，列阵数十里，像簸箕一样摆开阵势前进，尔朱荣暗中在山谷中埋伏军队作为奇兵，将督将以上职务的军官三人分为一处，每处率数百名骑兵，让他们指挥士兵在驻扎的地方擂鼓呐喊，扬起尘土，使敌人测不出有多少人马。又派一支人马进攻敌兵。交战时，刀不如棍棒好用，他密令军士马上各准备一根木棒。交战以后，考虑便于冲破敌阵，不让骑兵斩掉敌人的首级，只抡起棒子打就行了。又命令勇壮骑兵，奋勇冲击。他号令严明，将士上下一心，一起拼杀。他也亲自冲入敌阵，出现在敌兵的后队，与前面的军队前后合击，将敌兵打得大败。在战场上活捉葛荣，其他人全部投降。尔朱荣怕这些投降的将士心存疑惧，便下令让他们各自从事自己愿意干的职业，亲属们也可以跟着，任意挑选居住的地方。于是，大家都很高兴，立即四处散去。数十万人马，一下子全部解散。等到散去的士兵走出一百里之外，才分道遣送，遇到合适的地方就安置他们居住，这些人都得到满意的住处。俘获的敌兵将领，也都量才使用，新归附的人都很安心。人们都佩服他处置得正确迅速。他又派囚车将葛荣送往洛阳，朝廷下诏加封他为大丞相、都督河北畿外诸军事。
尔朱荣开始讨伐葛荣时，军队到达襄垣，便大举围猎。有两只兔子在马前面奔跑，他弯弓立誓说：“射中了就能捉住葛荣，射不中就抓不住。”说完两只兔子应弦扑地，三军将士十分欢腾。后来，他命在这里立碑，取名叫双兔碑。将要开战的前夜，他梦见一人向葛荣索要牛刀，葛荣开始不肯给，此人自称是道武皇帝，葛荣才把刀交出，这人又将刀授予他。睡醒之后他很高兴，知道这一仗一定能获取胜利。
朝廷又下诏把冀州的长乐、相州的南赵、定州的博陵、沧州的浮阳、平州的辽西、燕州的上谷、幽州的渔阳七郡，各分出一万户，加上原来的共十万户，作为太原国的封邑。又给他加位为太师。
建义初年，北海王元颢投奔南梁，梁封他为魏王，援助他兵马。这时，邢杲率三齐之地响应元颢。朝廷认为元颢势单力弱，永安二年(529)春，下诏命元天穆先平定齐地，然后征讨元颢。元颢乘洛阳空虚，率兵径直前进。荥阳、武牢都没有守住，孝庄帝离开洛阳，避向河北。尔朱荣听说后，骑快马到上党长子的皇帝行宫，领着皇帝的车驾南进。他作为前驱，十来天的时间，聚集了许多兵马。元天穆平定邢杲后，也渡过黄河与尔朱荣会合。孝庄帝住进河内，尔朱荣与元颢的军队相持在黄河两岸，没有船只，不能马上渡过。他想率军北还，以后再图谋大举。黄门郎杨侃、高道穆等人坚持认为不能北还。马渚的杨姓人家说有数只小船，并愿意当向导。尔朱荣便派都督尔朱兆等人率精锐骑兵乘夜渡过黄河。元颢逃去，孝庄帝渡过黄河入居华林园，下诏加封尔朱荣为天柱大将军，赠给封地民户连从前的共有二十万户，又加赠前后部羽葆鼓吹的仪仗。
尔朱荣不久又回到晋阳，遥控朝廷。他的亲信都担任朝廷要职，朝廷百官有什么动静，无不详细报告。至于任免官员，都得经过他允许，然后才能任用。孝庄帝虽然受他控制，却勤于政事，朝夕过问朝政，孜孜不倦，多次亲自处理冤案，阅读案件卷宗。又因选官太滥，他与吏部尚书李神俊商议，要严肃朝廷法度。尔朱荣对此很为猜疑，并加谴责。他曾要朝廷补任一名定州曲阳县的县令，李神俊认为是县级的官员，所以没有奏报给他，而另外选派。尔朱荣雷霆大怒，便派他选定的那位官员到任上夺得这个官职。他又派人进京，来人虽然只稍微显示出不满，朝臣见了，没有不心怯胆寒的。这人来到宫殿下，不让人奏报，依仗尔朱荣的权势，便大发脾气。李神俊便上表请求辞去职务。尔朱荣想让尔朱世隆接替，孝庄帝也不敢违拗他的意见。尔朱荣曾经奏报朝廷，让北人任河内诸州的刺史，想和晋阳形成犄角之势，孝庄帝不同意。元天穆入宫见孝庄帝，又说起这件事，孝庄帝仍然不同意。天穆说：“天柱大将军尔朱荣既然立有大功，任国家的宰相，如果请求将天下的官吏都换掉，恐怕陛下您也不能违背。为什么他启奏委任几个人任州官，就拒绝不用？”孝庄帝厉色说道“：天柱大将军如果不做朝廷的臣子，连我也可以代替；如果他还有做大臣的礼节，就没有代替天下百官的道理。”尔朱荣听说后，十分愤怒，说：“天子是谁立的？今天竟然不听我的话！”尔朱皇后也与嫔妃们不和，很有些嫉妒的事情。孝庄帝派尔朱世隆用道理劝说她，皇后说：“天子是咱们家立的，他今天才能这样。我父亲那时应自己当皇帝，为何今天还没有决定？”尔朱世隆说：“哥哥只是自己不愿意当，如果他自己当皇帝，我也可以封王了。”孝庄帝外被强臣逼迫，内被皇后挟持，常郁郁不乐，并不因为自己居万乘之尊感到荣耀。