周太祖文皇帝姓宇文氏，名泰，字黑獭，代郡武川人。他的远祖出自炎帝。炎帝被黄帝所灭之后，子孙们远逃到北方的荒野之地。后来有一位名叫葛乌兔的人，勇猛而又多智谋，鲜卑人便奉他作为部族首领，总管十二个部落，世代相传作为大人。到后代有位孙子名叫普回，他因外出打猎时得到三只玉玺，上面刻有“皇帝玺”的文字，普回认为是天意让自己当皇帝，所以觉得十分惊奇。鲜卑的习惯称天子为“宇文”，所以他把国号叫做宇文，并以此作为家族的姓氏。
普回的儿子莫那，从阴山南迁，开始时居住在辽西，称为献侯，是北魏的属国，世代和亲。从莫那传九代至侯归豆，被慕容晃所灭。侯归豆的儿子陵在燕国任职，拜为驸马都尉，封玄菟公。当慕容宝败亡后，他归顺魏国，任都牧主，封爵安定侯。天兴初年，魏国迁徙国中豪杰之士到代都，宇文陵也依照规定迁居到武川，并成为这个郡县的人。宇文陵生儿子系，系生韬，韬生宇文泰的父亲宇文肱。他们都以勇武有谋略而著称。
宇文肱讲义气而有才干。正光末年，沃野镇人破六韩拔陵叛乱，他所封的伪王卫可瞔气势最盛，宇文肱便纠合了乡里的众人一起，斩杀了卫可瞔，卫的部下也都败散了。宇文肱后来加入鲜于修礼队伍中，被定州军所击败，战死在阵上。武成初年，追谥号为“德皇帝”。
宇文泰是宇文肱的小儿子，母亲为王氏。起初怀孕到五个月时，王氏晚上梦见自己抱儿子升天，可是还没有到天上就停止了。醒来以后，她告诉了宇文肱。宇文肱高兴地说：“虽然没有到天上，也是显贵到极点了。”皇帝出生时有一团黑气就像大盖罩一样，罩在他的身上。长成以后，身长八尺，方额而又宽广，长有一部很美的髯须，发长至地，手垂过膝盖，背上有黑记，屈曲如同龙盘绕的形状。面色有紫光，人们望见后都十分敬畏他。
他从小很有气度，不做一般人所从事的活计，看轻钱财好施于人，以结交贤士大夫当作要紧事情。他跟随父亲在鲜于修礼的军队里。当葛荣杀鲜于修礼时，宇文泰十八岁。葛荣委任他为将军。但宇文泰观察后认为葛荣难成大事，就和几位哥哥商量准备离开他。可是他们还没有行动，正好葛荣灭亡，他们便随着尔朱荣迁至晋阳。尔朱荣很嫉妒宇文氏兄弟都是英雄好汉，便假托别的过错而打算杀掉宇文泰的三哥洛生。宇文泰认为这是自己家里的冤情，便自己前去找尔朱荣说理，他慷慨陈词，使尔朱荣也受了感动，赦免了洛生，此后对宇文泰也格外敬重。
宇文泰起初以统军职务跟着尔朱荣四处征讨，后来作为别将跟从贺拔岳到洛阳讨伐北海王颢。孝庄皇帝重新登基后，以功封宇文泰为宁都子。后来他又随贺拔岳入关，讨平了万俟丑奴，代行原州刺史。当时关中、陇中一带贼寇作乱，宇文泰用恩惠和信义来安抚百姓，百姓都十分高兴，他们说：“要是早遇到宇文泰使君，我们怎么会跟从叛逆作乱呢？”宇文泰曾经带着几个骑士一起到野外去，忽然听见传来箫鼓的乐声，他便问跟从的众人，可是他们都没有听到，他心里觉得很奇怪。
普泰二年(532)，尔朱天光向东出兵抵抗齐神武帝的进攻，留他的弟弟尔朱显寿坐镇长安，召秦州刺史侯莫陈悦东下合兵进击。贺拔岳知道尔朱天光这次出兵必败，想留侯莫陈悦来京共同对付尔朱显寿，但想不出有什么好的计策。宇文泰对贺拔岳说“：如今尔朱天光军队离此较近，侯莫陈悦恐怕还不会对他怀有贰心。如果把这件事直接告诉他，只怕会引起他的惊恐不安。不过侯莫陈悦虽说是主将，并不能真正控制住他的军队，如果先说服他部下的众将，这些人必定愿意留下来。这时侯莫陈悦前进的话必定误了尔朱天光规定的期限，后退的话又怕军心变故，如果乘此时再劝说侯莫陈悦，事情一定能办妥。”贺拔岳听后十分高兴，当即让宇文泰到侯莫陈悦的军中劝说众人。侯莫陈悦便和贺拔岳一起偷袭长安。宇文泰带领轻骑兵作为先锋，直追到华阴，抓住了尔朱显寿。当贺拔岳任关西大行台时，宇文泰被封为左丞，兼领贺拔岳府中司马，无论大小事情，都由他来决定。
北齐神武皇帝除掉尔朱氏，便专权独霸朝政。宇文泰请求前去看看情况。到了并州后，神武帝觉得宇文泰不是寻常人，他说：“这小子眉目长得不寻常。”便准备留下他。宇文泰装出一副十分忠诚的样子，同时又拜托神武帝身边的亲信们替他苦苦哀求，让他回去回报使命。得到允许后当即动身，加倍赶路。可是他动身走了一天以后，神武帝就后悔了，他派出上等的驿马日行千里，一直追到潼关，未能赶上，只得回去了。宇文泰回来后，对贺拔岳说：“高欢岂是当臣子的，只是叛逆的计谋还未实行罢了，他害怕您们兄弟而已。侯莫陈悦原本就是个平庸之才，高欢并不担心他。不过只要早作准备，击败高欢也不难。如今费也头统率精锐骑兵不下一万人，夏州刺史解拔弥俄突掌握三千多人的常胜军，他们和灵州刺史曹泥等人都自恃离京城路远而偏僻，常怀有别种想法。河西的流人纥豆陵伊利等，拥有众多人口，物产丰富，没有接受朝廷管辖。如今我们把军队移向陇地，占据要害地点，向他们显耀军威，同时又以德感化，就能够收服他们的兵马，壮大我军。再西和氐、羌，北抚沙漠与边塞之众，然后回军长安，安定与辅佐魏朝，这正是当年齐桓公晋文公所做的大事啊！”贺拔岳听后，十分高兴。他又派遣宇文泰回朝奏请诸事，秘密地陈说计划。魏帝听从了他们的计谋，并加封宇文泰为武卫将军，然后回到贺拔岳的军中回报。于是，贺拔岳将军队往西带到平凉。
贺拔岳觉得夏州四邻都是贼寇们占领的地方，需要一位有才干的刺史来治理和镇守，众人都推举宇文泰。贺拔岳说“：宇文左丞是我的左右手，怎么能够离开呢？”他想了些日子，也没有更合适的人，便听从了大家的建议，上表请求委派宇文泰出任夏州刺史。宇文泰到夏州以后，纥豆陵伊利等望风归附，可是曹泥仍然和齐神武帝相通往。
北魏永熙三年(534)正月，贺拔岳准备攻打曹泥，他派都督赵贵到夏州和宇文泰商量。宇文泰说：“曹泥占据孤城，又是偏远地区，不足忧虑。侯莫陈悦贪得无厌又不讲信誉，应当考虑先除掉他。”可是贺拔岳不听，便跟侯莫陈悦一起出兵攻打曹泥。二月间，军队来到河曲这个地方时，贺拔岳果然被侯莫陈悦所害。贺拔岳的部众散归平凉，只有大都督赵贵统率的部众收贺拔岳的尸体回营。这时三军不知该归谁统领，各将领觉得都督寇洛年纪最大，便推举他出来主持军务。寇洛向来没有雄才大略，他的命令没有人执行，便请求让位。于是赵贵便对着众将竭力称赞宇文泰英姿焕发而又有雄才大略，如果向他告知贺拔岳的丧事，他一定会赶来参加，大家便乘势拥戴他主持军务，这样就大事办妥了。众将都称赞是好办法。于是，派赫连达疾驰赶往夏州告诉宇文泰。当时夏州的官员和民众都哭泣起来，请求宇文泰暂时留在夏州，观望事态的发展变化。宇文泰说“：难于得到和容易失去的东西便是时机，当天就作出决定就是当机立断。如今不早些前去，只怕众心离散。”都督弥姐元进企图给侯莫陈悦当内应，暗中杀掉宇文泰。事情被觉察后，将他处斩。
宇文泰便领着部下，轻骑飞奔来平凉。当时齐神武帝也派了长史侯景前来招降贺拔岳的部众，当宇文泰到达安定时，正好在驿站里遇见了侯景。宇文泰正在吃饭，见侯景后，把嘴里的饭吐出，命令部下立即上马起程，他对侯景说：“贺拔公虽已身死，宇文泰却还在，你来想干什么？”侯景大惊失色，说道：“我不过是一支箭，随人射到哪里罢了。”于是，他转身回去了。宇文泰到达平凉后，对着贺拔岳的尸体放声大哭，十分伤心。将士们都又悲又喜，说道：“宇文公到了，我们不用担忧了。”
齐神武帝又派侯景和常侍张华原、义宁太守王基前来犒劳宇文泰，宇文泰不肯接受。他因为和王基有旧交情，想把王留下来，同时也把侯景留下，可是两人都不肯屈从，他便让两人都回去。当时斛斯椿正在宇文泰的身边，他对宇文泰说“：侯景可是人中的俊杰啊！为什么放了他？”宇文泰也心中后悔，派驿马追赶，未能赶上。王基也逃回，他告诉神武帝，说宇文泰确实是英雄豪杰，请在他的军心未定的情况下消灭他。神武帝说：“您没见到贺拔岳和侯莫陈悦的下场吗？我自当用计策拱手轻取他。”可是后来在沙苑失败，神武帝十分追悔。
这时，魏帝正准备消灭齐神武帝，听说贺拔岳被害，便派武卫将军元毗传旨慰问贺拔岳的军队，同时把军队调回洛阳。元毗到平凉后，众将已公推宇文泰主持军务。魏帝下令追回侯莫陈悦的军队，可是侯莫陈悦已经归附齐神武帝，不肯接受魏帝的命令。宇文泰说“：侯莫陈悦陷害忠良之士，又不肯接受朝廷的诏令，这是国家的大贼。”于是下令各部戒严，准备讨伐侯莫陈悦。
当元毗还朝时，宇文泰上表给魏帝，说明高欢正拥兵河东，侯莫陈悦又据守水洛，部队首尾受敌夹制，请求暂缓回军京城。宇文泰这时正一心一意想讨伐侯莫陈悦，又还不清楚朝廷的想法，而且部众也还未到齐，所以上表托辞。于是他和元毗以及众将宰杀牲畜，对天盟誓，共同辅佐朝廷。
起先，当贺拔岳的军队驻守河曲时，有一位军吏独自外出行走，遇到一位老人对他说：“贺拔氏虽然掌管众军，最终一无所成，应当有位宇文氏从东北而来，此后一定大为兴盛。”说完就不见了。到这时老人的话才应验。
魏帝便下诏任宇文泰为大都督，立即统率贺拔岳的军队。宇文泰便送信给侯莫陈悦，责备他杀害贺拔岳的罪过，又告诉他要立即回朝，侯莫陈悦却假传一份诏书给秦州刺史万俟普拨，命令他增援自己。万俟普拨看到这份诏书后产生怀疑，便把它封好交给宇文泰，宇文泰立即上表奏明朝廷。魏帝便向宇文泰询问安定秦、陇一带的计谋。宇文泰请魏帝召回侯莫陈悦，授给他朝廷的内官，并且封给他瓜州、凉州一个地方的藩王的爵号，否则，还是要引起他的猜疑。
三月，宇文泰进军到达原州，所有军队都已到齐。他便向大家说明了准备讨伐侯莫陈悦的意图，士卒们无不满怀愤怒。四月，军队到达上陇。宇文泰留下哥哥的儿子宇文导为都督，镇守原州。宇文泰军纪严明，对民众秋毫无犯，老百姓都十分高兴。当军队走出木峡关时，天降大雪，平地雪厚二尺。宇文泰深知侯莫陈悦为人胆小而且多疑，便命令部队以加倍的速度急行军，日夜兼程，出其不意。侯莫陈悦果然怀疑自己身边的将领对他不忠，弄得部下人人惶惶不安，众叛亲离。当听说宇文泰的大军将到达时，侯莫陈悦退保略阳，留下一万人坚守水洛。宇文泰到后，大军团团围住水洛城，守城将军出降。宇文泰随即带领几百轻骑兵赶往略阳，以接近侯莫陈悦的军队。侯莫陈悦的部下都劝告他退守上圭阝。当时南秦州刺史李弼也在侯莫陈悦的军中，他乘人不备时派使者前往宇文泰军中，请求充当内应。当夜侯莫陈悦出军时，军中自惊而大溃败，许多将领和兵卒都前来宇文泰军中投降。宇文泰乘机出兵奋击，大破侯莫陈悦军。侯莫陈悦跟他的子弟以及帐中几十骑人马逃走。宇文泰便命令原州都督宇文导追赶侯莫陈悦，在牵屯山把他斩首，然后将首级传送洛阳。宇文泰到达上圭阝时，只见侯莫陈悦的府中财宝堆积如山，他都拿出来奖赏兵士们，自己没有拿一点。他的随从们偷拿出一只银瓮归营，宇文泰知道后把有关人员加以治罪，同时将里面的东西剖开分赏将士们，大家都非常高兴。
齐神武帝得知关陇获胜的消息，便派使者来到宇文泰军中，打算深相交结。宇文泰拒绝来使，并把神武帝送来的书信封好上奏朝廷。这时，神武帝已心怀叵测，所以魏帝十分倚仗宇文泰，他仍然要求宇文泰领兵稍向东进。宇文泰便命令大都督梁御率领步骑兵五千人，准备镇守黄河、渭河汇合的地方，打算进一步攻取河东。魏帝加封宇文泰为侍中、骠骑大将军、开府仪同三司、关西大都督、略阳县公，依照规矩加以封拜，使持节照旧。
这时魏帝正打算攻打北齐神武帝，便又派人来要求发兵。宇文泰便命令前秦州刺史骆超为大都督，率领轻骑兵一千人前往洛阳。魏帝又加封宇文泰为尚书左仆射、关西大行台，其余官衔如故。宇文泰便传檄文到各方镇，历数齐神武高欢之罪。
宇文泰对大家说“：高欢虽智谋不足而奸诈有余，如今他声言西征，其实意在进入洛阳。我要让寇洛带一万多名马步兵从泾州向东，王罴带领军队一万，先占领华州。高欢如果西来，王罴足以和他对抗；如果他敢于进犯洛阳，寇洛立即出兵袭击汾州和晋州。我立即领兵直到京城，让高欢进有内顾之忧，退有被蹑制的顾虑，大事一举可定，这是上策。”众人都认为很好。
七月，宇文泰带领军队从高平出发，他的前军已经到达弘农。这时，高欢的部队逼近京都洛阳。魏武帝亲自统率六军屯守河桥，命令左卫元斌之、领军斛斯椿镇守武牢关。宇文泰对旁边的人说：“高欢几天之内行军八九百里，这是通晓兵法的人所忌讳的事，正应该乘机袭击他。而皇上是万乘之尊，不能渡河决战，正在沿岸防守。黄河长达万里，防御困难，只要有一处渡过，就大势已去。”他当即让大都督赵贵作为别道行台，从蒲坂渡河，直攻并州；派遣大都督李贤领精锐骑兵一千奔赴洛阳。可是，由于元斌之和斛斯椿争权夺利，防守不严，魏武帝只得轻骑入关。宇文泰安排仪仗队和卫队前来迎接，在东阳驿拜见魏孝武帝，并脱下帽子流着泪向魏帝谢罪。