河南、阴山之战中头曼单于战败，说明处于部落联盟状态、“时大时小，别散分离”的匈奴尚不足以与中原帝国正面对抗。连续丢失了鄂尔多斯高原、河套地区和阴山山脉的匈奴联盟遭受重创，不仅被迫向月氏派出质子，还被东胡轻视。而这个被秦军北逐七百余里的部落联盟之所以没有走向消亡，反而成为雄踞草原数百年的强大帝国，史书通常归因于头曼的太子冒顿(Mòdú)：“至冒顿而匈奴彊(同‘强’)大”。

冒顿单于与成吉思汗一样有着传奇的经历。他虽然是头曼单于的长子，但是其生母去世后，头曼喜爱年轻貌美的新阏氏，爱屋及乌，冒顿继母所生的幼子也深受头曼宠爱。头曼单于想废除冒顿而改立幼子，便使出借刀杀人之计，派冒顿到月氏去当人质。冒顿当了月氏的质子之后，头曼却紧急调集军队攻打月氏，想借月氏之手除去冒顿。月氏果然中计，准备杀死冒顿作为报复。生死一瞬之间，冒顿偷走了月氏的宝马，连夜逃回匈奴。冒顿的英勇机智令匈奴贵族钦佩，头曼单于不便对冒顿下手，只得命令他担任万骑长。

冒顿深知父亲不可能让自己继位，而一旦弟弟继位，自己将性命难保，于是他决定发动政变推翻父亲，夺取单于之位。为此，冒顿首先要拥有一支忠于自己的武装力量。于是他对自己的部下命令，自己鸣镝所射向的目标，众人必须跟着射击，否则将被处死(“鸣镝所射而不悉射者斩”)。在打猎时，冒顿用鸣镝射杀野兽，有部属因为不跟着射击而被处死。不久，冒顿又用鸣镝射自己的宝马，部下中有人不敢射，都被冒顿斩杀。后来冒顿又以鸣镝射自己的爱妻，更多部下不敢射，他们都被斩首。后来冒顿出猎，用鸣镝射头曼单于的宝马，冒顿的部属都毫不犹豫地射击。于是冒顿知道部下都对自己忠实。当头曼单于带着冒顿出猎时，冒顿突然用鸣镝射头曼，他的部属本能地跟着射击，头曼被乱箭射死。头曼死后，冒顿又处死了自己的继母和弟弟，反对他的匈奴贵族大臣也都被处死。凭借着自己的勇敢、机智和权谋，冒顿成功登上单于之位。

冒顿虽然自立为匈奴单于，但是还受到强大的东胡和月氏的威胁。东胡听说冒顿杀父自立，认为匈奴刚刚发生政变、国内不稳，正好趁机挑衅。于是东胡派使节到匈奴向冒顿索要头曼单于生前喜爱的千里马，这不仅是对匈奴示威，也是想获得向匈奴开战的借口。群臣都认为这是匈奴宝马，不应该送给东胡，但是冒顿单于深知匈奴国力尚弱且内部还不稳定，不能给东胡攻打匈奴的理由，便说：“奈何与人邻国爱一马乎？”便将宝马送给东胡。东胡误认为冒顿害怕东胡，不久派人向冒顿求取他的阏氏。匈奴的贵族大臣都愤怒地说这是对匈奴的侮辱，应该出兵攻打东胡，但是冒顿认为出兵的时机未到，说：“奈何与人邻国爱一女子乎？”将所爱的阏氏送给东胡。东胡王更加骄横，认为冒顿软弱可欺，便率军西侵。当时东胡与匈奴中间有荒地千余里，东胡派人对冒顿说：“匈奴所与我界瓯脱外弃地，匈奴不能至也，吾欲有之”，要求匈奴割让这块土地。冒顿召集群臣议论，有的大臣认为冒顿连宝马、爱妻都能送给东胡，便建议将土地割给东胡。但冒顿并非真正的怯懦，而是在等待和东胡交战的时机，他认为东胡已经被自己表面的怯战所欺骗，而匈奴的国力也已经足以和东胡对抗，便大怒说：“地者，国之本也，奈何予人！”将主张割地的人处死。之后，冒顿亲自率军攻打东胡，东胡因轻视冒顿而没有足够的军事准备，在匈奴军队的袭击下，东胡被击溃，民众、畜产被匈奴所虏。其残部东逃，分为乌桓和鲜卑两部。

冒顿打败东胡之后，又四处扩张。

向南：由于中原内乱，河南地的秦军内调，阴山山脉和河套地区的军事要塞无人防守而纷纷废弃。匈奴军队趁机越过阴山、渡过黄河，重新夺取了河南地，直达秦昭襄王时期修建的旧秦长城和赵武灵王时期修建的赵南长城。处于内乱中的中原政权只得退守白于山、六盘山、赵南长城一线。原本臣属于中原政权的楼烦、白羊也转而臣服于匈奴。

向西：冒顿单于对原本游牧于河西走廊(敦煌、祁连山间)的月氏发动攻击，后来又派右贤王出击月氏，将其重创。乌孙原本和月氏是邻国，曾被月氏吞并，其国君难兜靡被月氏所杀，残余部众逃入匈奴。难兜靡的儿子猎骄靡当时还是个婴儿，被一个乌孙贵族保护着逃入匈奴，被单于养大。猎骄靡长大后，单于命他统领乌孙余部，攻打月氏。后来乌孙追击月氏，留在西域，成为匈奴的属国。同时，楼兰等西域数十个国家也归附匈奴。匈奴在西域设置僮仆都尉，征收赋税。

向北：匈奴先后打败了浑窳(yǔ)、屈射、丁零、隔昆、新犁五国，征服漠北各部，完成了对草原“引弓之民”的统一。

自此一个庞大的游牧帝国开始出现于长城以北。

匈奴帝国的高统治者是单于，单于拥有高的行政权、军事权，也主持部族会议和国家祭典。单于在匈奴语中的全称为“撑犁孤涂单于”，“撑犁”在匈奴语中是“天”的意思，“孤涂”在匈奴语中是“子”的意思，“单于”的意思则是“广大”，单于的称号大约和中原的“天子”相似，有君权神授的意味。此时的单于之位已经由挛鞮氏世袭，但尚未建立嫡长子继承制，父死子继、兄终弟及的继承方式并存。单于之下，地位高的是左、右贤王(按匈奴语音译则应为左、右屠耆王)。左、右贤王一般由单于的儿子或弟弟担任。匈奴以左为上，按照惯例左贤王一般是单于的及时继承人，但是并不存在定制，并非由左贤王继位的例子也有很多。仅次于左、右贤王的是左、右谷蠡王。以上四王地位为重要，被称作“四角”。随着匈奴王族的繁衍扩大，又分封了很多王，如日逐王、浑邪王、休屠王、犁污王、姑夕王、蒲类王、呼衍王、伊蠡王、蒲阴王、于靳王、左伊秩訾王、皋林温禺犊王、句林王、卢屠王、呼卢訾王、奥鞬王、右致卢儿王、左祝都韩王、右于涂仇掸王、右股奴王等，但是地位均在“四角”之下。

左、右谷蠡王之下则是左、右大将，左、右大都尉，左、右大当户，左、右骨都侯。自左、右贤王以下到左、右大当户均出自匈奴王族挛鞮氏，均拥有自己的封地、属民和军队，大的有万余骑兵，小的有数千骑兵。这些匈奴大贵族被称作“二十四长”，都号称“万骑”。虽然匈奴大贵族在自己的封地内有着相对独立的政治、军事、司法权力，但是都必须听命于单于，其升迁废立乃至生死都操于单于之手。当他们触怒单于时，单于有权削减或剥夺其领地转授别人，甚至将其处死。异姓贵族中地位高的是左、右骨都侯，是单于王庭中直属的辅佐大臣，也经常被单于派到各王的封地监察政务、统领军队。骨都侯一般由挛鞮氏的世婚家族——呼衍氏、兰氏、须卜氏、丘林氏担任，为匈奴王族之外显赫的贵族。二十四长在自己的封地内各自置千长、百长、什长等军事职务。裨小王、相、都尉、当户、且渠等行政职务，亦多由各级贵族担任。

匈奴帝国的疆域可大致分为内外两部分。其腹心地区一分为三：单于王庭(今蒙古国乌兰巴托附近)位于帝国中央，在代郡、云中的北面；诸左王、将的封地在帝国东方，在上谷以东，连接秽貉、朝鲜；诸右王、将的封地在帝国西方，处于上郡以西，连接氐、羌。匈奴是个游牧帝国，因此各个封地虽然有自己大致的范围，但是其民众是逐水草移徙的。匈奴帝国的外围则由各被征服部族、国家组成，如乌桓、月氏、楼烦、乌孙、林胡、白羊、浑窳、屈射、丁零、隔昆、新犁等。这些国家或部族是匈奴的臣属，必须向匈奴纳贡，帮助匈奴军队作战，但保持了相对的独立性，匈奴一般也不会将其领地和属民直接并入匈奴。这些属国与匈奴的领属关系并不稳定，多是慑于匈奴的军事力量，因此时叛时服。

匈奴帝国重要的决策方式是大议事会。由于各王、将的封地相隔甚远，因此这样的大朝会每年只有3次：“岁正月，诸长小会单于庭，祠。五月，大会龙城① ，祭其先、天地、鬼神。秋，马肥，大会蹛(dài)林，课校人畜计。” (《汉书 匈奴传》)其中重要的就是每年正月的“小会”，除少数异姓贵族外，出席者均为单于王族。龙城大会参加范围则有所扩大，除了祭祀之外，龙城大会也是单于裁决贵族间纷争的主要场合。议事会决议帝国重要的军事、行政、司法和经济事务，虽然贵族们可以发表自己的观点，终决策权在单于本人手中。从冒顿三次召集群臣议论东胡事务，前两次多数大臣均主张对东胡开战却被冒顿否决，第三次部分大臣想迎合冒顿而主张向东胡妥协却惨遭杀戮便可以看出，单于拥有专制大权。

另外，单于和诸王已经有了自己的官僚系统，虽与中原相比还很原始、简单。如左、右骨都侯主管司法(“断狱听讼”)，有宿卫官(郎中、都尉)，有文官(相)，有武官(当户、且渠)等。各级官员多由贵族世袭，如前所说，出任左、右骨都侯者大多来自呼衍氏、兰氏、须卜氏。匈奴尚未建立完善的俸禄体系，官员的收入来自封地、赏赐和战利品。

当时，匈奴帝国已经有了自己的法律，但是由于匈奴没有自己的文字，所以还没有成文法，只施行习惯法：“拔刃尺者死，坐盗者没入其家；有罪，小者轧，大者死”。相对于秦汉严密的律令体系，匈奴的法律缺乏精密化的规定，但已有了雏形。其主要罪名有违抗君命、谋反叛乱、欺君罔上、丢弃国土、擅自拥立、作战不力、违背盟誓、持械斗殴、杀人越货、盗窃财货等。由于缺乏明确的法典，单于经常根据个人的喜怒好恶滥施刑罚，如武帝时汉朝使节郭吉因言语触怒单于而被扣押，但单于却迁怒于无辜的“主客见者”，将其诛杀。

匈奴的刑罚也比较简约，常用的是死刑，一般的行刑方式是斩首；其次是轧刑，其具体所指不明，有刀割面、杖挞、辗轹骨节等说法；三是没刑，指没收全家财产或把全家没为奴隶；四是囚禁，由于匈奴是游牧民族，在同一地区定居时间有限，因此囚禁一般多10日；五是流放，如汉朝使节中有很多被流放到北海(今贝加尔湖)。虽然如前所说，负责司法的是骨都侯，审判“当决轻重”，但是重大案件必须“口白单于”，由单于亲自判决。除了单于和贵族外，由于流行神判法，胡巫在司法中的作用也很重要。如卫律正是借助胡巫的力量，逼迫单于杀死了自己的女婿、汉朝降将李广利。