刘秀镇压了绿林、赤眉，定都洛阳，建立了东汉，称汉光武帝.但是天下并没有统一，公孙述在成都自立为皇帝，天水(今甘肃天水)的隗嚣（ｋｕí ｘｉāｏ）也想当皇帝，河西的窦融还没有归顺.
公元２３年，隗嚣派马援为使者，去联络公孙述.公孙述封马援为大将军，马援婉言推辞了.马援是扶风郡(今陕西陇县、永寿以南，礼泉、户县以西，秦岭以北地区)人.王莽称帝时，他做过新城大尹（太守），后来归附割据陇西的隗嚣.从公孙述那儿回去后，他对隗嚣说：“公孙述自高自大，像只井底的蛤蟆.”
马援想去联络刘秀，隗嚣就派他去了洛阳.
汉光武帝刘秀不带卫士，就在宫殿里欢迎马援.他笑着对马援说：“您在两个皇帝之间奔波，我真觉得有点过意不去.”
马援说：“天下还没定下来，做君王的要挑选臣下，做臣下的也得挑选君王呢.”又问：“您好像见着老朋友似的接见我，怎么知道我不是刺客呢？”
汉光武帝笑着说：“您不是刺客，可能是说（ｓｈｕì）客.”
马援说：“如今天下称王称帝的不少.今儿见您这么豪爽，真像见到了高祖一样.”
两个人越谈越投机.马援打定了主意，要劝隗嚣归顺汉光武帝，隗嚣不肯.后来，在河西割据的窦融归顺了汉光武帝.
公元３０年，汉光武帝又写信要隗嚣和公孙述归附汉朝.公孙述却发兵进攻南郡；隗嚣也乘机发兵进攻关中，正好碰上征西大将军冯异，吃了个大败仗，就索性投降了公孙述，帮他对抗汉光武帝.
公元３２年，汉光武帝亲自带兵去征伐隗嚣；又派人领兵去征伐蜀地的公孙述.他说自个儿这是“
得陇望蜀”.
隗嚣被围困了两年，害病死了.又过了一年，他的儿子隗纯投降了；大树将军冯异也病死在军营里.
公元３６年，汉光武进攻成都，公孙述受重伤死了，他手下的将领献出成都，投降了.汉光武帝平定了陇、蜀，二十年来乱糟糟的中原又统一起来了.
在汉光武帝统一中国的过程里，马援参加了攻灭隗嚣和公孙述的战争，立下了不少战功.后来，北方的匈奴和乌桓侵犯东汉，马援要求出征.他说，男人应该死在边疆的战场上，让人用马革裹着尸首回来埋葬.“
马革裹尸”的成语就出在这里.
公元３５年，汉光武帝任命他为陇西太守.西部的一个部落侵犯陇西.他率领兵马，打败了外族的入侵.公元４１年，马援五十五岁，任伏波将军，封新息侯.
后来，武陵(今湖南常德西)一带的一个部族“五溪蛮”侵犯东汉.汉光武帝派人领兵去抗击，都吃了败仗.这时候，马援已经是六十多岁的人了，他向汉光武帝请求出征.汉光武帝看他年纪大了，没有答应.马援一听着了急.他觉得自己的身体还挺硬朗，能行，可就是说服不了皇上.怎么办呢？他当下就叫人取来盔甲，叫人牵来战马，请求汉光武帝让他一展英姿.汉光武帝同意了.别说马援老，他在殿前穿上了铁甲，戴上了头盔，跨上战马，显出老当益壮的英雄姿态.汉光武帝不禁
啧啧称赞，就派他领兵四万，去攻打“五溪蛮”了.
不料这次出征，马援病死在军中.那一年是公元４９年，他六十三岁.
汉光武帝打败了所有的敌手，打算把内政好好地整顿一番.他从两方面着手：一方面节省朝廷的开支，一方面减轻老百姓的负担.他下了一道诏书，要按着实在的情形合并一些县，裁减一些官员.这么一来，人口不多的县合并了四百多个，十个官吏裁去了九个，开支就大大地减少了.前几年军费大，田租一直按产量的十分之一征收，现在，仍旧恢复原来的制度，征收三十分之一，大大减轻了老百姓的负担，东汉的社会也就稳当了.