大怒，乃遣匈河将军赵破奴远征二国。赵破奴不愧为霍去病麾下第一猛将，他竟独自率领轻骑七百，西出阳关一千六百余里，神兵天降，大破楼兰生擒其王，继而横扫车师，兵威直指中亚强国乌孙、大宛。一时间西域震怖，诸国纷纷遣使向汉朝谢罪。汉武帝非常开心，乃封赵破奴为浞野侯。后人有诗赞道：
黄沙百战穿金甲，
不破楼兰终不还!
这时匈奴儿单于继位，年少嗜杀，众人不安。匈奴左大都尉想杀掉儿单于，暗中派人告诉汉朝说：“我想杀掉单于投降汉朝，汉朝太远，请立即发兵来迎接我，我就发兵杀掉单于。”于是汉武帝任命赵破奴为浚稽将军，率2万多骑兵从朔方郡出发，向西北行进2千里，与匈奴左大都尉约定日期到浚稽山。赵破奴率军到了浚稽山后，匈奴左大都尉想发兵攻打单于，阴谋泄露而被诛杀。
匈奴单于发兵攻打赵破奴，赵破奴兵少，且战且退，路上俘虏了几千胡兵。赵破奴退到距受降城400里以外的地方时，被匈奴左贤王的8万骑兵包围。赵破奴夜间出去找水，被胡兵活捉，胡兵因此猛攻汉兵，汉兵全军投降。赵破奴留在匈奴十年，后来和儿子一起逃回了汉朝。
“巫蛊之祸”时，太子刘据兵败自杀。因为刘据是汉武帝与皇后卫子夫的嫡长子，卫青是刘据的舅舅，霍去病是刘据的表兄弟。巫蛊之祸中，卫青和霍去病的子孙多人被杀，与卫、霍二人有关系的人也受到牵连。赵破奴曾经是霍去病的部将，因此也受到牵连被杀。这是后话