公元前100年，剛繼位的單于害怕此時漢朝出兵攻打匈奴，于是主動向漢朝示好，將在匈奴關押的所有漢朝使節全部送了回來。已經追擊了匈奴29年的漢武帝得到這個消息很是滿意，于是他派蘇武前往匈奴來完成這件事。
蘇武率領了100多人組成的使團，并帶了許多財物去往匈奴地界，雙方洽談并不算是融洽，匈奴首領得到了漢朝所贈送的禮品之后面有驕色，蘇武等人就不太樂意，但是從大局著想，還是和匈奴單于好好的商談著，不過事情還是談的很是順利。
等到漢匈之間的事宜談妥了，蘇武也要回去了，在此時出了亂子，匈奴內部對于與漢朝和好的意見并不統一，有些匈奴首領想要謀反，于是他們開始策反漢朝這邊的使節，副使楊勝就聽信了這些首領的話，參與了匈奴的謀反計劃，只不過計劃失敗，整個漢朝使節團都被匈奴扣押了下來。
蘇武沒想到出使一事竟然出了這麼大的幺蛾子，匈奴那邊正要派人來審問，蘇武一想到自己是作為漢朝使節來的，漢武帝將節杖親自交到了自己手中，自己代表的就是漢朝，自己被審問就形同于大漢被審問，于是蘇武想要拔劍自刎，被人給攔了下來。
隨后匈奴把漢朝使節都關押了起來，并且對他們進行威逼利誘。許多意志不堅定的都投降了匈奴，只有蘇武一人不屈服，而匈奴人也不信邪，他們不動蘇武，一些想要讓這個守節的漢子變節，當時漢匈之間仍在交戰，漢將李陵不得已投降了匈奴，如果能夠迫使代表漢朝臉面的使節大臣變節，那麼在心理上是對漢朝的一個很大的打擊。
于是乎匈奴對蘇武展開了強大的攻勢，他們對蘇武開展了游說的策略，可是蘇武志意堅決，匈奴見話語游說不管用，把他幽囚到一個地窖里面，并且斷絕了蘇武的食物來源，連水也不給蘇武喝，在下雪的時候，蘇武臥著嚼雪，混著旃毛一起吃才活了下來。匈奴人紛紛趕到驚奇，見這樣都不能使蘇武屈服，單于就派蘇武去牧羊，但是給了蘇武一群公羊，并且告訴蘇武，什麼時候公羊產下羊仔了，他就可以回去了。
蘇武知道單于是在故意刁難自己，在奚落他現在的處境。可即便如此蘇武也沒有投降至匈奴這邊，他毅然地前往了北地，在那里守著這一群公羊。由于北地遙遠，糧食運不到，于是蘇武只能掘取野鼠埋藏的果實為生，就這樣過了幾年。有的人就不相信，覺得餓了可以宰羊吃羊肉啊。而且匈奴人只是讓你放羊也沒說不可以動是吧。
蘇武出行之時是作為漢朝使節來的，所以他也一定要作為漢朝使節回去，用盡一切辦法他也不會做有辱漢朝國體的事，他手里的那根節杖不論是睡覺還是起來，蘇武都一直拿在手上，系在杖上的牦牛尾毛全部脫落。到了后來單于的弟弟于靬王見蘇武能夠修補好自己的打獵工具，就常常供給蘇武的飲食，還給了他一些用具，可是于靬王沒了，丁令人盜走了蘇武的羊。蘇武于是又陷入了困境之中。
后元2年，公元前87年，漢武帝逝世，漢昭帝即位，由于漢匈講和，漢朝向匈奴索要蘇武等人，匈奴謊稱蘇武已經沒了，隨同蘇武一同被囚禁的常慧偷偷地見到了漢朝使臣，漢使知道蘇武還活著，就按照常慧的話責問了單于，單于非常吃驚，只能告訴漢使蘇武還活著，就這樣，幽囚在匈奴19年之久的蘇武回到了漢朝。回來之時蘇武已經須發皆白。
