苏武是西汉前将军、平陵侯苏建的儿子。汉武帝天汉元年，匈奴单于为与汉和好，遣还了被扣留的汉使。作为回报，苏武以中郎将的身份，护送拘留在汉的匈奴使臣归胡。
在匈奴期间，苏武的手下张胜，擅自参与了投降匈奴的长水校尉虞常劫持单于之母到汉的案子。没想到虞常的计划没成功，反而被匈奴人抓了个正着。单于大怒，叫卫律审问虞常，还要查问出同谋的人来。
苏武本来不知道这件事。到了这时候，张胜怕受到牵连，才告诉苏武。
苏武说：“事情已经到这个地步，一定会牵连到我。如果让人家审问以后再死，不是更给朝廷丢脸吗？”说罢，就拔出刀来要自杀。张胜和随员常惠眼快，夺去他手里的刀，把他劝住了。
虞常受尽种种刑罚，只承认跟张胜是朋友，说过话，拼死也不承认跟他同谋。
卫律向单于报告。单于大怒，想杀死苏武，被大臣劝阻了，单于又叫卫律去逼迫苏武投降。
苏武一听卫律叫他投降，就说：“我是汉朝的使者，如果违背了使命，丧失了气节，活下去还有什么脸见人。”又拔出刀来准备自尽。
卫律大吃一惊，亲自抱起苏武，急忙召唤医生，进行抢救，半天才慢慢活过来。匈奴的首领，非常钦佩他的节操，日夜派人去问候苏武，并用贵爵重禄尊位来诱惑他，但苏武始终不肯屈服。苏武渐渐病愈了，单于宣布要将苏武和虞常一起判决，想以此再威迫苏武投降。卫律剑斩虞常后，说：“汉使张胜，妄图谋害我，当判死罪。但如能投降，单于还是可以赦免他的罪。”就举剑要斩张胜。张胜怕死，就投降了。
卫律接着对苏武说：“副使有罪，你当连坐治罪。”苏武义正词严地斥责说：“我根本没有参与这件事，和他又不是亲属，有什么连坐罪可言？”卫律气势汹汹地举起剑，做出一副要砍苏武的样子，但苏武视死如归，面不改色。
卫律没有办法，只得又装出笑脸说：“我背弃汉朝，归顺匈奴后，幸蒙单于大恩，赐号称王，拥有数万奴隶，牲畜满山遍野，享受荣华富贵，你今日要是投降，明日还不也和我一个样子！如你白白牺牲自己，又有谁知道？尸体早晚化作草地里的肥料！”卫律见苏武根本不理睬他，又利诱又威胁地说：“你如果听我话投降匈奴，我可与你结为兄弟；如你今天不听我的话，以后你再想见我，可就没有机会了。”这时，苏武愤怒地站了起来，横眉怒目地说：“你身为朝廷官员，却背叛朝廷和父母亲人，成为投降外族的俘虏，我再见你这样的人干什么？而且单于信任你，把判决生死的大权交给你，你不但不公平地来审理，反而想使两国君主互相争斗，你好坐收渔人之利。你明明知道，我是根本不会投降匈奴的，但还要使两国相斗，匈奴败亡的灾祸，将要从我苏武之死开始了。”
卫律知道苏武已不可能投降，告诉单于后，便把苏武囚禁在一个藏粮食的空窖里，断绝供给饮食。等到下大雪的时候，苏武睡卧在窖里，吃雪止渴并用雪来吞咽毡毛充饥，就这样过了好几天，居然撑下来保全了性命。匈奴人很奇怪，都认为他有神的保佑。因此，又把他迁移到北海（今贝加尔湖）没有人烟的地方，让他放牧公羊。并宣称只有等到公羊生子的时候，才能回国。北海是个荒无人烟的地方，人要想在那生存是极其困难的。苏武只好用野鼠穴内藏的草籽勉强维持生命。
苏武牧羊时，手中始终拿着汉节——汉朝使臣所持的信物，就是睡觉的时候，也紧紧地握在手中。以至节上所缀的牦牛尾饰物，也都脱尽了。
苏武在匈奴被流放了长达十九年。昭帝即位后，匈奴与汉和亲。汉朝听说苏武还活着，就派使者向匈奴要求把苏武放还。匈奴也敬佩苏武的节义，终于把他释放了。苏武出使的时候，还年轻力壮；而返回汉朝时，须发都白了。
简评
在苏武牧羊的故事里，苏武和卫律是一正一反两个主角，在后者的衬托下苏武忠贞、重信的人格得到突出。苏武为了不辱使命，在荒芜之境一呆就是十九年，而且是人一生中最耀眼的年华。这个有些固执的老实人的故事流传了千百年，代表了中国传统美德中的忠信。