是让我们护送这几个州的百姓，只需带领部队从大石路出发，先派人秘密告诉云州、朔州的守将，等到大军离开代州的那天，命令云州的部队先出发。我的部队驻扎在应州，契丹人必然来抵抗，就下令让朔州百姓出城，直接进入石碣谷。派一千弓箭手埋伏在谷口，命骑兵在中路支援，那么三州的百姓，就能够万无一失了。“
王侁反驳他的建议说“带领好几万精兵却如此畏惧怯懦。只需直奔雁门北川，大张旗鼓的前进。”刘文裕也赞成王侁。杨业说“不行，这样一定会失败。”王侁说“将军一直号称‘无敌’，看到敌人却犹豫不前，难道有别的心思吗？”杨业说“我不是怕死，只是时机对我们不利，白白让士卒死伤却立不了功。您责怪我为何不死，我应当在大家前面。”将要出发，哭着对潘美说“这次行动一定对我们不利。我，是太原的降将，按理应当处死。皇上没有杀我，恩宠我让我做了将帅，交给我兵权。不是我放过敌人不去攻击，只是想等时机，准备立点军功来报效国家。大家责怪我躲避敌人，我应当率先死命杀敌。”并指着陈家谷口说“各路军马在这里摆开步兵、弓箭，支援左右翼的兵力，等我转战到这里，就用步兵夹击敌人救援你们，否则，都会被敌人所杀。”
潘美于是和王侁率领部下的兵马在谷口布阵。从寅时到巳时，王侁派人登上托逻台眺望，以为契丹军队被打败撤走，都打算争功，立即率兵离开谷口。潘美不能控制，于是沿着交河向西南行军二十里。不久听说杨业战败，立即带兵后退。
杨业奋力交战，从中午到傍晚，果然来到谷口。一看没有人，就拍着胸膛非常悲恸，继续率领部下士兵奋力作战，身上受了十多处伤，士兵都快死光了，杨业依然亲手杀了数百名辽军。
战马受了重伤不能前进，于是杨业被契丹人擒住，他的二郎杨延玉也战死了。杨业叹息说“陛下待我很丰厚，我期望征讨敌人保卫边境来报效他，反而被奸臣所胁迫，导致军队被打败，有什么脸面活着呢！”于是绝食三天而死。
本来这件事的最大责任者是那王侁，但是现在军中却传言这一切都是潘美在暗中授意的缘故，如果真的如此的话，毕竟潘美才是这次的主帅，如果皇上追责下来的话，那潘美也是要承担一半责任的。