抗日战争时，日本名将之花阿部规秀凋落在太行山上，此战让我军晋察冀军区一炮而红，当时杨上堃正在一团担任参谋长，战役之后职务调整，他又成为了纵队参谋长，不过这次调动却并不能让年轻气盛的杨上堃满意。
他当时说过的原话大概是，“击毙了阿部规秀，日本朝野震动，咱们打出了晋察冀的威名，这么大的功劳，怎么反倒没了实权？实在不行出去拉一支队伍，让上边见识见识实力不是吹的，今后回来哪怕当个营长都愿意。”
杨上堃当时年轻，决定草率了些，他是想暂时脱离部队的束缚，拉一支队伍和日本人大干一场，可后来却被人认为是跑去投奔日军，这件事儿在八路军内部形成的震动巨大，彭德怀和朱德针对事件通了几次气，表明态度，一定要严惩不贷。
据说彭老总发话时还高声叫骂，“一定要枪毙这些脱离部队的，身为革命军人擅自离队，再不制止，今后部队就没法带了。”，但枪毙自己人事关重大，更高级别的会谈请到了毛主席，在谈到杨上堃的问题时主席敲着桌子说，“长征时期红军过乌江，杨上堃立下了汗马功劳，否则我军很可能在乌江遭遇重大损失，像这样的功臣要给留条活路。”
经过慎重讨论后决定，此次离队事件中除了杨上堃之外，剩余20人全部枪毙，而杨上堃脾气再火爆也知道问题的严重性，从那之后他去了抗大高级干部班，并在此反省了5年，直到毕业又重新回到了一线部队。
解放后，杨上堃被评为上校军衔，对此他本人很不满意，就命令勤务员把军衔挂在狗尾巴上表示抗议，可是要知道，哪怕上校军衔也是中央授予的，作为革命军人，这种做法相当欠妥，消息传出去，他的军衔又被撸了一级，后来杨上堃的老首长听说了此事便从中周旋，才让上头收回成命，上校还是上校。
即便解放之后，杨上堃的脾气也没有收敛太多，军人见过了枪林弹雨，说话直接，办事决绝，导致很多与之合作者都结下了梁子，十年动荡时期，别人找个理由就把他给打倒了，1967年，毛主席去南昌视察才听说杨上堃也被打倒，当即作出指示，“他的问题审查了这么多轮，不是早就查清楚了吗，不能反反复复的推翻从前的认定，查来查去有什么意思？”
就这样，杨上堃被解放出来，毛主席很少因为私情为他人说话，但是杨上堃却被主席两次搭救，那10年结束之后，老上司杨成武把他找来，一边叙旧，一边希望他能出任福建军区参谋长，可当时杨已经60多岁，这辈子最讨厌当参谋的他还是不改直肠子，当时就怼了回去，“就一句话，不干，谁爱当谁当！”
