当时，随着谅山被解放军攻克，谅山以南一马平川的地形便毫无阻碍地展现在解放军眼前。河内陷入了无险可守的境地。就在许世友将军打算乘胜向河内挺进之时，却接到了中央下达的撤军命令。有一种说法称，许世友将军接到命令时，曾向军委申请两小时拿下河内，不过这一消息基本未经证实。但从他后续下达的指令中，仍能察觉到他心中的不甘。
在第三阶段，接到军委命令后，许世友将军随即下达指令，自3月6日起，中国军队开始采用交替掩护、边清剿边撤退的方式撤离。同时，在撤退路线上铺设地雷，并以远程炮火进行掩护，有效阻止了越军开展大规模追击行动。
值得一提的是，据当年参战老兵回忆，中国军队撤退时，有众多越南男女军人伪装成普通百姓，对解放军进行不间断的偷袭。这导致中国军队难以分辨普通百姓与反击越军的人员，从而遭受了一定伤亡。此外，在回国的撤退途中，解放军运走了大量越南物资，其中包括大批此前我国援助给越南的物资。同时，对越南的村庄、公路、铁路进行了有系统的破坏，旨在削弱其战争潜力。
3月16日22时20分，随着最后一辆军车驶回国内，我国宣告完成撤军行动，成功实现了对越南的惩戒目的，这场战争胜利结束。颇具讽刺意味的是，越南人民军在我方撤出后，竟也宣称自己取得了战争胜利。
从这场战争的结果和影响来看，在短短一个月的战斗中，我方解放军和民兵共牺牲6954人，受伤14800多人。越军在第一阶段约死亡15000人，第二、三阶段阵亡37000人，预计总死亡人数超过5万人。我方一举收复了被越军侵占的中国领土普涅林和廷豪山地区，还占领了越南的一些战略山丘和阵地。不过，这场战争对我方也产生了一定影响。在短短一个月内，中方伤亡人数达两到三万人，直接经济损失约35亿人民币，致使1979年的经济计划未能按时完成。但换个角度而言，通过这场战争，中国达到了预期的惩罚性作战目的，摧毁了越南北部的矿业，打乱了苏联与越南的战略部署，为中国争取到了改革开放的宝贵契机。、
中美建交后，两国关系迅速进入近10年的黄金时期。同时，这场战争也让解放军汲取了诸多教训。由于长期未经历战斗，解放军部分军官军事技能不够熟练，作战指挥存在不力之处。例如，六十二式坦克在战斗中被击中，损失数量较多；五、六十式半自动步枪在丛林战和近战中的火力弱于越军；当时军队装备虽强，但因没有军衔制，部队一旦打散，在临时拼凑时难以迅速确定指挥关系；而且缺少输送步兵的装甲运兵车，步兵只能搭乘坦克前行，易遭受攻击等问题在战争中暴露无遗，这也为之后长达10年的两山轮战练兵埋下了伏笔。
对越南方面来说，战争创伤持续存在。解放军撤离后，越南的工业设施遭到系统性破坏，这使得越南不得不维持相当规模的陆军，从而拖累了国内经济。此后连年战事，让越南错失了改革开放的机遇，尤其是越南开始将大量资金用于防御美国，再无精力干涉其邻国政局。然而，冲突并未就此平息。解放军撤军后，越南军队再度挑起争端，相继占领中越边境诸多地区，驱逐当地民众，并占领了属于我国领土的老山、者阴山等地区。
越南还在老山建立了4个军事据点区，在者阴山修建1250高地和1052.4高地防御工事，并以此为基地在边境频繁活动。从1979年3月至1984年3月，向中国麻栗坡县内发射炮弹2万余发，致使我国边民300多人严重受伤，严重威胁中国境内安全，由此拉开了10年两山轮战的序幕。
