陈养山出生于1906年，浙江上虞人，出生于一个贫寒的家庭。早年时期，陈养山曾在本村的小学读书，但因为家庭贫寒，还没有毕业他就辍学回家。1919年，13岁的陈养山跟随亲戚前往武汉谋生，成为一家钱庄的学徒。
在武汉期间，陈养山追求进步思想，向往真理，1924年，他从共青团主办的《中国青年》杂志上接触到马克思主义革命理论，从此之后对革命心生向往。1924年秋天，陈养山加入了共青团，1925年1月，他转为正式党员。
入党之后，陈养山积极从事革命工作，他就职的钱庄也成为我党的秘密交通站，一段时间后，陈养山引起了钱庄老板的注意，为了保护陈养山，在组织的安排下，1925年5月，陈养山被调到上海工作。
调到上海后，陈养山进入共青团，此后他辗转上海、武汉、杭州等地，在地下交通、统战以及宣传方面做了大量卓有成效的工作，多次受到表扬。大革命失败后，陈养山继续辗转上海与浙江等地，为组织从事秘密工作。
1928年，因为他人告密，陈养山在浙江无法立足，于是他潜回上海，住进了好友国民党员鲍君甫的家中。在鲍君甫家中期间，陈养山积极做好友的工作，引导鲍君甫走向进步与光明。也是在陈养山的劝说下，鲍君甫成为中央特科的情报员，并为组织提供了大量重要的情报。
1928年4月，因为介绍鲍君甫加入中央特科，陈养山也加入了中央特科。在这之后，陈养山在保卫中央、营救被捕同志、锄奸反特等方面做了大量工作，使得党组织与许多党员免遭破坏与逮捕。
1931年，顾顺章叛变之后，陈养山转移到天津，参与了北平特科的组建工作，9月，他返回上海，向中央汇报了天津的情况。此后陈养山继续留在上海从事秘密工作，1935年，中央特科撤销之后，陈养山辗转重庆、上海、四川以及陕西等地，继续在敌占区工作，在促进抗日民族统一战线的建立以及搜集重要情报方面成绩显著，多次受到上级的表扬。
1940年，陈养山调到延安，进入社会部工作，期间，他不仅培养了大批可靠的情报干部，而且在肃匪反特、保卫边区、建立和巩固革命政权方面倾注了大量心血，成绩显著，为抗日战争的胜利作出了积极的贡献。抗战胜利后，陈养山又担任了西北局社会部部长等职务，那段时期，他充分放手发动群众，开展对敌斗争，支援了西北的解放，见证了新中国的诞生。
建国后，陈养山担任了上海市公安局副局长、南京市公安局局长等职务，参与领导了地方的“镇反”、“三反”、“五反”等一系列稳定社会秩序的工作，不仅巩固了新生的政权，而且也为经济的恢复奠定了基础。
1954年，陈养山被调到中央工作，担任了司法部副部长一职，他也以积极饱满的热情，投身新中国司法战线的建设当中。可惜的是，仅仅四年之后，也就是1958年，陈养山受到不公正对待，被撤销了党内外一切职务，并被下放到北京清河制呢厂劳动。
1960年，陈养山被调回调查部工作，主要从事中央特科斗争史的编写。1966年，陈养山又被调到宁夏，十年浩劫开始后，他虽然受到冲击，但依然力所能及地开展工作，保护其他干部。粉碎“四人帮”后，陈养山担任了最高人民检察院副检察长，1983年，中央撤销了1958年对陈养山的处分，为陈养山恢复了一切名誉。1991年，陈养山因病去世，享年85岁。
