1903年生于江苏宜兴，师从张聿光。1920年任上海《申报》美术编辑。1922年考入巴黎国立高等美术学校。1923年后曾在雕塑大师布德尔工作室学习雕塑。1924年春，与林风眠、李金发等人在巴黎组织霍普斯学会。次年改名为“海外艺术运动社”。1927年回国，任上海新华艺专教授。1928年3月，参与创办国立杭州艺术专科学校，任西画系主任。与林风眠、林文铮等人组织创办“艺术运动社”。抗战期间，辗转于沅陵、昆明、香港、上海等地。1947年复回国立杭州艺专担任油画工作室主任。1950年遭校方解聘，居家作画。1960年任教于上海美专油画系。1965年进入上海油画雕塑工作室（院）。
吴大羽是中国杰出的现代主义艺术大师，中国抽象绘画奠基人，油画家、美术教育家、诗人。作为美术家教育家，他培养的学生有吴冠中、朱德群、赵无极、赵春翔、丁天缺、王式廓等，他也被誉为“中国现代画事业的奠基者”。曾任上海交通大学艺术顾问，中国美术家协会顾问，上海画院副院长，中国美术家协会上海分会理事。
吴大羽是中国抽象艺术的先锋艺术家，深受马蒂斯、毕加索的艺术风格影响，他的作品造型抽象高度提炼，颜色浓郁具有强烈的视觉冲击力，同时促进了油画艺术在20世纪中国的引进与发展。吴大羽曾到：“艺术是一种语言，只有时代之别，没有地区之分”。
油画作品《色草》获得第六届全国美展荣誉奖。于1988年元旦逝世。著有《吴大羽作品集》（人民美术出版社），存世画作2500余幅，手稿50余万字。