广州市第二中学创建于1930年8月，现应元路21号校区曾是清代广州著名的书院学海堂、菊坡精舍、应元书院的所在地，书香浓郁，闻名遐迩。
近代岭南的风流人物如：陈澧、朱次琦、梁鼎芬、梁启超等都曾在这块土地上学习过。1871年（清同治十年），在应元书院攻读的顺德举人梁耀枢高中辛未科状元，被传为“应元佳话”——风流人物的辈出，给斯地赋予了神奇与灵秀。
当前，学校已经初步完成跨越式的大发展，正全情书写两区四校“大二中”的历史篇章。两区是指：我校雄跨越秀、萝岗两大行政区。四校是指：广州市第二中学（含科学城水西环路上的高中部校区和应元路21号的初中部校区）、应元路7号的广州市越秀区二中应元学校、科学城内的广州开发区二中苏元实验学校和广州市应元文化培训学校。
广州二中应元路21号校区（至2007年9月以后，为我校初中部所在地）是广州二中的母体，她北倚风光秀丽的越秀山，南临雄伟壮丽的中山纪念堂，毗邻省、市政府。早在1956年，学校就被广州市人民政府评定为广州市重点中学;1994年被评为广东省首批省一级学校。
广州二中科学城校区（2005年9月启用，为我校高中部所在地）地处萝岗区科学城内的水西环路上，倚苏元山（相传唐宋八大家之一的苏东坡曾在此结庐而读，因得名）而建，校区内有天然山水汇聚成湖，是一所以“山水学府，生态校园”为理念构建而成的现代化一流学校。学校占地面积300亩，其建筑布局合理，气势恢弘，设计规模为60个教学班，3000学生，为当时之最。2007年11月，学校在广东省普通高中教学水平评估中达到优秀学校标准，并顺利通过广东省国家级示范性普通高中验收。