1912年，河南大学的前身河南留学欧美预备学校，在古城开封清代贡院旧址诞生，首任校长为著名教育家林伯襄先生。 20年代初，河南督军冯玉祥将军应教育界人士在河南创办大学的要求，决定从查抄军阀赵倜的财产中拨出专款作为大学的筹备基金。1923年3月3日， 在预校基础上建立的中州大学举行开学典礼，设文、理两科，冯友兰、曹理卿分任文、理科主任。

1927年6月，在冯玉祥将军的支持下，决定将河南公立法政专门学校、河南省立农业专门学校并入中州大学，成立国立开封中山大学(国立第五中山大学)，增加了农科和法科。1928年9月增设医科。

1930年8月，学校更名为省立河南大学，并改文、理、法、农、医五科为五院，张仲鲁任校长，就此河南大学正式命名。

抗日战争期间，河南大学先后辗转于河南信阳、南阳、洛阳，陕西西安、宝鸡等地，虽然图书、资料及仪器损失惨重，但仍办学不辍。1942年，河南大学由省立改为国立，办学经费有了保障。1946年后，设立工学院，后将黄河水利工程专科学校并入。

1948年，中共中央中原局决定以河南大学一批进步师生为基础在宝丰筹建中原大学，范文澜任校长。11月，将中原大学迁往开封河南大学校址办学。1949年，中原大学迁往武汉办学，主要系科成为今天中南财经政法大学的前身和华中师范大学的主要基础。同时，河南省人民政府以中原大学医学院、教育系师训班500余人和河南行政学院400多人为基础，接回迁徙到苏州的河南大学1200余名师生，重组河南大学，省政府主席吴芝圃任校长，下设文教学院、农学院、医学院、行政学院4个学院。河南大学的历史翻开了新的一页。

1952年，全国院系调整时，河南大学农学院独立并发展为河南农业大学；河南大学医学院独立并发展成为河南医科大学；河南大学行政学院独立，现为河南政法干部管理学院，河南大学水利系并入武汉大学；财经系并入中南财经学院；植物病虫害系并入华中农学院……原有的院级建制均改为系级建制。1953年8月6日，国家教育部和政务院文教委员会决定河南大学与平原师范学院两校合并，统称为河南师范学院，在开封、新乡两地办学，分称一院、二院。1955年8月16日，中共河南省委对河南师范学院进行调整，决定将文科集中在开封办学，理科集中在新乡办学。1956年11月，河南师范学院一院、二院分别独立为开封师范学院和新乡师范学院。开封师范学院设中文、历史、地理、外语4系。1959年，开封师范专科学校并入我校，新增物理、化学、数学、生物4系，后又增设政教系和体育系。1962年7月，河南艺术学院并入，建立艺术系；河南体育学院并入体育系；郑州大学地理系并入地理系。至此，学校有中文、历史、政教、地理、外语、数学、物理、化学、体育、艺术10个系。

1979年，更名为河南师范大学，恢复教育系。1984年5月恢复为河南大学。学校也由师范院校逐渐发展成为河南省重点建设的综合性大学。

2008年10月17日，河南省人民政府和教育部签订省部共建河南大学协议，河南大学正式进入省部共建高校行列。

2017年9月入选“双一流”建设高校名单。