上海大学于1994年5月由上海工业大学、上海科技大学、上海科技高等专科学校和原上海大学合并组建而成。
上海工业大学的前身上海工学院建立于1960年，1972年与上海机械学院合并，工学院院址为新上海机械学院总部，1979年两校分开，并经教育部同意，改名为上海工业大学；上海科技大学建立于1958年，由中国科学院华东分院负责筹建，时任校长是华东分院院长，各系系主任由相关学科领域的中科院在沪研究所所长兼任，学校与研究院、研究所关系十分密切；原上海大学建立于1983年，下设文学院、国际商学院、美术学院、工学院和法学院，这些学院的前身分别是复旦大学分校、合并的上海外国语大学分校与上海机械学院分校、上海美术高专、合并的华东师大分校和上海科大分校、上海法律高专；上海科技高等专科学校前身上海第二科技学校建立于1959年，1981年升格为高专。
在1994年四校合并时，江泽民总书记为新上海大学提写校名，李鹏总理为新上海大学题词：“发扬光荣传统，培育跨世纪人才”，李岚清副总理也为学校题了词：“自强不息，砺志改革，发挥联合优势，提高教学质量，为祖国培养更多的优秀人才”， 题词含义深远。在本世20年代，上海曾经有过一所上海大学，它建立于1922年，是中国共产党和国民党合作的产物，校长为国民党人于佑任，共产党人恽代英任总务长，瞿秋白任社会学系主任，还有不少中国共产党早期领导人和著名学者在该校任职任教。1927年，以蒋介石为首的国民党右派发动反革命政变，强行关闭了该校。该校学风严谨、革命气息浓厚，虽然建校历史很短，但却为中国人民的解放事业和民族振兴输送了一大批仁人志士，其中包括李鹏的父亲--革命烈士李硕勋、曾任国家主席的杨尚昆等。在当时，就有“武有黄埔（军校），文有上大”的盛誉。