Đại học Quốc gia thành phố Hồ Chí Minh ban đầu được thành lập vào ngày 27 tháng 1 năm 1995 theo Nghị định 16/CP của Chính phủ trên cơ sở sắp xếp chín trường đại học (Trường Đại học Tổng hợp thành phố Hồ Chí Minh, Trường Đại học Sư phạm Kỹ thuật Thủ Đức, Trường Đại học Bách khoa thành phố Hồ Chí Minh, Trường Đại học Nông Lâm thành phố Hồ Chí Minh, Trường Đại học Kinh tế thành phố Hồ Chí Minh, Trường Đại học Tài chính Kế toán thành phố Hồ Chí Minh, Trường Đại học Sư phạm thành phố Hồ Chí Minh, Trường Đại học Kiến trúc thành phố Hồ Chí Minh, Phân hiệu Đại học Luật thành phố Hồ Chí Minh) lại thành 10 trường đại học thành viên và chính thức ra mắt vào ngày 6 tháng 2 năm 1996.
Quy hoạch của Đại học Quốc gia TP Hồ Chí Minh được phát triển trên nền tảng của Quy hoạch Làng Đại học Thủ Đức do KTS Ngô Viết Thụ thiết kế và xây dựng từ thập niên 1960, trong đó bao gồm việc xây dựng xong một số hệ thống đường sá và hạ tầng cho khu đại học đường và khu biệt thự cho các giáo sư, tổng thể các công trình của Đại học Nông Lâm Súc xây xong vào khoảng 1974 (nay là Đại học Nông Lâm TP. Hồ Chí Minh), Đại học Khoa học, và một số biệt thự trong khu ở cho giáo sư.
Ngày 12 tháng 2 năm 2001, Thủ tướng Phan Văn Khải ra quyết định số 15/2001/QĐ-TTg về việc tổ chức lại hai đại học quốc gia tại Hà Nội và Thành phố Hồ Chí Minh. Theo đó, Đại học Quốc gia thành phố Hồ Chí Minh (cũng như Đại học Quốc gia Hà Nội) có quy chế tổ chức và hoạt động riêng dưới sự quản lý trực tiếp của Thủ tướng Chính phủ, là trung tâm đào tạo đại học, sau đại học và nghiên cứu khoa học– công nghệ đa ngành, đa lĩnh vực, chất lượng cao, đạt trình độ tiên tiến, làm nồng cốt cho hệ thống giáo dục đại học, đáp ứng nhu cầu phát triển kinh tế–xã hội.
Cũng theo quyết định đó, một số trường thành viên trước đây của Đại học Quốc gia thành phố Hồ Chí Minh tách ra độc lập và chỉ trực thuộc Bộ Giáo dục và Đào tạo. Hiện nay, Đại học Quốc gia thành phố Hồ Chí Minh có 6 trường đại học thành viên: Trường Đại học Bách khoa, Trường Đại học Khoa học Tự nhiên, Trường Đại học Khoa học Xã hội và Nhân văn, Trường Đại học Quốc tế, Trường Đại học Công nghệ Thông tin, Đại học Kinh tế - Luật, một khoa trực thuộc: Khoa Y và một trung tâm đào tạo Đại học Quốc gia thành phố Hồ Chí Minh tại tỉnh Bến Tre.
Giữa tháng 3 năm 2016, Văn phòng Chính phủ công bố quyết định của Thủ tướng về chuyển đổi cơ quan chủ quản của 2 trường đại học. Theo quyết định, Trường Đại học Việt - Đức sẽ được bàn giao về cho Đại học Quốc gia TP Hồ Chí Minh. Theo đó, trong vòng 60 ngày, Bộ Giáo dục và Đào tạo sẽ bàn giao nguyên trạng Trường Đại học Việt - Đức (bao gồm các dự án đầu tư) về cho ĐHQG. Như vậy, Trường Đại học Việt - Đức có thể sẽ là trường thành viên thứ 7 của ĐHQG TP. HCM. Tuy nhiên, vào ngày 29/8/2016, Văn phòng chính phủ đã công bố kết luận của Thủ tướng về việc không chuyển Trường Đại học Việt Đức về Đại học Quốc gia TP HCM. Theo đó, Trường Đại học Việt Đức tiếp tục trực thuộc Bộ Giáo dục và Đào tạo trong giai đoạn đầu xây dựng trường.
Ngày 8 tháng 12 năm 2016 Thủ tướng có văn bản đồng ý chủ trương chuyển trường Đại học An Giang từ trường Đại học chịu sự quản lý trực tiếp của UBND tỉnh An Giang thành trường Đại học thành viên của ĐH Quốc gia TP. HCM. Nhưng trường hiện vẫn chưa chính thức sát nhập vào Đại học Quốc gia.