Pada asalnya, sekolah ini merupakan sebuah Sekolah Melayu. Tuan Sheikh Ahmad Bin Sheikh Parat telah mewakafkan tanah kepada Jabatan Pendidikan untuk didirikan sebuah sekolah. Pada wal Januari 1965, sesi persekolahan dimulakan dengan pelajar seramai 65 orang. Sekolah ini dinamakan Sekolah Menengah Tanah Putih. Nama ini dipilih sempena nama tempat sekolah ini yang terletak di kawasan Tanah Putih. Bangunan sekolah telah dirasmikan oleh Yang Berhormat En. Khir Bin Johari pada 9 Oktober 1967. Pada tahun 1981, sekolah ini telah ditukar namanya menjadi Sekolah Menengah Kebangsaan Dato’ Mahmud Mat. Selaras dengan kehendak Kementerian Pelajaran ketika itu yang mengkehendaki semua sekolah menengah dinamakan dengan tokoh tempatan yang berjasa dan telah meninggal dunia. Terdapat juga cadangan untuk menamakan sekolah ini sempena nama tuan punya asal tanah tetapi cadangan itu telah ditolak.
Keluasan kawasan sekolah pada masa ini adalah 3.6883 hektar. Nama Sekolah Menengah Kebangsaan Dato’ Mahmud Mat digunakan setelah dinasihatkan oleh pihak Pendaftar Sekolah-sekolah Pahang. Alasannya ialah untuk mengelakkan kekeliruan dengan nama sebuah sekolah menengah yang terdapat di daerah Raub iaitu Sekolah Menengah Mahmud.
Nama Dato’ Sir Mahmud Mat dipilih kerana beliau merupakan seorang tokoh yang berjasa besar terhadap negeri Pahang. Dato’ Sir Mahmud Mat dilahirkan pada tahun 1894 dan merupakan anak jati Daerah Pekan. Beliau adalah Menteri Besar Pahang yang pertama. Di peringkat persekutuan, beliau dilantik menjadi Menteri Tanah dan Galian yang pertama serta Speaker Dewan Rakyat yang pertama. Beliau telah dianugerahkan penghormatan tertinggi iaitu Dato’ Setia Wangsa oleh DYMM Sultan Pahang.
Sejarah latar belakang beliau yang hanya merupakan anak kampung tetapi berjaya mengangkat martabat dirinya hingga ke tahap yang tinggi dan membanggakan, diharapkan menjadi inspirasi kepada semua pelajar sekolah ini.
Sejak Sekolah Menengah Kebangsaan Dato’ Mahmud Mat dibuka, seramai 10 Pengetua telah silih berganti dan yang terkini adalah Tuan Haji Aidun Bin Talib.
