Nicomedia, MÖ 712 yılında Megara ve Atinalılar tarafından Astakus adıyla kurulmuştur. Şehir, MÖ 2. yüzyılda Nikomedes tarafından yeniden inşa edilmiş ve adını almıştır.
Nicomedia, Roma İmparatorluğu döneminde önemli bir şehir olmuştur. Şehir, imparatorluğun başkenti Konstantinopolis'in kurulmasından sonra da önemli bir rol oynamıştır.
Nicomedia, 1337 yılında Osmanlı Devleti tarafından fethedilmiştir. Şehir, fethedildiği dönemde İznikmid olarak adlandırılmıştır.
1923 yılında, Cumhuriyetin ilanından sonra, şehrin adı Kocaeli olarak değiştirilmiştir. Bu isim, şehri fetheden Akçakoca Bey'in adından gelmektedir.
Nicomedia adı, iki kelimeden oluşmaktadır. Nico, "zafer" anlamına gelmektedir. Media ise, "orta" anlamına gelmektedir.
Kocaeli, adını, şehrin bulunduğu bölgedeki düzlükten almıştır. Düzlük, şehrin önemli bir özelliğidir.
Kocaeli, 1994 yılında Kocaeli Büyükşehir Belediyesi kurulmuştur.