Afyon isminin kökeni, tarih boyunca şehrin sahip olduğu coğrafi ve ekonomik özelliklerle yakından ilişkilidir. Eski çağlarda bu bölge, Frigler, Hititler, Lidyalılar, Persler ve Romalılar gibi birçok medeniyete ev sahipliği yapmıştır. Antik dönemde “Akroinon” adıyla bilinen şehir, Bizans ve Roma dönemlerinde de önemli bir askeri ve ticaret merkezi olmuştur. “Akroinon” kelimesi, Yunanca kökenli olup “yüksek yerleşim yeri” anlamına gelmektedir. Bu isim, Afyonkarahisar’ın yüksek rakımlı bir bölgeye kurulmuş olmasından kaynaklanmaktadır.
Şehrin bugünkü isminin kökeni ise Osmanlı döneminde öne çıkan afyon bitkisi ile ilişkilidir. Osmanlılar döneminde bölge, afyon üretimi ve ticaretiyle ünlüydü ve burada yetiştirilen haşhaş bitkisinden elde edilen afyon, hem Osmanlı içinde hem de dış ticarette büyük bir ekonomik değer taşıyordu. Bu nedenle bölge halk arasında “Afyon” olarak anılmaya başlandı. Zaman içinde bu isim yaygınlaşarak resmî kayıtlara da geçmiştir.
Afyon’un bir diğer önemli özelliği de karahisar kelimesidir. Şehir, Osmanlı döneminde “Karahisar-ı Sahib” olarak adlandırılmıştır. Bu isim, şehirde bulunan ve volkanik siyah taşlardan yapılmış olan Afyon Kalesi’nden gelmektedir. “Karahisar”, kelime anlamı olarak “siyah kale” demektir. “Sahib” kelimesi ise Selçuklu devlet adamlarından Sahip Ata Fahrettin Ali’ye atfen kullanılmıştır. Selçuklu döneminde inşa edilen kaleler ve hanlar, Afyon’un tarihsel kimliğinin önemli bir parçası olmuştur.
Cumhuriyetin ilanından sonra, şehir ismi Afyonkarahisar olarak resmîleşmiştir. Ancak halk arasında kısaca “Afyon” olarak anılmaya devam etmektedir. Günümüzde de Afyonkarahisar, termal suları, tarihi kaleleri ve hâlâ süregelen haşhaş üretimi ile dikkat çeken önemli bir şehir olmaya devam etmektedir. Şehrin ismi, hem eski dönemlerdeki stratejik konumunu hem de Osmanlı döneminde ekonomik olarak ne kadar önemli olduğunu yansıtan tarihi bir miras olarak günümüze kadar gelmiştir.