Selama diskusi Olimpiade III, Komite Olimpiade Internasional memutuskan untuk mengaturnya di Amerika Serikat, karena negara ini menunjukkan hasil yang baik dalam dua pertandingan sebelumnya. Awalnya, mereka ingin mengadakan Olimpiade di Chicago atau New York, tetapi sebagai hasilnya, pilihan jatuh pada kota pelabuhan kecil St. Louis.
Olimpiade III di St. Louis, bersama dengan Paris, diadakan sebagai bagian dari Pameran Dunia. Namun, manajemen lokal dari Pameran tidak menganggapnya sebagai pesaing, tetapi sebaliknya, melakukan yang terbaik untuk menggunakan permainan untuk tujuan periklanan mereka sendiri. Selain itu, panitia mengulangi beberapa kesalahan Olimpiade Musim Panas 1900 di Paris. Karena keterikatan dengan Pameran Dunia, kompetisi diturunkan ke latar belakang, dan Olimpiade itu sendiri membentang selama hampir 5 bulan (1 Juli - 23 November 1904). Banyak kompetisi diadakan di bawah bimbingan berbagai organisasi profesional, namun, meskipun demikian, mereka semua diberi gelar disiplin Olimpiade.
Menurut IOC, 12 negara ikut serta dalam pertandingan musim panas di St. Louis. Satu-satunya negara bagian yang menghadiri kompetisi untuk pertama kalinya adalah Afrika Selatan. Dibandingkan dengan Olimpiade Paris, jumlah negara yang berpartisipasi telah menurun tajam. 13 negara bagian yang berpartisipasi dalam Paris Summer Games tidak dapat datang ke St. Louis karena alasan ekonomi. Rusia, yang bertarung dengan Jepang pada waktu itu, tidak ikut serta dalam kompetisi.
Secara total, 651 orang, termasuk 6 wanita, tampil di Olimpiade Musim Panas III. Mereka berkompetisi untuk 94 set penghargaan dalam 18 cabang olahraga. Tim terbesar adalah Amerika Serikat, mereka mewakili 533 orang di pertandingan. Dalam banyak olahraga (tinju, gulat, polo air, panahan, dan tenis) secara eksklusif adalah atlet Amerika, sehingga permainan jelas menunjukkan keunggulan negara.
Di St. Louis untuk pertama kalinya mulai memberi penghargaan pada tiga, bukan dua atlet yang menunjukkan hasil terbaik. Pemenang utama kompetisi dianugerahi medali emas; atlet tempat kedua - perak; dan tempat ketiga ditandai dengan penghargaan perunggu. Tradisi ini bertahan sampai sekarang.
Dalam kedudukan tim tidak resmi, negara-negara yang berpartisipasi berada sebagai berikut: Saya menempatkan - AS (78 emas, 82 perak, 78 medali perunggu), tempat II - Jerman (4 emas, 4 perak, 5 medali perunggu), tempat III - Kuba (4 emas), 2 perak, 3 medali perunggu).