Islam pertama kali datang ke Jepang pada awal 1900-an ketika Muslim Tatar melarikan diri dari ekspansionisme Rusia. Komunitas Muslim di Jepang memiliki sejarah lebih dari 100 tahun, meskipun beberapa sumber kontes lebih dari jumlah ini. Pada tahun 1909 berdasarkan dokumentasi dari sejarawan Caeser E. Farah bahwa Abdul-Rasyid Ibrahim adalah Muslim pertama yang berasal dari etnis Jepang, dan pada tahun 1935 Masjid Kobe, bangunan Islam pertama di Jepang dibangun. Beberapa sumber telah menyatakan bahwa pada tahun 1982 kaum muslim berjumlah 30.000 (separuh penduduk asli).