Ia adalah anak bungsu dari delapan anak Gerardus Josephus Cleber, seorang pemain orgel dan konduktor paduan suara, ibunya Anna Maria Bastian. Ia dilahirkan sebagai keluarga Katolik. Pada tahun 1939 ia kawin dengan Elisa Magdelijns (1917-2007), mempunyai seorang anak perempuan (Yvonne Charlotte). Namun tahun 1951 kemudian bercerai dan kawin lagi tahun 1951 itu juga di Jakarta dengan Johanna Dirkje de Bruijn (lahir 1923) yang bertemu di Radio Batavia ( RRI Jakarta) dan mempunyai seorang anak perempuan juga (Karian).
Ia mempunyai bakat musik yang luar biasa, dan belajar musik dari ayahnya. Setelah menyelesaikan Sekolah Menengah Pertama, ia masuk Sekolah Musik Atas (muzieklyceum), dan melanjutkan belajar biola dan piano pada konservatorium di kota Luik (Belgia). Ia juga belajar musik jazz, dan pengagum Duke Elington, dan disarankan belajar saxophone dan klarinet, namun trombone adalah alat musik pilihannya (yang katanya mouthpiece trombone sesuai dengan bibirnya). Pada usia 15 tahun (1931) ia sudah bermain pada Maastrichtsch Stedelijk Orkest (orkes kota) sebagai pemain biola alto. Kemudian ia bermain pada orkes Paul Godwin, dan kemudian pada waktu dinas militer tahun 1939 main di Tonhalle Orchester Zürich. Setelah usai Perang Dunia II ia kembali ke Belanda dan bekerja sebagai pemain trombone dan biola di 'Tuschinski-Theater' di bawah pimpinan musikus Max Tak, kemudian atas bantuan musikus ini ia bekerja sebagai trombonis pada Orkes Pop AVRO pimpinan Elzard Kuhlman (AVRO = Algemeene Vereeniging Radio Omroep / Radio Penyiaran Negeri Belanda). Kemudian tahun 1942 ia bekerja sebagai trombonis pada Concertgebouw-Orkest (sebuah orkes besar di Gedung Konser Amsterdam yang terkenal hingga kini). Selain itu ia juga belajar dirigen, ilmu harmoni dan kontrapun dari komponis Kees van Baaren di Amsterdam. Kemudian ia bertemu dengan Theo Uden Masman, seorang pimpinan orkes dansa di Hilversum. Tidak lama kemudian ia bergabung di Orkes Metropolitan pimpinan Dolf van Linden sebagai pemain trombone dan aransir antara 1945-1948. Juga dia bergabung pada band Selecta dan Decca Swing Combo.
Pada bulan Juni 1948 ia berangkat ke Indonsia. Setelah itu kembali tahun 1952 ke Belanda, pada tahun 1962 ia beserta istri (Joke) dan anaknya (Karian) ke Afrika Selatan. Namun tahun 1964 ia kembali lagi ke Belanda (Hilversum). Tahun 1981 ia pensiun (usia 65 tahun), dan tutup usia di Hilversum tahun 1999 (pada usia 83 tahun).
Pada tahun 1948 Pemerintah Belanda mengirim sebuah Orkes Philharmoni pimpinan Yvon Baarspul yang datang dari Negeri Belanda sekitar 46 orang, namun kemudian tahun 1952 ditolak agar kembali ke Belanda. Sebagian dari para musisi ini (yang kemudian menetap di Yogyakarta) merupakan cikal bakal pendidik musisi di Indonesia sejak tahun 1952 dengan berdirinya Sekolah Musik Indonesia (SMIND), dan tahun 1961 berubah menjadi Akademi Musik Indonesia (AMI) di Yogyakarta, yang kini bernama Institut Seni Indonesia (ISI) sejak 1984.
Kemudian Jos Cleber seorang pemusik pop klasik seperti Mantovani, bekerja sebagai pemimpin Orkes Cosmpolitan di Jakarta, karena pemainnya terdiri atas berbagai ras (kosmospolitan). Para pemain itu ada yang dari Rusia (Nicolai Varvolomeyeff), Hongaria (George Setet, Henry Tordasi), Filipina (Pablo, Sambayon), Indonesia (Sardi, Ismail Mz., Iskandar). Selama di Indonesia ia banyak memperhatikan seni gamelan.
Indonesia Raya versi Symphony garapan Jos Cleber terkait saat ada usaha perbaruan aransemen lagu kebangsaan ini. M Jusuf Ronodipuro, yang ketika itu menjadi Kepala RRI Studio Jakarta, tahun 1950 meminta agar Jos Cleber (pada waktu itu ia berusia 34 tahun) membuat aransemen Indonesia Raya, karena telah berhasil menggarap aransemen berbagai lagu Indonesia, antara lain Di Bawah Sinar Bulan Purnama, dan Rangkaian Melati.
Jusuf Ronodipuro menjelaskan tentang Indonesia Raya, bagaimana lagu tersebut lahir dan diciptakan, serta menjelaskan makna lagu itu. Cleber berkomentar bahwa dia menangkap nuansa Marseillasse (lagu kebangsaan Perancis) dalam Indonesia Raya. Gubahan Jos Cleber itu direkam di RRI Studio Jakarta pada awal tahun 1951 dengan melibatkan semua pemusik dari orkes cosmopolitan tersebut, direkam dengan tape recorder Philips yang baru dimiliki RRI pada waktu itu. Kemudian tahun 1997 direkam ulang dengan tehnik digital di Australia oleh Victoria Philharmony pimpinan Adie MS. Komentar Bung Karno atas aransemen Jos CleberJusuf Ronodipuro kemudian mengajak Jos Cleber menghadap Presiden Soekarno ke Istana Merdeka untuk memperdengarkan hasil rekaman itu. Bung Karno langsung mengkritik gubahan Cleber. Menurut Jusuf, Bung Karno berkata, "Indonesia Raya itu seperti Bendera Merah Putih kita. Tidak perlu diberi renda-renda lagi." (Tulisan sumber dari Wikipedia. Foto, sumbangan Bapak Tossi)).
