Nacido el 19 de septiembre de 1926 en Toyohashi, en el sureste de Japón, Koshiba cursó estudios en la Universidad de Tokio y se doctoró en Física por la Universidad de Rochester, en EEUU.
Ciertas reacciones nucleares, como aquellas en las que los átomos del hidrógeno se combinan con el helio, forman partículas esquivas llamadas neutrinos. Al probar la existencia de neutrinos en la radiación cósmica, Raymond Davis demostró que la energía del sol se origina a partir de tales reacciones nucleares. Por su parte, Koshiba proporcionó una prueba más de esto con las mediciones realizadas en un enorme tanque de agua dentro de una mina.
También un discípulo de Koshiba, Takaaki Kajita, ganó en 2015 el Premio Nobel de Física por sus estudios de neutrinos.