三井寿不打篮球的原因主要有以下几点：
错过最佳时机：
三井寿在高中时期因为受伤错过了融入队伍的最佳时机。在他休养期间，赤木已经成为了湘北篮球队的核心人物。由于受伤，他无法在球队中发挥自己的价值，感到自己配不上MVP的称号，这种心理压力让他无法继续留在篮球队。
自尊心过强：
三井寿是一个自尊心非常强的人，他无法接受自己不是队伍中最好的球员。在看到赤木的表现后，他产生了退缩的想法，认为自己不能做第一，也绝不能做第二。这种自尊心让他无法放下姿态回到篮球队。
心理压力：
由于受伤和心理上的巨大打击，三井寿选择了放弃篮球，加入了湘北的不良少年集团。他内心中无数次想回到球队，但自尊心让他无法放下姿态走进体育馆。即使在水户洋平的一顿狠揍后，他仍然坚持不说出水户让他说的话，显示出他内心的坚韧和自尊。
对篮球的热爱与遗憾：
尽管三井寿曾经离开篮球，但他对篮球的热爱从未改变。在经历了一段时间的空白期后，他最终重返篮球队，并在与翔阳的对决中拿下20分，帮助湘北逆转比赛。在全国大赛与山王工业的比赛中，他更是发挥出色，得到了全书中第一个四分球。
综上所述，三井寿不打篮球的原因主要是错过最佳时机、自尊心过强、心理压力以及对篮球的热爱与遗憾。这些因素共同作用，导致他一度离开了篮球队，但最终在朋友和教练的帮助下重返赛场，并成为了球队中的主力选手。