光源装置、投影仪以及显示装置，能够从空间上不同的位置射出多个色光。光源装置具有：光源部；第1偏振分离元件，其使来自光源部的第1偏振方向的第1光透过，反射第2偏振方向的第1光；第1相位差元件；第2偏振分离元件，其反射来自第1相位差元件的第2偏振方向的第1光；第2相位差元件；光转换装置，其具有使来自第2相位差元件的第1光扩散的扩散元件、将第1光波长转换而射出第2光的第1波长转换元件和基板，扩散元件和第1波长转换元件在基板的同一圆周上排列设置，第2相位差元件设置在第1及第2偏振分离元件与基板之间，第1、第2偏振分离元件分别使来自扩散元件的第1光、和来自第1波长转换元件的第2光透过。