Роден в Лос Анджелис, Джеймс Спенсър завършва реклама и фотография. Започва кариерата си с работа в телевизията. Първият му кинофилм е „Хартиена луна” на Петър Богданович. През 1976 г. работи за разбиващия всички класации „Роки”. Успехът му продължава и с „Полтъргайст” на продуцентите Франк Маршал и Стивън Спилбърг. Репутацията му като художник на филми с много визуални ефекти се потвърждава и с филмите „Кошмар на 20 000 метра”, „Зоната на здрача” и „Гремлините”.
Спенсър работи и по филмите „Вътрешен космос”, „Гремлините 2”, „Ричи Рич”, „Смъртоносно оръжие 3”. Той е художник и на триизмерния приключенски филм „Омагьосаният фар”.
Спенсър заминава за Хавай, където прави проект на „люка”, който се отваря във втория сезон на хитовия сериал „Изгубени”.