Родился Тёрбер в Коламбусе, штат Огайо (Columbus, Ohio), в семье Чарльза Тёрбера (Charles L. Thurber) и Мэри Агнес Фишер Тёрбер (Mary Agnes Fisher Thurber). Родители сильно повлияли на будущее творчество Джеймса; так, его отец, клерк и мелкий политик, стал прототипом для главных героев целого ряда рассказов Тёрбера. Мать свою Джеймс называл прирожденной комедианткой и одной из лучших юмористок в мире.