Родился в 1868 году в Санкт-Петербурге в семье потомственных военных. Отец - Константин Александрович Дитерихс, 18.01.1825 года рождения, мать - Мусницкая Ольга Иосифовна, 08.11.1840 года рождения.
Дитерихсы (Дитрихштейны) - старинный рыцарский род, владения которого располагались в Моравии. В 1735 году Иоганн Дитерихс получил от Российского Престола приглашение руководить постройкой морского порта в Риге, за что был награжден имением. Его младший сын избрал пасторское служение. Другие сыновья выбрали военную службу. Известным представителем династии был генерал-майор Александр Иванович Дитерихс 3-й, дед Иосифа Константиновича. В звании подполковника артиллерии он участвовал в Отечественной войне 1812 года, сражался на Бородинском поле. После окончания наполеоновских войн, участвовал в русско-турецкой войне 1828-1829 годов. В знак уважения к храбрости русских, турецкий паша вручил генералу клинок из дамасской стали. Сабля эта висела под портретом генерала в кабинете Константина Александровича Дитерихса (отца Иосифа Константиновича). Генерал от инфантерии Константин Александрович Дитерихс получил известность как один из военачальников Кавказской войны. Он был знаком с Л.Н. Толстым, который использовал его "Записки о Кавказской войне" при написании "Хаджи-Мурата".
Иосиф Константинович Дитерихс воспитывался в пажеском корпусе, но принципиально не желая служить в гвардии, поступил в кубанскую казачью артиллерию. На 5 августа 1893 года - сотник 4-й конно-артиллерийской батареи, затем подъесаул Кубанского Казачьего Войска. Службу оставил в 1897 году.
Окончив курсы восточных языков, занимал административную должность „начальника над горцами“ в одном из глухих горных уездов Кавказа. С юных лет отличаясь характером свободолюбивым и независимым, имел на службе постоянные столкновения с начальством, главным образом, на почве его заступничества за интересы туземного населения. В 1897 году, сочувствуя антимилитаристическому движению среди духоборцев в Закавказье, терпевших жестокие преследования правительства, взял на себя роль посредника для передачи им переписки и денежной помощи от русских и английских друзей. За это был административно выслан из пределов Кавказского края по личному распоряжению главноначальствующего кн. Голицина. В 1901 году, после отлучения Л. Н. Толстого от церкви, написал обличительное открытое письмо обер-прокурору Синода Победоносцеву, в котором отрекался от господствующей церкви. (Напечатано в Англии в „Листках Свободного Слова“ № 9, 1901 г., изд. В. и А. Чертковых).
В 1902 году лично посетил духоборов в Канаде, прожив с ними почти год. По возвращении в Россию в 1906 году поселился в Закавказье, занимаясь земледельческим трудом и изучая пчеловодство и шелководство, затем заведовал шелководческой станцией в Туркестане, в октябре 1925 года перевелся в Гянджу (Азербайджан).
Жена - Анна Матвеевна Дитерихс (Орнатская), 29 февраля 1885 года рождения.
Родная племянница Иосифа Константиновича была последней женой Сергея Есенина. Узнав о приезде С. Есенина и С. Толстой в Баку, И.К. Дитерихс написал 17 августа 1925 г. С. Есенину письмо:
«Сергею Александровичу Есенину. Узнав перед отъездом из Ташкента о поездке Вашей с Соней в Баку, я, по приезде сюда, стал разыскивать вас обоих, и оказалось, что вы на даче в Мардакянах. Куда я третьего дня ездил повидаться с одним приятелем и был даже на той даче Мухтарова, где Вы, как оказывается, проживаете. Ужасно обидно и досадно! Завтра еду в Гянджу и Тифлис. В Тифлисе остановлюсь в с. Мкштанд (в конце Михайловского проспекта на шелководческой станции кв. Горбачева), где пробуду до конца августа, а затем вернусь через Баку в Ташкент. В Баку я останавливаюсь в кв. д-ра Нетерепова, Губернская ул., 41. Пишу это на случай, если вы меня захотите повидать в Тифлисе или здесь. Из Туркестана я перевожусь на службу в Гянджу, куда перееду в октябре месяце. Обо мне можете всегда навести справку здесь в Азнаркомземе у инспектора шелководства Алексеева. Не знаю, как долго Вы пробудете на Кавказе. Был бы рад получить от вас обоих весточку. Примите мой родственный привет и добрые пожелания вашей молодой совместной жизни. Всего лучшего от дяди Жози Дитерихса».
После смерти С. Есенина Анна Матвеевна Дитерихс 1 января 1926 года писала из Гянджи Ольге Константиновне Толстой, родной сестре мужа: «Жози нет, он в Баку и, вероятно, страдает за вас и много переживает тяжелого. Там назначена гражданская панихида, на которую приглашаются все литературные кружки г. Баку. Это сегодня. Жозя, наверное, будет там»