狄兼謨及進士第。闢襄陽使府，剛正有祖風。令狐楚執政，薦授左拾遺，多次上書言事。歷任刑部郎中、蘄州鄧州鄭州三州刺史。一年旱災，發粟賑濟，人民不流徙。改蘇州刺史，因治理的好，擢給事中。左藏史盜取度支縑帛，唐文宗以經赦詔不要處理，狄兼謨封還詔書，唐文宗問他，他說：「典史犯贓，不可免。」皇帝說：「朕已赦其長官，吏亦宜宥，與其失信，寧失罪人。」還說：「後或事有不可，勿以還詔為憚。」轉任御史中丞。文宗說：「御史台朝廷綱紀，一台正，則朝廷治，朝廷正，則天下治。畏忌顧望，則職業廢矣。卿，梁公後，當嗣家聲，不可不慎。」狄兼謨頓首拜謝。江西觀察使吳士矩為軍隊加餉，擅用數十萬上供錢。狄兼謨劾奏：「觀察使為陛下守土，宣國詔條，知臨戎賞士，州有定數，而與奪由己，貽弊一方，為諸道觖望，請付有司治罪。」吳士矩于是貶為蔡州別駕。狄兼謨歷任兵部侍郎、河東節度使。還京為尚書左丞。唐武宗子李峴封益王，命狄兼謨為益王傅。之後領天平節度使，因病力辭，以秘書監歸洛陽，轉任東都留守，去世。