謝緯出生在醫生的家庭，母親非常重視家庭教育及宗教教育。此種家庭背景影響謝緯日後選擇以醫治心靈及身體病痛為職志。謝緯在少年時期就已隱約想要於日後以自由自給之方式做基督教傳道的工作。後來他以醫師/牧師的身分實現他的願望。謝緯與他的哥哥謝經1928年一起考入台中一中。中學畢業後，他本打算先念完大學，再念神學院。他的哥哥順利考進台北高等學校，而後進入台北帝大醫學專門部。謝緯則連續二年高等學校入學考試失敗。後經父親及長輩鼓勵而先去念神學院。謝緯念完神學院，再念醫學院。在神學院求學期間，不但奠定他基督教信仰堅實的基礎，也在音樂、文學、哲學、社會學方面獲得造就，培養出很好的人文素養。謝緯夫人說他曾寫了一些詩，可惜在二次大戰期間遺失了。他很有計畫地在台南神學院畢業就緊接著去日本學醫。他在當年的日記中清楚記載學醫是為了可以藉醫療傳道服務人群，他說：「我不是為了要追求平安、安逸的生活才來選這條路」。他從東京醫學專門學校畢業後，留在東京的醫院實習，正值二次大戰末期。為躲避盟軍的空襲，謝緯請調到仙台市工作，不料卻立刻遭盟軍猛烈轟炸其住處。他跳過後窗，跑到墳場，坐在一座墓碑上看著房子被燒燬。就在那種情境下，謝緯醒悟到既然已決定要為上帝工作，他就不要再害怕躲避。於是不再顧慮自身的安全，回到東京的醫院服務。戰爭一結束，謝緯與同在日本學醫的表妹楊瓊英在日本完婚，次年一起回台灣，開始在台灣的醫療傳道工作。

剛回台灣時，他接下了父親留下來的南投大同醫院的工作，並擔任教會的義務傳道職務。有一天美國孫理蓮教士對他說，山地同胞中許多窮苦的病人需要謝醫師去幫忙醫治。他欣然接受此任務。1950年到1951年他參與門諾會所舉辦的山地醫療團，巡迴於各山地部落行醫。常常要步行翻山越嶺，席地而睡，一天診治數百名原住民病人。但他認為犧牲不是折磨、痛苦，反而是快樂。逐漸地，謝緯在自己家「大同醫院」的時間愈來愈少，而把更多時間用在義務醫療工作。起初每個月醫療團補助他美金60元，幾個月後，他告訴團裡的牧師說他以後不再領此津貼了。他認為美國人到台灣行善，他若再領此錢，對上帝說不過去，對人抬不起頭，對自己也心內感到不安。從此他不但不再領此錢，還常在巡迴醫療旅途中，自掏腰包，招待同行的美國青年朋友。有一次在新竹山區巡迴時，為了住宿地點的費用問題，謝緯與同行的美國牧師彼此意見不合，為此事，謝緯告訴同行的台灣牧師說：「咱蕃薯仔要自己發鬚、要自立、要覺醒，該是咱自己站起來、自己打拼出頭天的時陣了。」從這件事，我們可看到謝緯活出有尊嚴的台灣人形象。

1951年10月謝緯赴美深造。他本想接受腦外科訓練，但該訓練需時7年。在考慮各種因素後，他在美三年，接受一般外科訓練。先後到過賓州大學附設醫院，紐約州的Buffalo General Hospital。謝緯赴美進修時，他的小孩均年幼。謝夫人楊瓊英醫師與謝緯結婚後，實踐諾言，放棄醫生工作，全心照顧家庭。此時她不得不再度行醫，以維持三個家庭一起生活的大家庭生計。此外，她又有一位高齡的婆婆要照顧。禮拜天經常招待鄉下來的教友在大同醫院用餐，所以都要開好幾桌才夠。而她仍然堅強負起重擔，使謝緯能在美國好好接受訓練。謝緯剛去美國時，中國共產黨叫囂得很厲害，其情勢比現在海峽兩岸的緊張更嚴重，有許多不利台灣的傳聞。當時謝緯給山地巡迴醫療團一位台灣牧師的信上說：「若台灣有什麼危險，當立即通知，我要馬上返國，因為老母親、妻兒、兄弟、朋友均在台灣，我應該與他們共患難。」謝緯留美的最後一年，開始籌措建立台灣山地肺結核療養院的事。他到處向美國友人募款。當時他的家書中曾提到美國很多有錢人肯捐錢給有名聲的團體，不太樂意捐獻給他這個無名小卒。所以在他回台之前募得將近一千美元，都是許多人把辛苦存的小錢奉獻出來。當時一位在柏克萊的瑪喜樂太太受到謝緯感動，不只奉獻金錢，後來並來到台灣看謝偉的工作，成為謝緯的工作伙伴及英文秘書。後來她並創立「基督教喜樂保育院」，照顧台灣小兒痲痺、腦性痲痺，以及老人癡呆症等弱勢族群。

留美回台灣，謝緯夫婦不但沒有拿留美的招牌為自己賺錢，以補償留美期間的損失，謝緯反而全面展開醫療傳道工作。1955年他從一間竹房子開始埔里山地醫療所的工作。曾在台灣設立許多社會福利機構的孫理蓮女士，其事工的開始，謝緯就是得力的伙伴。1956年1月16日，「基督教山地中心診所」開幕，這就是埔里基督教醫院的前身。1956年8月1日興建埔里基督教醫院。1958年2月開辦護理訓練學校，培養原住民護理人員。當時每位原住民學生的學費及生活費，均設法由外國人認捐，學生每個月還有新台幣10元零用錢。埔里基督教醫院開辦的頭十幾年，謝緯擔負起大部分的外科醫療，並且擔起護理學校的教師任務。1970年2月2日謝緯的日記記載說：「十數年服務的埔里基督教醫院，到今天為止不需要我了。離職的理由就是：年齡增添；此外工作太忙碌。我將思念親愛的同工、護士、護生。」

1956年謝緯在埔里鯉魚潭設立肺結核療養所，收容原住民病人。另外於1960年蓋了收容平地人的療養所。謝緯為這個療養所募款的工作，其實是他在留美最後一年就開始。其間他還曾特地於1965年赴日本數月，研習新的胸腔手術，以嘉惠需要此治療方式的肺結核病人。謝緯對住進去療養的病人所安排的生活，不只是要病人只被動接受治療，更要病人參與各種活動。他讓病人參與擬寫伙食菜單，也鼓勵病人參加讀書會。這種訓練使病人離院回家後，知道如何注意適當的飲食，也能把所學到的知識帶回家中應用。此外也鼓勵病人種植蔬果或養雞，學習一些農藝。謝緯所採取的這些方法，不禁讓人佩服他那麼早就已在應用今日精神科復健治療中的職能治療。一直到謝緯去世為止，他一直不斷為此療養所付出心血。謝緯過世後，此療養所仍繼續由其弟謝倫及黃珠心醫師經營十年之久，在黃醫師去世後才結束。後來由謝緯家族將該土地奉獻給台灣基督長老教會，成立現在的謝緯紀念青年營地。

設在台南縣北門嶼的「基督教芥菜種會烏腳病免費診所」，最早的名稱叫「憐憫之門」北門免費診所，是由該地一位人道主義者基督徒醫師王金河開始的。後來謝緯加入，為烏腳病患者做截肢手術。謝緯每星期四從南投自己的大同醫院，帶領所有手術需要的醫護人員，自費搭二個多小時計程車到北門。除了烏腳病患外，其他各種需要外科手術的貧民亦一併免費服務。常常工作到夜深人靜才結束，接著再搭車趕回南投。這樣工作十年後，政府才接手照顧那些可憐的病人。其間王金河醫師也經歷了被誤會而差一點關閉停辦的事件。當時謝緯為了可憐病患著想，用心去了解內情，化解危機，也還給王醫師清白。

彰化基督教醫院二林分院之前身叫二林基督教醫院，這個醫院也是由謝緯催生的。它是在1964年11月3日開幕的。為了使二林基督教醫院能對地方人民提供更好的醫療服務，謝緯用盡心力，邀請別的醫院支援人力。並且藉由該院所開辦小兒痲痺診療中心，孕育出為小兒痲痺症兒童服務的基督教喜樂保育院。喜樂保育院的前身是二林基督教醫院附設喜樂保育院。創辦人瑪喜樂夫人（園兒稱她為阿媽）是美國加州人。從美國來台當謝緯醫療傳道的義務護士。1964年有一次到二林基督教醫院，認為照顧行動不便的小兒痲痺兒童是非常有意義的工作，就決定到二林，留在該處做終生奉獻的工作。謝緯在世最後10年，最關心且操心的事工就是二林沿海地區的醫療傳道工作，對該地區的義診工作幾乎沒有中斷過。每週往返於南投與二林之間，平均每週至少一次，有時甚至多次奔跑。他如此做是為了告訴台灣人民，我們台灣同胞的需要不能永遠依賴外國的援助。他曾告訴同工「咱蕃薯要發根、要自立、要自覺，該是自己辦、自己努力的時候了」。後來保育院搬出二林基督教醫院。三十多年來協助四百多位小兒痲痺幼童站起來，並受到教育而能過獨立自主的生活。1980年起該保育院增加照顧智能發展遲緩的孩童。後來又提供對阿茲海默病患者的照顧。

    1970年6月17日謝緯為了趕往二林義診，在途中不幸車禍去世。當時謝緯醫師剛從埔里行醫回南投家裡時，已經很疲倦，吃過午飯本來要休息一下再去二林。但不久謝夫人就看到謝緯一臉倦容在穿衣服。他告訴夫人他早一分鐘趕到二林，病人就能早一分鐘減少痛苦。謝緯在世上雖然只有55年，但卻活出非常豐富的生命。有人稱他是台灣的史懷哲，他一生奉獻解除病人痛苦，最後竟因不顧自身疲累出門看診而付出自己的生命，他走過的台灣山區偏遠醫療的腳跡，留下了醫療人道主義的見證。