1844年，馬偕生於安大略省附近牛津郡的佐拉鎮(Zorra)，他十歲時就決定要成為一名宣教士。起因是當年幾位蘇格蘭宣教士，包括在中國宣教、著名的賓威廉(William C. Burns)在拜訪佐拉鎮時，啟發了年輕的馬偕。談到這位兒時崇拜的英雄，他說：「家鄉的人都尊重他，他的獻身精神觸動我年幼的心。主耶穌的吩咐：『你們要往普天下去，傳福音給萬民聽』使我成為十架精兵，一生熱切要成為一名宣教士。」
這樣的志向驅使馬偕在多倫多諾士大學和美國普林斯頓神學院攻讀神學，這兩間學校都以訓練宣教士聞名；另外，他又師從另一位兒時崇拜的英雄—印度宣教先鋒亞力山大達夫(Alexander Duff)。達夫是蘇格蘭教會的第一位海外宣教士，他以教育為傳福音的關鍵，在印度的30多年間不斷推動高等教育的發展。1871年，加拿大長老會正式差派馬偕為第一位到海外的宣教士，27歲的他馬上啓程前往台灣。
在那時馬偕就已經被認為是有些古怪偏執的。有人形容他為「激進青年」；他則批評教會領導那些像是「冰河時期」的舊有想法。
1871年12月29日，馬偕到達打狗(今天的高雄)。他得知台灣島北部沒有宣教活動，就決定以淡水為他的行動基地。淡水位在幾乎是台灣島的最北端，在台北市的西北部，是淡水河與台灣海峽交接的地區。馬偕遵從達夫的建議，馬上著手訓練當地人做教導、講道、傳福音、帶領所建立的堂會等等工作；他相信惟有本土的傳道人才能真正有效地接觸當地的人群。他也盡力避免把西方的宣教方法全盤應用在他的工作上。他堅信任何人若不考慮本土文化、語言、傳統、甚至是天氣的影響，反而以單一通用的方式來傳福音，是「大錯特錯」的。他寫道：「對一個福音工場合理且有效的方式，對另一個工場來說，可能是荒謬無效的。在歐美可以成功的方法，在亞洲可能會失敗。」
馬偕秉持著這樣的信念，在台灣實行一個完全融合當地文化的生活。他很少與其他歐洲人接觸，反倒是與當地的普通老百姓一起生活，向牧童學習本地方言，並用方言來與人交談以及講道。
即使如此，馬偕還是免不了被當地人捉弄取笑。對於被人稱為「洋鬼子」和「生番」，他已習以為常；被人報以不友善的眼光，甚至以生鷄蛋、糞便、石頭等等來對付，也見怪不怪。其實，這些與馬偕以及他的宣教同伴多年來所受的逼迫比起來是不足掛齒的。當他們進入村子裡去傳福音時，常會受到人身攻擊，有幾次馬偕還險些嚴重受傷。反對基督教的人士追逼當地的傳道和信徒、騷擾教會崇拜，還針對基督徒發動騷亂。1884年正值中法戰爭之時，馬偕被迫撤離台灣，當地華人乘機攻擊、虐待、殺害基督徒，還破壞他們建立的教堂。他返回台灣時泰然自若，要求賠償，並重新建立石頭築成的教堂；這使得逼害者抱怨說：「我們阻止不了那個生番宣教士」。
馬偕專心一意為主作見證的決心激勵他面對無數的逼害與挑戰。他到達台灣第一個月就帶領第一個信徒嚴清華—一位知識青年，也是他的中文老師—接受基督，繼而成為台灣第一位被按立的本地牧師。
馬偕的傳道工作還伴隨著一項不尋常的事工：向村民講道之餘，他還為他們拔牙。他隨身帶著一些基本的工具和藥物，嘗試減輕村民的牙痛與熱帶區疾病所帶來的痛苦。
不過，訓練當地的傳道人才是他的優先考慮。馬偕開創巡迴事工，結合外展佈道和一間移動「神學院」，造就準備為主獻身的青年。馬偕常與他們在北台灣旅行，每次行程歷時好幾個月，向當地華人村民和原住民部落傳福音。在旅途中，他都會授以學生神學以及通俗的知識，包括聖經、歷史和科學。學生則教他中華文化，又幫助他改善閩南話的水平。過後，這許多的年輕人都繼續建立或牧養各自的教會。
1882年，這項巡迴事工演變為一個固定的長期事工，於是牛津學院正式落成。有賴馬偕夫人張聰明的籌款成功，馬偕家鄉的支持者提供資金成立此院校，因此按牛津郡的名字命名，讓馬偕能教育更多本地學生。課程雖包括西方的通俗科目，但主要仍是教授實用神學與佈道學。學生也有機會到福音未及的村落佈道宣教；他們需要學習講道，也要學會面對反對基督教的人。將來這些經驗和技巧對牧會時，都是受用的。
馬偕不屈不撓地專心佈道和培訓，終於有了回報。在巡迴佈道的最初幾年，他在臺灣內陸地區建立了多達7間教會，每星期有超過20位本地信徒從事教導和講道的工作。1888年，教會數目增至16間；在他去世時，則有超過60間。
馬偕在台灣三十多年，他許多引起爭議的行徑和異乎尋常的佈道方法，最終證明是成功的。雖然張聰明與他的結合引起了不小的風波，但她成了優秀的事奉同工。1881年，他們回到加拿大，是張聰明籌募了六千多加幣來建立牛津學院。當學院擴大成立女子寄宿學校時，張聰明則肩負舍監的責任，與其他年長婦女一起教導女學生。正如馬偕預期的，她比任何從加拿大差派過來的婦女，更能帶來實際的果效。
馬偕一位助手的妻子賈米森(Annie Jamieson)說：「她(張聰明)就是知道該怎樣與自己的人民相處。她不停訓練女孩、幫助婦女、留意學生的需要、關心顧慮每個人(除了她自己以外)。工場上的信徒都認識她、敬愛她。」
馬偕與張聰明生有三個兒女—一子二女—兩個女兒都嫁給本地傳道人。