UW MEMS 兩年修課心得 - 留學

學季也到了尾聲，感覺板上沒有太多留學後的課程跟教授等後續追蹤的狀況，所以簡單寫
了一篇發個廢文順便打發時間，供後面的人可以踩著前人的屍體前進。大概分兩個部分，
第一個部分是以來美國後的學季為時間軸，介紹當個學季我修過或旁聽的課程。第二個部
分大概就是一些簡短的心得跟Murmur。文頗長但懶得分。

先簡單自我介紹一下，我是University of Washington的 MSME。UW ME 的優點是除了少
數必修課必須在係上完成外，剩下的學分可以在外系選修，因此下列有大量的非本系課程
。

課號 - 課名 – 授課講師 – 難易度

--------------AUTUMN 2017----------------------------------
ME550 - Nonlinear Optimal Control - Brian C. Fabien – 3/5
兩年開一次的課程，但因為授課教授太忙的關係，據說以後應該都不會開了，私心覺得算
是修過UW機械系最好的課程了。內容基本上從基礎的手寫analytical solution跟證明到
數值分析都包含在內。主要內容是Nonlinear Programming 在 Control 上面的分析。還
蠻喜歡課堂氛圍的，除了是小班授課討論頗為踴躍之外，教授本身對文本非常熟悉，上課
基本上教授是完全不需要小抄的 (不過這一點我後來發現好像頗多教授都有這個技能)。

ME547 - Linear Systems Theory - Andrew Flynn Davis – 1/5
原本這門課是Santosh Devasia的課，結果教授開課前落跑度假，臨時找一個沒有經驗的
博士生授課。內容就是跟著那本課本，期末有一個project這樣。大班授課，然後學生程
度很爛導致整門課也教的很慢，不得不說來了之後才發現台灣人的好。這裏其他地方來的
Master 出奇的廢，大概是連想要討論作業都要從頭開始教的那種，最後還是跟台灣人一
起討論比較輕鬆。每次看到筆記上有人問什麼是交集聯集都覺得我對不起父母的錢來修這
種東西。(然後原本想進Santosh Devasia的實驗室還特別請在裡面的朋友詢問狀況，結果
寄完信後他連回都懶得回)

ME535 - Biology inspired robotics control - Sawyer Buckminster Fuller – 2/5
這門課主要是討論課。每週看兩篇paper寫心得摘要，並由一位同學報paper 跟帶討論
。期末一份專題。嚴格意義上是不差的課，尤其是對剛來美國而言可以訓練英文的地方。
缺點是從我下一年後改制，我這屆時有八位同學，所以每個人都必須參與在裡面。但下一
屆開始變30個不知到要討論什麼的。我本身被assign到TRPO的paper但那時候對RL不熟一
整個覺得自己在唬爛。教授本身很猛，但表達頗糟。另外就是原本想進他的實驗室結果教
授說他現在只想收EE的。第一次聽過ME的教授不收ME的學生的。不過UW ME的教授本來就
也不怎麼照顧學生所以也不意外就是了。

ME564 - Mechanical Engineering Analysis I - Steven L. Brunton - 0/5
機械系必修，基本上就是大學工數的無限簡化版。教授本身很猛，做的是流場+ 控制+ML
，同時也是應數的合聘教授，跟應數那邊很多合作。教授本身很有舞台魅力講課也不錯，
但這門課本身內容極度的無聊，網路上找的到往年的影片。據說現在換授課講師了不確定
新的狀況。

--------------WINTTER 2018----------------------------------
ME565 - Mechanical Engineering Analysis II - Steven L. Brunton – 0.5/5
連續兩學季的必修，因此心得跟前面差不多，但第二學季內容有稍微有趣一點所以多0.5
分。

CSE421 - Introduction to algorithms - Shayan Oveis Gharan – 2/5
課程本身follow那本經典課本。Shayan 是CSE理論組的教授之一，本身極為照顧學生。我
一開始的時候因為完全沒有CSE背景也不懂整個證明演算法的流程也沒有認識的人在這門
課可以討論，所以整個沒進入狀況作業也表現的很差。Shayan還特別寄信說擔心我的狀況
跟我約時間討論。另外因為期中考考太簡單期末考只好考比較難，考完後教授還寄信安慰
大家考不好不要擔心的那種。另外Shayan本身是天才，主要研究方向是approximation
algorithms。缺點是我修完課後一直以為CSE就是要一直證明演算法，導致很後面我才發
現要轉碼的話我的修課策略整個都錯了。

EE/IND E 508 - Stochastic Processes in Engineering - Archis Vijay Ghate – 3/5
課程本身是IND E 或 EE 的必修課，是博班資格考的必考科目。內容一路教到基礎的
Martingale。Archis是IND E的教授，也是個非常照顧學生且熱心教學的教授。教授本身
的研究方向是癌症治療方式的建模，修了這門課後因為十分喜歡Archis的教學方式所以也
順便把他所有開的課都修過一輪。整體而言對我影響最深的教授就是Shayan跟Archis，但
某種程度而言也因為他們的關係導致我對CSE該會的必備技能想像重一開始就錯了哭。

--------------SPRING2018----------------------------------
IND E 599 - Markov Decision Optimization - Archis Vijay Ghate – 4/5
Archis 的課，內容聚焦在Markov Decision Processes 上面。從finite horizon 到
infinite horizon，MDPs 到 POMDPs, 離散到連續，最後到基礎RL都包含在內。比較特殊
的是不少機械系的有來修這門課，包含ME581的助教，所以就變成ME581的助教時間也是大
家趕作業的時間這樣。

EE/CSE 576 - Computer Vision - Linda G. Shapiro – 2.5/5
不是很難的一門課但涵蓋了基本上所有的CV基礎。Linda人很好但因為有點老講話步調頗
慢，然後她開課有點是來接觸人群的感覺。三份作業加期末project難度都頗低可以輕鬆
應對。會給2.5主要還是我那時候coding基礎有些薄弱多花了一些時間，再加上隊友各種
雷花了更多時間。不是我要說來了之後西雅圖一堆人都在宣稱自己在做ML，但不少是根本
連linear regression 都不知道只會call function的廢物就是了。

ME581 - Digital Control System Design - Martin C Berg - -0.5/5
很無趣的一門課。本身是大教授但教學頗爛。整門課會要實作用myrio但很簡單基本上九
都是在調參數。會給-0.5是因為有的時候去助教時間討論Markov Decision Optimization
的作業時會有人來問問題，結果助教有的時候根本亂回答，最後聽不下去變成我在教。付
錢不只接收不到新知還要付出自己的知識，這麼搞笑的廢課其實也不多見就是了。

CSE 547 – Machine Learning for Big Data - Sham Kakade – 4/5
https://courses.cs.washington.edu/courses/cse547/18sp/
Sham 本身是reinforcement learning 領域的專家，原本在MSR後來跑來UW，同時也是理
論組的教授。如果有看TRPO的paper的話，原始paper大量引用Sham的證明。但不是我要說
我覺得時機很重要就是這樣，這門課前一年都在教Hadoop或平行運算的東西後一年也都是
，但就這一年莫明其妙Sham心血來潮都在證明。結果害我一整個很興奮想說我之前學的東
西對於要找DS /SDE相關工作都是有幫助的，結果多走了一堆冤枉路。如果是前一年或後
一年的話雖然沒上過但課程難度大約是2.5/5吧我猜(?)。

--------------SUMMER 2019----------------------------------
暑期實習，比較值得一提的是公司跟UW剛好這年合辦27th Annual Computational
Neuroscience Meeting

--------------AUTUMN 2018----------------------------------
CSE521 - Design and Analysis of Algorithms - Shayan Oveis Gharan – 3/5
https://courses.cs.washington.edu/courses/cse521/18au/
Shayan的課。這門課以前據說是421的延伸而已但後來理論組開會決定教一些比較現代的
演算法。課程本身主要分三個部分: 隨機演算法，Spectral Graph，跟 Approximate
Optimization (Rounding)。不像421都是好幾百年前的古董這門課教的大約是近50年的發
展。例如涵蓋了 Andrew Ng 提出 Spectral Clustering之後 Shayan 跟 James怎麼給出
證明的之類的。內容本身不會太難作業也還好，Shayan本身是做理論但他也蠻強調應用的
，所以證明完演算法也會希望簡單時做出來的那種，可以學到不少有趣的東西。

IND E599 – Data Driven Optimization - Archis Vijay Ghate – 3/5
Archis的課。內容包含 ranking and selection, Stochastic Approximation, Sample
Average Approximation, Robust Optimization, 跟基礎 Bandits + RL。主要是這些領
域的重大成就跟目前發展及待解決問題。本身不是太難但因為每次作業都要看好幾份
paper然後寫摘要用自己的方式重新證明或給個大方向，但有些paper長達六十幾頁導致時
間幾乎都花在看paper上面了。另外這門課需要做一個個人期末project應用所學，我大概
就隨便implement了兩個RL的演算法也算是對修ME535時唬爛的我的一個交代這樣。

EE518 – Digital Signals Processing - Jeffrey A Bilmes – 2/5
課程內容就基礎DSP，非常灌水，是那種把課綱拿起來會瘋狂滴水的那種。但Jeff本身非
常的強，是理論應用都很猛的強者，研究興趣是Optimization 的演算法跟NLP，目前主要
聚焦在Submodular。Jeff 人很好但缺點是有點屁話，大概是兩個小時的課扣除掉他的屁
話只剩下半個小時那種。Jeff本身也部分算是理論組的教授，同時也是eScience (UW 一
個偏DS的組織)的教授，另外也負責 Graphical Models 跟 Information Theory 的課程
。

--------------WINTTER 2019----------------------------------
這學季因為放假所以都只有旁聽而已。
MATH/AMATH/ IND E 515 - Optimization: Fundamentals and Applications -
Aleksandr Y. Aravkin – 2/5
這門課主要是偏向Convex Optimization 的演算法，從Gradient Descent 系列一路講到
Interior Point 跟 Splitting Method。Sasha 本身是 Terry 的嫡傳弟子的樣子，另外
他也是 eScience 跟 ADSI的 Faculty。人很好而且也蠻有教學熱誠的。

EE 578 – Convex Optimization - Maryam Fazel – 4/5
Maryam是Stephen P. Boyd的嫡傳弟子，本身也算理論組的一員，和Yin Tat Lee, Sham
Kakade 都是 ADSI的主要負責人。不知道為什麼她跟Archis還蠻要好的也是Archis說上完
他的 Data Driven Optimization 再來一定要去這門課。另外Sasha說他從UW 畢業前最後
修的就是Maryam的課。這門課本身是以Convex 的性質及應用為主，不會涉及到演算法，
但Maryam說明年她會再加開演算法的課程。作業難度不小，是一門需要投注頗多心力的課
。

CSE 535 - Theory of Optimization and Continuous Algorithms - Yin Tat Lee –
4/5
http://yintat.com/teaching/cse535-winter19/
Yin Tat是香港中文大學的，後來到MSR再到UW的樣子。理論組的教授也是ADSI的負責人之
一。這門課包含了Ellipsoid method 跟變形，以及怎麼用 Sampling 去設計
Optimization 的演算法。另外因為Gradient Descent本質上是 dynamical system，所以
也需要 會解Stochastic ODE的能力。缺點是Yin Tat 的口音有點重，那時候一整個不習
慣所以後來主要都是自己看講義。但之後也聽了他的其他演講之類的慢慢習慣後會發現其
實Yin Tat 教的還蠻好的。

EE511 - Introduction to Statistical Learning - Mari Ostendorf – 1/5
還蠻簡單的一門基礎課但因為我沒有真正學過 ML的關係所以還是去聽了。用的是那本經
典課本的內容。Mari本身是做NLP的人非常的好，再加上她很猛的關係，所以雖然整門課
都是知道的東西但聽她從一些不同的角度切入往往有新的收穫。

EE 548 - Linear Multivariable Control - Sam A Burden
教的極慢的一門課，雖然比起Lillian，Burden是好教授但因為步調太慢太想睡後來就沒
去了。

--------------SPRING 2019----------------------------------
CSE 525 - Randomized algorithms and probabilistic analysis - James R Lee –
3/5
https://homes.cs.washington.edu/~jrl/teaching/cse525sp19/
Shayan 叫我一定要修的課，但因為跟機械系的必修課衝堂我又需要畢業只好修那門然後
聽這門。521的延伸課程，James是好老師而且上課整個很有趣。內容還蠻包羅萬象的從基
礎的Concentration bound 到Random tree embeddings 到 Spectral Graph 跟 Markov
Chain都包含在內。每週或兩週一份作業加一個 take home final。很讚的一門課。

CSE 599 - Reinforcement Learning and Bandits – Alekh Agarwal & Sham Kakade
– 4/5
https://courses.cs.washington.edu/courses/cse599m/19sp/
Alekh 跟 Sham 的和開課。Alekh 是 MSR的 Researcher 順便來開個課這樣。內容是比較
新的 RL演算法跟證明，所以整個大綱跟內容其實跟傳統RL的教學差異蠻大的。不少內容
是近幾年的paper，大概就有種paper的作者直接教你paper的內容的感覺。

ME535 - Computational Techniques in Mechanical Engineering - Ashley F Emery
– 0/5
http://courses.washington.edu/mengr535/
很無聊的一門課，主要是numerical的東西，蠻簡單也學不太到東西的一門課，但又是機
械系的必修課所以一定得修。

EE 549 - Estimation and System Identification - Kristi Morgansen
只有去聽前面幾堂但感覺教的頗慢就沒有繼續去了，聽說還蠻不錯的一門課。

--------------SUMMER 2019----------------------------------
暑期因為沒什麼公司要我逼得我留在學校所以順便聽了些學校的conference 跟 summer
school
Applied Mathematics: The Next 50 Years
https://depts.washington.edu/amath/amath50/
裡面的Workshop 有 Sasha的 Optimization & Data Science 還有 Kutz 的 Data
Science Methods。其中Kutz 是跟 Brunton 合作。
另外Sasha還請Terry, Maryam, 跟 Archis來演講

MSRI Mathematics of Machine Learning Summer School
http://www.msri.org/summer_schools/866
MSR + ADSI 主辦的Summer School，主要是ML理論
Robert Schapire 講Statistical Learning; Sebastien Bubeck 講 Convex
Optimization; Kevin Jamieson 講 Bandits; Emma Brunskill講 reinforcement
learning; Joan Bruna 講 Deep Learning

ADSI SUMMER SCHOOL ON FOUNDATIONS OF DATA SCIENCE
https://alecgt.github.io/adsi_summer/
ADSI 的 Summer School, Alekh, Yin Tat 跟 Kevin 都被抓回來講

ADSI SUMMER WORKSHOP: ALGORITHMIC FOUNDATIONS OF LEARNING AND CONTROL
https://ajwagen.github.io/adsi_learning_and_control/
ADSI 的 Workshop Sham 跟 Maryam 主辦

--------------AUTUMN 2019----------------------------------
沒有人想面我還在學校當地縛靈所以去聽了一些課
CSE 599 - Robustness in Machine Learning - Jerry Li - 2/5
https://jerryzli.github.io/robust-ml-fall19.html
主要是偏向outlier / attack/ defense 的一門課。Jerry是MSR的Researcher，才剛從
MIT畢業沒多久。內容非常的新，但也代表這領域發展的有多快，不少去年的paper放到今
年就變成classical的方法了。需要基礎的concentration bound 跟 Optimization 的知
識。應該說所有ML的理論課都需要這些基礎知識，也可以算是必備技能了。

EE514 – Information Theory I - Jeffrey A Bilmes – 3/5
https://class.ece.uw.edu/514/bilmes/ee514_fall_2019/
Jeff 的課。比起讓他教DSP那種有點大材小用的東西，我更喜歡他在這門課的教學。不得
不說還是該把教授放到對的課程，不然聽起來都感覺有點卡卡的。感覺沒機會聽到他的II
了，但可以以Information Theory I 作為收尾也是還不錯了我覺得。


結論（以下都是Murmur）：
結論是雖然這些理論課都很有趣也不會太難，但對於要轉碼或做DS而言就不該浪費生命在
這上面了。嚴格來說只要是沒有要讀博的都不該浪費時間在理論上面。我原本害怕太理論
的話我的履歷會沒有東西，所以還是有跟實驗室以及實習做應用的東西，原本以為這樣可
以比較整合應用跟理論，至少有一些只做純理論找不到工作的前車之鑑在。但實際情形是
只要做的東西是recruiter沒有能力看的懂得東西，再難都沒有價值。所以以結論而言，
完全不要浪費時間在理論上面，騙過recruiter跟面試官才是最重要的。以我的經驗來說
第一步應該要去看職缺內容要的東西，然後就會發現大多數東西是完全不需要理論偏高職
的東西，如果是想當SDE或 Control Engineer的話，大學教育是沒有辦法給一份工作的。
於是就造成即使我已經修改了好幾百份履歷，大量請朋友推 Uber, Google, MS,
Amazon, Lyft…公司，連一份OA都不給的窘境。於是只眼睜睜的看著不做理論的人都離開
了，我還在學校當地縛靈浪費生命的狀況。另外基本上recruiter有的時候不只不懂技術
連該有的知識都沒有。記得去了一堆公司的career fair(然後 Career Fair 也是頗浪費
生命的東西) 問狀況還有去他們辦的履歷修改問怎麼修，每個聽到沒有回應都一臉不可置
性然後叫我投，投完直接被拒，甚至有的連自己公司有什麼缺都不清不楚的。或者是寄信
來問我有沒有興趣然後裡面要求3-5年經驗於是我一回有興趣就被拒的都有。大多數的情
況而言大家都說3-6個月就足已成為一個 new grad SDE了，而6-9個月就足以成為一個
new grad DS了。一堆DS連演算法都不會也爽爽在當DS，幹嘛需要浪費時間多學其他東西
，什麼
potential 啊，進來在學啊都是騙人的，連門票都拿不到所有東西都是bullshit，多學應
用做專題才是合理的。這也是寫這篇的一個目的我覺得，因為來之前功課做的不夠多導致
走錯方向而失敗了，希望以後來的人可以踩在前人的屍體上前進。

懶人包: 完全不要浪費生命在理論上面，看缺要什麼就點什麼騙到一個工作才是重要的

--