mathtype過期后不顯示精簡模式？

1.增加行距是不現實的。2.在mathtyp

沒有大數據，我們該如何將機器學習的想法制成原型？

從研究思路的提出到實驗的具體實現，是工程中的基礎環節。但是這個過程往往會受到一些明顯的小瑕疵的影響。在學術界，研究生需要辛苦的研究——大量的寫代碼、寫解釋、寫論文。新的工程項目往往需要一個全新的代碼庫，而將過去使用的代碼直接擴展到這些新項目中往往很困難。

基于這種情況，哥倫比亞大學計算機科學博士生、OpenAI研究員DustinTran從個人角度概述了從研究思路到實驗過程的步驟。其中最關鍵的一步是提出新的想法，這往往要花很多時間；而且至少對于作者來說，實驗環節不僅僅是學習，更是解決不可預知問題的關鍵。此外，作者還明確表示，這個工作流程只適用于實驗研究，理論研究需要遵循另一個流程，雖然兩者有相通之處。

找到正確的問題

在真正開始一個項目之前，如何讓你的想法"土地與環境一個比較正式的話題很關鍵。有時它很簡單——就像導師會給你布置任務一樣；或處理特定數據集或實際問題；或者和你的伴侶談談，確定工作內容。

更常見的是，研究實際上是一系列想法的結果，這些想法通常是通過日常談話、最近的工作、閱讀專業和非專業領域的文獻以及反復閱讀經典論文而產生的。

我發現一個非常有用的方法——保存一個主文檔，這通常需要大量的工作。

首先，它有一個項目列表來安排所有的研究想法、問題和主題。有時它們可能是更高層次的問題，例如"強化學習的貝葉斯/生成方法和"解決機器學習中的公平問題也可以是一些非常具體的話題，比如"處理EP中記憶復雜性的推理網絡和"標度偏差和對稱性的狄利克雷超越分析我經常嘗試讓項目列表更簡潔:通過一些鏈接展開子內容。

然后，根據下一步要做的工作，將想法列表分類。這通常為我的后續研究指明了方向。我也可以根據這些項目的方向是否與我的研究觀點一致，它們的必要性和有效性，隨時修改這些項目的優先順序。更重要的是，這份名單不僅關乎后續觀點，還關乎下一個。我將來更喜歡學什么？從長遠來看，這是對發現重要問題和提出簡單新穎的解決方案的重要貢獻。我經常訪問這個列表，重新安排事情，增加新的想法，刪除不必要的話題。最后，當我能夠詳細解釋一個想法時，它就可以成為一篇更正式的論文。總的來說，我發現在同一個位置(同一個格式)迭代idea的過程可以讓正式論文寫作中的銜接和實驗過程更加流暢。

管理項目

我們的最新arXiv預印本庫。

我喜歡在GitHub庫中維護研究項目。不管做了多少研究單位"我會把它定義為相對獨立的東西。例如，它可能與當前的一篇特定論文、一項應用數據分析或特定主題相關聯。

GitHubrepository不僅可以用于跟蹤代碼，還可以用于跟蹤一般的研究進度、論文寫作進度或嘗試其他合作項目。但是項目的組織一直是個痛點。我更喜歡下面的結構，它來自戴夫·布雷。見:~Blei/seminar/2016_離散_數據/筆記/周_01.pdf。

把自己和合作者要做的事情列一個清單，這樣就把問題和前進的方向說清楚了。

Doc/包含所有記錄的項目，每個子目錄包含一個會議紀要或文檔提交，main.tex為主文檔，每個章節是一個不同的文件，比如introduction.tex，將每個章節分開可以讓很多人同時處理不同的章節，從而避免合并。有些人喜歡在主要實驗完成后一次性寫一篇完整的論文，但我更喜歡把論文作為當前想法的記錄，讓它隨著實驗的進展繼續前進，就像想法本身一樣。

Etc/是和之前的目錄無關的其他東西。我通常用它來存儲項目中討論留下的白板內容的圖片。有時候，我會在日常工作中獲得一些靈感，我會將它們記錄在Markdowndocument中，這也是一個處理對我工作的各種評論的目錄，比如我的合作者對我論文內容的反饋。

Src/是所有代碼編寫的地方。可運行腳本直接寫在src/上，類和實用程序寫在codebase/上。下面我會詳細解釋(還有一個腳本輸出目錄)。

寫代碼

Edward是我現在用來寫所有代碼的工具，我發現它是快速試驗現代概率模型和算法的最佳框架。

愛德華林克:

在概念層面上，愛德華的吸引力在于語言遵循數學:模型的生成過程轉化為每個愛德華代。代碼；然后我要寫的算法轉化成下一行...這種純粹的轉換過程，避免了日后試圖將代碼擴展成自然研究問題的麻煩:比如之前使用了不同的方法，或者調整了梯度估計，或者嘗試了不同的神經網絡架構，或者在大數據集上應用了其他方法等等。

在實踐層面上，我總是受益于愛德華的現有模型示例(在edward/examples或edward/notebooks中)。我把預置的算法源代碼(在Edward/推論中)作為一個新文件粘貼到我項目中的codebase/目錄下，然后進行調整。這使得從零開始變得非常簡單，我們也可以避免很多低級的細節。

寫代碼的時候，我總是按照pep8(我特別喜歡PEP8軟件包:)，然后盡量把每個腳本和腳本共享的類、函數定義分開；前者放在codebase/中以供導入。從第一步開始就保持代碼質量永遠是最好的選擇，這個過程非常重要，因為項目會隨著時間的推移而擴大，其他人也會逐漸加入進來。

Jupyternotebook很多人都在用JupyterNotepad(鏈接:)作為一種交互的代碼開發，也是一種簡單的嵌入可視化和LaTeX的。對我來說，我沒有。;我沒有把它集成到我自己的工作流程中。我喜歡將所有代碼寫入Python腳本，然后運行這些腳本。但Jupyter等工具的交互性值得稱贊。

實驗管理

有必要投資一個好的工作站或者云服務提供商。GPU的這個特性基本上是通用的，我們應該有權利并行運行很多作業。

當我在本地計算機上完成腳本后，我的主要工作流程是:

1.運行rsync將本地計算機的Github庫(包括未授權的文檔)同步到服務器的目錄。

2.到服務器的ssh。

3.啟動tmux并運行腳本。很多事情很復雜，tmux可以讓你擺脫這個過程，所以你不不必等到它結束后再與服務器交互。

腳本可行后，我開始用多個超參數配置鉆探實驗。這里有一個有用的工具tf.flags，它使用命令行參數來增強Python腳本，并向您的腳本添加如下內容:

然后，您可以運行以下終端命令:

這使得提交超級參數修改的服務器任務變得容易。

最后，談到管理實驗期間的任務輸出，回想一下上一篇文章中的src/directory的結構:

我們描述了每個腳本和代碼庫/。其他三個目錄用于組織實驗輸出:

檢查站/記錄培訓中保存的模型參數。當算法每迭代固定次數時，使用。這有助于維持長時間的實驗——您可以取消一些任務，稍后恢復參數。每個實驗的輸出都會存儲在checkpoints/下的子目錄中，比如20170524_192314_batch_size_25_LR_1e-4/。第一個數字是日期(YYYYMMDD)，第二個是時間(HMS)，其余都是超級參數。

記錄/存儲視覺學習的記錄。每個實驗都有自己的子目錄，對應于checkpoints/。使用Edward的一個優點是，您可以簡單地將一個參數(logdirlog/subdir)傳遞給日志。跟蹤的默認張量流摘要可通過TensorBoard可視化。

培訓后輸出/記錄探索性輸出；比如生成的圖片或者matplotlib圖，每個實驗都有自己對應checkpoints/的子目錄。

軟件容器。Virtualenv是管理Python安裝環境的必備軟件，可以降低安裝Python的難度。如果你需要更強大的工具，Docker容器可以滿足你的需求。

虛擬鏈接:

碼頭集裝箱鏈接:

TensorBoard是可視化和探索模型訓練的優秀工具。因為TensorBoard有很好的交互性，你會發現它非常容易使用，因為它意味著你不不需要配置很多matplotlib函數來理解訓練。我們只需要把它加到代碼的張量上。

Edward默認記錄了大量的摘要，以便可視化訓練迭代中函數值的損失、梯度和參數的變化。TensorBoard還包含了時間的對比，這也為全裝修TensorFlow代碼庫提供了很好的計算圖。對于僅通過TensorBoard無法診斷的疑難問題，我們可以輸出out/目錄中的內容，查看結果。

調試錯誤消息。我的調試工作流程很糟糕。在這方面，我在代碼中嵌入了打印的語句，并通過消除過程來查找錯誤。這個方法很原始。雖然我還沒有還沒試過，聽說TensorFlow的調試器很厲害。

增強研究理解

繼續研究你的模型和算法。通常，學習過程會讓你對自己的研究和模型有更好的理解。這可以讓你回到繪圖板，重新思考你的位置，并尋求進一步改善的方法。如果該方法涉及要想成功，可以從簡單的配置逐步擴大規模，嘗試解決高維問題。

在更高的層次上，工作流本質上是將科學方法應用于現實世界。在實驗的每一次迭代中，都不需要拋棄主要思想。另一方面，這一切的理論基礎必須是堅實的。

在這個過程中，實驗并不是孤立的。合作，與其他領域的專家交流，閱讀論文，從短期和長期的角度考慮問題，參加學術會議，這些都有助于拓寬你對問題的思考，有助于解決問題。