如何解決tensorflow訓練時內存持續增加并占滿的問題

這篇文章將為大家詳細講解有關如何解決tensorflow訓練時內存持續增加并占滿的問題，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

先說我出錯和解決的過程。在做風格遷移實驗時，使用預加載權重的VGG19網絡正向提取中間層結果，結果因為代碼不當，在遍歷圖片提取時內存持續增長，導致提取幾十個圖片的特征內存就滿了。

原因是在對每一張圖片正向傳播結束后，都會在留下中間信息。具體地說是在我將正向傳播的代碼與模型的代碼分離了，在每次遍歷圖片時都會正向傳播，在tensorflow中新增加了很多的計算節點（如tf.matmul等等），導致內存中遺留了大量的過期信息。

糾正的做法就是一個前提：避免在循環訓練圖片時額外使用tf計算資源。

使用placeholder作為輸入數據的入口，在模型中定義需要使用的函數，包括正向傳播。不要在遍歷圖片時額外使用tf計算。

遇到這種問題一定要回頭檢查代碼，尤其是在別人寫的代碼基礎上改時。 多學習公開的源碼。

錯誤示例：

def build_model(model_path):
  model_input = tf.placeholder('float32', [1, IMAGE_HEIGHT, IMAGE_WIDTH, COLOR_CHANNELS])
  vec1 = ...
  ...... 
  return model_input,vec1
  
def get_style_represent(vec):
  # 一些tf計算操作
  return new_vec

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  img_input,vec1 = build_model(VGG19_MODEL)    # 加載模型
  for cur_img_path in imgs_path_list:   # 遍歷圖片
    cur_img = load_image(cur_img_path)
    vec1_out = sess.run(vec1, feed_dict = {img_input:cur_img})   # 正向傳播輸出模型中的vec1
    # 對vec1進行一些處理，此處在遍歷圖片時額外使用了tensorflow的計算節點，導致在內存中遺留信息
    new_vec = get_style_represent(vec1_out)

正確示例：

def build_model(model_path):
  model_input = tf.placeholder('float32', [1, IMAGE_HEIGHT, IMAGE_WIDTH, COLOR_CHANNELS])
  vec1 = ...
  ...... 
  new_vec = ...    # 將get_style_represent計算操作定義在模型中
  return model_input,vec1,new_vec

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  img_input,vec1,new_vec = build_model(VGG19_MODEL)
  for cur_img_path in imgs_path_list:
    cur_img = load_image(cur_img_path)
    # 一次正向傳播將處理后的vec1也得到了，避免在每次圖片正向傳播時留下額外信息
    vec1_out,new_vec_out = sess.run([vec1,new_vec], feed_dict = {img_input:cur_img})

所以，如果你也遇到了同樣的問題，不妨看一下你是不是在迭代過程中額外使用了新的tf計算節點吧。

關于“如何解決tensorflow訓練時內存持續增加并占滿的問題”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。