การเคลื่อนลงตามความชัน การเคลื่อนลงตามความชันแบบสโตแคสติก โมเมนตั้ม ความชันแบบเนสเทรอฟ อดาแกรด อดาเดลต้า อดัม เรียนวิธีการเพิ่มประสิทธิภาพ การหาไฮเปอร์พารามิเตอร์ การค้นหาแบบตาราง การค้นหาแบบสุ่ม

Gradient descent, Stochastic Gradient Descent, Momentum, Nesterov Accelerated Gradient, Adagrad, AdaDelta, Adam, Meta-learning by learning to optimize, Hyper-parameter search with grid Search and random Search