The minimum description length principle pdf

يترأس بيتر غرونوالد مجموعة التعلم الآلي في CWI في أمستردام بهولندا. وهو أيضًا أستاذ متفرغ في التعلم الإحصائي في معهد الرياضيات بجامعة ليدن. يشغل حاليًا منصب رئيس جمعية التعلم الحاسوبي ، وهي المنظمة التي تدير COLT ، المؤتمر السنوي الأول في العالم حول نظرية التعلم الآلي ، وكان رئيسًا مشاركًا لـ COLT في عام 2015 وترأس أيضًا UAI - مؤتمر ML آخر - في 2010/2011. بصرف النظر عن النشر في مواقع ML مثل NIPS و COLT و UAI ، فإنه يساهم أيضًا بانتظام في المجلات الإحصائية مثل Annals of Statistics. وهو مؤلف كتاب مبدأ الحد الأدنى لطول الوصف (مطبعة معهد ماساتشوستس للتكنولوجيا ، 2007 ؛ انظر هنا للحصول على مقدمة محدثة (2020) ، أقصر بكثير) ، والذي أصبح المرجع القياسي لنهج MDL للتعلم. في عام 2010 حصل على جائزة Van Dantzig ، وهي أعلى جائزة هولندية في الإحصاء وبحوث العمليات. حصل على منح NWO VIDI (2005) و VICI (2010) و TOP-1 (2016).

pdf The minimum description length principle مجانا للكاتب بيتر جرونوالد

The minimum description length (MDL) principle is a powerful method of inductive inference, the basis of statistical modeling, pattern recognition, and machine learning. It holds that the best explanation, given a limited set of observed data, is the one that permits the greatest compression of the data. MDL methods are particularly well-suited for dealing with model selection, prediction, and estimation problems in situations where the models under consideration can be arbitrarily complex, and overfitting the data is a serious concern. This extensive, step-by-step introduction to the MDL Principle provides a comprehensive reference (with an emphasis on conceptual issues) that is accessible to graduate students and researchers in statistics, pattern classification, machine learning, and data mining, to philosophers interested in the foundations of statistics, and to researchers in other applied sciences that involve model selection, including biology, econometrics, and experimental psychology. Part I provides a basic introduction to MDL and an overview of the concepts in statistics and information theory needed to understand MDL. Part II treats universal coding, the information-theoretic notion on which MDL is built, and part III gives a formal treatment of MDL theory as a theory of inductive inference based on universal coding. Part IV provides a comprehensive overview of the statistical theory of exponential families with an emphasis on their information-theoretic properties. The text includes a number of summaries, paragraphs offering the reader a "fast track" through the material, and boxes highlighting the most important concepts.