Принцип максимума энтропии в теории принятия решений

Александр Николаевич Прокаев

doi:10.21638/spbu10.2024.203

Авторы

Александр Николаевич Прокаев Санкт-Петербургский институт информатики и автоматизации — Научно-техническое бюро высоких технологий, Российская Федерация, 199178, Санкт-Петербург, 14-я линия В. О., 39 https://orcid.org/0000-0002-9843-0417

DOI:

https://doi.org/10.21638/spbu10.2024.203

Аннотация

Традиционно принцип максимума энтропии используется для нахождения неизвестных законов распределения случайных величин. В теории принятия решений данный принцип применяется преимущественно в ситуации неопределенности относительно распределения вероятности гипотез о «состоянии среды», где под средой понимается совокупность параметров, влияющих на результат принимаемого решения. Рассмотрено использование принципа максимума энтропии с иной целью, а именно для оптимального распределения ресурсов различного вида. Приведены доказательства теорем, позволяющих создать алгоритмы решения разных задач распределения ресурсов на основе принципа максимума энтропии, а также примеры решения демонстративных задач.

Ключевые слова:

теория информации, теория принятия решений, теория поиска, теория ожидаемой полезности, функция полезности, принцип максимума энтропии

Скачивания

Данные скачивания пока недоступны.

Библиографические ссылки

Литература

Jaynes E. T. Information theory and statistical mechanics // Physical Review. 1957. Series II. N 4. P. 620–630. https://dx.doi.org/10.1103%2FPhysRev.106.620

Jaynes E. T. Information theory and statistical mechanics. II // Physical Review. 1957. Series II. N 2. P. 171–190. https://dx.doi.org/10.1103%2FPhysRev.108.171

Shannon C. E. A mathematical theory of communication // Bell System Techn. Journal. 1948. Vol. 27. N 4. P. 623–656.

Jaynes E. T. Where do we stand on maximum entropy? // Maximum Entropy Formalism. Cambridge, MIT Press, 1978. P. 15–118.

Jaynes E. T. The relation of Bayesian and maximum entropy methods // Maximum entropy and Bayesian methods in science and engineering. Dordrecht, Netherlands: Kluwer Academic Publ., 1988. Vol. 1. P. 25–29.

Dias P. M., Shimony A. A critique of Jaynes' maximum entropy principle // Advances in Applied Mathematics. 1981. Vol. 2. P. 172–211.

Mohammad-Djafari A. Maximum entropy and Bayesian inference: where do we stand and where do we go? // Bayesian inference and maximum entropy methods in science and engineering. 2006. Vol. 872. Iss. 11. P. 3–14.

Grendar M. jr., Grendar M. Maximum entropy: Clearing up mysteries // Entropy. 2001. Vol. 3. Iss. 2. P. 58–63. https://doi.org/10.3390/e3020058

Neapolitan R. E., Jiang X. A note of caution on maximizing entropy // Entropy. 2014. Vol. 16 (7). P. 4004–4014. https://doi.org/10.3390/e16074004

De Martino A., De Martino D. An introduction to the maximum entropy approach and its application to inference problems in biology // Heliyon. 2018. Vol. 4 (4). P. 314–344. https://doi.org/10.1016/j.heliyon.2018.e00596

Нейман Дж. фон, Моргенштерн О. Теория игр и экономическое поведение / пер. с англ.; под ред. и с доб. Н. Н. Воробьева. М.: Наука, 2014. 708 c.

Акоф Р., Сасиени М. Основы исследования операций / пер. с англ.; под ред. И. А. Ушакова. М.: Мир, 1971. 533 с.

Трухаев Р. И. Модели принятия решений в условиях неопределенности. М.: Наука, 1981. 257 с.

Королев О. Л., Куссый М. Ю., Сигал А. В. Применение энтропии при моделировании процессов принятия решений в экономике. Симферополь: Изд-во «ОДЖАКЪ», 2013. 148 с.

Михно В. Н. Модель максимальной энтропии для формирования инвестиционного портфеля // Вестник Тверского государственного университета. Прикладная математика. 2017. № 1. С. 45–55.

Вильсон А. Дж. Энтропийные методы моделирования сложных систем / пер. с англ. Ю. А. Дубова; под ред. Ю. С. Попкова. М.: Наука, 1978. 246 с.

Гераськин М. И. Математическая экономика: учебник. Самара: Изд-во Самарского государственного аэрокосмического университета, 2011. 176 с.

Markowitz H. M. Portfolio selection // The Journal of Finance. 1952. Vol. 7 (1). P. 77–91. https://edisciplinas.usp.br/mod/resource/view.php?id=1413077

Прокаев А. Н. Принцип максимума энтропии в теории поиска // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2023. Т. 19. Вып. 1. С. 27–42. https://doi.org/10.21638/11701/spbu10.2023.103

Прокаев А. Н. Теоретические основы решения задач поиска методом максимума энтропии // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2023. Т. 19. Вып. 3. С. 348–368. noindent https://doi.org/10.21638/11701/spbu10.2023.304

Лисица М. И. Оценка доходности и риска финансовых инвестиций: учебник. СПб.: Изд-во Университета при Межпарламентской Ассамблее ЕврАзЭС, 2018. 226 с.

Добрина М. В. Функции полезности и их применение в моделировании портфельных решений // Современная экономика: проблемы и решения. 2017. Вып. 8 (92). С. 64–76. https://doi.org/10.17308/meps.2017.8/1748

Бакулин А. Г. Индексное инвестирование. 2021. 82 с. URL: https://artem-bakulin.github.io/latex/papers/index-investing/ (дата обращения: 19 января 2024 г.).

Jaynes E. T. Entropy and search theory // Maximum-entropy and Bayesian methods in inverse problems. Fundamental theories of physics. Dordrecht, Netherlands: Springer, 1985. Vol. 14. P. 1–18.

References

Jaynes E. T. Information theory and statistical mechanics. Physical Review, 1957, Series II, no. 4, pp. 620–630. https://dx.doi.org/10.1103%2FPhysRev.106.620

Jaynes E. T. Information theory and statistical mechanics. II. Physical Review, 1957, Series II, no. 2, pp. 171–190. https://dx.doi.org/10.1103%2FPhysRev.108.171

Shannon C. E. A mathematical theory of communication. Bell System Techn. Journal, 1948, vol. 27, no. 4, pp. 623–656.

Jaynes E. T. Where do we stand on maximum entropy? Maximum entropy formalism. Cambridge, MIT Press, 1978, pp. 15–118.

Jaynes E. T. The relation of Bayesian and maximum entropy methods. Maximum entropy and Bayesian methods in science and engineering. Dordrecht, Netherlands, Kluwer Academic Publ., 1988, vol. 1, pp. 25–29.

Dias P. M., Shimony A. A critique of Jaynes' maximum entropy principle. Advances in Applied Mathematics, 1981, vol. 2, pp. 172–211.

Mohammad-Djafari A. Maximum entropy and Bayesian inference: where do we stand and where do we go? Bayesian inference and maximum entropy methods in science and engineering, 2006, vol. 872, iss. 11, pp. 3–14.

Grendar M. jr., Grendar M. Maximum entropy: clearing up mysteries. Entropy, 2001, vol. 3, iss. 2, pp. 58–63. https://doi.org/10.3390/e3020058

Neapolitan R. E., Jiang X. A note of caution on maximizing entropy. Entropy, 2014, vol. 16 (7), pp. 4004–4014. https://doi.org/10.3390/e16074004

De Martino A., De Martino D. An introduction to the maximum entropy approach and its application to inference problems in biology. Heliyon, 2018, vol. 4 (4), pp. 314–344. https://doi.org/10.1016/j.heliyon.2018.e00596

Neumann J. von, Morgenstern O. Theory of games and economic behavior. Princeton, Princeton University Press, 1953, 707 p. (Rus. ed.: Neumann J. von, Morgenshtern O. Teoriya igr i ekonomicheskoe povedenie. Moscow, Nauka Publ., 2014, 708 p.)

Ackoff R. L., Sasieni M. W. Fundamentals of operations research. New York, John Wiley & Sons, Inc. Publ., 1967, 455 p. (Rus. ed.: Ackoff R. L., Sasieni M. W. Osnovi issledovaniya operatsiy. Moscow, Mir Publ., 1971, 533 p.)

Trukhaev R. I. Modeli priniatiya resheniy v usloviyakh neopredelionnosti [Models of decision making in conditions of uncertainty]. Moscow, Nauka Publ., 1981, 257 p. (In Russian)

Koroliov O. L., Kussiy M. Y., Sigal A. V. Primenenie entropii pri modelirovanii protsessov priniatiya resheniy v ekonomike [Application of entropy in modeling decision-making processes in economics]. Simferopol, ODSHAK Publ., 2013, 148 p. (In Russian)

Mikhno V. N. Model maksimalnoy entropii dlia formirovaniya investitsionnogo portfelia [Maximum entropy model for forming an investment portfolio]. Vestnik of Tver State University. Applied Mathematics, 2017, no. 1, pp. 45–55. (In Russian)

Wilson A. G. Entropy in urban and regional modelling. London, Pion Ltd., 1978, 248 p. (Rus. ed.: Wilson A. G. Entropiynie metodi modelirovaniya sloshnikh sistem. Moscow, Nauka Publ., 1978, 246 p.)

Geraskin M. I. Matematicheskaya ekonomika [Mathematical economics]. Textbook. Samara, Samara State Aerospace University Publ., 2011, 176 p. (In Russian)

Markowitz H. M. Portfolio selection. The Journal of Finance, 1952, vol. 7 (1), pp. 77–91. https://edisciplinas.usp.br/mod/resource/view.php?id=1413077

Prokaev A. N. Printsip maksimuma entropii v teorii poiska [The maximum entropy principle in search theory]. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2023, vol. 19, iss. 1, pp. 27–42. https://doi.org/10.21638/11701/spbu10.2023.103 (In Russian)

Prokaev A. N. Teoreticheskie osnovi resheniya zadach poiska metodom maksimuma entropii [Theoretical fundamentals for search problems solving using maximum entropy method].Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2023, vol. 19, iss. 3, pp. 348–368. https://doi.org/10.21638/11701/spbu10.2023.304 (In Russian)

Lisitsa M. I. Otsenka dohodnosti i riska finansobikh investitsiy [Assessing the profitability and risk of financial investments]. Textbook. St. Petersburg, University of Interparliamentary Assembly of EurAsES Publ., 2018, 226 p. (In Russian)

Dobrina M. V. Funktsii poleznosti i ih primenenie v modelirovanii portfelnikh resheniy [Utility functions and their application in modeling portfolio decisions]. Sovremennaya ekonomika: problemi i resheniya [Modern economy: problems and solutions], 2017, iss. 8 (92), pp. 64–76. https://doi.org/10.17308/meps.2017.8/1748 (In Russian)

Bakulin A. G. Indeksnoe investiroanie [Index investing]. 2021, 82 p. Available at: https://artem-bakulin.github.io/latex/papers/index-investing/ (accessed: January 19, 2024).

Jaynes E. T. Entropy and search theory. Maximum-entropy and Bayesian methods in inverse problems. Fundamental theories of physics. Dordrecht, Netherland, Springer, 1985, vol. 14, pp. 1–18.