О влиянии центральной тенденции на характер плотности распределения максимальной энтропии в машинном обучении

Антон Васильевич Кваснов; Анатолий Афанасьевич Бараненко; Евгений Юрьевич Бутырский; Ульяна Петровна Зараник

doi:10.21638/11701/spbu10.2023.204

Авторы

Антон Васильевич Кваснов Санкт-Петербургский государственный университет Петра Великого, Российская Федерация, 195251, Санкт-Петербург, ул. Политехническая, 29
Анатолий Афанасьевич Бараненко Военный учебно-научный центр Военно-Морского флота «Военно-морская академия имени Адмирала Флота Советского Союза Н. Г. Кузнецова» Российская Федерация, 197045, Санкт-Петербург, Ушаковская наб, 17/1
Евгений Юрьевич Бутырский Санкт-Петербургский государственный университет, Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7-9
Ульяна Петровна Зараник Санкт-Петербургский государственный университет, Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7-9

DOI:

https://doi.org/10.21638/11701/spbu10.2023.204

Аннотация

Принцип максимальной энтропии (МЭ) обладает рядом преимуществ, позволяющих применять его в машинном обучении. Плотность распределения максимальной энтропии (ПРМЭ) требует решения задачи вариационного исчисления на априорном распределении, где в качестве параметра может быть использована центральная тенденция, которая в пространстве Лебега описывается обобщенным средним по Гельдеру. В работе показана эволюция плотности распределения МЭ в зависимости от заданной нормы среднего. Минимум расхождения Кульбака — Лейблера между ПРМЭ и априорной плотностью достигается на гармоническом среднем, что эффективно для сокращения размерности обучающей выборки. В то же время это приводит к ухудшению функции потерь в условиях машинного обучения по прецедентам.

Ключевые слова:

принцип максимальной энтропии, распределение максимальной энтропии, центральная тенденция, обобщенное среднее, машинное обучение

Скачивания

Данные скачивания пока недоступны.

Библиографические ссылки

Литература

Jaynes E. T. Prior probabilities // IEEE Transactions on Systems Science and Cybernetics. 1968. Vol. 4. P. 227-251.

Jaynes E. T. Information theory and statistical mechanics // Physical Review. 1957. Vol. 4. N 106. P. 620-630.

Попков Ю. С. Асимптотическая эффективность оценок максимальной энтропии // Докл. Российской академии наук. Математика. Информатика. Процессы управления. 2020. Т. 493. С. 104-107.

Попков Ю. С., Дубнов Ю. А., Попков А. Ю. Энтропийно-рандомизированное проектирование // Автоматика и телемеханика. 2021. Т. 82. № 3. С. 149-168.

Попков Ю. С. Рандомизация и энтропия в машинном обучении и обработке данных // Докл. Российской академии наук. Математика. Информатика. Процессы управления. 2022. Т. 504. № 1. С. 3-27.

Baggenstoss P. M. Uniform Manifold Sampling (UMS): Sampling the maximum entropy PDF // IEEE Transactions on Signal Processing. 2017. Vol. 65. N 1. P. 2455-2470.

Mak S., Xie Y. Maximum entropy low-rank matrix recovery // IEEE Journal of Selected Topics in Signal Processing. 2018. Vol. 12. N 5. P. 886-901.

Mazuelas S., Shen Y., Perez A. Generalized maximum entropy for supervised classification // IEEE Transactions on Information Theory. 2022. Vol. 68. N 4. P. 2530-2550.

Richards M. A., Scheer J. A., Scheer J., Holm W. A. Principles of modern radar: basic principles. 1st ed. Atlanta: Institution of Engineering and Technology, 2010. 962 p.

Воронцов К. В. Комбинаторные оценки качества обучения по прецедентам // Докл. Академии наук. 2004. Т. 394. № 2. С. 175-178.

Niven R. K., Andresen B. Jaynes' maximum etntropy principle, riemannian metrics and generalised least action bound // Statistical Mechanics. 2010. P. 283-317.

Кваснов А. В. Применение байесовского программирования в задачах распознавания и классификации источников радиоизлучения // Радиотехника. 2020. Т. 84. № 3(5). С. 5-14.

Кваснов А. В. Исследование информационной полноты радиолокационных данных в задачах классификации точечных воздушных объектов // Журн. радиоэлектроники. 2021. Т. 11. С. 1-10.

Кваснов А. В. Повышение информационной полноты классификатора в задачах дистанционного зондирования воздушных точечных объектов // Датчики и системы. 2022. Т. 262. № 3. С. 9-14.

Кваснов А. В. Точность определения координат надводной поверхности на основе фотограмметрических измерений снимка с наклонной проекцией // Сенсорные системы. 2022. Т. 36. № 3. С. 262-274.

Marcial M. C. N., Santillan J. R. A maximum entropy approach for mapping falcata plantations in sen-tinel-2 imagery // IEEE region 10 Conference (TENCON). 2020. P. 596-601. https://doi.org/10.1109/TENCON50793.2020.9293693

Yin C., Xi J., Wang J. The research of text classification technology based on improved maximum entropy model // First International Conference on Computational Intelligence Theory, Systems and Applications (CCITSA). 2015. P. 142-145. https://doi.org/10.1109/CCITSA.2015.12

Pan W. Feature selection algorithm based on maximum information coefficient // IEEE 5th Advanced Information Technology, Electronic and Automation Control Conference (IAEAC). 2021. P. 2600-2603. https://doi.org/10.1109/IAEAC50856.2021.9390868

References

Jaynes E. T. Prior probabilities. IEEE Transactions on Systems Science and Cybernetics, 1968, vol. 4, pp. 227-251.

Jaynes E. T. Information theory and statistical mechanics. Physical Review, 1957, vol. 4, no. 106, pp. 620-630.

Popkov Y. S. Asimptoticheskaia effektivnost' otsenok maksimal'noi entropii [Asymptotic efficiency of maximum entropy estimates]. Reports of the Russian Academia of Sciences. Mathematics. Computer Science. Control Processes, 2020, vol. 493, pp. 104-107. (In Russian)

Popkov Y. S., Dubnov Y. A., Popkov A. Y. Entropiino-randomizirovannoe proektirovanie [Entropy-randomized projection]. Automation and Telemechanics, 2021, vol. 82, no. 3, pp. 149-168. (In Russian)

Popkov Yu. S. Randomizatsiia i entropiia v mashinnom obuchenii i obrabotke dannykh [Randomization and entropy in machine learning and data processing]. Reports of the Russian Academy of Sciences. Mathematics. Computer Science. Control Processes, 2022, vol. 504, no. 1, pp. 3-27. (In Russian)

Baggenstoss P. M. Uniform Manifold Sampling (UMS): Sampling the Maximum entropy PDF. IEEE Transactions on Signal Processing, 2017, vol. 65, no. 1, pp. 2455-2470.

Mak S., Xie Y. Maximum entropy low-rank matrix recovery. IEEE Journal of Selected Topics in Signal Processing, 2018, vol. 12, no. 5, pp. 886-901.

Mazuelas S., Shen Y., Perez A. Generalized maximum entropy for supervised classification. IEEE Transactions on Information Theory, 2022, vol. 68, no. 4, pp. 2530-2550.

Richards M. A., Scheer J. A., Scheer J., Holm W. A. Principles of modern radar: basic principles. 1st ed. Atlanta, Institution of Engineering and Technology Publ., 2010, 962 p.

Vorontsov K. V. Kombinatornye otsenki kachestva obucheniia po pretsedentam [Combinatorial bounds for learning performance]. Reports of the Russian Academia of Sciences, 2004, vol. 394, no. 2, pp. 175-178. (In Russian)

Niven R. K., Andresen B. Jaynes' maximum entropy principle, riemannian metrics and generalised least action bound. Statistical Mechanics, 2010, pp. 283-317.

Kvasnov A. V. Primenenie baiesovskogo programmirovaniia v zadachakh raspoznavaniia i klassifikatsii istochnikov radioizlucheniia [Application of bayesian programming in recognition and classification of radar emission sources]. Radio Engineering, 2020, vol. 84, no. 3(5), pp. 5-14.(In Russian)

Kvasnov A. V. Issledovanie informatsionnoi polnoty radiolokatsionnykh dannykh v zadachakh klassifikatsii tochechnykh vozdushnykh ob"ektov [Enhance of information completeness of classifier in remote sensing tasks of aerial point objects]. Journal of Radio Electronics, 2021, vol. 11, pp. 1-10.(In Russian)

Kvasnov A. V. Povyshenie informatsionnoi polnoty klassifikatora v zadachakh distantsionnogo zondirovaniia vozdushnykh tochechnykh ob"ektov [Enhance of information completeness of classifier in remote sensing tasks of aerial point objects]. Sensors and Systems, 2022, vol. 262, no. 3, pp. 9-14. (In Russian)

Kvasnov A. V. Tochnost' opredeleniia koordinat nadvodnoi poverkhnosti na osnove fotogrammetricheskikh izmerenii snimka s naklonnoi proektsiei [Accuracy of the coordinates for underlying surface based on photogrammetric measurements of the images with an oblique projection]. Sensor Systems, 2022, vol. 36, no. 3, pp. 262-274. (In Russian)

Marcial M. C. N., Santillan J. R. A maximum entropy approach for mapping falcata plantations in sentinel-2 imagery. IEEE region 10 Conference (TENCON), 2020, pp. 596-601. https://doi.org/10.1109/TENCON50793.2020.9293693

Yin C., Xi J., Wang J. The research of text classification technology based on improved maximum entropy model. First International Conference on Computational Intelligence Theory, Systems and Applications (CCITSA), 2015, pp. 142-145. https://doi.org/ 10.1109/CCITSA.2015.12

Pan W. Feature selection algorithm based on maximum information coefficient. IEEE 5th Advanced Information Technology, Electronic and Automation Control Conference (IAEAC), 2021, pp. 2600-2603. https://doi.org/10.1109/IAEAC50856.2021.9390868