izvestiiatimacadИзвестия Тимирязевской сельскохозяйственной академииIZVESTIYA OF TIMIRYAZEV AGRICULTURAL ACADEMY0021-342XФГБОУ ВО РГАУ-МСХА имени К.А. Тимирязева10.26897/0021-342X-2023-4-110-125izvestiiatimacad-431Research ArticleЗООТЕХНИЯ, БИОЛОГИЯ И ВЕТЕРИНАРНАЯ МЕДИЦИНАLIVESTOCK BREEDING, BIOLOGY AND VETERINARY MEDICINEИдентификация популяций клеток крови рыб на основе сверточной нейронной сети для составления лейкограммыIdentification of fish blood cell populations on the basis of a convolutionary neural network for compiling a leukogramhttps://orcid.org/0000-0002-0805-6784ПронинаГ. И.ProninaG. I.

Пронина Галина Иозеповна, профессор, д-р биол. наук, доцент

127434, г. Москва, Тимирязевская ул., 49

Galina I. Pronina, DSc (Bio), Associate Professor, Professor of the Department of Aquaculture and Beekeeping

49, Timiryazevskaya Str., Moscow, 127434

gidrobiont4@yandex.ruБыковД. В.BykovD. V.

Быков Денис Витальевич, ассистент кафедры статистики и кибернетики

127434, г. Москва, Тимирязевская ул., 49

Denis V. Bykov, Assistant of the Department of Statistics and Cybernetics

49, Timiryazevskaya Str., Moscow, 127434

bykovdv@rgau-msha.ruУколоваА. В.UkolovaA. V.

Уколова Анна Владимировна, канд. экон. наук, доцент, и.о. заведующего кафедрой статистики и кибернетики

127434, г. Москва, Тимирязевская ул., 49

Anna V. Ukolova, CSc (Econ), Associate Professor, Acting Head of the Department of Statistics and Cybernetics

49, Timiryazevskaya Str., Moscow, 127434

statmsha@rgau-msha.ruУльянкинА. Е.Ul’yankinA. E.

Ульянкин Александр Евгеньевич, ассистент кафедры статистики и кибернетики

127434, г. Москва, Тимирязевская ул., 49

Aleksandr E. Ul’yankin, Assistant of the Department of Statistics and Cybernetics

49, Timiryazevskaya Str., Moscow, 127434

aeulianckin@rgau-msha.ruКарасевА. Н.KarasevA. N.

Карасев Андрей Николаевич, бакалавр 3-го года обучения

127434, г. Москва, Тимирязевская ул., 49

Andrey N. Karasev, 3rd-year undergraduate student

49, Timiryazevskaya Str., Moscow, 127434

andrkar008@gmail.comТутриковаМ. А.TutrikovaM. A.

Мария Андреевна Тутрикова, бакалавр 3-го года обучения

127434, г. Москва, Тимирязевская ул., 49

Maria A. Tutrikova, 3rd-year undergraduate student

49, Timiryazevskaya Str., Moscow, 127434

maria.tutrikova@gmail.comАкимушкинаМ. А.AkimushkinaM. A.

Магдалина Алексеевна Акимушкина, бакалавр 3-го года обучения

127434, г. Москва, Тимирязевская ул., 49

Magdalina A. Akimushkina, 3rd-year undergraduate student

49, Timiryazevskaya Str., Moscow, 127434

akimushkina.lina@gmail.comКанаеваК. А.KanaevaK. A.

Ксения Андреевна Канаева, бакалавр 3-го года обучения

127434, г. Москва, Тимирязевская ул., 49

Ksenia A. Kanaeva, 3rd-year undergraduate student

49, Timiryazevskaya Str., Moscow, 127434

kutk-ksusha@yandex.ruРоссийский государственный аграрный университет – МСХА имени К.А. ТимирязеваРоссияRussian State Agrarian University – Moscow Timiryazev Agricultural AcademyRussian Federation20232010202314110125Copyright © Пронина Г.И., Быков Д.В., Уколова А.В., Ульянкин А.Е., Карасев А.Н., Тутрикова М.А., Акимушкина М.А., Канаева К.А., 20232023Пронина Г.И., Быков Д.В., Уколова А.В., Ульянкин А.Е., Карасев А.Н., Тутрикова М.А., Акимушкина М.А., Канаева К.А.Pronina G.I., Bykov D.V., Ukolova A.V., Ul’yankin A.E., Karasev A.N., Tutrikova M.A., Akimushkina M.A., Kanaeva K.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://izvestiia.timacad.ru/jour/article/view/431

В аквакультуре требуется физиологическая оценка для контроля состояния здоровья рыб. Кровь является наиболее быстро реагирующей на изменения внешних факторов системой в организме гидробионтов. Изучение гематологических показателей рыб позволяет проводить раннюю диагностику заболеваний, отрабатывать технологический режим разведения и выращивания, селекцию. Типизация клеток циркулирующих жидкостей является важной для составления гемоцитарной и лейкоцитарной формул, характеризующих клеточное звено иммунного ответа организма.

В представленных исследованиях разрабатываются модели сверточной нейронной сети для классификации клеток крови карповых и осетровых рыб. Точность моделей оценивается на основе метрик Accuracy и Precision, Recall, F1 при макроусреднении.

На основе обработки снимков крови подготовлено 1104 изображения клеток крови карповых и осетровых рыб, включающие в себя 15 популяций клеток: гемогистобласты, миелобласты, промиелоциты, миелоциты, метамиелоциты, палочкоядерные нейтрофилы, сегментоядерные нейтрофилы, эозинофилы, базофилы, моноциты, лимфоциты, эритробласты, нормобласты, зрелые эритроциты, тромбоциты.

Разработаны модели сверточной нейронной сети для распознавания популяций клеточных элементов крови (эритроцитов, лейкоцитов, тромбоцитов) карповых и осетровых рыб. Обучение моделей происходило на 80% подготовленных изображений. При этом удалось избежать проблемы переобучения, о чем свидетельствуют построенные графики изменения значений функции потерь (разреженной категориальной перекрестной энтропии – sparse categorical crossentropy) и точности (accuracy) в процессе обучения.

Построенные модели позволяют распознавать клетки крови карповых рыб с точностью 75,0% (метрика F1 при макроусреднении равна 0,570) и клетки крови осетровых рыб с точностью 76,6% (F1 при макроусреднении составляет 0,664).

In aquaculture, physiological assessment is required to monitor the health status of fish. Blood is the most responsive system in the organism of hydrobionts to changes in external factors. The study of hematological parameters of fish allows for early diagnosis of diseases, working out the technological mode of breeding and rearing, and selection. The typing of cells in circulating fluids is important for compiling hemocytic and leukocyte formulas characterizing the cellular component of the organism’s immune response.

In the present study, convolutional neural network models are developed to classify blood cells of carp and sturgeon fish. The quality of the models is estimated based on the metrics Accuracy and Precision, Recall, F1 with macro-averaging.

Based on the processing of blood images, 1104 images of blood cells of carp and sturgeon fish were prepared, including 15 cell populations: hemohistoblasts, myeloblasts, promyelocytes, myelocytes, metamyelocytes, rod-shaped neutrophils, segmented neutrophils, eosinophils, basophils, monocytes, lymphocytes, erythroblasts, normoblasts, mature erythrocytes, and platelets.

Models of a convolutional neural network have been developed to recognize populations of blood cell elements (erythrocytes, leukocytes, platelets) of carp and sturgeon fish. The models were trained on 80% of the prepared images, avoiding the problem of overtraining, as evidenced by the constructed graphs of the loss function (sparse categorical cross entropy) and accuracy during the learning process.

The constructed models make it possible to recognize blood cells of carp fish with an accuracy of 75.0% (metric F1 with macro-averaging is 0.570) and blood cells of sturgeon fish with an accuracy of 76.6% (F1 with macro-averaging is 0.664).

клетки крови рыбмашинное обучениесверточная нейронная сеть (CNN)классификацияобработка изображенийfish blood cellsmachine learningconvolutional neural network (CNN)classificationimage processingReferencesДолгов В.В., Меньшиков В.В. Клиническая лабораторная диагностика. Национальное руководство // М.: ГЭОТАР-Медиа. – 2016. – 688с.Dolgov V.V., Menshikov V.V. Clinical laboratory diagnostics. National leadership // Moscow: GEOTAR-Media. – 2016. - 688s. (In Russian)Житенева, Л.Д., Макаров Э.В., Рудницкая О.А. Основы ихтиогематологии (в сравнительном аспекте). – Ростов-на-Дону: Эверест, 2004. – 312 с. – Текст: непосредственныйZhiteneva, L.D., Makarov E.V., Rudnitskaya O.A. Fundamentals of ichthyohematology (in comparative aspect). – Rostov-on-Don: Everest, 2004. – 312 p. (In Russian)Иванов А.А., Пронина Г.А., Корягина Н.Ю. Гематология пойкилотермных гидробионтов: Монография. – Иркутск: ООО «Мегапринт», 2018. – 133 с. – Текст: непосредственныйIvanov A.A., Pronina G.A., Koryagina N.Yu. Hematology of poikilothermic hydrobionts: Monograph. – Irkutsk: Megaprint LLC, 2018. – 133 p. (In Russian)Маслова Н.И., Петрушин А.Б. Методические рекомендации по управлению селекционным процессом в рыбоводстве (на примере карпа). – М.: Россельхозакадемия, 2005. – 27с. – Текст: непосредственныйMaslova N.I., Petrushin A.B. Methodological recommendations for the management of the breeding process in fish farming (on the example of carp). – M.: Russian Agricultural Academy, 2005. – 27c. (In Russian)Паттерсон Дж., Гибсон А. Глубокое обучение с точки зрения практика. – М.: ДМК Пресс, 2018. – 418 с. – Текст: непосредственныйPatterson J., Gibson A. Deep learning from the point of view of practice. – Moscow: DMK Press, 2018. – 418 p. (In Russian)Пищенко Е.В. Гематология пресноводной рыбы: Учебное пособие. – Новосибирск: Новосиб. гос. аграр. ун-т, 2002. – 48с. – Текст: непосредственныйPishchenko E.V. Hematology of freshwater fish: Textbook. – Novosibirsk: Novosibirsk State Agrarian University. un-t, 2002. – 48s. (In Russian)Пронина Г.И., Иванов А.А, Маннапов А.Г, Саная О.В. Иммунитет пойкилотермных гидробионтов // Известия ТСХА. – 2021. – №2. – С. 71-91. – Текст: непосредственныйPronina G.I., Ivanov A.A., Mannapov A.G., Sanaya O.V. Immunity of poikilothermic hydrobionts // Izvestiya TSKHA. – 2021. – No. 2. – pp. 71-91. (In Russian)Пронина Г.И. Клиническая лабораторная диагностика. Практикум: Учебное пособие для ВУЗов. – М., 2021. – 88 с. – Текст: непосредственныйPronina G.I. Clinical laboratory diagnostics. Workshop: Textbook for universities. – M., 2021. – 88 p. (In Russian)Пронина Г.И., Корягина Н.Ю. Методология физиолого-иммунологической оценки гидробионтов: Учебное пособие. – СПб: Лань, 2017. – 96с. – Текст: непосредственныйPronina G.I., Koryagina N.Yu. Methodology of physiological and immunological assessment of hydrobionts: Textbook. – St. Petersburg: Lan, 2017. – 96c. (In Russian)Agustin, R.I., Arif A., Sukorini U. Classification of immature white blood cells in acute lymphoblastic leukemia L1 using neural networks particle swarm optimization // Neural Comput & Applic 33, 10869–10880, 2021. – URL: https://doi.org/10.1007/s00521-021-06245-7Agustin, R.I., Arif A., Sukorini U. Classification of immature white blood cells in acute lymphoblastic leukemia L1 using neural networks particle swarm optimization // Neural Comput & Applic 33, 10869–10880, 2021. – URL: https://doi.org/10.1007/s00521-021-06245-7Fernández J.C., Carbonero M., Gutiérrez P.A. et al. Multi-objective evolutionary optimization using the relationship between F1 and accuracy metrics in classification tasks // Appl Intell 49, 2019, 3447–3463. – URL: https://doi.org/10.1007/s10489-019-01447-yFernández J.C., Carbonero M., Gutiérrez P.A. et al. Multi-objective evolutionary optimization using the relationship between F1 and accuracy metrics in classification tasks // Appl Intell 49, 2019, 3447–3463. – URL: https://doi.org/10.1007/s10489-019-01447-yHameed Z., Garcia-Zapirain B., Aguirre J.J. et al. Multiclass classification of breast cancer histopathology images using multilevel features of deep convolutional neural network // Sci Rep 12, 15600, 2022. – URL: https://doi.org/10.1038/s41598-022-19278-2Hameed Z., Garcia-Zapirain B., Aguirre J.J. et al. Multiclass classification of breast cancer histopathology images using multilevel features of deep convolutional neural network // Sci Rep 12, 15600, 2022. – URL: https://doi.org/10.1038/s41598-022-19278-2Le Floc’h N., Gondret F., Resmond R. Identification of blood immune and metabolic indicators explaining the variability of growth of pigs under contrasted sanitary conditions. BMC Vet Res 17, 166 (2021). https://doi.org/10.1186/s12917-021-02872-3Le Floc’h N., Gondret F., Resmond R. Identification of blood immune and metabolic indicators explaining the variability of growth of pigs under contrasted sanitary conditions. BMC Vet Res 17, 166 (2021). https://doi.org/10.1186/s12917-021-02872-3Mortaz E. Imbalance accuracy metric for model selection in multi-class imbalance classification problems // Knowledge-Based Systems, Volume 210, 2020, 106490. – URL: https://doi.org/10.1016/j.knosys.2020.106490Mortaz E. Imbalance accuracy metric for model selection in multi-class imbalance classification problems // Knowledge-Based Systems, Volume 210, 2020, 106490. – URL: https://doi.org/10.1016/j.knosys.2020.106490Sadafi A., Shen D. Multiclass Deep Active Learning for Detecting Red Blood Cell Subtypes in Brightfield Microscopy // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Lecture Notes in Computer Science(), vol. 11764. Springer, Cham, pp. 685-693, 2019. – URL: https://doi.org/10.1007/978-3-030-32239-7_76Sadafi A., Shen D. Multiclass Deep Active Learning for Detecting Red Blood Cell Subtypes in Brightfield Microscopy // Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Lecture Notes in Computer Science(), vol. 11764. Springer, Cham, pp. 685-693, 2019. – URL: https://doi.org/10.1007/978-3-030-32239-7_76Shilaskar S., Ghatol A. Diagnosis system for imbalanced multi-minority medical dataset // Soft Comput 23, 4789–4799, 2019. – URL: https://doi.org/10.1007/s00500-018-3133-xShilaskar S., Ghatol A. Diagnosis system for imbalanced multi-minority medical dataset // Soft Comput 23, 4789–4799, 2019. – URL: https://doi.org/10.1007/s00500-018-3133-xSokolova M., Lapalme G. A systematic analysis of performance measures for classification tasks // Information Processing & Management, Volume 45, Issue 4, Pages 427-437, 2009. – URL: https://doi.org/10.1016/j.ipm.2009.03.002Sokolova M., Lapalme G. A systematic analysis of performance measures for classification tasks // Information Processing & Management, Volume 45, Issue 4, Pages 427-437, 2009. – URL: https://doi.org/10.1016/j.ipm.2009.03.002Takahashi K., Yamamoto K., Kuchiba A. Confidence interval for micro-averaged F1 and macro-averaged F1 scores // Appl Intell 52, 4961–4972, 2022. – URL: https://doi.org/10.1007/s10489-021-02635-5Takahashi K., Yamamoto K., Kuchiba A. Confidence interval for micro-averaged F1 and macro-averaged F1 scores // Appl Intell 52, 4961–4972, 2022. – URL: https://doi.org/10.1007/s10489-021-02635-5tf.keras.callbacks.EarlyStopping. – Текст: электронный // tensorflow.org – официальный сайт открытой программной библиотеки TensorFlow для машинного обучения. – URL: https://www.tensorflow.org/api_docs/python/tf/keras/callbacks/EarlyStoppingtf.keras.callbacks.EarlyStopping. – Text: electronic // tensorflow.org – the official website of TensorFlow open source software library for machine learning. – URL: https://www.tensorflow.org/api_docs/python/tf/keras/callbacks/EarlyStoppingUpadhyay V., Rathod D. Location-Based Crime Prediction Using Multiclass Classification Data Mining Techniques // (eds) IOT with Smart Systems. Smart Innovation, Systems and Technologies, vol 251. Springer, Singapore, pp. 619-626, 2022. – URL: https://doi.org/10.1007/978-981-16-3945-6_61Upadhyay V., Rathod D. Location-Based Crime Prediction Using Multiclass Classification Data Mining Techniques // (eds) IOT with Smart Systems. Smart Innovation, Systems and Technologies, vol 251. Springer, Singapore, pp. 619-626, 2022. – URL: https://doi.org/10.1007/978-981-16-3945-6_61

The authors declare that there are no conflicts of interest present.