Официальный ответ компании Genetic-test на «меморандум №1 дерматоглифика» 


Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Официальный ответ компании Genetic-test на «меморандум №1 дерматоглифика»



Приложение №1 Необъективность и неполнота оценок рецензента

 

Lakshmi K., Vijaya Babu P. V. S. S., Kumar S. V. Dermatoglyphics and its relation to intelligence levels of young students // J. Dent. Med. Sci. — 2014. — V. 13. — P. 1–3.

 

На данную работу ссылаются, как на пример исследования, показывающего связь между характером отпечатков пальцев и уровнем интеллекта у студентов (что следует и из названия). Однако в работе указано лишь то, что авторы не нашли отличий между отпечатками пальцев студентов мужского и женского пола, а также два наблюдения: один из дерматоглифических узоров встречается часто, другой преобладает на левой руке. Статистический анализ не проводился.

 

 

Выводы в этой работе другие: у практикующих медиков-студентов превалировали петли. У студентов медицинских исследователей превалировали завитки. В этом исследовании на самом деле не проводился статистический анализ, однако рецензент написал другие выводы, не отображающие все выводы статьи.

 

Najafi M. Association between Finger Patterns of Digit II and Intelligence Quotient Level in Adolescents // Iran. J. Pediatr. – 2009. – Т. 19. – № 3. – 277–284с.

 

Есть другое опубликованное исследование, где был проведен статистический анализ встречаемости узоров среди людей с различными интеллектуальными способностями. Так, например, обнаружено увеличение встречаемости радиальных петель в группе людей с повышенной успеваемостью, в сравнении с группой со средней успеваемостью и сниженной успеваемостью (P=0.002). Ученики с повышенной успеваемостью имели большую распространенность завитков по сравнению с группой со средней успеваемостью (P=0.02).

 

Пурэвдорж И. Особенности дерматоглифических показателей у людей с высоким уровнем интеллекта / И. Пурэвдорж, А. Даваадорж, П. Эрхэмбулган // Сибирский медицинский журнал – 2002. – Т. 34 – № 5 – 70–73с.

В другом исследовании также было обнаружено статистически-значимое увеличение количества завитков у людей с высоким интеллектом в сравнении с группой со средним показателем и студентов с низкой успеваемостью (P<0,01).

 

Якушева М.Ю. Трельская Н.Ю. Сарапульцев П.А. Выявление генетической предрасположенности к возникновению сахарного диабета 1 типа. Вестник уральской медицинской академической науки, 2008, — № 2. — С. 178–181. В работе отсутствует статистический анализ данных. Результаты «исследования» приводятся в виде частот встречаемости значений признаков. Никакого отношения к поиску генетических предрасположенностей, несмотря на название статьи, работа не имеет.

 

 

В работе не отсутствует статистический анализ данных, как пишет рецензент.

Рецензент неправ – в работе предлагаются принципы по определению предрасположенности к решению различного типа задач на основе распределения асимметрии гребневого счета

As predicted from previous research, both men and women with L > count were better at tasks on which women typically excel, while R > subjects were better at tasks on which men typically excel. In addition, unlike the previous body-asymmetry study, R > subjects achieved higher scores on sex-neutral reasoning tests. The data suggest that intellectual pattern is significantly influenced before birth.

 

 

В публикации проводится статистическая обработка результатов данных и выявляются статистические различия в способностях к решению различного типа задач для людей обладающих левосторонней асимметрией гребневого счета и правосторонней асимметрией гребневого счета.

To neutralize the possible effects of overall intelligence, an intra-individual score was also derived, using a Feminine-minus-Masculine, Neutral-minus-Masculine and Feminine-minus-Neutral difference score within Ss for each of the L > and R > groups. There was a significant difference between laterality groups for Feminine-Masculine tests [F(1,76) = 7.747, P = 0.007], and for Feminine-Neutral tests [F(1,76) = 10.415, P = 0.002], but not for Neutral-Mas- culine tests [F(1,76) = 0.212, P = 0.6471. That is, again L > Ss were relatively better on Feminine tests, R > relatively better on Masculine and Neutral tests.

Якушева М. Ю., Сарапульцев А. П., Дмитриев А. Н., Футерман Е. М., Перминова Л. Р. Взаимосвязи антропометрических и лабораторных компонентов метаболического синдрома с дерматоглифической картиной у больных сахарным диабетом 2-го типа // Вестник РУДН. Серия: Медицина. — 2009. — № 4 — С. 308–312.

В работе утверждается, что «дерматоглифическая картина больных СД 2-го типа характеризуется наличием специфических признаков, отличающих ее от практически здоровых лиц без ожирения и нарушения углеводного обмена». В качестве меры статистической связи авторы использовали ранговый коэффициент корреляции Спирмена. Определение статистической значимости различий непрерывных величин проводилось с помощью непараметрического критерия Манна—Уитни (U-критерий). Поправка на множественные сравнения авторами работы не упоминается, несмотря на то, что изучался 61 дерматоглифический параметр. После поправки на множественные сравнения, статистически значимых эффектов в работе не остается.

 

 

В данном исследовании используется многофакторная регрессионная модель и сравнение обучающих и тестовых выборок. На основе модели были определены наиболее информативные маркеры предрасположенности к диабету второго типа.

 

 

Пример: Bogdanov N.N., Solonichenko V. G. Williams syndrome as a model of genetically determined right-hemisphere dominance // Neurosci. Behav. Physiol. — 1997. — V. 27. — P. 264–267.

Исследователи обнаружили статистически значимые отличия между отпечатками пальцев детей, больных редким наследственным заболеванием — синдромом Уильямса и здоровыми детьми. В работе не предлагается методики по обнаружению синдрома Уильямса по отпечаткам пальцев. Тестирование на синдром Уильямса компаниями, занимающимися дерматоглифическим тестированием, не рекламируется. Успешных независимых попыток воспроизвести эту работу не обнаружено.

 

В этой статье утверждается, что особенности дерматоглифических признаков служат маркером генетических предрасположенности к определенным состояниям центральной нервной системы человека. В качестве модели в этой статье предлагается синдром Вильямса для нейрофизиологических исследований.

Приложение №2 Анализ части научной работы. Предубежденность в анализе.

 

Трудно разобраться, значения, какого критерия приведены в графе «достоверность различий». Ни в разделе «2.1.5. Методы статистической обработки», ни в тексте диссертации об этом не сказано. Можно лишь догадываться, что это значения t-критерия Стьюдента, поскольку в других похожих таблицах в диссертации упоминается именно он. В работе анализируются данные в основном двух типов: гребневой счет и численность «фенотипов». Если значения для гребневого счета с натяжкой еще можно признать мерными (непрерывными) и пытаться применять к ним t-критерий Стюдента, то численности той или иной категории являются счетными (дискретными) и применять к ним это критерий категорически недопустимо. Результаты корректного анализа представлены в последней графе этой таблицы. Вероятностной моделью для этих данных является полиномиальное распределение, и процедура вычисления точных 95%-х границ доверительных интервалов (ДИ) для его параметров реализована в пакете StatXact. Наиболее наглядным приемом для выявления статистически значимых разностей между каждой из пар этих параметров является вычисление ДИ для таких разностей. Можно видеть, что только для «фенотипа» AL 95%-й ДИ для разности долей (от –0,16 до –0,01) не накрывает безразличное значение 0. Это означает, что, вопреки мнению автора, только эту разность долей формально можно признать статистически значимой (на уровне значимости = 0,05). Однако одна из границ этого ДИ (–0,01) почти касается безразличного значения 0 и, несмотря на статистическую значимость, вряд ли можно признать эту разность практически важной (ценной).

 

 

Рецензент в своих рассуждениях замалчивает результаты для "фенотипа" LW, где достоверность различий при 95% доверительном интервале составляет 4,02 при использовании критерия Стюдента. При разности долей (от 0,05 до 0,25) при уровне значимости α<0,01. Граница ДИ не накрывает безразличного значения 0, и факт увеличение доли фенотипа LW в группе спортсменов позволяет утверждать, что этот фенотип является маркером увеличения физических способностей в практическом плане.

 

Вряд ли тут можно ожидать связь с дерматоглификой. За время существования дерматоглифики исследователи имели достаточно времени, чтобы выявить некие физические материальные основы такой связи. Сейчас предельно ясно, что такой связи нет и быть не может, и кожные узоры на кончиках пальцев не могут иметь прогностической ценности для оценки физических способностей.

 

Рецензент не учел, что отдельные виды спорта отличаются между собой по отдельности. Данные по отдельным видам спорта воспроизводятся и показывают статистически значимые различия. Даже если распределение по группам не корректно, разница в показателях гребневого счета и дельтового индекса в разных видах спорта без учета группировки позволяет судить о наличии взаимосвязи между дерматоглифическими показателями и физическими способностями. В дальнейшей своей работе рецензент не провел анализ основной работы в диссертации. В его рассуждениях не были затронуты данные о распределении признаков пальцевой дерматоглифики в различных игровых амплуа, физические показатели и показатели энергогомеостаза, маркеры снижения физических возможностей и показателей бинамуальной асимметрии пальцевой дерматоглифики с физическими показателями. На основе отрывочных данных части докторской диссертации, без проведения анализа дополнительных литературных источников, был сделан вывод, что взаимосвязи между дерматоглификой и физической способности нет. Такое утверждение на основе отрывочных знаний некорректно.

 

 

Кроме того, прежде чем быть рекомендовано для практического применения, любое средство диагностики должно проходить многократные слепые рандомизированные клинические испытания. Как минимум, должна быть оценена клиническая информативность теста в соответствии с требованиями ГОСТ Р. 53022.3-2008 Технологии лабораторные клинические. Требования к качеству клинических лабораторных исследований. Часть 3. Правила оценки клинической информативности лабораторных тестов. — М.: Стандартинформ, 2009. — 18 с. До сих пор результат таких испытаний для диагностических тестов на основе дерматоглифики не опубликованы

 

Методы статистического анализа, используемые в медицинских научных работах, стандартны и определены требованиями соответствующих ученых советов. Предлагаемые Н.Н. Хромовым-Борисовым статистические методы не соответствуют задачам исследований и требуют огромной выборки. К тому же появились также коммерческие структуры, предлагающие провести коммерческий статистический анализ, удовлетворяющий биостатистиков. Но практическая польза от этих линейных результатов также не велика при проведении теста

 

Требования к вычислению чувствительности, специфичности и предсказательности в медицинских исследованиях появились после 2011 года. В более ранних исследованиях, которые анализировал рецензент, их быть просто не могло, поскольку не было таких правил и требований.


 

Приложение №3 Обзор диссертации, а не первоисточников

 

Многие из ее регрессионных зависимостей статистически высоко значимы. Проверить правильность этих оценок невозможно без доступа к исходным данным. Но это опять-таки тот самый случай, когда из статистической значимости не вытекает автоматически практическая важность этих закономерностей.

 

На что отсылает в своей работе Мазур Е.С. Система критериев прогностической оценки конституциональных, физических и внешне-опознавательных особенностей индивида на основе пальцевой и ладонной дерматоглифики существенно увеличивает практические позиции идентификации личности.

 

В любом случае, принципиальнейшая ошибка этой работы: в ней не проведена верификация-валидизация полученных уравнений. Изученная выборка является обучающей. Т.е. осуществлена наилучшая подгонка одних признаков к другим. Но этого недостаточно. Необходимо взять независимую проверочную выборку и для нее не выводить свои подгоночные уравнения, а использовать коэффициенты, полученные для обучающей выборки. Это есть обязательное условие для такого рода исследований. Иногда поступают по-другому: либо разделяют исходную выборку на две — обучающую и проверочную, либо из исходной выборки случайным образом имитируют проверочные выборки. Для этого есть программы, наиболее грамотные, из которых предупреждают, достаточны ли объемы обучающих и проверочных выборок, потому что когда предикторов слишком много (как 2 это имеет место у Мазур), то можно получить много ложных статистически значимых зависимостей (так называемый «парадокс Фридмана»)

 

Однако, как пишет Е.С Мазур в своей работе: для оценки внешне-опознавательных признаков разработано 24 диагностических модели как для лиц мужского, так и женского пола. Был получен ряд уравнений, позволяющий диагностировать один из внешних показателей человека. Точность правильной классификации составила от 65,0% до 98,0%. Каким образом проверялась точность прогнозов при использовании регрессионных уравнений, кроме как на верификации данных на тестовой выборке, автор и рецензент замалчивает.


 

Приложение №4 Субъективизм в интерпретации результатов

 

Пример 1

Объединенный стандартизированный размер эффекта (ES) составил 0,39 с 95%-м ДИ (доверительным интервалом) от 0,05 до 0,73. Полученный ДИ не накрывает безразличное значение размера эффекта ES0 = 0, и формально его можно признать статистически значимым (p = 0,03), но лишь при самом снисходительном уровне значимости α = 0,05. Однако, его нижняя граница (ESL = 0,05) почти касается нулевого значения ES0 = 0 (нижний вытянутый ромб на графике) и, очевидно, что его практическая значимость ничтожна. Более того, анализируемые выборки оказываются статистически высоко значимо неоднородными (p < 0,001). Сами авторы предостерегают, что наблюдаемые эффекты хотя и статистически значимые, но умеренные по размеру.

 

 

Как и описано в рецензии и в исходной публикации, наблюдались статистически-значимые эффекты взаимосвязи показателей а-b гребневого счета и шизофрении, значение составляла 0,39 с 95%-м ДИ (доверительным интервалом) от 0,05 до 0,73. Этот факт позволяет утверждать о наличии взаимосвязей между особенностями нервной системы и показателями дерматоглифики. Вследствие наличия статистически значимых эффектов, описанных в метаанализе, использование гребневого счета (ABRC) может использоваться в качестве прогностической модели для скрининга предрасположенности к шизофрении.

Для сравнения рецензент приводит пример объединённой стандартной разности амплитуды для волны P300. Рецензент не учитывает, что стандартная разность для амплитуды волны Р300 определялась у людей с уже существующим заболеванием шизофрении в сравнении с контрольной группой. Данная методика на основе электрофизиологического исследования может диагностировать наличие текущего заболевания, но не предрасположенность к развитию заболевания и не может служить инструментом для скрининга предрасположенностей.

 

 

Еще один более современный мета-анализ также посвящен проверке связи между дерматоглифическими аномалиями и шизофренией (Golembo-Smith, 2012). Для этого были собраны результаты 22 исследований за период с 1968 по 2012 гг. с общими объемами выборок 1699 пациентов и 1736 «контролей». Авторы утверждают, что значимые, но малые эффекты выявлены для суммарного пальцевого гребневого счета (TFRC) и для суммарно - го А-В-ладонного гребневого счета (TABRC), которые снижены у индивидуумов с шизофренией по сравнению с контролями. Для всех других дерматоглифических аномалий значимые эффекты не выявлены. Конечные результаты МА наглядно представлены в виде «древовидных графиков» (forest plot) (рис. 2).

 

В исследовании взаимосвязи между дерматоглифическими признаками и шизофренией (Golembo-Smith, 2012) были собраны результаты 22 исследований за период с 1968 по 2012 год. В результате метаанализа публикаций были выявлены статистически значимые эффекты суммарного пальцевого гребневого счета (TFRC) и А-В ладонного гребневого счета: ESTFRC = −0,20, с 95%-м ДИ от −0,27 до −0,13 (p < 0,05) и 3 ESTABRC = −0,31 c 95%-м ДИ от −0,38 до –0,24 (p < 0,01), что можно интерпретировать как наличие значимых взаимосвязей между проявлением шизофрении и признаков пальцевой дерматоглифики.

 

 

Пример 2

Третий мета-анализ посвящен проверке гипотетической связи с диабетом второго типа (Yohannes, 2015). Собраны сведения о более чем 44 000 отпечатков пальцев и 2300 отпечатков ладоней у примерно 4400 индивидуумов. В качестве меры связи с диабетом использовано отношение шансов (OR) — для частот типов узора и стандартизированный размер эффекта (ES) — для пальцевого гребневого счета. Как и в случаях с предыдущими мета-анализами, найдены лишь статистически умеренно значимые эффекты: снижение доли петель (OR = 0,76 с 95%-м ДИ от 0,59 до 0,98) и уменьшение абсолютного пальцевой- го гребневого счета (ES = −0,19 с 95%-м ДИ от −0,33 до −0,04) в группе больных диабетом. Поскольку верхняя граница ДИ для ORL = 0,98 почти соприкасается с безразличным значением OR0 = 1, а верхняя граница ДИ для ESL= −0,04 почти касается безразличного значения ES0 = 0, то оба эффекта практически пренебрежимо малы и не могут использоваться в качестве диагностического признака (рис. 3-4). Для других семи дерматоглифических признаков статистически значимые эффекты не выявлены (ДИ для сводных размеров эффектов накрывают безразличные значения OR0 = 1 или ES0 = 0).

 

Метаанализ (Yohannes, 2015) взаимосвязи диабета второго типа указывает на наличие статистически умеренно значимых эффектов между снижением доли петель (OR = 0,76 с 95%-м ДИ от 0,59 до 0,98) и уменьшением абсолютного пальцевого гребневого счета (ES = −0,19 с 95%-м ДИ от −0,33 до −0,04) в группе больных диабетом. Что позволяет использовать эти данные для скрининга предрасположенности к диабету 2 типа.

 

 

Пример 3

Только для пар четвертых (IV) и пятых (V) пальцев 95%-е ДИ для AUC не накрывали безразличное значение AUC0 = 0,5, т.е. статистически значимо отличались от этого значения. Более или менее пригодными для диагностики принято считать значения AUC > 0,75, однако ни одно из полученных значений не удовлетворяет этому требованию: во всех этих четырех случаях значения для нижних границ 95%-х ДИ для AUC не превышали значение 0,75. Это означает, что предложенные авторами оценки асимметрии пальцевых узоров вряд ли найдут практическое применение для диагностики диабетов.

 

Соответствующие требования касаются области применения ГОСТ Р 53022.3-2008

Оценки клинической информативности лабораторных исследований, выполняемых в клинико-диагностических лабораториях медицинских организаций в целях оценки состояния здоровья, клинической диагностик слежением за эффективностью лечения пациентов.

Однако не имеют отношения к скрининговым моделям предрасположенности к профессиональной и спортивной деятельности, к определению личностных черт и не накладывает ограничений на использование дерматоглифических признаков для определения предрасположенностей.

 

 


 

Приложение №5 Субъективизм в интерпретации результатов

 

Было проведено комплексное антропологическое обследование 197 русских юношей студентов МГУ в возрасте от 17 до 25 лет. Авторы широко применяли факторный анализ, который является сугубо описательным и про который известно, что для получения более

или менее надежных результатов требуются объемы выборок не менее 300 человек.

Результаты удручающие. Статистически достоверных канонических корреляций между комплексами признаков дерматоглифики и телосложения не выявлено. При рассмотрении канонических корреляций между комплексами признаков дерматоглифики и темпе рамента не найдено статистически значимых коэффициентов. Статистически достовер- ных коэффициентов канонических корреляций между показателями асимметрии кожных узоров и особенностями темперамента не выявлено.

 

Рецензент обрывочно собирает формулировки статьи. Автор статьи в своих же исследованиях делает выводы о наличии взаимосвязи признаков дерматоглифики и психологических характеристик и соматических параметров. (на рисунке) Коэффициенты корреляций достаточно малы, но не достоверны, что указывает, что фактор дерматоглифики связан с психологическими характеристиками личности. Автор пишет на вопрос взаимосвязи дерматоглифических признаков и психологическими характеристиками личности: Вышеизложенной гипотезой можно также объяснить небольшие множественные корреляции (R=0,3) между дерматоглифическими признаками и психологическими характеристиками личности.

Таким образом, можно сделать вывод, что многие авторы в своих публикациях указывают на наличие взаимосвязи между дерматоглифическими признаками и особенностями психологии человека. Возможно, вклад в признак фактора дерматоглифики незначителен, однако в целях недорогостоящего скрининга совместно с другими общепринятыми методиками его использование несёт практическую ценность.

 


[1] http://klnran.ru/about/sostav/- состав комиссии. http://klnran.ru/2016/05/memorandum01-dermatoglifika/ - состав лиц, подписавших документ. Список целиком не совпадает, за исключением научного журналиста А. Г. Сергеева.

[2] http://evolutionfund.ru/

[3]Критика и анализ утверждений меморандума в приложениях.

Официальный ответ компании Genetic-test на «Меморандум №1 Дерматоглифика»

 

В середине мая в СМИ прошла волна журналистских материалов, в которых признанная наука дерматоглифика была объявлена обманом и лженаукой. Информационным поводом послужил «Меморандум №1 Дерматоглифика», который был опубликован 16 мая 2016 года на сайте комиссии по лженауке, при президиуме РАН.

В списке подписантов «Меморандума №1 Дерматоглифика» не оказалось ни одного члена комиссии, утвержденного президиумом РАН. А в качестве экспертов, проводивших анализ научных работ, выступили два человека, не имеющих отношения к дерматоглифике и не опубликовавших ни одной научной работы по этой тематике[1].

В обращении были высказаны резкие и радикальные рекомендации притесняющего характера организациям и широкому кругу общественности всеми возможными способами противодействовать фирмам, ведущим деятельность, связанную с дерматоглифическими исследованиями и услугами на их основе. Таким образом, необоснованно был дискредитирован широкий спектр услуг упомянутых компаний, в том числе не связанных с дерматоглификой.

Вследствие научной неосведомленности сообщение было растиражировано журналистами с утверждением о лженаучности науки дерматоглифики, что в корне неверно. Существует большое количество научных публикаций и работ, признанных научным сообществом. На основе исследований в этой области были защищены кандидатские и докторские диссертации, а в медицинских вузах страны данная дисциплина входит в образовательную программу. Таким образом, были затронуты вопросы популяризации науки, а общественность была введена в заблуждение.

Предложенный новый просветительский формат публикаций, такой, как меморандум, комиссия поручила сторонней организации, не имеющей отношения к Российской академии наук. Данная организация не руководствуется положениями о комиссии РАН и преследует собственные цели и задачи, которые могут нести финансовый, политический или иной интерес причастных к этой организации лиц[2].

Подобные заявления, основанные на субъективных выводах, вредят всей отрасли, препятствуют развитию науки дерматоглифики и могут помешать проведению исследований в этой области. Комиссия имеет общественное начало и осуществляет деятельность самостоятельно, поэтому для сохранности независимости и непредвзятости в своих публичных заявлениях не может принимать финансовую или иную помощь со стороны заинтересованных организаций.

В меморандуме идет речь о коммерческом дерматоглифическом тестировании, однако выводы делаются без какого-либо изучения или анализа систем, осуществляющих данное тестирование. То есть так называемые эксперты опирались на собирательный образ тестирования, составленный на основе описаний разных компаний из различных источников и методик тестирования.

В тексте меморандума проводится отрывочный анализ лишь небольшого числа публикаций из нескольких тысяч работ в этой области. При написании меморандума не проводилась предварительная научная полемика с ведущими специалистами в области дерматоглифики. Поэтому выводы, описанные в тексте меморандума, имеют односторонний характер и являются частным мнением группы людей[3].

Отсутствие однозначных критериев, отличающих науку от лженауки, приводит к ряду субъективных заявлений, описанных в меморандуме. И без предварительной научной полемики с носителями знаний и исследователями нельзя делать выводов о лженаучности. Присвоение лженаучного статуса определенного вида деятельности в одностороннем порядке может привести к ряду негативных последствий. Примером таких последствий является информационная кампания научной группы Лысенко против исследований в области генетики в 30-60 г. XX века. Эти гонения привели к существенным экономическим потерям страны.

Мы осознаем, что, как и большинство новых технологий, методология науки дерматоглифики вызывает скепсис у консервативно настроенных людей. Однако такой скепсис не должен приводить к препятствиям в научном и экономическом прогрессе.

Выводы:

1. Экспертизу научных работ считать частным субъективным мнением группы людей;

2. Подписавших меморандум людей не считать комиссией по лженауке при РАН;

3. Подписавших меморандум людей не считать компетентными в дерматоглифике;

4. Не считать тестирование, основанное на дерматоглифике, лженаучным;

На основе:

1. Критика и анализ утверждений «Меморандума №1 Комиссии РАН по борьбе с лженаукой и фальсификацией научных исследований о лженаучном статусе коммерческого тестирования по кожным узорам пальцев рук»;

2. Приложение №1;

3. Приложение №2;

4. Приложение №3;

5. Приложение №4;

6. Приложение №5.

 

Генеральный директор компании Genetic-test

Антон Валерьевич Андреев


 



Поделиться:


Последнее изменение этой страницы: 2017-02-16; просмотров: 143; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 3.146.34.191 (0.07 с.)