Глава 1. Постановка задачи при разработке ИС «фитнес-клуб»

КУРСОВАЯ РАБОТА

по дисциплине: «Базы данных»

 

 Тема: «Разработка информационной системы для разметки и хранения данных “Treat”»

 

Работу выполнил:

студент 3-го курса

направления бакалавриата математическое обеспечение и администрирование информационных систем

Мешков Александр

___________________________

______ _______________2019

 

Работу проверил:

ст. преподаватель

Савкин Дмитрий Александрович

__________________________________ ______________2019

 

 

Калининград

2019

СОДЕРЖАНИЕ

 

Введение 2

Глава 1. Постановка задачи при разработке ИС «Treat» 3

1.1. Требования к информационной системе для разметки данных 4

1.2. Анализ и выбор хранилища 5

1.3. Интерфейс информационной системы??

Глава 2. Реализация ИС «Treat»??

2.1. Подключение облачного объектного хранилища??

2.2. Взаимодействие на стороне фронтенда??

2.3. Взаимодействие харнилища и интерфейса??

Заключение??

Список использованных источников??

 

 

 

Введение

 

На текущий момент в сфере искусственного интеллекта сложилась такая ситуация, при которой при обучении хорошей нейронной сети нужны несколько компонентов: железо, софт и, непосредственно, данные. Много данных.

Железо, в принципе, доступно каждому через облака. Софт в большинстве своем Open Source, и его без труда можно скачать себе и работать с ним. Остается последнее – это данные. Вот здесь и возникает проблема.

Deep Learning требует довольно больших данных: сотни тысяч – миллионы объектов. Если для классификации нам помимо самих данных, нужно также передавать класс объекта, то для сегментации и детекции объекта на изображении, получение датасета уже не такая тривиальная задача.

Цель курсовой работы – создание информационной системы, в которой можно размечать нужные нам данные и легко взаимодействовать с ними.

Для достижения цели в процессе работы рассматриваются следующие задачи:

1) Сформулировать требования к хранилищу данных;

2) Сформулировать требования к интерфейсу информационной системы;

3) Реализовать интерфейс информационной системы для разметки данных;

4) Реализовать взаимодействие интерфейса с хранилищем данных;

В результате должна быть создана ИС «Treat», позволяющее клиенту разметить свои данные и работать с ними, либо позволять работать с уже размеченными данными.

 

Глава 1. Постановка задачи при разработке ИС «Фитнес-клуб»

 

Требования к информационной системе «Treat»

Информационная система должна работать с гигабайтами различных неструктурированных данных, будь то фото, видео, аудио или текст. Следовательно хранилище должно поддерживать работу с такими объемами данных, быстро масштабироваться, и быть эффективной в плане скорости работы.

Разметка данных сама по себе довольно тривиальный процесс, поэтому надо сделать этот процесс как можно удобнее для пользователя.  

Поэтому информационная система должна быть интуитивно понятной и удобной в использовании. Также чтобы была возможность иметь доступ без установки какого-либо дополнительного ПО.

В интерфейсе должно быть:

1. Список уже готовых датасетов

2. Возможность добавления датасета

3. Возможность разметки данных, будь то классификация или выделение объектов;

4.

 

 

Анализ и выбор хранилища

Так как мы идем в ногу со временем, то для данной ИС воспользуемся облачным хранилищем.

Существует три типа облачных хранилищ: объектные, файловые и блочные. Каждый из них имеет свои уникальные преимущества.

1. Объектное хранилище. Для приложений, разработанных в облаке, как правило, требуются такие преимущества объектного хранилища, как широкие возможности масштабирования и характеристики метаданных. Объектные хранилища идеально подходят для разработки современных приложений с нуля, когда требуется гибкость и возможность масштабирования. Кроме того, эти хранилища можно использовать для импорта данных из существующих хранилищ с целью анализа, резервного копирования или архивации.

2. Файловые хранилища. Многим приложениям требуется доступ к совместно используемым файлам и файловая система. Решения файловых хранилищ идеально подходят для таких примеров использования, как крупные репозитории контента, среды разработки или личные каталоги пользователей.

3. Блочные хранилища. Корпоративные приложения, например, базы данных или системы планирования ресурсов предприятия, часто нуждаются в выделенном хранилище с низкими задержками для каждого хоста. Решения облачных хранилищ на основе блоков, выделяют хранилище для каждого виртуального сервера и обеспечивают сверхнизкую задержку для рабочих нагрузок, требующих высокой производительности.

 

Из всех трех типов хранилищ мы воспользуемся объектным хранилищем. Потому что:

a) Масштабируемость: Объектное хранилище может содержать практически любое количество данных без необходимости в разбиении набора данных на разделы.

b) Эффективность: Отсутствие иерархии означает отсутствие узких мест, возникающие вследствие использования сложных систем каталогов

c) Доступность: Объектные системы хранения имеют механизмы для сохранения целостности данных, обеспечивают репликацию данных, последовательные обновления и отсутствие простоев.

d) Типы данных: Объектное хранилище идеально подходит для неструктурированных данных, таких как медиаданные и веб-материалы.

 

Использованные инструменты

При разработке интерфейса мы выбрали, что мы будем использовать веб-технологии. Для этого существуют множества различных языков программирования и библиотек. Для быстрой разработки и запуска нашего продукта мы воспользуемся следующими инструментами:

1. Python – этот язык программирования идеально подходит для быстрой разработки веб-приложений из-за простоты написания и чтения кода, большого количества различных доступных библиотек, и большого сообщества.

2. Flask – это простой, но мощный микро-фреймворк для Python, идеально подходящий для создания RESTful API.

3. Bootstrap – свободный набор инструментов для создания сайтов и веб-приложений. Включает в себя HTML- и CSS-шаблоны оформления для веб-форм, кнопок, блоков навигации и прочих компонентов веб-интерфеса.

 

Заключение

 

В рамках этой курсовой работы была разработана ИС для разметки и хранения данных. Где для хранения данных было выбрано облачное объектное хранилище данных, так как оно идеально подходит для неструктурированных данных. Также она быстро масштабируема, эффективна, и удобна для начала разработки любых ИС благодаря использованию простых команд через интерфейс API с помощью запросов.

Также было разработан интуитивно понятный интерфейс информационной системы, для возможности классификации изображения и выделения объектов на изображении. В данный момент информационная система работает только для изображений. Но этот проект также можно развить и в сторону разметки текстовых и аудио данных. Также возможность открытого доступа для размеченных наборов данных для других пользователей.

 

КУРСОВАЯ РАБОТА

по дисциплине: «Базы данных»

 

 Тема: «Разработка информационной системы для разметки и хранения данных “Treat”»

 

Работу выполнил:

студент 3-го курса

направления бакалавриата математическое обеспечение и администрирование информационных систем

Мешков Александр

___________________________

______ _______________2019

 

Работу проверил:

ст. преподаватель

Савкин Дмитрий Александрович

__________________________________ ______________2019

 

 

Калининград

2019

СОДЕРЖАНИЕ

 

Введение 2

Глава 1. Постановка задачи при разработке ИС «Treat» 3

1.1. Требования к информационной системе для разметки данных 4

1.2. Анализ и выбор хранилища 5

1.3. Интерфейс информационной системы??

Глава 2. Реализация ИС «Treat»??

2.1. Подключение облачного объектного хранилища??

2.2. Взаимодействие на стороне фронтенда??

2.3. Взаимодействие харнилища и интерфейса??

Заключение??

Список использованных источников??

 

 

 

Введение

 

На текущий момент в сфере искусственного интеллекта сложилась такая ситуация, при которой при обучении хорошей нейронной сети нужны несколько компонентов: железо, софт и, непосредственно, данные. Много данных.

Железо, в принципе, доступно каждому через облака. Софт в большинстве своем Open Source, и его без труда можно скачать себе и работать с ним. Остается последнее – это данные. Вот здесь и возникает проблема.

Deep Learning требует довольно больших данных: сотни тысяч – миллионы объектов. Если для классификации нам помимо самих данных, нужно также передавать класс объекта, то для сегментации и детекции объекта на изображении, получение датасета уже не такая тривиальная задача.

Цель курсовой работы – создание информационной системы, в которой можно размечать нужные нам данные и легко взаимодействовать с ними.

Для достижения цели в процессе работы рассматриваются следующие задачи:

1) Сформулировать требования к хранилищу данных;

2) Сформулировать требования к интерфейсу информационной системы;

3) Реализовать интерфейс информационной системы для разметки данных;

4) Реализовать взаимодействие интерфейса с хранилищем данных;

В результате должна быть создана ИС «Treat», позволяющее клиенту разметить свои данные и работать с ними, либо позволять работать с уже размеченными данными.

 

Глава 1. Постановка задачи при разработке ИС «Фитнес-клуб»

 

Требования к информационной системе «Treat»

Информационная система должна работать с гигабайтами различных неструктурированных данных, будь то фото, видео, аудио или текст. Следовательно хранилище должно поддерживать работу с такими объемами данных, быстро масштабироваться, и быть эффективной в плане скорости работы.

Разметка данных сама по себе довольно тривиальный процесс, поэтому надо сделать этот процесс как можно удобнее для пользователя.  

Поэтому информационная система должна быть интуитивно понятной и удобной в использовании. Также чтобы была возможность иметь доступ без установки какого-либо дополнительного ПО.

В интерфейсе должно быть:

1. Список уже готовых датасетов

2. Возможность добавления датасета

3. Возможность разметки данных, будь то классификация или выделение объектов;

4.

 

 

Анализ и выбор хранилища

Так как мы идем в ногу со временем, то для данной ИС воспользуемся облачным хранилищем.

Существует три типа облачных хранилищ: объектные, файловые и блочные. Каждый из них имеет свои уникальные преимущества.

1. Объектное хранилище. Для приложений, разработанных в облаке, как правило, требуются такие преимущества объектного хранилища, как широкие возможности масштабирования и характеристики метаданных. Объектные хранилища идеально подходят для разработки современных приложений с нуля, когда требуется гибкость и возможность масштабирования. Кроме того, эти хранилища можно использовать для импорта данных из существующих хранилищ с целью анализа, резервного копирования или архивации.

2. Файловые хранилища. Многим приложениям требуется доступ к совместно используемым файлам и файловая система. Решения файловых хранилищ идеально подходят для таких примеров использования, как крупные репозитории контента, среды разработки или личные каталоги пользователей.

3. Блочные хранилища. Корпоративные приложения, например, базы данных или системы планирования ресурсов предприятия, часто нуждаются в выделенном хранилище с низкими задержками для каждого хоста. Решения облачных хранилищ на основе блоков, выделяют хранилище для каждого виртуального сервера и обеспечивают сверхнизкую задержку для рабочих нагрузок, требующих высокой производительности.

 

Из всех трех типов хранилищ мы воспользуемся объектным хранилищем. Потому что:

a) Масштабируемость: Объектное хранилище может содержать практически любое количество данных без необходимости в разбиении набора данных на разделы.

b) Эффективность: Отсутствие иерархии означает отсутствие узких мест, возникающие вследствие использования сложных систем каталогов

c) Доступность: Объектные системы хранения имеют механизмы для сохранения целостности данных, обеспечивают репликацию данных, последовательные обновления и отсутствие простоев.

d) Типы данных: Объектное хранилище идеально подходит для неструктурированных данных, таких как медиаданные и веб-материалы.