Noveo

Наш блог На гребне технологической волны

На гребне технологической волны

Исследовать океан интересно всегда. Бороздите ли вы морские глубины, изучая местную флору и фауну, вычисляете математические модели распространения волн или разрабатываете систему для обработки данных океанографических наблюдений – новые открытия, актуальные знания и интересные трудности вам гарантированы. Долгосрочное увлекательное сотрудничество с компанией, специализирующейся на практической гидрометеорологии, позволило нам убедиться в этом на собственном опыте, которым мы теперь хотим с вами поделиться.

Наши партнеры – инновационная европейская компания, предлагающая решения предприятиям промышленной морской индустрии. Система заказчика собирает данные о температуре, скорости, направлении ветра и скорости, направлении и высоте волны; на основе этих сведений рассчитываются модели, предсказывающие гидрометеорологические условия в выбранной географической точке на несколько десятилетий вперед. Это позволяет, например, определить наиболее устойчивое и безопасное место для строительства нефтедобывающей платформы или оптимальное место расположения ветродвигателей вдоль побережья.

image

Спрос на пионерские в своей области решения, представляемые компанией, превзошел даже самые смелые ожидания заказчика, и чтобы успевать за все возрастающими запросами, заказчику необходимо было расширить команду за счет внешних специалистов, которым можно было бы доверить тщательную обработку больших массивов данных.

Основатели компании – научные работники, исследователи, по-настоящему увлеченные своим делом, и к разработке своих продуктов они подходят соответствующе – со всей тщательностью и ответственностью. До того, как обратиться к нам, у заказчика уже был неудачный опыт работы с аутсорс-партнером, и к выбору нового партнера заказчик подходил особенно осторожно.

В качестве тестового задания заказчик сразу выбрал «боевое» и поручил нам разработку шаблонов для автоматизации построения отчетов. До этого обработка обращения одного клиента занимала в среднем месяц, и примерно четверть этого времени (около недели) уходила на составление финального документа, поскольку составлялся он по собранным данным вручную. Для оптимизации этого процесса заказчик спроектировал программу, составляющую отчеты по шаблонам и конфигурационным файлам, основную часть которой мы и реализовали. В результате время на составление отчетов сократилось до двух часов, а заказчик убедился, что нам можно доверять сложные и важные для бизнеса задачи.

С этого успеха и началось наше сотрудничество, которое продолжается уже 2 года. Мы работаем над основным проектом заказчика – переводим в браузер практически всю его деятельность, которая сейчас ведется с помощью разрозненных инструментов в режиме админ-программирования. Ну, а параллельно можем работать над другими проектами – например, разработать заказчику новую версию сайта.

image

Основные технологии проекта — Python и Django с использованием многих интересных добавлений, например, библиотек для работы с геоинформационными системами (ГИС): GDAL, QGIS, PostGIS и специализированные библиотеки для океанографии. Система заказчика обрабатывает огромные массивы данных: для того, чтобы мы могли тестировать базу данных, заказчик прислал нам «кусочек» своей базы, выгрузку данных за 1 год с одного географического пункта – и он один весил примерно 500 ГБ. Реальная база данных в несколько раз больше, и для расчетов, конечно, требуется очень много времени. Для сокращения временных затрат и на нашей стороне, и на стороне заказчика используется система распределенного выполнения задач ProActive Scheduler. До его внедрения просчет данных для среднего проекта (для которого нужно обработать статистические данные примерно с 10 гидрометеорологических точек) считался линейно около 24 часов. С ProActive Scheduler, за счет масштабируемости, эта задача выполняется быстрее, чем за час.

Помимо интересных технологий, проект радует нас интересными нестандартными задачками. Например, из недавних — отрисовка графиков в браузере: изначально она происходила довольно медленно, поскольку передавались значения для несколько сот тысяч точек. С помощью алгоритмов мы сумели добиться аппроксимации данных без потерь, и теперь график рисуется за 3 секунды вместо 57-ми.

image

Нам очень приятно быть частью такого проекта, где интересен и процесс, и результат! Благодарим заказчика за сотрудничество и надеемся, что подобных проектов у нас будет еще очень много!

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

НазадПредыдущий пост ВпередСледующий пост

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: