Предыдущая тема :: Следующая тема |
Автор |
Сообщение |
Andrey Prokopovich
ЛА
Зарегистрирован: 29.11.2007
Сообщения: 3427 Благодарности: 209
|
Добавлено: Пт Сен 30, 2011 10:36 Заголовок сообщения: |
|
|
Раз уж нет особого ограничения по времени, то может лучше было бы всю базу потихоньку перетянуть таким образом, а постобработка - потом?
_________________ ©Но что-то, кажется, идет не так...
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 10:59 Заголовок сообщения: |
|
|
Да, согласен. Займусь складированием данных. Подождем попутно и комментариев Ивана.
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
Добавлено: Пт Сен 30, 2011 20:57 Заголовок сообщения: |
|
|
Тезка спасибо огромное за подмогу!!! Андрей, обязательно Ивана беру в соавторы, а как же иначе?
_________________ Ясного неба и успехов!
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
Добавлено: Пт Сен 30, 2011 21:06 Заголовок сообщения: |
|
|
Андрей прав! Нужно ВСЮ БАЗУ ДАННЫХ NSVS ВЫКАЧАТЬ НА НАШИ КОМПЫ. У МЕНЯ ЕСТЬ 2 ТБ ВИНТ, НО ЕГО ВИДИМО НЕ ХВАТИТ.... А то в любое время сервер закроют и жди потом месяцы пока снова откроется...
Я думаю откинем звезды с Ngood меньше 50.
Итак, за амплитуду отвечает параметр Mag scatt. Его мы берем больше 0.1 Никак не меньше! Мне итак админ VSX по шапке даёт за то, что я копаюсь в малоамплитудистых объектах. Красные звезды имеют фиктивные колебания яркости , обусловленные засветкой Луны.
А пока я начал открывать без скрипта: на дня открыл и зарегил неправильную в Возничем со спектральным классом S: VSX J060826.2+280643. Вчера открыл полуправильную с циклом 23 суток . Пока что жду ответа с VSX.
Иван, c твоим скриптом мы далеко пойдём! Будем только заниматься проверкой, идентификацией и оформлением открытий в VSX.
Еще Иван нужно из выбранных объектов вычесть известные переменные. Например, хотя бы взять ASCII каталог GCVS в нете. А еще лучше было бы вычесть каталог VSX из выборки! Но это уже эволюция скрипта. Нам бы стартануть!
_________________ Ясного неба и успехов!
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:18 Заголовок сообщения: |
|
|
Итак, я тут еще немного уделил времени парсингу данных. На данный момент это самая большая проблема (была). Фильтрация делается легко.
Сейчас скрипт умеет выделять данные и сохранять файл с общим списком объектов построчно. Плюс к каждому объекту в отдельном файле (в формате, удобном для последующей обработки) хранятся развернутые данные из каталога NSVS + фотометрический ряд + отдельный файлом визуализация фотометрического ряда в виде файла PNG.
Можно фотометрический ряд (как и все данные) сделать сразу в виде XLS-файла для более удобной обработки в том же Excel вручную.
Кроме этого, еще немного надо доделать, чтоб на вход можно было из командной строки получать координаты центра и радиус (это легко, просто не было пока времени) и чтоб было разбиение вывода по группам координат в папках. Например, весь сегмент по фиксированному RA в диапазоне склонений от +90 до минус X радиусом N arc sec.
Пример вывода с описанной структурой скоро вышлю в виде zip-файла.
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:20 Заголовок сообщения: |
|
|
Вычитание известных переменных тоже могу сделать, но в данный момент пока работаю над выпиливанием данных и их форматированным выводом.
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
Добавлено: Пт Сен 30, 2011 21:21 Заголовок сообщения: |
|
|
И еще Иван вот какая проблемка. Взгляни на график: http://skydot.lanl.gov/nsvs/star.php?num=7086273&mask=32004
Видишь - ряд точек находится вблизи предела NSVS. Это ошибки системы. Я назваю их "бородой". Так вот - "бороду" нужно "сбрить" (все что слабее 14) что-бы потом анализировать данные. Т.е. после этой операции нужно пересчитать Magsat/Mediam error. Если отношение 2 и выше - сохраняем объект для анализа. Иначе - отбрасываем. Таких данных с ошибками в NSVS - тьма.
Я по общему графику изменения яркости со временем могу предположить тип переменности. А вот как этому скрипт обучить?
_________________ Ясного неба и успехов!
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
Добавлено: Пт Сен 30, 2011 21:23 Заголовок сообщения: |
|
|
Отлично, Иван! Процесс пошёл!!!
_________________ Ясного неба и успехов!
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:29 Заголовок сообщения: |
|
|
Иван, вот пример структуры данных (на правильность отбора пока не обращайте внимания), которую я на данный момент могу формировать скриптом.
Кстати, я не совсем понял, почему Вы говорите, что у меня соотношение Мagscat к Median Error меньше 2. У меня, вроде, как раз, больше 2 Во всех трех строках.
Сервер действительно отвечает крайне нестабильно. Скрипт запускается из командной строки perl, но мне его еще надо допилить немного. Комментарии приветствуются.
Описание: |
|
Скачать |
Имя файла: |
NSVS_1-30-0.0_85-0-0.0_10arcsec.zip |
Размер файла: |
10.27 KB |
Скачано: |
741 раз(а) |
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:33 Заголовок сообщения: |
|
|
Насчет "обучения скрипта" при анализе кривых/фотометрич. рядов. Скорее всего, вопрос сложный. Если я правильно понимаю, то он лежит в плоскости анализа самого ряда. Глазами-то просто увидеть и аппроксимировать, но математика есть математика: все, что можно посчитать, можно и запрограммировать. Подумаем над этим чуть позже обязательно.
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:48 Заголовок сообщения: |
|
|
Так да. У меня в примере вывода три строки всего из всей выборки этой, для которых Mag scatt / Median err >= 2 и Ngood больше 30 (порог будет 50, как и обсуждали).
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
Последний раз редактировалось: MarsianskiAlien (Пт Сен 30, 2011 21:48), всего редактировалось 1 раз
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
Добавлено: Пт Сен 30, 2011 21:48 Заголовок сообщения: |
|
|
Иван в результате пробного запроса сформирована выборка для трех объектов. Но у них амплитуды меньше 0.1! В таких данных, не имеет смысла копаться! Т.е. отбрасываем все звезды у которых Mag scatt <0.1
_________________ Ясного неба и успехов!
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
Добавлено: Пт Сен 30, 2011 21:50 Заголовок сообщения: |
|
|
А вот фотометричесике ряды, по-моему, лучше в один текстовой файл сохранять.
_________________ Ясного неба и успехов!
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:51 Заголовок сообщения: |
|
|
Иван, не переживайте :) - я просто пока внимание уделяю не самой фильтрации, а выделению данных с сайта. Без этого и фильтровать-то будет нечего. Так что все Ваши условия фильтрации будут 100% выполнены. Надо еще немного подождать. Доделываю парсинг данных. Важно, чтоб он работал предельно корректно.
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
Добавлено: Пт Сен 30, 2011 21:53 Заголовок сообщения: |
|
|
Радиус выборки ограничен 120' . Cможем это обойти или нет? Если нет, тогда нужно шагать по ra и dec c таким радиусом по всему небу...
_________________ Ясного неба и успехов!
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:54 Заголовок сообщения: |
|
|
astroivan писал(а): | А вот фотометричесике ряды, по-моему, лучше в один текстовой файл сохранять. |
Поясните, как именно. Давайте сделаем так: в том архиве есть файлы со структурой данных в том виде, как скрипт выводит сейчас. Создайте пример того, как бы Вы хотели, чтоб вывод выглядел. Это намного ускорит процесс допиливания.
На данный момент один объект на файл. Если надо как-то иначе - сделаю. Но нужен пример формата.
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:55 Заголовок сообщения: |
|
|
astroivan писал(а): | Радиус выборки ограничен 120' . Cможем это обойти или нет? Если нет, тогда нужно шагать по ra и dec c таким радиусом по всему небу... |
Обойти точно не сможем: придется шагать по небу + удалять дубликаты (автоматически, конечно), которые неизбежно будут, так как мы имеем дело с конусами.
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
astroivan
ЛА
Зарегистрирован: 11.07.2007
Сообщения: 4781 Благодарности: 243
|
Добавлено: Пт Сен 30, 2011 21:56 Заголовок сообщения: |
|
|
Я особо не переживаю. Автоматизировав поиски будет проще работать. А ведь там в NSVS должны быть еще неоткрытые, уникальные объекты. Так кажется. По-сути будем закрывать белые пятна в GCVS.
_________________ Ясного неба и успехов!
|
|
Вернуться к началу |
|
|
MarsianskiAlien
ЛА
Зарегистрирован: 05.03.2009
Сообщения: 1030 Благодарности: 12
|
Добавлено: Пт Сен 30, 2011 21:58 Заголовок сообщения: |
|
|
astroivan писал(а): | Я особо не переживаю. Автоматизировав поиски будет проще работать. А ведь там в NSVS должны быть еще неоткрытые, уникальные объекты. Так кажется. По-сути будем закрывать белые пятна в GCVS. |
Согласен - надо автоматизировать по максимуму. Кстати, вопрос насчет выборок ВСЕХ данных. Это будет оочень много информации. Может, есть смысл выделить какие-то определенные области неба и для начала выбрать их пошагово?
_________________ Профи-диванщик с опытом, есть диплом А4 в рамке.
|
|
Вернуться к началу |
|
|
|