Список форумов Форум @ BelAstro.Net Форум @ BelAstro.Net
Форум белорусской любительской астрономической сети
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   Администрация форумаАдминистрация форума   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 
Либерал может сделаться министром, но из этого еще не следует, что он будет либеральным министром. /В. Гумбольдт/

Автоматизация поисковых работ в NSVS

зарегистрированных: 0, скрытых: 0 и гостей: 0
Зарегистрированные пользователи: Нет
На страницу Пред.  1, 2, 3, ... 37, 38, 39  След.
Начать новую тему   Ответить на тему    Список форумов Форум @ BelAstro.Net -> Программирование
Предыдущая тема :: Следующая тема  
Автор Сообщение
Andrey Prokopovich
ЛА

Зарегистрирован: 29.11.2007

Сообщения: 3061
Благодарности: 22



Добавлено: Пт Сен 30, 2011 10:36    Заголовок сообщения: Ответить с цитатой

Раз уж нет особого ограничения по времени, то может лучше было бы всю базу потихоньку перетянуть таким образом, а постобработка - потом?
_________________
©Но что-то, кажется, идет не так...
Вернуться к началу
Andrey Prokopovich сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 10:59    Заголовок сообщения: Ответить с цитатой

Да, согласен. Займусь складированием данных. Подождем попутно и комментариев Ивана.
_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 20:57    Заголовок сообщения: Ответить с цитатой

Тезка спасибо огромное за подмогу!!! Андрей, обязательно Ивана беру в соавторы, а как же иначе?
_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 21:06    Заголовок сообщения: Ответить с цитатой

Андрей прав! Нужно ВСЮ БАЗУ ДАННЫХ NSVS ВЫКАЧАТЬ НА НАШИ КОМПЫ. У МЕНЯ ЕСТЬ 2 ТБ ВИНТ, НО ЕГО ВИДИМО НЕ ХВАТИТ.... А то в любое время сервер закроют и жди потом месяцы пока снова откроется...
Я думаю откинем звезды с Ngood меньше 50.
Итак, за амплитуду отвечает параметр Mag scatt. Его мы берем больше 0.1 Никак не меньше! Мне итак админ VSX по шапке даёт за то, что я копаюсь в малоамплитудистых объектах. Красные звезды имеют фиктивные колебания яркости , обусловленные засветкой Луны.
А пока я начал открывать без скрипта: на дня открыл и зарегил неправильную в Возничем со спектральным классом S: VSX J060826.2+280643. Вчера открыл полуправильную с циклом 23 суток . Пока что жду ответа с VSX.
Иван, c твоим скриптом мы далеко пойдём! Будем только заниматься проверкой, идентификацией и оформлением открытий в VSX.
Еще Иван нужно из выбранных объектов вычесть известные переменные. Например, хотя бы взять ASCII каталог GCVS в нете. А еще лучше было бы вычесть каталог VSX из выборки! Но это уже эволюция скрипта. Нам бы стартануть!

_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:18    Заголовок сообщения: Ответить с цитатой

Итак, я тут еще немного уделил времени парсингу данных. На данный момент это самая большая проблема (была). Фильтрация делается легко.

Сейчас скрипт умеет выделять данные и сохранять файл с общим списком объектов построчно. Плюс к каждому объекту в отдельном файле (в формате, удобном для последующей обработки) хранятся развернутые данные из каталога NSVS + фотометрический ряд + отдельный файлом визуализация фотометрического ряда в виде файла PNG.

Можно фотометрический ряд (как и все данные) сделать сразу в виде XLS-файла для более удобной обработки в том же Excel вручную.

Кроме этого, еще немного надо доделать, чтоб на вход можно было из командной строки получать координаты центра и радиус (это легко, просто не было пока времени) и чтоб было разбиение вывода по группам координат в папках. Например, весь сегмент по фиксированному RA в диапазоне склонений от +90 до минус X радиусом N arc sec.

Пример вывода с описанной структурой скоро вышлю в виде zip-файла.

_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:20    Заголовок сообщения: Ответить с цитатой

Вычитание известных переменных тоже могу сделать, но в данный момент пока работаю над выпиливанием данных и их форматированным выводом.
_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 21:21    Заголовок сообщения: Ответить с цитатой

И еще Иван вот какая проблемка. Взгляни на график: http://skydot.lanl.gov/nsvs/star.php?num=7086273&mask=32004
Видишь - ряд точек находится вблизи предела NSVS. Это ошибки системы. Я назваю их "бородой". Так вот - "бороду" нужно "сбрить" Smile (все что слабее 14) что-бы потом анализировать данные. Т.е. после этой операции нужно пересчитать Magsat/Mediam error. Если отношение 2 и выше - сохраняем объект для анализа. Иначе - отбрасываем. Таких данных с ошибками в NSVS - тьма.
Я по общему графику изменения яркости со временем могу предположить тип переменности. А вот как этому скрипт обучить?

_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 21:23    Заголовок сообщения: Ответить с цитатой

Отлично, Иван! Процесс пошёл!!!
_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:29    Заголовок сообщения: Ответить с цитатой

Иван, вот пример структуры данных (на правильность отбора пока не обращайте внимания), которую я на данный момент могу формировать скриптом.

Кстати, я не совсем понял, почему Вы говорите, что у меня соотношение Мagscat к Median Error меньше 2. У меня, вроде, как раз, больше 2 Во всех трех строках.

Сервер действительно отвечает крайне нестабильно. Скрипт запускается из командной строки perl, но мне его еще надо допилить немного. Комментарии приветствуются.



NSVS_1-30-0.0_85-0-0.0_10arcsec.zip
 Описание:

Скачать
 Имя файла:  NSVS_1-30-0.0_85-0-0.0_10arcsec.zip
 Размер файла:  10.27 KB
 Скачано:  509 раз(а)


_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:33    Заголовок сообщения: Ответить с цитатой

Насчет "обучения скрипта" при анализе кривых/фотометрич. рядов. Скорее всего, вопрос сложный. Если я правильно понимаю, то он лежит в плоскости анализа самого ряда. Глазами-то просто увидеть и аппроксимировать, но математика есть математика: все, что можно посчитать, можно и запрограммировать. Подумаем над этим чуть позже обязательно.
_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 21:44    Заголовок сообщения: Ответить с цитатой

http://skydot.lanl.gov/nsvs/cone_search.php?ra=1:30:0.0&dec=85:00:00.0&rad=10&saturated=on&nocorr=on&lonpts=on&hiscat=on&hicorr=on&hisigcorr=on&radecflip=on
Здесь Mag scatt / Median err <2 во многих случаях!

_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:48    Заголовок сообщения: Ответить с цитатой

Так да. У меня в примере вывода три строки всего из всей выборки этой, для которых Mag scatt / Median err >= 2 и Ngood больше 30 (порог будет 50, как и обсуждали).
_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.


Последний раз редактировалось: MarsianskiAlien (Пт Сен 30, 2011 21:48), всего редактировалось 1 раз
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 21:48    Заголовок сообщения: Ответить с цитатой

Иван в результате пробного запроса сформирована выборка для трех объектов. Но у них амплитуды меньше 0.1! В таких данных, не имеет смысла копаться! Т.е. отбрасываем все звезды у которых Mag scatt <0.1
_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 21:50    Заголовок сообщения: Ответить с цитатой

А вот фотометричесике ряды, по-моему, лучше в один текстовой файл сохранять.
_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:51    Заголовок сообщения: Ответить с цитатой

Иван, не переживайте :) - я просто пока внимание уделяю не самой фильтрации, а выделению данных с сайта. Без этого и фильтровать-то будет нечего. Так что все Ваши условия фильтрации будут 100% выполнены. Надо еще немного подождать. Доделываю парсинг данных. Важно, чтоб он работал предельно корректно.
_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 21:53    Заголовок сообщения: Ответить с цитатой

Радиус выборки ограничен 120' . Cможем это обойти или нет? Smile Если нет, тогда нужно шагать по ra и dec c таким радиусом по всему небу...
_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:54    Заголовок сообщения: Ответить с цитатой

astroivan писал(а):
А вот фотометричесике ряды, по-моему, лучше в один текстовой файл сохранять.


Поясните, как именно. Давайте сделаем так: в том архиве есть файлы со структурой данных в том виде, как скрипт выводит сейчас. Создайте пример того, как бы Вы хотели, чтоб вывод выглядел. Это намного ускорит процесс допиливания.

На данный момент один объект на файл. Если надо как-то иначе - сделаю. Но нужен пример формата.

_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:55    Заголовок сообщения: Ответить с цитатой

astroivan писал(а):
Радиус выборки ограничен 120' . Cможем это обойти или нет? Smile Если нет, тогда нужно шагать по ra и dec c таким радиусом по всему небу...


Обойти точно не сможем: придется шагать по небу + удалять дубликаты (автоматически, конечно), которые неизбежно будут, так как мы имеем дело с конусами.

_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
astroivan
ЛА

Зарегистрирован: 11.07.2007

Сообщения: 3890
Благодарности: 2



Добавлено: Пт Сен 30, 2011 21:56    Заголовок сообщения: Ответить с цитатой

Я особо не переживаю. Автоматизировав поиски будет проще работать. А ведь там в NSVS должны быть еще неоткрытые, уникальные объекты. Так кажется. По-сути будем закрывать белые пятна в GCVS.
_________________
Ясного неба и успехов!
Вернуться к началу
astroivan сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
MarsianskiAlien
ЛА

Зарегистрирован: 05.03.2009

Сообщения: 993
Благодарности: 6



Добавлено: Пт Сен 30, 2011 21:58    Заголовок сообщения: Ответить с цитатой

astroivan писал(а):
Я особо не переживаю. Автоматизировав поиски будет проще работать. А ведь там в NSVS должны быть еще неоткрытые, уникальные объекты. Так кажется. По-сути будем закрывать белые пятна в GCVS.


Согласен - надо автоматизировать по максимуму. Кстати, вопрос насчет выборок ВСЕХ данных. Это будет оочень много информации. Может, есть смысл выделить какие-то определенные области неба и для начала выбрать их пошагово?

_________________
Профи-диванщик с опытом, есть диплом А4 в рамке.
Вернуться к началу
MarsianskiAlien сейчас оффлайн  Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов Форум @ BelAstro.Net -> Программирование Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3, ... 37, 38, 39  След.
Страница 2 из 39

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете вкладывать файлы
Вы можете скачивать файлы


Powered by phpBB © 2001, 2005 phpBB Group
Русская поддержка phpBB