вторник, 20 июля 2010 г.

For memory.

Connected to:
Oracle9i Enterprise Edition Release 9.2.0.8.0 - 64bit Production
With the Partitioning option
JServer Release 9.2.0.8.0 - Production

SQL> alter database open;
alter database open
*
ERROR at line 1:
ORA-00600: internal error code, arguments: [kcratr1_lostwrt], [], [], [], [],[], [], []




SQL> alter database recover;


Database altered.


SQL> alter database open;


Database altered.

понедельник, 2 ноября 2009 г.

ORA-600, UNDO tablespace and rollback segment corruption

Несмотря на некоторый опыт работы с RDBMS Oracle, бывают ситуации приводящие меня в состояние близкое к ступору. ORA-00600 -- это одна из таких ситуаций. Вообще говоря, до последнего времени я с подобными случаями и разбираться-то не хотел. Ну это же ора-600! Чего тут разбираться? Патчить до последнего patch-set, если не помогло искать строчку в коде, на которой 600 случается и придумывать воркэраунд.

Случилась тут падучая с одним нашим девелоперским инстансом (ESXi+RHEL5.2+10.2.0.4). Перед самоубийством бд говорила такое:

Wed Oct 28 13:17:47 2009
Errors in file /oracle/admin/frontend/bdump/frontend_smon_7076.trc:
ORA-01595: error freeing extent (3) of rollback segment (8))
ORA-00607: Internal error occurred while making a change to a data block
ORA-00600: internal error code, arguments: [4194], [21], [21], [], [], [], [], []
Ну и после нескольких таких заскоков, скоренько:
Errors in file /oracle/admin/frontend/bdump/frontend_pmon_7064.trc:
ORA-00600: internal error code, arguments: [4194], [21], [21], [], [], [], [], []
PMON: terminating instance due to error 472
Instance terminated by PMON, pid = 7064
Падением сопровождался любой коммит записывающий новые данные. Инстанс девелоперский (т.е. простой для него не критичен), бэкап разматывать с ленты было лениво (не говоря о том, что это пофиксило бы только симптом болезни, но не ее причину), поэтому я решил докопаться до правды.

Строчка "error freeing extent (3) of rollback segment (8))" ясно давала понять, что нехорошее случилось с файлами данных. Но вот ролбэк-сегменты, они же в восьмерке остались? Или нет? Почитав по теме, выяснил что таки нет не ушли они никуда, просто затаились в недрах Undo-tablespace. Похоже было, что анду физически повреждено, тут я ничего не смог придумать лучше чем просто пересоздать его. Для этого стартанул в рестрикт моде:
SQL>STARTUP RESTRICT MOUNT
Попытался дропнуть UNDOTBS1:
SQL>ALTER DATABASE DATAFILE '/oradata/frontend/undotbs01.dbf' OFFLINE DROP;
Получил такое:
ERROR at line 1: ORA-01548: active rollback segment ‘_SYSSMU1$’ found, terminate dropping tablespace
Посмотрел, сколько все-таки этих ролбэк-сегментов побито:
SQL>select segment_name,status,tablespace_name from dba_rollback_segs where status='NEEDS RECOVERY';
А вот сколько:
SEGMENT_NAME STATUS TABLESPACE_NAME —————————— —————- —————– _SYSSMU1$ NEEDS RECOVERY UNDOTBS1 _SYSSMU2$ NEEDS RECOVERY UNDOTBS1 _SYSSMU3$ NEEDS RECOVERY UNDOTBS1 _SYSSMU4$ NEEDS RECOVERY UNDOTBS1 _SYSSMU5$ NEEDS RECOVERY UNDOTBS1 _SYSSMU6$ NEEDS RECOVERY UNDOTBS1 _SYSSMU7$ NEEDS RECOVERY UNDOTBS1 _SYSSMU8$ NEEDS RECOVERY UNDOTBS1 _SYSSMU9$ NEEDS RECOVERY UNDOTBS1 _SYSSMU10$ NEEDS RECOVERY UNDOTBS1
Добавляем такое в pfile:
_corrupted_rollback_segments =(’_SYSSMU1$’,'_SYSSMU2$’,'_SYSSMU3$’,'_SYSSMU4$’,'_SYSSMU5$’, '_SYSSMU6$’,‘_SYSSMU7$’,'_SYSSMU8$’,'_SYSSMU9$’,'_SYSSMU10$’)
Рестартимся с этим пфайлом и делаем так со всеми битыми сегментами:
SQL>DROP rollback segment "_SYSSMU1$";
После, можно безнаказанно сделать так:
SQL>DROP TABLESPACE UNDOTBS1;
Создать новое табличное пространство отмены:
SQL>CREATE UNDO TABLESPACE UNDOTBS2 DATAFILE '/oradata/frontend/undotbs02.dbf'
SIZE 2000M reuse AUTOEXTEND ON;
Сделать его дефолтным:
SQL>ALTER SYSTEM SET undo_tablespace = UNDOTBS2;
В пфайле убрать _corrupted_rollback_segments и изменить undo_tablespace=UNDOTBS1 на undo_tablespace=UNDOTBS2 Все, у меня после этого на какое-то время проблема ушла. Способ топорный и сопряжен с тем, что в случае продакшена мы потеряем кучу данных в сегментах отмены. Причина же побитых файлов скорее всего была в рейд контроллере. Вернее в связке Adaptec->Firmware->VmWare ESXi4->RHEL5.2 Окончательно полечить проблему помогло обновление прошивки контроллера и накатка последних патчей на ESXi. Как-то так.

воскресенье, 25 октября 2009 г.

Another reason why 9i finally had to go into the past.

Помимо ста тысяч пятисот иных причин, почему 10 или 11 лучше предыдущих версий, есть еще одна. Это то, что 10 и 11 стали гораздо более снисходительны к идиоту.

История.
Один, отнюдь не маленький банк, решил, что держать у себя DBA это как-то расточительно. Примерно 10 месяцев базами данных рулил непонятно кто. К чести непонятно кого, базы ни разу за это время не перезапускали. Но ничто хорошее не может длиться вечно, поэтому в один прекрасный день какую-то из бд передёрнули. 9i после такого продемонстрировал весьма крутой норов: 1-2 минуты работы -- ступор (все транзакции останавливаются, подключиться можно только sqlplus " / as sysdba"); перезапуск - 1-2 минуты работы -- ступор, и так далее. Буквально за мгновение до того, как был написан скрипт для крона, перезапускающий базу каждые две минуты (я не шучу), к разбирательству подключили меня. Выяснилось вот что: база работала в ARCHIVE_LOG MODE ON, значит, отработавшие свое редо логи обязаны были архивироваться. Но вот незадача -- параметр ARCHIVE_LOG_START был равен FALSE. Это значит, что redo архивироваться автоматически не будут (!). Развязка древнегреческой трагедии: текущий редо не может переключиться (потому, что они переключаются только на лог, в состоянии ARCHIVED) в тоже время они не архивируются потому, что это не разрешено. При остановке экземпляра, один из журналов повтора все-таки откладывался в архив, поэтому после рестарта база какое-то время могла работать (пока не наступало время redo log switch).

В десятке понятное дело ARCHIVE_LOG_START уже в состоянии deprecated.
Если вы планируете в ближайшее время уволить своего дба, попросите его предварительно, мигрировать ваши базы на что-нибудь по-новее чем 7-8-9, продумать и реализовать стратегию бэкапирования, разработать сценарии действий в пяти-шести нештатных ситуациях, сделать какой-никакой DR. Если админ все это сделает подумайте еще раз сколько стоит пятичасовой (sic!) простой вашего бизнес-критичного-ынтырпрайз приложения и все-таки не увольняйте.

вторник, 28 июля 2009 г.

When Weblogic meets EFS

Предположим у тебя есть Java-приложение, которое крутится на веблоджике, который стоит на Power-системе, под управлением AIX. Приложение активно работает с файлами, которые ты бы очень хотел хранить на диске в зашифрованном виде. Согласен ситуация довольно экзотичная, но ведь всякое бывает. Итак, у тебя есть ровно два решения задачи:
  1. Реализовать в своем ПО криптографию.
  2. Положить файлы на зашифрованный средствами ОС диск.
С первым вариантом ты уж как-нибудь сам, а вот со вторым я помогу.
Проблем у тебя ровно две: настроить Encrypted File System и заставить Weblogic с ней работать. Первое я опишу как-нибудь потом, а вот второе сделаем прямо сейчас.

У тебя уже есть ФС /enc_dir с атрибутом EFS: yes, ефс разрешен в системе, юзеру weblogic создано хранилище ключей, и задан пароль отличный от пароля для логина в систему.

Теперь, все что нужно, это заставить сервер приложений при старте спрашивать пароль к хранилищу крипто-ключей, и затем подхватывать контекст в котором ему эти ключи из ядра доступны (только так любое приложение может прозрачно работать с зашифрованными efs дисками). Для этого посмотрим, как же веблоджик запускается.

Есть скрипт, который стартует твой домен:
/weblogic/bea/wlserver_10.3/samples/domains/$domain_name/bin/startWebLogic.sh

этот скрипт экспортирует разные переменные окружения для сервера, а затем стартует его ядро. Само ядро представляет из себя Java программу и стартует так:
"${JAVA_HOME}/bin/java ${JAVA_VM} ${MEM_ARGS} ${JAVA_OPTIONS} -Dweblogic.Name=${SERVER_NAME} -Djava.security.policy=${WL_HOME}/server/lib/weblogic.policy ${PROXY_SETTINGS} ${SERVER_CLASS}"
Все что тебе нужно, это запустить эту команду с привилегиями доступа к криптодиску.
Для этого правим скрипт так:
efskeymgr -o "${JAVA_HOME}/bin/java ${JAVA_VM} ${MEM_ARGS} ${JAVA_OPTIONS} -Dweblogic.Name=${SERVER_NAME} -Djava.security.policy=${WL_HOME}/server/lib/weblogic.policy ${PROXY_SETTINGS} ${SERVER_CLASS}"
Есть один момент, нужно помнить что запущенная таким образом джава может не подхватить часть переменных среды и поэтому возможно нужно будет поиграть с ее параметрами запуска чтобы передать их ей как-то по другому.

Вот и все. Работает на AIX6.1 и Oracle Weblogic 10.3

Как-нибудь потом расскажу, как все-таки настроить EFS.

среда, 22 июля 2009 г.

Oracle authentication

Пытались меня тут убедить, что oracle-клиент посылает, по умолчанию, пароли в чистом виде. Задавленный авторитетом убеждающих, на словах согласился, но в душе затаил черную злобу! И вот моя месть.

Итак, есть хост с бд (db-host), и есть хост с клиентом(cl-host), все что нам нужно это запустить на db-host какой-нибудь сниффер и попытаться залогиниться с cl-host в базу.

db-host:

#:>tcpdump -X -s 1500 port 1522 and host cl-host

cl-host:

$:>sqlplus db_user_name/db_user_pwd@db_connect_str

смотрим в вывод tcpdump:

.....A
0x0080: 5554 485f 5345 5353 4b45 5940 0000 0040 UTH_SESSKEY@...@
0x0090: 4239 4636 3939 3634 4143 4137 3334 3341 B9F69964ACA7343A
0x00a0: 4134 3435 3338 4644 3735 4546 3044 3935 A44538FD75EF0D95
0x00b0: 3541 3331 3732 3139 3343 3435 3146 3638 5A3172193C451F68
0x00c0: 3846 4630 3241 3634 3746 3637 4337 3643 8FF02A647F67C76C
0x00d0: 0100 0000 0d00 0000 0d41 5554 485f 5041 .........AUTH_PA
0x00e0: 5353 574f 5244 4000 0000 4033 3531 3744 SSWORD@...@3517D
0x00f0: 3533 3736 3235 3044 4636 4642 3042 3337 5376250DF6FB0B37
0x0100: 3642 3646 4430 4546 3945 3331 4636 3037 6B6FD0EF9E31F607
0x0110: 3339 3946 4535 3231 4643 3630 3246 4334 399FE521FC602FC4
0x0120: 3843 3137 3035 4132 4435 3600 0000 0008 8C1705A2D56.....


Что же мы видим? Не только AUTH_PASSWORD непонятно, что из себя представляет, но и присутствует некий AUTH_SESSKEY, что совершенно недвусмысленно указывает на наличие какого-то шифрования этого самого пароля. Какое разочарование!

Заинтересовавшись темой нагуглил следующее:

  1. Сервер проверяет наличие юзера.
  2. Достает хэш пароля, хранящийся в бд, на основе хэша и системного времени генерится секретная последовательность чисел. Эта последовательность криптуется DESом, ключем является хэш пароля пользователя.
  3. Получившуюся кашу сервер шлет клиенту, как AUTH_SESSKEY.
  4. Клиент расшифровывает AUTH_SESSKEY (это легко ключ-то это хэш пароля, который он знает) и получает секретную последовательность чисел которую сгенерил сервер.
  5. Дальше клиент закриптовывает свой пароль, используя секретную последовательность, как ключ, и результат отдает серверу, как AUTH_PASSWORD.
  6. Сервер раскриптовывает его, используя секретную последовательность (этим он получает clear-text pass) хеширует и сравнивает с хешем который хранится в базе, сошлось -- круто, не сошлось -- всего доброго.

Придумывали это реально хитрожопые (smart-ass) ребята. Получить пароль пользователя можно только если перехватил AUTH_SESSKEY, AUTH_PASSWORD и знаешь хэш пароля, что в общем случае очень непросто.

В жизни больше никому не поверю.

Ссылочка на источник моего всезнания:
http://www.freelists.org/post/dbsec/Sniffing-Oracle-authentications,1

понедельник, 20 июля 2009 г.

SLES + Oracle = -Pro*C


У тебя есть проблема, %user_name%.


Ты поставил Linux, Oracle, написал Pro*C программку и хочешь ее того, скомпилировать.

Для начала делаешь так:

rhit:~/src$ /oracle/10.2.0/bin/proc CODE=ANSI_C \
include=/home/user/src/
include \
include=/oracle/10.2.0/lib \
include=/usr/include \
ireclen=4800 oreclen=4800 select_error=no \
release_cursor=no hold_cursor=yes ltype=none \
cpp_suffix=c USERID=DB_USER/DB_USER_PWD@
CONNECT_STR \
SQLCHECK=SEMANTICS iname=program.pc

Результат несколько обескураживает:

Pro*C/C++: Release 10.2.0.4.0 - Production on Mon Jul 20 11:24:04 2009

Copyright (c) 1982, 2007, Oracle. All rights reserved.

System default option values taken from:
/oracle/10.2.0/precomp/admin/pcscfg.cfg


Error at line 33, column 11 in file /usr/include/stdio.h
# include stddef.h

PCC-S-02015, unable to open include file
Error at line 15, column 10 in file /usr/include/_G_config.h
#include stddef.h

С таким обязательно встретишься если поставишь относительно старый Oracle RDBMS (например 10.2) на относительно новый линух (например SLES11.1).

Решается проблема просто -- надо поправить файлик:
$ORACLE_HOME/precomp/admin/pcscfg.cfg

Там у тебя что-то типа:
sys_include=(/oracle/10.2.0/precomp/public,/usr/include,/usr/lib/gcc-lib/ia64-suse-linux/3.3.3/include,/usr/lib/gcc/ia64-suse-linux/4.1.0/include)
ltype=short

А должно быть что-то типа:

sys_include=(/oracle/10.2.0/precomp/public,/usr/include,/usr/lib/gcc/ia64-suse-linux/4.3/include)

ltype=short

Пути уточни, вряд ли у тебя они будут точно такие же.

Вся проблема из-за того, что десятый оракл еще ничего не знает ни про одиннадцатую сузи, ни про gcc4.3 (ты наверняка радовался и потирал ладошки, когда нагуглил про runinstaller -ignoreSysPrereqs) соответственно, не знает он и про правильный путь до гццшных инклудов.

Как-то так.