Тег sql

djdoomer

Никак не могу решить задачу по SQL. В общем, есть вот такая база:
https://prnt.sc/o9517c
Текст задания: Определить страны, которые потеряли в сражениях все свои корабли.
Верный ответ:
https://prnt.sc/o9528v
Есть еще проверочная база, с другими данными.
Мое решение дает верный ответ по текущей базе, но не проходит по проверочной.
SELECT DISTINCT classes.country
FROM classes JOIN outcomes
ON classes.class=outcomes.ship
WHERE classes.country IN (SELECT DISTINCT classes.country
FROM classes JOIN outcomes
ON classes.class=outcomes.ship
WHERE outcomes.result='sunk')
Подскажите, где я могу ошибаться?
Если что, это 47 задача отсюда http://sql-ex.ru/learn_exercises.php

Shumaher

вот объясните мне, кто разбирается.
есть сайт, скопировал его полностью себе: слил файлы, и экспортировал базу через PMA (в дампе написано CHARSET=cp1251 у таблиц, у себя создал новую базу, сравнение указал cp1251_general_ci), импортировал дамп, в итоге на сайте крякозябры :(
а сам сайт - какое-то самописное говно на PHP и ничего про кодировку я не нашел.
что не так делаю?

Tishka17

Гляжу на код на PL/SQL, а ощущение что написано на Basic

Tishka17

А как пишут unit-тесты для sql? Mysql/Oracle

Tishka17

Посоветуйте библиотеку которая помогла бы мне вытаскивать питоновские объекты из базы данных. Но при этом чтобы работа с БД была только с помощью процедур (хуже - в разных процедурах один пол смыслу столбец может называться по разному). Планируется oracle/mysql.

www

Добавление к предыдущим постам. Поставил на машину с SSD mysql сервер, потестил innodb. Параметры innodb дефолтные для 5.6. Поставил лишь

innodb_log_buffer_size=500M
innodb_buffer_pool_size=1G

Пробовал O_DIRECT, с ним немного медленнее, убрал. Такая же таблица на 2,5 млн, такие же дефолтные параметры sysbench, такое же железо (на самом деле тестил на датаноде, там всё равно нагрузки сейчас нет никакой).
Результаты:

[user@localhost ~]$ sysbench --num-threads=100 --max-requests=100000 --oltp-table-size=2500000 --mysql-host=my_host --mysql-db=my_test --mysql-user=test  --db-driver=mysql --test=oltp run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 100

Doing OLTP test.
Running mixed OLTP test
Using Special distribution (12 iterations,  1 pct of values are returned in 75 pct cases)
Using "BEGIN" for starting transactions
Using auto_inc on the id column
Maximum number of requests for OLTP test is limited to 100000
Threads started!
Done.

OLTP test statistics:
    queries performed:
        read:                            1400476
        write:                          500170
        other:                          200068
        total:                          2100714
    transactions:                        100034 (2210.84 per sec.)
    deadlocks:                          0      (0.00 per sec.)
    read/write requests:                1900646 (42005.92 per sec.)
    other operations:                    200068 (4421.68 per sec.)

Test execution summary:
    total time:                          45.2471s
    total number of events:              100034
    total time taken by event execution: 4522.8856
    per-request statistics:
        min:                                  3.19ms
        avg:                                45.21ms
        max:                                948.74ms
        approx.  95 percentile:              94.73ms

Threads fairness:
    events (avg/stddev):          1000.3400/23.82
    execution time (avg/stddev):  45.2289/0.01

Как видно, даже немного лучше кластера. top на хосте показывает чуть более 395% нагрузки процессора.
Забыл в предыдущих хостах конфиги кластера.
my.cnf (только [mysqld], [client] и другое не привожу):

[mysqld]
user=mysql
pid-file=/var/run/mysqld/mysqld.pid
socket=/var/run/mysqld/mysqld.sock
port=3306
basedir=/usr
log-error=/var/log/mysqld/mysqld.53.err
expire_logs_days=10
datadir="/var/lib/mysql"
tmpdir=/tmp
ndbcluster=on
ndb-nodeid=53 
ndb-connectstring=<ip адрес ndb_mgmd>:1186

ndb-cluster-connection-pool=4
#autocommit=off 
ndb-force-send=0
ndb-use-exact-count=0
ndb-batch-size=64M
ndb-autoincrement-prefetch-sz=1024
default-storage-engine=ndbcluster

В некоторых манах советуют отключать автокоммит, чтобы он группировал транзакции. Видимо, это я не осилил (работало с моим конфигом ещё медленнее + глючило). Соответственно, ndb-batch-size и ndb-forse-send по идее игнорируются

config.ini:

[NDB_MGMD DEFAULT]
Portnumber=1186

[NDB_MGMD]
NodeId=49
HostName=<ip management ноды>
DataDir=/data/Cluster/49/
Portnumber=1186

[TCP DEFAULT]
SendBufferMemory=4M
ReceiveBufferMemory=4M

[NDBD DEFAULT]
BackupMaxWriteSize=1M
BackupDataBufferSize=16M
BackupLogBufferSize=4M
BackupMemory=20M
BackupReportFrequency=10
MemReportFrequency=30
LogLevelStartup=15
LogLevelShutdown=15
LogLevelCheckpoint=8
LogLevelNodeRestart=15
DataMemory=3600M
IndexMemory=750M
MaxNoOfTables=2048
MaxNoOfTriggers=2048
MaxNoOfOrderedIndexes=1024
MaxNoOfAttributes=2048
NoOfReplicas=2
StringMemory=25
DiskPageBufferMemory=64M

MaxNoOfConcurrentTransactions=16384
MaxNoOfConcurrentOperations=100000
BatchSizePerLocalScan=512
FragmentLogFileSize=256M
NoOfFragmentLogFiles=22 # 6xDataMemory [in MB]/(4 *FragmentLogFileSize [in MB]                                                                  
RedoBuffer=32M
MaxNoOfExecutionThreads=4
StopOnError=false
LockPagesInMainMemory=1

SharedGlobalMemory=256M #default 128

TransactionDeadlockDetectionTimeout=52000
[NDBD]
NodeId=1
HostName=<ip первой датаноды>
DataDir=/data/Cluster/1/

[NDBD]
NodeId=2
HostName=<ip второй датаноды>
DataDir=/data/Cluster/2/

[MYSQLD DEFAULT]

[MYSQLD]
NodeId=53
HostName=<ip mysql сервера>
[MYSQLD]
[MYSQLD]
[MYSQLD]

Пустые секции mysql - для подключения в несколько потоков.

По I/O пока ничего не скажу, кроме того, что при тесте на один хост с innodb iotop показывает циферки побольше раза в 2 (около 40 M/S), чем при тесте кластера . Надеюсь, поставлю мониторинг датанод, можно будет посмотреть графики/статистику, не только с количеством записанного, но и с tps за всё время теста.

В итоге сейчас результаты примерно одинаковые, что для 1 innodb, что для кластера из 4х нод. При этом датаноды и по CPU, и по IO загружены примерно на половину возможного, а mysql серверы загружаются на полную.

www

добавил ещё один sql server, стало лучше:

Running the test with following options:
Number of threads: 100

Doing OLTP test.
Running mixed OLTP test
Using Special distribution (12 iterations,  1 pct of values are returned in 75 pct cases)
Using "BEGIN" for starting transactions
Using auto_inc on the id column
Maximum number of requests for OLTP test is limited to 100000
Threads started!
Done.

OLTP test statistics:
    queries performed:
        read:                            1400014
        write:                           500005
        other:                           200002
        total:                           2100021
    transactions:                        100001 (2468.02 per sec.)
    deadlocks:                           0      (0.00 per sec.)
    read/write requests:                 1900019 (46892.43 per sec.)
    other operations:                    200002 (4936.05 per sec.)

Test execution summary:
    total time:                          40.5187s
    total number of events:              100001
    total time taken by event execution: 4050.0806
    per-request statistics:
         min:                                 20.94ms
         avg:                                 40.50ms
         max:                                253.15ms
         approx.  95 percentile:              51.15ms

Threads fairness:
    events (avg/stddev):           1000.0100/68.53
    execution time (avg/stddev):   40.5008/0.01
www

Посмотрел на результаты того, что даёт собранный из подручных средств кластер. Подручные средства примерно такие:
процессоры на нодах одинаковые: Intel(R) Core(TM) i5-2500K CPU @ 3.30GHz
mysql server: 8Gb RAM, какой-то жесткий из ноута
datanode: 12 Gb RAM (на самом деле можно меньше), какой-то SSD (лень устанавливать hdparm и смотреть, что там (а тем более идти в офис))
Датанод 2, сервер 1 + не самый дорогой роутер TPlink на гигабит. Запустил sysbench с дефолтными параметрами и размером таблицы в 2,5 млн записей (остальные параметры видно в выводе):

Running the test with following options:
Number of threads: 100

Doing OLTP test.
Running mixed OLTP test
Using Special distribution (12 iterations,  1 pct of values are returned in 75 pct cases)
Using "BEGIN" for starting transactions
Using auto_inc on the id column
Maximum number of requests for OLTP test is limited to 100000
Threads started!
Done.

OLTP test statistics:
    queries performed:
        read:                            1400140
        write:                           500050
        other:                           200020
        total:                           2100210
    transactions:                        100010 (1596.21 per sec.)
    deadlocks:                           0      (0.00 per sec.)
    read/write requests:                 1900190 (30327.94 per sec.)
    other operations:                    200020 (3192.42 per sec.)

Test execution summary:
    total time:                          62.6548s
    total number of events:              100010
    total time taken by event execution: 6262.6459
    per-request statistics:
         min:                                 17.83ms
         avg:                                 62.62ms
         max:                                793.49ms
         approx.  95 percentile:             132.30ms

Threads fairness:
    events (avg/stddev):           1000.1000/21.71
    execution time (avg/stddev):   62.6265/0.01

Сейчас сервер mysqld по CPU загружен на полную (375-380% в top), а датаноды загружены чуть больше, чем на четверть (ndbmtd показывает 140% в top).
Может быть, в скором времени покажу результаты в нормальной сети и на другом железе.

www

http://pgday.ru/ru
Приглашают посетить PG Master'14 бесплатно (в Питере).

eill

а подскажите хороший учебник по сложным запросам, а?

www
www
www
www

http://www.bigdbahead.com/?p=176 Social Networking type queries with NDB

www

https://github.com/gajus/doll не пользовался, но, судя по readme, позволяет обойти ограничение на 100 запросов в SHOW PROFILES

www

я хочу накостылять мониторинг на основе zabbix^W munin^W graphite^W чего-нибудь опенсорсного вроде http://opentsdb.net , а тимлид хочет где-то спиздить mysql enterprise monitor. Лан.

www

http://www.severalnines.com/mysql-cluster-training курс по кластеру
http://smartdata.usbid.com/.../2000-q4/1997044.pdf презентация, есть немного про 2pc и про конфиги
http://smartdata.usbid.com/.../2000-q4/1997044.pdf папир 2000 года

www

http://dev.mysql.com/doc/re...nfig-lcp-params.html
В 5.1 есть, а дальше нет. //кому я это пишу, если это читает 2 анона, из которых 1 - это я сам?

www

Показал тимлиду статью http://www.mysqlperformance...nce-search-in-mysql/ , он захотел всё переписать на сишечке.

www

Добавить пост

Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
Для форматирования текста используется Markdown.