困った話

slow-query が検出できなくて困ったなぁと言うのが事の発端です。

考えてみるとAWSさんが用意してくれたとりあえずdefaultパラメータを当てておけば問題ない だろうと考えてしまっていたのが大問題でした。

プロジェクトごとにDB周りの設定は変わってくるのは当たり前の話なので、自分のプロジェクトにとって必要な設定値を用意しなかった自分が100%悪いです。

反省です。

最低限の設定値

max_execution_time

概要

ミリ秒単位での SELECT ステートメントの実行タイムアウト

値

ミリ秒になるので 指定したい秒数*1000 を指定してあげると良い。

例）60秒で切りたい
60 * 1000 = 60000

general_log

概要

一般ログの出力

値

1に設定しましょ

slow_query_log

概要

slow query のログを出力するか否か

値

1に設定しましょ。これで出力するという意味になるよ

long_query_time

概要

ログに記録されるクエリの最短実行時間の値を設定することが出来る。
この値を超えるとslow

値

基本的に `max_execution_time` より小さくしましょう。検出できなくなるので。

先日 RDS を構築した際に EC2 と接続ができなくて泣きたくなった。

原因はシンプルで EC2 に MySQL クライアントが存在しませんよという内容です。

クラウド先（RDS）には MySQL が存在しているのに、わざわざ EC2 に MySQL 本体をインストールするのもなぁと思っていたのですが、ちょっと工夫するだけで EC2 から接続できるようにすることができることを知ったので共有ですぅぅぅ〜

[getpost id=”1426″ cat_name=”1″ date=”0″]

[getpost id=”1448″ cat_name=”1″ date=”0″]

いざ実践

• とりあえずアプデ

  sudo apt update
  

• mysql-client のパッケージを検索
  なんかいい感じのやつ出てくるよ

  apt search mysql-clien

• 最小を入れたい
  (お使いのバージョンに合わせたものを指定してね
  (client を入れれば MySQL コマンドが使えるよ

  apt install mysql-client-core-8.x

• MySQL に接続

  mysql -h rds.amazonaws.com -P 3306 -u rds -p

失敗時のエラー

権限不足

Permission denied

• Ubuntu で入ったから何となく行けてんのかと思いきや…
• sudo しなさいよ

接続失敗

ERROR 2003 (HY000): Can't connect to MySQL server on

• RDS の設定漏れ
• EC2 からの接続許可

みなさんはDBの冗長構成を取っていますか？

冗長構成とは簡単に言うと、
システムやサービスの障害が発生した場合に、自動的に別のバックアップシステムやリソースに切り替え、中断を最小限に抑える仕組み
になります。

冗長構成を取っていると DB に障害が発生した際でも被害を最小限に抑えてシステム運用することが可能となっています。

データに破損が起きると案件次第では損害賠償に発展したり、ユーザーへの悪影響が生じたりするなどビジネスチャンスを失ってしまいます。

可能な限り冗長構成を取るようにしましょう〜

RDS for MySQL でフェイルオーバー試してみた

事前準備

EC2 と RDS の構築は済まして置いてください。

その上で1秒毎にDBへデータを登録する処理を PHP で書いていきます。

<?php
ini_set('mysqlnd.net_read_timeout', 3);
$i = 0;
$end_time = time() + 600;
while (time() < $end_time) {
  $result = hoge();
  sleep(1);
  echo $i . ":" . $result . "\n";
  $i++;
}

function hoge () {
  $result = 'connectionWaiting';
  try {
    $dbh = new PDO(
      'mysql:host=database-1.cizcjskkh2r7.ap-northeast-1.rds.amazonaws.com;dbname=testDB;charset=UTF8mb4',
      'admin',
      'password',
    );
    $dbh->setAttribute(PDO::ATTR_TIMEOUT, 3);
    $sql = "INSERT INTO testTable (created) VALUES ('" . date('Y-m-d h:i:s') . "')";
    if ($dbh->query($sql)) {
      $result = 'Succees';
    } else {
      $result = 'Faile';
    }
  } catch (PDOException $e) {
    $request = 'Die';
  }
  return $result;
}
?>

いざ実行

PHPの実行

php index.php

RDS の再起動

RDS はフェイルオーバー での再起動ができるので、フェイルオーバーのオプションを付けて再起動を行います。

まずはデータ登録処理のPHPを実行します。
フェイルオーバー実行前のデータ↓

mysql> select * from testTable;
+----+---------------------+
| id | created             |
+----+---------------------+
| 1 | 2023-10-18 10:39:07 |
| 2 | 2023-10-18 10:39:08 |
| 3 | 2023-10-18 10:39:09 |
| 4 | 2023-10-18 10:39:10 |
| 5 | 2023-10-18 10:39:11 |
| 6 | 2023-10-18 10:39:12 |
+----+---------------------+

フェイルオーバー実行後のデータ↓

mysql> select * from testTable;
+----+---------------------+
| id | created |
+----+---------------------+
| 50 | 2023-10-18 10:39:57 |
| 51 | 2023-10-18 10:39:58 |
| 52 | 2023-10-18 10:39:59 |
| 53 | 2023-10-18 10:40:00 |
| 54 | 2023-10-18 10:40:01 |
| 55 | 2023-10-18 10:40:02 |
| 56 | 2023-10-18 10:40:03 |
| 57 | 2023-10-18 10:40:04 |        ← 再起動で止まったところと思われる箇所
| 58 | 2023-10-18 10:41:10 |        ← 再起動完了したところと思われる箇所
| 59 | 2023-10-18 10:41:11 |
| 60 | 2023-10-18 10:41:12 |
| 61 | 2023-10-18 10:41:14 |
| 62 | 2023-10-18 10:41:15 |
| 63 | 2023-10-18 10:41:16 |
| 64 | 2023-10-18 10:41:17 |
| 65 | 2023-10-18 10:41:18 |
| 66 | 2023-10-18 10:41:19 |
| 67 | 2023-10-18 10:41:20 |
| 68 | 2023-10-18 10:41:21 |
| 69 | 2023-10-18 10:41:22 |
+----+---------------------+

わかったこと

• データは途切れるが、DB の復旧とともにデータ登録が可能となる
  • 被害が大きくなりにくい
  • エンドポイントが変更されないので、プログラム側で特別な処理は不要（超嬉しい）
• 難しい設定は不要
  • 天下の Oracle 様が解説している高可用性構成の作り方
    https://www.oracle.com/jp/a/tech/docs/technical-resources/120127-mysql-ha.pdf
    https://downloads.mysql.com/presentations/01_201311_MySQL_JP_Tech-Tour.pdf

わかっていないこと

• 大量のデータになった場合の復旧時間
  • 今回の検証でもすぐに終わるときもあれば、３分以上かかる場合もあった
• PHP 側に `ini_set(‘mysqlnd.net_read_timeout’, 3)` を入れないと再起動が完了しても処理が継続しない
  • RDS 側でデッドロックが走っている？
  • 接続先を探している？
  • RDS 側に設定が必要？
  • とりあえずプログラムでちょっとした工夫は必要そう

まとめ

今回の検証で RDS を使用して冗長性を確保することができたのではないかなぁという所感です〜

実際に検証を通して冗長性のある構成とはこんな感じなんだなぁと言うのがしれたのはかなり大きいです。笑

実際、 DB を使わないシステムは限りなく少ないので DB が死んでも大丈夫と言える構成を取ることでビジネスチャンスを失わないというのはかなり大切だと考えています。

引き続き検証を続けていく必要がありそうです〜

バックアップが楽ちん

RDS を推したい理由の上位にくるのがバックアップの手軽さです。

AWS の公式にも記載がある通り、バックアップを自動で取ってくれます。

過去に クラウドサーバー 上にインストールした MySQL のバックアップ手法として、cron にて AWS SDK for PHP を用いて S3にダンプファイルを保管する手法を取っていた自分からすると RDS のバックアップはかなり楽ちんです。
だって、以下の設定が不要になりますからね。笑

1. AWS SDK for PHP のインストール
2. cron にて日次の実行処理を記述
3. S3 に送信処理を記述

デフォルトで有効になっている Amazon RDS の自動バックアップ機能により、データベースとトランザクションログがバックアップされます。Amazon RDS では DB インスタンスのストレージボリュームのスナップショットを自動的に作成し、個々のデータベースだけではなく、その DB インスタンス全体をバックアップします。

このバックアップは、バックアップウィンドウと呼ばれるユーザーが設定可能な 30 分間隔の時間に 1 日 1 回行われます。自動バックアップは、お客様が設定した日数の間、保持されます (バックアップ保持期間と呼ばれます)。自動バックアップの保持期間は、最大 35 日間まで設定できます。

Amazon RDS のバックアップと復元

また、 RDS には自動バックアップに加えてポイントインタイムリカバリという機能があり、特定の時点に戻すことができます。（5分毎にデータベースの変更ログのアーカイブが自動で実行されます）

これは、データの損失を最小限に抑えることのできる機能となっており、ポカしやすい人には必需品と言えるほどの機能となっています。

先程申し上げた日次のバックアップだけでは不足しているバックアップ分を補填しているので、個人的にはすごく好きです。

DB インスタンスを特定の時点に復元し、新しい DB インスタンスを作成できます。

DB インスタンスを特定の時点に復元し、新しい DB インスタンスを作成できます。

死活監視が楽ちん

RDS はデフォルトでメトリクスデータを1分間隔で CloudWatch に送信してくれます。
（CloudWatch はメトリクスの収集、アラームの設定、ログの収集と監視などを対応してくれるサービスです）

これも自分ごとではありますが、死活監視をするために以下のようなインフラを構築しました。

イメージ	設定手順
	アプリケーションサーバー構築 アプリケーションサーバーを監視するサーバー（監視サーバー A）を構築 Zabbix をインストール アプリケーションサーバーに 監視サーバーA のエージェントをインストール 監視サーバーA にて監視設定 監視サーバーAを監視する監視サーバーBを構築 Zabbix をインストール 監視サーバーAに監視サーバーBのエージェントをインストール 監視サーバーBにて監視設定

[getpost id=”1243″ cat_name=”1″ date=”0″][getpost id=”1220″ cat_name=”1″ date=”0″]

手順書いてみたんですけど、すっげー面倒くさいですね。。。

その反面、 RDS では上記のような面倒くさい事をしなくても死活監視が簡単にできてしまうんです。

下記のあたりを見てれば DBが生きているかどうかを判別することができるので、すごく楽です。

• データベースの稼働状況
• CPU使用率
• メモリ使用率
• ディスクストレージ
• データベースのクエリおよびスロークエリ

これらに対して閾値を設定して異常状態を感知できるようにすれば、僕が構築したよく分からない事はしなくても済むなんて素敵すぎる！！！！

フェイルオーバーが楽ちん

フェイルオーバー の構成を取っていると何らかの障害が起きた際に被害を最小限に止めることができます。

実際に手動で組み込んだことはないのですが、天下の Oracle 様の解説記事を読んでみるとごちゃごちゃと設定が必要そうで、適切な冗長構成を取るのが難しそうな印象を受けました。

対して RDS は以下の条件を満たせば、冗長構成を取ることが可能となっています。

• マルチアベイラビリティーゾーン
• ホットスタンバイオプションの有効化

実際の手法を確認したい方はこちらの記事をご確認ください。

[getpost id=”1448″ cat_name=”1″ date=”0″]

まとめ

単純なDBを構築したい場合、RDS を使うことで楽に安全に構築することができます。

過去の自分に戒めを込めて、 RDS 使うと幸せになれることを胸張って伝えていきたいです。笑

Zabbixのインストール

以下2点を実施してZabbixが使える状態にしておいてください。

• 監視する側にZabbixサーバーをインストール
• 監視される側へZabbixエージェントをインストール

[getpost id=”1220″ cat_name=”1″ date=”0″]

MySQLのインストール

監視される側のサーバーにはMySQLをインストールしておいてください。
MySQLのインストールが分からない場合は下記記事を参照してください。

[getpost id=”1170″ cat_name=”1″ date=”0″]

監視するための準備

監視される側のサーバー

ユーザーの作成

Zabbixエージェントが監視できるように監視される側のMySQLにユーザーを作成。

CREATE USER 'zabbix'@'localhost' IDENTIFIED BY 'password' grant all privileges on *.* to 'zabbix'@'%';
FLUSH PRIVILEGES;

※権限の割当は状況に合わせてください。

.my.cnfファイルの作成

「/var/lib/zabbix/.my.cnf」を作成してください。
デフォルトでは上記ファイルが存在しないのでtouchから実施することになります。

[client]
host=IP（監視される側のサーバーのIP）
user=zabbix
password='password'

※hostにはlocalhostを指定しても問題ないはずですが、自分の場合はIPを指定しないと動かなかったです。

userparameter_mysql.conf の設定

「/etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf 」を編集します。

このファイルでやりたいことは以下になります。

• 「–defaults-extra-file」オプションにてMySQLのconfigファイルを指定
• 「mysql.ping」「mysql.status」などのkeyとcommandを指定

UserParameter=mysql.ping[*], mysqladmin --defaults-extra-file=/var/lib/zabbix/.my.cnf 
UserParameter=mysql.status[*],echo "show global status where Variable_name='$1';" | mysql --defaults-extra-file=/var/lib/zabbix/.my.cnf -N | awk '{print $$2}' 
UserParameter=mysql.get_status_variables[*], mysql --defaults-extra-file=/var/lib/zabbix/.my.cnf -sNX -e "show global status" 
UserParameter=mysql.version[*], mysqladmin --defaults-extra-file=/var/lib/zabbix/.my.cnf -s version 
UserParameter=mysql.db.discovery[*], mysql --defaults-extra-file=/var/lib/zabbix/.my.cnf -sN -e "show databases" 
UserParameter=mysql.dbsize[*], mysql --defaults-extra-file=/var/lib/zabbix/.my.cnf -sN -e "SELECT SUM(DATA_LENGTH + INDEX_LENGTH) FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA='$3'" 
UserParameter=mysql.replication.discovery[*], mysql --defaults-extra-file=/var/lib/zabbix/.my.cnf -sNX -e "show slave status" 
UserParameter=mysql.slave_status[*], mysql --defaults-extra-file=/var/lib/zabbix/.my.cnf -sNX -e "show slave status"

※configファイルのパスやファイルの中身(ユーザー名やパスワード)が間違っていると正常に監視ができずエラー吐きます。

監視する側のサーバーにて監視設定

Ping監視

画像がないので恐縮ですが、以下手順で実行することが出来ます。

• Zabbixサーバーにログインし、Webインターフェースを開く
• 監視対象のMySQLサーバーを選択し、「設定」>「ホスト」を選択
• 監視対象のMySQLサーバーの設定ページで、「アイテム」タブを選択
• 「アイテムの追加」をクリックし、以下の設定を入力
  • キー：mysql.ping
  • 名前：MySQL Ping
  • タイプ：Zabbixエージェント
  • タイプの情報：MySQLサーバーのIPアドレスまたはホスト名
• 「監視」>「グラフ」を選択し、グラフを作成

上記の設定で、ZabbixからMySQLサーバーへPingリクエストを定期的に送信し、「MySQLが生きているか」を監視できるようになります。
また、グラフを使用して、Ping応答時間の変化を視覚的に確認することもできます。

スロークエリ

MySQL側の設定

MySQLの設定ファイルに以下を設定し、スロークエリの検出を有効化します。

slow_query_log = 1
slow_query_log_file = /var/log/mysql/mysql-slow.log
long_query_time = 1

Zabbix側の設定

画像がないので恐縮ですが、以下手順で実行することが出来ます。

• Zabbixサーバーにログインし、Webインターフェースを開く
• 監視対象のMySQLサーバーを選択し、「設定」>「ホスト」を選択
• 監視対象のMySQLサーバーの設定ページで、「アイテム」タブを選択
• 「アイテムの追加」をクリックし、以下の設定を入力
  • キー：mysql.slowqueries
  • 名前：MySQL Slow Queries
  • タイプ：Zabbixエージェント
  • タイプの情報：MySQLサーバーのIPアドレスまたはホスト名
  • 更新間隔：30秒（または必要に応じて変更します）
  • アプリケーション：MySQL
• 「監視」>「トリガー」を選択し、トリガーを作成
  • 名前：MySQL Slow Queries
  • 説明：MySQL Slow Queries
  • エスカレーション：通知する
  • 表示：プロブレム
  • 依存：なし
  • 条件：{MySQL: mysql.slowqueries.last()}＞0
  • 縮小条件：なし

上記の設定でスロークエリを監視できますー。

普段はXamppを使って開発を行っているのですが、今回始めてテスト環境の構築を任せてもらえたので、備忘録です。

構築環境

構築したい環境は以下のとおりです。

• Ubuntu 20.04 LTS
• Apache
• PHP 8.0系
• MySQL

その他に使用するツールは以下のツールです。

• MySQL Workbench(MySQLのGUI)
• さくらのくらうど(サーバー)
• FileZilla

Linuxの注意点

リナックスの注意点は以下２つです。

• ディストリビューション間違えるな
• コマンドプロンプト

ディストリビューション

ディストリビューションをしっかり把握しておいて下さい。

今回はUbuntu上に構築していくのですが、チームメンバーに「UbuntuとCentOSって一緒でしょ？」という人がいたので、驚きました。

ディストリビューションが違えば多少なりとも構築方法が変わってくるので、ディストリビューションは把握しておいて下さい。。

ディストリビューションがわからないという方はリナックスって何？とかでちゃんと調べて下さい。お願いします。。。。。

コマンドプロンプト

ウィンドウズ環境にてUnixコマンドをウィンドウズで扱う必要があったので、ウィンドウズでもUnixコマンドを扱えるようにGitBashを導入しました。

自分が慣れているターミナル使用して下さい。

Apacheの注意

Apacheの注意点はSSL化のみです。(SSL化以外は簡単です。記事通りに実施して下さい)

MySQLの注意点

MySQLで気を付ける点は以下の3つです。

• ファイヤーウォール
• バインドの設定
• ユーザーの設定

ファイヤーウォール

初期設定でファイヤーウォールの設定をして下さい。

下記設定を行うことでLinuxがMySQLを受け付けてくれるようになります。

#ファイヤーウォールの確認
sudo ufw status

#MySQLの開放
sudo ufw allow 3306

バインド

MySQL 標準ではローカルホストからの接続のみ許可しているため、外部からの接続を許可するように設定します。

/etc/mysql/my.cnfの設定ファイルには127.0.0.1 で LISTEN してるので外部から接続するようにしたいので、下記項目をコメントアウトする必要があります。

自分はここでLinuxのIPアドレスを指定していたので、接続が上手くいきませんでした。

ちゃんと理由を調べていないのですが、bind-addressをコメントアウトすることで全てのアクセスを受け付ける事ができるはずです。

#bind-address            = 127.0.0.1

ユーザーの設定

外部ユーザーとしてroot以外のユーザーを作成します。

--DBの作成
CREATE DATABASE データベース名;

--ユーザーの作成
--'%'はワイルドカード。IPアドレスでも良いよ
CREATE USER 'ユーザー名'@'%'　identified by 'パスワード';

--ユーザーに権限付与
grant all privileges on *.* to 作成したユーザー@'%';

--更新
flush privileges;

上記設定を行うことで、MySQLWorkBenchから外部接続を行うことができます。

MySQLWorkBenchではなくてもphpMyAdminでも何でも良いので、GUIツールは使用できるようにした方が良いですよー。

最後に

phperとしてLAMP環境の構築が出来ないは恥ずかしいので、確実にできるようにしたほうが良いです。

今回は幸いにも実務にて環境構築をさせて頂いたのですが、独学の場合でも自分で出来るようになっていて下さい。

PHPバンザイ。。

結局SQL

結局のところSQLは必要不可欠な技術です。

アプリケーションはPHPやJavaといったプログラミング言語を使用すると思いますが、データを扱う事のできる唯一の言語はSQLです。

そのため、SQLが出来るだけで重宝されます。

[getpost id=”1028″]

インフラにもバックエンドにも

IT業界の職種はかなり広いのですが、SQLはインフラとバックエンドに領域が被っている為、就職の選択肢がかなり広がります。

最近ではフロントの人間もSQLを使用する事があるそうです。←僕の友達情報

そのため、僕の考えとしてはSQLを基盤に学ぶことでデータを扱えるIT人材になれるので、どこを目指したら良いのか分からない人はとりあえずSQLについて学ぶべきです。

[getpost id=”1045″]

気をつけること　〜考え方編〜

実行順序

実行順序の理解は大切です。

呼ばれる順序が分かることで、目的に沿ったSQL文を書くことが出来ます。逆に言うと実行順序を意識していなければ意図しないデータを取得する事になってしまいます。

実行順は以下の通りです。

1. FROM
2. WHERE
3. GROUP BY
4. HAVING
5. SELECT
6. DISTINCT
7. ORDER BY

SQLを学習した当初は欲しいデータに意識が向きすぎてしまいSELECT句が重要だと考えていました。

しかし、本当に欲しいデータを取得する場合は大本のテーブルから考えていく必要があります。

どのテーブルからどの条件でデータを取得していくのか意識してみてください。

書き方は十人十色

早めの段階で知りたかったのですが、SQLの書き方は十人十色です。

SQLを学びたての時は教科書通りに書かないといけないという意識が強く、柔軟性にかけたSQLを記述していました。(教科書通り→INはEXISTSで代替。サブクエリはできるだけ書かない。)

しかし実業務でデータを扱う際にはこんな書き方は良くないよって言われている書き方で実装しているSQLはよく目にします。
※1万レコードをUNIONで横持ちのデータを縦持ちに結合している仰天コードを目にしたことがあります。

Aを取得するという目的に対して、こうした方が良いよねって言う書き方はあるけど、正解はありません。

必要なデータを取得できないことが悪なので、慣れるまでは速さやキレイにデータを取得すると行った事は気にしないでおきましょう。

SQLに関しては知見が増えてくれば自然とどのような記述が最適なのかが理解できてくるので少しづつ努力していけば問題なしです。

データは超重要

データなんかより画面動かしたりする方がITっぽくてカッコいい〜！なんて思っていたのですが、ビジネスに必要なものはデータだと実務に入って気づきました。

結局の所、データを自分たちの使いやすい形でデータを取得or加工し、お金を生み出す形でデータを利用しているのがWebサービスの根幹だと思います。

データを扱えるって最強です。

気づいたこと　〜書き方編〜

インデントは揃えよう

SQLの経験が浅くても出来る事その1はインデントを揃えよう！です。

以下2つのSQL文を比較してもらえれば分かると思うのですが、格段に見やすさが異なると思います。

SELECT no , name FROM test 
WHERE no > 4 
AND name IN ('aiueo','test') 
ORDER BY no;

SELECT no , name FROM test 
 WHERE no > 4 
      AND name IN ('aiueo','test') 
 ORDER BY no;

予約文字は大文字

SQLの経験が浅くても出来る事その1は予約文字は大文字で記述！です。

予約文字はSQLで設定されている単語の事を指します。
(例：SELECT.FROM,WHERE,JOIN,)

こちらも比較してもらえれば分かると思います。

select no,name from test
where no > 4
    and name in('aiueo','test')
order by no

SELECT no , name FROM test 
 WHERE no > 4
      AND name IN ('aiueo','test') 
 ORDER BY no;

目的を考える

SQLに慣れてきたら何のデータが欲しいのかを考える癖をつけていきましょう。

SQLは様々な記述方法でデータを取得することが出来るため、目的を明確にし必要なデータを取得する事を意識してください。

目的を明確にすることでどの記述方法が最適なのかが段々と分かってくるはずです。

Where句で使用するサブクエリの問い合わせ結果が2行以上になってしまうと「single-row subquery returns more than one row」のエラーが帰ってきます。

SQL> select * from test
 where no = (select no from test); 
 where no = (select no from test)
             *
ERROR at line 2:
ORA-01427: single-row subquery returns more than one row

サブクエリの結果が複数帰ってきてしまうとNo列の比較にどの値を使用したら良いのか分からない為のエラーです。

そのため、サブクエリの帰ってくる値を単一にする必要があります。

サブクエリを使用する時はケースバイケースのため、その都度サブクエリの帰ってくる件数を意識しましょう。

SQL>  select * from test
 where no = (select no from test where no = 1);  

	NO NAME
---------- --------------------------------------------------
	 1 aaaaa

SQL> select * from test
  where no = (select max(no) from test);    

	NO NAME
---------- --------------------------------------------------
	 5 youo

サブクエリの結果を複数行受け取れる述語

もしサブクエリの帰ってくる件数を複数のときにしたい場合は「IN」や「EXISTS」、「ANY」などの述語を指定します。

これらの述語を使用することでサブクエリの結果のどれかと一致するものを正とする事を表現することが出来ます。

SQL> select * from test
 where no IN(select no from test0);   

	NO NAME
---------- --------------------------------------------------
	 1 aaaaa
	 2 iiiii
	 2 uouoo

SQL> select * from test
 where exists(select no from test0 where test.no = test0.no);  2  

	NO NAME
---------- --------------------------------------------------
	 1 aaaaa
	 2 iiiii
	 2 uouoo

SQL> select * from test
 where no = ANY(select no from test0);  2  

	NO NAME
---------- --------------------------------------------------
	 1 aaaaa
	 2 iiiii
	 2 uouoo

SQLの学習のために参考書を読んでも、「クロス結合が〜〜」「自然結合は〜〜」とたくさんの結合名称が出てきてしまい、こんがらがったのでまとめました。

当記事では内部結合と外部結合以外も紹介しているのですが、内部結合と外部結合さえ知っていればやっていけます。

SQL関連の資格を勉強している方やSQLの知識が浅い方は「そういう結合もあるんだ」くらいの理解をして頂ける記事になっていれば幸いです。

結合の種類

自分がテーブル結合の勉強をしている際に出会った結合名称です。

1. 内部結合
2. 外部結合(左外部結合、右外部結合)
3. 完全外部結合
4. 自己結合
5. クロス結合
6. 自然結合
7. 非等価結合

※自分はSQLを使用した実務経験が6ヶ月(2022年1月時点)しかないのですが、内部結合と外部結合の使用がほとんどでした。(自己結合と非等価結合は1,2回の使用)

2テーブルで結合を試していくぅ

SQL> select * from testJoin;

	NO NAME       P        AGE T
---------- ---------- - ---------- -
	 1 michel     1 	20 1
	 2 jordan     2 	30 1
	 3
	 4 Lebron     1 	25 1
	 5 hanamiti   2 	18 2
	 0 Popovich   0 	80 2

SQL> select * from testJoin2;

	NO POSITION
---------- ----------
	 1 PG
	 2 SG
	 3 Substitute

内部結合

内部結合は、結合Keyが一致する行のみを取得するための構文です。

下記のSQL文は、「No:0」がtestJoin1に登録されていない為、testJoinの「No:0,NAME:Popovich」のデータは取得されません。

マスタデータがないデータを弾く時によく使用されますね。

SQL> select t1.name , t2.POSITION from testJoin t1
inner join testJoin2 t2 on t2.NO = t1.pname;   2  

NAME	   POSITION
---------- ----------
michel	   PG
jordan	   SG
Lebron	   PG
hanamiti   SG

外部結合(左外部結合、右外部結合)

外部結合は、基となるテーブルのデータをすべて残した上での結合となります。

下記SQL文の場合だと、testJoinを基とするため結合Keyに一致しない「No:0」と「No:3」のレコードを取得することが出来ます。

select t1.no , t1.name , t2.POSITION from testJoin t1
left join testJoin2 t2 on t2.NO = t1.pname order by t1.no; 
SQL>   2  
	NO NAME       POSITION
---------- ---------- ----------
	 0 Popovich
	 1 michel     PG
	 2 jordan     SG
	 3
	 4 Lebron     PG
	 5 hanamiti   SG

完全外部結合

完全外部結合は、結合Keyが不一致でも結合するテーブルの全データを取得するための構文です。

結合Keyに一致しない「No:0,NAME:Popovich」「No:3,NAME:NULL」「No:NULL,NAME:NULL,Position:Substitute」の列が取得されていることが分かります。

正直使ったことないです。

SQL> select t1.no , t1.name , t2.POSITION from testJoin t1
Full outer join testJoin2 t2 on t2.NO = t1.pname order by t1.no;   2  

	NO NAME       POSITION
---------- ---------- ----------
	 0 Popovich
	 1 michel     PG
	 2 jordan     SG
	 3
	 4 Lebron     PG
	 5 hanamiti   SG
		      Substitute

自己結合

自己結合は、同一のテーブルを別テーブルと考えてデータを取得するための構文です。

下記SQL文では、同一のチームに所属している選手同士を出力しています。(※自己結合は同一テーブルを別テーブルとして扱うので別名称を付与しなければいけません)

余談ですがWHERE句にNAME列の比較演算子を使用しているので、同じ組み合わせのチームを除外しています。

SQL> select t1.no,t1.name,t1.team_id,t2.no,t2.name,t2.team_id from testJoin t1 
inner join testJoin t2 on t1.team_id = t2.team_id
where t1.name > t2.name
order by t1.no;   2    3    4  

	NO NAME       T 	NO NAME       T
---------- ---------- - ---------- ---------- -
	 1 michel     1 	 2 jordan     1
	 1 michel     1 	 4 Lebron     1
	 2 jordan     1 	 4 Lebron     1
	 5 hanamiti   2 	 0 Popovich   2

クロス結合

クロス結合は結合するテーブルのデータ数を乗算する構文のことを指します。

testJoinは6個のデータを、testJoin1は3個のデータを保持しています。

そのため6×3=18行が取得されます。

SQL> select t1.name,t2.POSITION from testJoin t1,testJoin2 t2
  order by t1.no,t2.no;  2  

NAME	   POSITION
---------- ----------
Popovich   PG
Popovich   SG
Popovich   Substitute
michel	   PG
michel	   SG
michel	   Substitute
jordan	   PG
jordan	   SG
jordan	   Substitute
	   PG
	   SG

NAME	   POSITION
---------- ----------
	   Substitute
Lebron	   PG
Lebron	   SG
Lebron	   Substitute
hanamiti   PG
hanamiti   SG
hanamiti   Substitute

自然結合

自然結合は、結合するテーブル同士のカラム名称とデータ型をSQLさんが判断してくれる構文です。

下記SQL文だと、testJoinのNo列(NUMBER型)とtestJoin1のNo列(NUMBER型)が同一名称、同一データ型になるためNO列を結合Keyに設定してくれています。

下記のデータを正として取得します。

testJoin「No:1,NAME:michel」= testJoin1「No:1,PG」
testJoin「No:2,NAME:jordan」= testJoin1「No:1,SG」
testJoin「No:3,NAME:NULL」= testJoin1「No:1,Substitute」

多分実務で使うこと無いんじゃないかと思います。

SQL> select no,t1.name,t2.POSITION from testJoin t1 
natural LEFt join testJoin2 t2;  

	NO NAME       POSITION
---------- ---------- ----------
	 0 Popovich
	 1 michel     PG
	 2 jordan     SG
	 3	      Substitute
	 4 Lebron
	 5 hanamiti

非等価結合

非等価結合は結合条件に「＝」演算子を使用しない構文を指します。

「＝」を条件に指定しないだけなので、あまり難しく考える必要はありません。

SQL> select * from testJoin t1 
inner join testJoin2 t2 on t1.PNAME <> t2.POSITION
where t1.no <3
order by t1.no;  2    3    4  

	NO NAME       P        AGE T	     NO POSITION
---------- ---------- - ---------- - ---------- ----------
	 0 Popovich   0 	80 2	      1 PG
	 0 Popovich   0 	80 2	      2 SG
	 0 Popovich   0 	80 2	      3 Substitute
	 1 michel     1 	20 1	      1 PG
	 1 michel     1 	20 1	      2 SG
	 1 michel     1 	20 1	      3 Substitute
	 2 jordan     2 	30 1	      1 PG
	 2 jordan     2 	30 1	      2 SG
	 2 jordan     2 	30 1	      3 Substitute

NULLとは0でも空文字でもない値のことを指します。（イメージ的には存在しない値を分かりやすくするためにNULLというシールを貼っている状態のこと。）

例えば、財布の中身はいくら？という問いに対して下記の場合が値を保持しているということが証明できます。

• 財布の中身が0円であれば財布が空なので0円という値を保持。
• 10円が入っていれば10円という値を保持。

しかし、財布自体がなければ10円を保持することも0円を保持することもできません。

この財布がない状態の事をSQLの世界ではNULLと呼んでいます。

NULLが嫌い

「=」が使えない

SQLにおいて値の比較や参照において「＝」を使用するのですが、NULLに「＝」は使用できません。

NULLの特徴でもお話したとおり、NULLは値ではないため「＝」「＜」「＞」などの演算子を使用することができません。値ではないものを比較しようとするとSQLさんに怒られます。

そのため、IS　NULLという構文を用いて値の参照や比較を行います。

--名前が無い人の検索
SELECT name FROM family WHERE name IS NULL;

--名前がある人の検索
SELECT name FROM family WHERE name IS NOT NULL;

文字結合ができない

NULL＋文字列の結合を行なうと異変が起きてしまいます。

MysqlにてNULL値と文字列をCONCAT関数を使用して文字列結合を行うと、NULL値を含む文字列はNULLになってしまいました。(数学で言うところの｛数字×0＝0｝みたいな感じなんですね。)

mysql> SELECT * FROM BUSYO;
+----------+-----------------+
| busyo_no | busyo_name      |
+----------+-----------------+
|        1 | 開発部          |
|        2 | デザイン部      |
|        3 | 営業部          |
|        4 | サービス部      |
|        5 | NULL            |
+----------+-----------------+
5 rows in set (0.00 sec)

mysql> SELECT CONCAT(busyo_name,'hoge') FROM BUSYO;
+---------------------------+
| CONCAT(busyo_name,'hoge') |
+---------------------------+
| 開発部hoge                |
| デザイン部hoge            |
| 営業部hoge                |
| サービス部hoge            |
| NULL                      |
+---------------------------+
5 rows in set (0.00 sec)

値の並び順

ORDER BYによって値を並び替える時、NULL値を含む列の場合はNULL値が一番上(もしくは一番下)にきます。

値ではないのがNULLの特徴なので、比較して並べかえを実現する事はできないみたいです。

NULL値の順序を指定する場合、「NULLS FIRST(or LAST)」を指定することで思い通りの順序にすることが可能です。

SQL> select * from fruit2 order by name1;

NAME1	   NAME2
---------- ----------
apple	   orange
apple	   apple
banana	   banana
banana	   apple
banana	   orange
orange	   orange
	           orange

SQL> select * from fruit2 order by name1 nulls first;

NAME1	   NAME2
---------- ----------
	           orange
apple	   orange
apple	   apple
banana	   orange
banana	   banana
banana	   apple
orange	   orange

論理演算にNULLが紛れ込むとやっかい

WHERE句に下記のようなサブクエリを記述した際にサブクエリの結果がNULLを返すと意図しない結果が帰ってきます。

SQL>SELECT * FROM TEST1
         WHERE no <(SELECT min(no) FROM TEST2);

NULLに比較演算子は使用できないため、サブクエリの結果がNULLになると大元のSQLは１行も返してくれません。

TEST2テーブルにNULLが存在しないと思いこんで上記SQL文を発行してしまうと想定外の結果が帰ってくるので気をつけましょう。

対策としては、サブクエリ内でNULL値を変換してくれるcoalesce関数などの使用がおすすめです。

他にも

まだ学習不足で確認ができていないのですが、

• インデックスとNULL
• NULLの便利な使用方法

などを今後追記していきます。