困った話

slow-query が検出できなくて困ったなぁと言うのが事の発端です。

考えてみるとAWSさんが用意してくれたとりあえずdefaultパラメータを当てておけば問題ない だろうと考えてしまっていたのが大問題でした。

プロジェクトごとにDB周りの設定は変わってくるのは当たり前の話なので、自分のプロジェクトにとって必要な設定値を用意しなかった自分が100%悪いです。

反省です。

最低限の設定値

max_execution_time

概要

ミリ秒単位での SELECT ステートメントの実行タイムアウト

値

ミリ秒になるので 指定したい秒数*1000 を指定してあげると良い。

例）60秒で切りたい
60 * 1000 = 60000

general_log

概要

一般ログの出力

値

1に設定しましょ

slow_query_log

概要

slow query のログを出力するか否か

値

1に設定しましょ。これで出力するという意味になるよ

long_query_time

概要

ログに記録されるクエリの最短実行時間の値を設定することが出来る。
この値を超えるとslow

値

基本的に `max_execution_time` より小さくしましょう。検出できなくなるので。

1. 気づいたこと　〜就職編〜
   • 結局SQL
   • インフラにもバックエンドにも
2. 気をつけること　〜考え方編〜
   • 実行順序
   • 書き方は十人十色
   • データは超重要
3. 気づいたこと　〜書き方編〜
   • インデントは揃えよう
   • 予約文字は大文字
   • 目的を考える

気づいたこと　〜就職編〜

結局SQL

結局のところSQLは必要不可欠な技術です。

アプリケーションはPHPやJavaといったプログラミング言語を使用すると思いますが、データを扱う事のできる唯一の言語はSQLです。

そのため、SQLが出来るだけで重宝されます。

[getpost id=”1028″]

インフラにもバックエンドにも

IT業界の職種はかなり広いのですが、SQLはインフラとバックエンドに領域が被っている為、就職の選択肢がかなり広がります。

最近ではフロントの人間もSQLを使用する事があるそうです。←僕の友達情報

そのため、僕の考えとしてはSQLを基盤に学ぶことでデータを扱えるIT人材になれるので、どこを目指したら良いのか分からない人はとりあえずSQLについて学ぶべきです。

[getpost id=”1045″]

気をつけること　〜考え方編〜

実行順序

実行順序の理解は大切です。

呼ばれる順序が分かることで、目的に沿ったSQL文を書くことが出来ます。逆に言うと実行順序を意識していなければ意図しないデータを取得する事になってしまいます。

実行順は以下の通りです。

1. FROM
2. WHERE
3. GROUP BY
4. HAVING
5. SELECT
6. DISTINCT
7. ORDER BY

SQLを学習した当初は欲しいデータに意識が向きすぎてしまいSELECT句が重要だと考えていました。

しかし、本当に欲しいデータを取得する場合は大本のテーブルから考えていく必要があります。

どのテーブルからどの条件でデータを取得していくのか意識してみてください。

書き方は十人十色

早めの段階で知りたかったのですが、SQLの書き方は十人十色です。

SQLを学びたての時は教科書通りに書かないといけないという意識が強く、柔軟性にかけたSQLを記述していました。(教科書通り→INはEXISTSで代替。サブクエリはできるだけ書かない。)

しかし実業務でデータを扱う際にはこんな書き方は良くないよって言われている書き方で実装しているSQLはよく目にします。
※1万レコードをUNIONで横持ちのデータを縦持ちに結合している仰天コードを目にしたことがあります。

Aを取得するという目的に対して、こうした方が良いよねって言う書き方はあるけど、正解はありません。

必要なデータを取得できないことが悪なので、慣れるまでは速さやキレイにデータを取得すると行った事は気にしないでおきましょう。

SQLに関しては知見が増えてくれば自然とどのような記述が最適なのかが理解できてくるので少しづつ努力していけば問題なしです。

データは超重要

データなんかより画面動かしたりする方がITっぽくてカッコいい〜！なんて思っていたのですが、ビジネスに必要なものはデータだと実務に入って気づきました。

結局の所、データを自分たちの使いやすい形でデータを取得or加工し、お金を生み出す形でデータを利用しているのがWebサービスの根幹だと思います。

データを扱えるって最強です。

気づいたこと　〜書き方編〜

インデントは揃えよう

SQLの経験が浅くても出来る事その1はインデントを揃えよう！です。

以下2つのSQL文を比較してもらえれば分かると思うのですが、格段に見やすさが異なると思います。

SELECT no , name FROM test 
WHERE no > 4 
AND name IN ('aiueo','test') 
ORDER BY no;

SELECT no , name FROM test 
 WHERE no > 4 
      AND name IN ('aiueo','test') 
 ORDER BY no;

予約文字は大文字

SQLの経験が浅くても出来る事その1は予約文字は大文字で記述！です。

予約文字はSQLで設定されている単語の事を指します。
(例：SELECT.FROM,WHERE,JOIN,)

こちらも比較してもらえれば分かると思います。

select no,name from test
where no > 4
    and name in('aiueo','test')
order by no

SELECT no , name FROM test 
 WHERE no > 4
      AND name IN ('aiueo','test') 
 ORDER BY no;

目的を考える

SQLに慣れてきたら何のデータが欲しいのかを考える癖をつけていきましょう。

SQLは様々な記述方法でデータを取得することが出来るため、目的を明確にし必要なデータを取得する事を意識してください。

目的を明確にすることでどの記述方法が最適なのかが段々と分かってくるはずです。

1. 複数行を返すとエラーになります
2. サブクエリの結果を複数行受け取れる述語

複数行を返すとエラーになります

Where句で使用するサブクエリの問い合わせ結果が2行以上になってしまうと「single-row subquery returns more than one row」のエラーが帰ってきます。

SQL> select * from test
 where no = (select no from test); 
 where no = (select no from test)
             *
ERROR at line 2:
ORA-01427: single-row subquery returns more than one row

サブクエリの結果が複数帰ってきてしまうとNo列の比較にどの値を使用したら良いのか分からない為のエラーです。

そのため、サブクエリの帰ってくる値を単一にする必要があります。

サブクエリを使用する時はケースバイケースのため、その都度サブクエリの帰ってくる件数を意識しましょう。

SQL>  select * from test
 where no = (select no from test where no = 1);  

	NO NAME
---------- --------------------------------------------------
	 1 aaaaa

SQL> select * from test
  where no = (select max(no) from test);    

	NO NAME
---------- --------------------------------------------------
	 5 youo

サブクエリの結果を複数行受け取れる述語

もしサブクエリの帰ってくる件数を複数のときにしたい場合は「IN」や「EXISTS」、「ANY」などの述語を指定します。

これらの述語を使用することでサブクエリの結果のどれかと一致するものを正とする事を表現することが出来ます。

SQL> select * from test
 where no IN(select no from test0);   

	NO NAME
---------- --------------------------------------------------
	 1 aaaaa
	 2 iiiii
	 2 uouoo

SQL> select * from test
 where exists(select no from test0 where test.no = test0.no);  2  

	NO NAME
---------- --------------------------------------------------
	 1 aaaaa
	 2 iiiii
	 2 uouoo

SQL> select * from test
 where no = ANY(select no from test0);  2  

	NO NAME
---------- --------------------------------------------------
	 1 aaaaa
	 2 iiiii
	 2 uouoo

1. 参考書を読んでも分かりづらい
2. 結合の種類
3. 2テーブルで結合を試していくぅ
   • 内部結合
   • 外部結合(左外部結合、右外部結合)
   • 完全外部結合
   • 自己結合
   • クロス結合
   • 自然結合
   • 非等価結合

参考書を読んでも分かりづらい

SQLの学習のために参考書を読んでも、「クロス結合が〜〜」「自然結合は〜〜」とたくさんの結合名称が出てきてしまい、こんがらがったのでまとめました。

当記事では内部結合と外部結合以外も紹介しているのですが、内部結合と外部結合さえ知っていればやっていけます。

SQL関連の資格を勉強している方やSQLの知識が浅い方は「そういう結合もあるんだ」くらいの理解をして頂ける記事になっていれば幸いです。

結合の種類

自分がテーブル結合の勉強をしている際に出会った結合名称です。

1. 内部結合
2. 外部結合(左外部結合、右外部結合)
3. 完全外部結合
4. 自己結合
5. クロス結合
6. 自然結合
7. 非等価結合

※自分はSQLを使用した実務経験が6ヶ月(2022年1月時点)しかないのですが、内部結合と外部結合の使用がほとんどでした。(自己結合と非等価結合は1,2回の使用)

2テーブルで結合を試していくぅ

SQL> select * from testJoin;

	NO NAME       P        AGE T
---------- ---------- - ---------- -
	 1 michel     1 	20 1
	 2 jordan     2 	30 1
	 3
	 4 Lebron     1 	25 1
	 5 hanamiti   2 	18 2
	 0 Popovich   0 	80 2

SQL> select * from testJoin2;

	NO POSITION
---------- ----------
	 1 PG
	 2 SG
	 3 Substitute

内部結合

内部結合は、結合Keyが一致する行のみを取得するための構文です。

下記のSQL文は、「No:0」がtestJoin1に登録されていない為、testJoinの「No:0,NAME:Popovich」のデータは取得されません。

マスタデータがないデータを弾く時によく使用されますね。

SQL> select t1.name , t2.POSITION from testJoin t1
inner join testJoin2 t2 on t2.NO = t1.pname;   2  

NAME	   POSITION
---------- ----------
michel	   PG
jordan	   SG
Lebron	   PG
hanamiti   SG

外部結合(左外部結合、右外部結合)

外部結合は、基となるテーブルのデータをすべて残した上での結合となります。

下記SQL文の場合だと、testJoinを基とするため結合Keyに一致しない「No:0」と「No:3」のレコードを取得することが出来ます。

select t1.no , t1.name , t2.POSITION from testJoin t1
left join testJoin2 t2 on t2.NO = t1.pname order by t1.no; 
SQL>   2  
	NO NAME       POSITION
---------- ---------- ----------
	 0 Popovich
	 1 michel     PG
	 2 jordan     SG
	 3
	 4 Lebron     PG
	 5 hanamiti   SG

完全外部結合

完全外部結合は、結合Keyが不一致でも結合するテーブルの全データを取得するための構文です。

結合Keyに一致しない「No:0,NAME:Popovich」「No:3,NAME:NULL」「No:NULL,NAME:NULL,Position:Substitute」の列が取得されていることが分かります。

正直使ったことないです。

SQL> select t1.no , t1.name , t2.POSITION from testJoin t1
Full outer join testJoin2 t2 on t2.NO = t1.pname order by t1.no;   2  

	NO NAME       POSITION
---------- ---------- ----------
	 0 Popovich
	 1 michel     PG
	 2 jordan     SG
	 3
	 4 Lebron     PG
	 5 hanamiti   SG
		      Substitute

自己結合

自己結合は、同一のテーブルを別テーブルと考えてデータを取得するための構文です。

下記SQL文では、同一のチームに所属している選手同士を出力しています。(※自己結合は同一テーブルを別テーブルとして扱うので別名称を付与しなければいけません)

余談ですがWHERE句にNAME列の比較演算子を使用しているので、同じ組み合わせのチームを除外しています。

SQL> select t1.no,t1.name,t1.team_id,t2.no,t2.name,t2.team_id from testJoin t1 
inner join testJoin t2 on t1.team_id = t2.team_id
where t1.name > t2.name
order by t1.no;   2    3    4  

	NO NAME       T 	NO NAME       T
---------- ---------- - ---------- ---------- -
	 1 michel     1 	 2 jordan     1
	 1 michel     1 	 4 Lebron     1
	 2 jordan     1 	 4 Lebron     1
	 5 hanamiti   2 	 0 Popovich   2

クロス結合

クロス結合は結合するテーブルのデータ数を乗算する構文のことを指します。

testJoinは6個のデータを、testJoin1は3個のデータを保持しています。

そのため6×3=18行が取得されます。

SQL> select t1.name,t2.POSITION from testJoin t1,testJoin2 t2
  order by t1.no,t2.no;  2  

NAME	   POSITION
---------- ----------
Popovich   PG
Popovich   SG
Popovich   Substitute
michel	   PG
michel	   SG
michel	   Substitute
jordan	   PG
jordan	   SG
jordan	   Substitute
	   PG
	   SG

NAME	   POSITION
---------- ----------
	   Substitute
Lebron	   PG
Lebron	   SG
Lebron	   Substitute
hanamiti   PG
hanamiti   SG
hanamiti   Substitute

自然結合

自然結合は、結合するテーブル同士のカラム名称とデータ型をSQLさんが判断してくれる構文です。

下記SQL文だと、testJoinのNo列(NUMBER型)とtestJoin1のNo列(NUMBER型)が同一名称、同一データ型になるためNO列を結合Keyに設定してくれています。

下記のデータを正として取得します。

testJoin「No:1,NAME:michel」= testJoin1「No:1,PG」
testJoin「No:2,NAME:jordan」= testJoin1「No:1,SG」
testJoin「No:3,NAME:NULL」= testJoin1「No:1,Substitute」

多分実務で使うこと無いんじゃないかと思います。

SQL> select no,t1.name,t2.POSITION from testJoin t1 
natural LEFt join testJoin2 t2;  

	NO NAME       POSITION
---------- ---------- ----------
	 0 Popovich
	 1 michel     PG
	 2 jordan     SG
	 3	      Substitute
	 4 Lebron
	 5 hanamiti

非等価結合

非等価結合は結合条件に「＝」演算子を使用しない構文を指します。

「＝」を条件に指定しないだけなので、あまり難しく考える必要はありません。

SQL> select * from testJoin t1 
inner join testJoin2 t2 on t1.PNAME <> t2.POSITION
where t1.no <3
order by t1.no;  2    3    4  

	NO NAME       P        AGE T	     NO POSITION
---------- ---------- - ---------- - ---------- ----------
	 0 Popovich   0 	80 2	      1 PG
	 0 Popovich   0 	80 2	      2 SG
	 0 Popovich   0 	80 2	      3 Substitute
	 1 michel     1 	20 1	      1 PG
	 1 michel     1 	20 1	      2 SG
	 1 michel     1 	20 1	      3 Substitute
	 2 jordan     2 	30 1	      1 PG
	 2 jordan     2 	30 1	      2 SG
	 2 jordan     2 	30 1	      3 Substitute

1. NULLの特徴
2. NULLが嫌い
   • 「=」が使えない
   • 文字結合ができない
   • 値の並び順
   • 論理演算にNULLが紛れ込むとやっかい
3. 他にも

NULLの特徴

NULLとは0でも空文字でもない値のことを指します。（イメージ的には存在しない値を分かりやすくするためにNULLというシールを貼っている状態のこと。）

例えば、財布の中身はいくら？という問いに対して下記の場合が値を保持しているということが証明できます。

• 財布の中身が0円であれば財布が空なので0円という値を保持。
• 10円が入っていれば10円という値を保持。

しかし、財布自体がなければ10円を保持することも0円を保持することもできません。

この財布がない状態の事をSQLの世界ではNULLと呼んでいます。

NULLが嫌い

「=」が使えない

SQLにおいて値の比較や参照において「＝」を使用するのですが、NULLに「＝」は使用できません。

NULLの特徴でもお話したとおり、NULLは値ではないため「＝」「＜」「＞」などの演算子を使用することができません。値ではないものを比較しようとするとSQLさんに怒られます。

そのため、IS　NULLという構文を用いて値の参照や比較を行います。

--名前が無い人の検索
SELECT name FROM family WHERE name IS NULL;

--名前がある人の検索
SELECT name FROM family WHERE name IS NOT NULL;

文字結合ができない

NULL＋文字列の結合を行なうと異変が起きてしまいます。

MysqlにてNULL値と文字列をCONCAT関数を使用して文字列結合を行うと、NULL値を含む文字列はNULLになってしまいました。(数学で言うところの｛数字×0＝0｝みたいな感じなんですね。)

mysql> SELECT * FROM BUSYO;
+----------+-----------------+
| busyo_no | busyo_name      |
+----------+-----------------+
|        1 | 開発部          |
|        2 | デザイン部      |
|        3 | 営業部          |
|        4 | サービス部      |
|        5 | NULL            |
+----------+-----------------+
5 rows in set (0.00 sec)

mysql> SELECT CONCAT(busyo_name,'hoge') FROM BUSYO;
+---------------------------+
| CONCAT(busyo_name,'hoge') |
+---------------------------+
| 開発部hoge                |
| デザイン部hoge            |
| 営業部hoge                |
| サービス部hoge            |
| NULL                      |
+---------------------------+
5 rows in set (0.00 sec)

値の並び順

ORDER BYによって値を並び替える時、NULL値を含む列の場合はNULL値が一番上(もしくは一番下)にきます。

値ではないのがNULLの特徴なので、比較して並べかえを実現する事はできないみたいです。

NULL値の順序を指定する場合、「NULLS FIRST(or LAST)」を指定することで思い通りの順序にすることが可能です。

SQL> select * from fruit2 order by name1;

NAME1	   NAME2
---------- ----------
apple	   orange
apple	   apple
banana	   banana
banana	   apple
banana	   orange
orange	   orange
	           orange

SQL> select * from fruit2 order by name1 nulls first;

NAME1	   NAME2
---------- ----------
	           orange
apple	   orange
apple	   apple
banana	   orange
banana	   banana
banana	   apple
orange	   orange

論理演算にNULLが紛れ込むとやっかい

WHERE句に下記のようなサブクエリを記述した際にサブクエリの結果がNULLを返すと意図しない結果が帰ってきます。

SQL>SELECT * FROM TEST1
         WHERE no <(SELECT min(no) FROM TEST2);

NULLに比較演算子は使用できないため、サブクエリの結果がNULLになると大元のSQLは１行も返してくれません。

TEST2テーブルにNULLが存在しないと思いこんで上記SQL文を発行してしまうと想定外の結果が帰ってくるので気をつけましょう。

対策としては、サブクエリ内でNULL値を変換してくれるcoalesce関数などの使用がおすすめです。

他にも

まだ学習不足で確認ができていないのですが、

• インデックスとNULL
• NULLの便利な使用方法

などを今後追記していきます。

1. case式について
2. 使用方法
   • SELECT句
   • WHERE句
   • GOURP BY
3. 混同しがちなIF文
4. 上級者はcase式

case式について

case式とはSQLで条件分岐するための関数です。

JavaやPHPなどで条件分岐する時に使用しているcaseと何ら違いはなく、「〇〇の時はAの処理！」「〇〇はBの処理！」というような指定をすることができます。

CASE カラム名
　　　WHEN 条件式　THEN "一致した時の値"
   WHEN 条件式 THEN "一致した時の値"
   ELSE "条件のどれとも一致しない時の値"
END

使用方法

case式はSELECT句、WHERE句、ORDER BY句、GROUP BY句など様々な場面で使用できます。

どんな時でも使えるのがケース式です。

SELECT句

--取得してきたageカラムの値を成人か未成年として表示
SELECT name,
CASE age
　　WHEN age > 19 THEN '成人'
　　WHEN age < 20 THEN ' 未成年'
  ELSE "年齢不詳"
END
FROM SYAIN;

WHERE句

--Aのカラムが未来のものだけ取得
SELECT * FROM DUAL
WHERE (CASE WHEN SYSDATE < DATE THEN "未来" END) = A;

GOURP BY

SELECT * FROM BUSYO
ORDER BY case busyo_name WHEN busyo_name = "営業" THEN 1
                                                   ELSE 2;

本来の並びであれば｛1:総務部、2:開発部、3:サービス、4:営業｝のところをORDER BY句にケース式を使うことで、営業を一番上に取得することができます。

混同しがちなIF文

PL/SQLなどのSQLを扱うためのプログラミング言語などで使用されるIF文とcase式は混同されがちです。

IF文とcase式はどちらも条件分岐を行なう為の予約後なのですが、名前に文と式の違いがある通り、たくさんの文の中で条件分岐をする為のIF文と一つの文の中で条件分岐をするためのcase式という違いがありまする。

簡単に言うと手続き型言語で使用するのがIF文。非手続き型言語でしようするのがcase式。ということになります。

イメージとしては、SQL文などでSELECT文などを下記のように1回づつ実行していく感じです。
SELECT * FROM DUAL;

上級者はcase式

「上級者はWHERE句で条件を指定するのではなく、ケース式をSELECT句で使用する」と先輩に言われました。

そのレベルまで行けるようにがんばりまする。