三題噺：馬・カメラ・Python

正規表現は元々ASCIIコードの文字列を念頭に置いた処理であったがUnicodeへの拡張がされている。

• \d：これは任意の 10 進数字にマッチする。Unicodeへの拡張で半角数字、全角数字にマッチする。

>>> print(re.findall(r'\d+','2021年６月十五日'))
['2021', '６']

漢数字にはマッチしない。半角数字のみでは[0-9]の範囲指定、全角数字のみでは[０-９]の範囲指定を使う。

• \D：これは\dの補集合にマッチする。
• \w：英数字にマッチする。Unicodeへの拡張では殆んど全ての文字にマッチする。ひらがなのみにマッチさせるのは[あ-ん]を使う。カタカナは[ア-ン]を使う。

>>> print(re.findall(r'[あ-ん]+','雨ニモ負ケズ、風にも負けず'))
['にも', 'けず']
>>> print(re.findall(r'[ア-ン]+','雨ニモ負ケズ、風にも負けず'))
['ニモ', 'ケズ']

注）Unicode表に沿えばひらがなの範囲は[ぁ（小書きのあ）-ゖ（小書きのけ）]であるが伝統的にはひらがなは「あ」で始まり「ん」で終わるべきだ。

ひらがなカタカナをマッチングから外すには補集合表示が使える。

>>> print(re.findall(r'[^あ-んア-ン]+','雨ニモ負ケズ、風にも負けず'))
['雨', '負', '、風', '負']

• \W：これは\wの補集合にマッチする。
• 小さい「っ」・大きい「つ」の区別

>>> print(re.findall(r'.っ','はっきり、つめる'))
['はっ']
>>> print(re.findall(r'.つ','はっきり、つめる'))
['、つ']

• 全角空白・半角空白

>>> print(re.findall(r' .','これは　全角、これは 半角'))
[' 半']
>>> print(re.findall(r'　.','これは　全角、これは 半角'))
['\u3000全']

• 句読点

>>> print(re.findall(r'.。|.、','おお、寒い。'))
['お、', 'い。']

以上、Unicodeの扱いを纏めてみた。

正規表現ではバックスラッシュ（\）が多用される。一方Pythonの文字列ではこのバックスラッシュが特別な意味を持つことがある。例を挙げる：

>>> len('\section')
8
>>> len('\next')
4
>>> 

文字列でバックスラッシュに続けてnがあるとそれらの2個で特別な意味を持つ1文字となる。だから文字列’\section’では文字数が8文字であることと対照的に文字列’\next’は4文字となる。この特別な意味を持つ1文字をエスケープシーケンスと呼ぶ（なぜエスケープシーケンスと呼ぶかは最初<Esc>キーをエスケープ文字にした歴史的な経緯による）。

正規表現もPython文字列である。しかもバックスラッシュが多用される。そのバックスラッシュがエスケープ文字として働くと厄介なことが起きる。

これを回避する一つの方法が通常の文字列の代わりにraw_stringを用いるものである。この記法は通常の文字列の前にrを付ける。実例を示す：

>>> len(r'\next')
5
>>> 

この記法ではエスケープシーケンスはその特別な意味を失い、単なる普通の二文字となる。

この記法で書けばエスケープシーケンスが紛れ込むことを気にしないで正規表現を記述できる。例を示す：

#coding: utf-8
import re
text = r'次の節は\nextで始める'
m = re.search(r'\\next', text)
print(m.group(0))

正規表現の中の\\は正規表現の特別文字、バックスラッシュを普通の文字とするためである。

正規表現でマッチした文字列の全てに興味がある訳ではないことがしばしば起こる。例えば固定電話番号のマッチングでは市外局番・市内局番・加入者番号がマッチすることを要求するが興味があるのは加入者番号だけであるというようなばあいである。このばあいはマッチした文字列全体ではなく、加入者番号のみを表示すれば足りる。このようなばあいにグループ化が使える。

グループ化は(正規表現）とグループ化したい正規表現の部分を丸括弧()で括ってやる。グループ化は入れ子（表現1(表現2))でも直列(表現1)(表現2)でも構わない。グループには番号が振られる。正規表現全体はグループ0、正規表現を右に検索し左丸括弧に出会うと番号はインクリメントし、対応する右丸括弧までがこのグループに所属することになる。実例を示す：

#coding: utf-8
import re
telNumber = re.compile(r"""
^0    #ゼロ発信
(
    #固定電話（市外・市内・加入者）
      [36]-\d{4}- (\d{4})  #東京(3)・大阪(6)
    | \d{2}-\d{3}- (\d{4}) #仙台(22)
    | \d{3}-\d{2}- (\d{4]) #松本(263)
    | \d{4}-\d-    (\d{4}) #伊豆大島(4992)
    #携帯電話（キャリア・管轄・加入者）
    | [7-9]0-\d{3} (\d-\d{4})    
)
""", re.VERBOSE)

m=telNumber.search('022-345-9876')
if m :
    print(m.groups())
else:
    print(m)

この例では正規表現に六個のグループが使われている。メソッドgroups()はこの六個のグループに対応する表示をタプルの形で取り出すことができる。この実例の結果は

('22-345-9876', None, '9876', None, None, None)

グループ1とグループ3でマッチする表現があることが分る。Noneは該当するグループにマッチする文字列がなかったことを意味する。

このグループ化のPython拡張としてグループに名前を付けることができる。それには(?P<名前>…)というふうに左丸括弧の次に?P<名前>を挿入する。実例を示す：

#coding: utf-8
import re
telNumber = re.compile(r"""
^0    #ゼロ発信
(?P<電話番号>
    #固定電話（市外・市内・加入者）
      [36]-\d{4}- (?P<固定0>\d{4})  #東京(3)・大阪(6)
    | \d{2}-\d{3}- (?P<固定1>\d{4}) #仙台(22)
    | \d{3}-\d{2}- (?P<固定2>\d{4]) #松本(263)
    | \d{4}-\d-    (?P<固定3>\d{4}) #伊豆大島(4992)
    #携帯電話（キャリア・管轄・加入者）
    | [7-9]0-\d{3} (?P<携帯>\d-\d{4})    
)
""", re.VERBOSE)

m=telNumber.search('070-2345-9876')
if m :
    print(m.groupdict())
else:
    print(m)

メソッドgroupdict()によってグループ名をキーとしマッチした文字列を値とする辞書で結果を取り出すことができる。結果は

{'電話番号': '70-2345-9876','固定0': None,'固定1': None,
 '固定2': None, '固定3': None, '携帯': '5-9876'}

となり、この電話番号は携帯で加入者番号が5-9876であることが表示される。

正規表現はとかく呪文のような読み難い表現になり勝ちであるごが、Pythonでは少し工夫がされていて冗長な表現ができる。実例を示す：

import re
telNumber = re.compile(r"""
^0    #ゼロ発信
(
    #固定電話（市外・市内・加入者）
      [36]-\d{4}- (\d{4})  #東京(3)・大阪(6)
    | \d{2}-\d{3}- (\d{4}) #仙台(22)
    | \d{3}-\d{2}- (\d{4]) #松本(263)
    | \d{4}-\d-    (\d{4}) #伊豆大島(4992)
    #携帯電話（キャリア・管轄・加入者）
    | [7-9]0-\d{3} (\d-\d{4})    
)
""", re.VERBOSE)

m=telNumber.search('070-2345-9876')
if m :
    print(m.group(0))
else:
    print(m)

日本の電話番号のマッチングのための正規表現であるが、コメント（#）や空白・改行を使って見やすくできる。

前のブログの続きである。

正規表現上でキャレットは前述の二つの位置以外では特別な意味は持たないが特殊記号にはちがいない。従って単なる文字としてキャレットとマッチしたいときには

\^

とバックスラッシュ（\）を使う。

[^^]

これは先頭のキャレットが補集合キャレットで二番目のキャレットは単なる文字としてのキャレットである。和集合のなかでは補集合キャレットを例外として全ての特殊記号は単なる文字として振舞う。上の正規表現はキャレットでない任意の一文字でマッチする。

正規表現ではキャレット（＾）は特別な役割をしている。

• 正規表現の先頭にキャレットがあるとそれは対象になる文字列の先頭でマッチングを検証することを意味する。

^abc

の正規表現では文字列abcdはマッチするが、dabcはマッチしない。

• 文字クラス（角括弧で括られた文字の和集合、例[0-9abc]。この位置で和集合のどれかの文字であるとマッチする）の先頭にキャレットがあるとその補集合、つまりこの和集合のどの文字でもないとマッチすることを意味する。

[^0-9abc]

この正規表現ではこの和集合以外の文字であるとマッチする。

[^a]

これも有効な表現である。

• この二つの位置以外ではキャレットは特別な意味を持たない。因みに

^a

は先頭の文字がaである文字列でマッチする。

^[^a]

は先頭の文字がa以外である文字列でマッチする。

具体的な例から考察しよう。ファイル名は基幹名（basename）と拡張子（extension）をドット（.）で区切って表現する。例えば、ファイル名abc.txtはabcが基幹名で、txtが拡張子である。

例えば多くのファイル名のマッチングのタスクで、特定の拡張子を持つファイル名をマッチングから外したいとする（例えば拡張子bat）。

この逆、つまり特定の拡張子を持つファイル名のみマッチングさせたいという処理は極めて簡単である。正規表現で書くと

.*[.]bat$

区別に関心のない基幹名（ドットを含めて）はドットで終わる任意の長さの任意の文字列とのマッチだから.*[.]となる。
この処理の逆、つまり特定の拡張子を持つファイル名をマッチングから除外しそれ以外の多くの拡張子を持つファイル名をマッチさせたいというのが本来のタスクである。このようなばあいに使えるのが「先読みアサーション」である。「先読みアサーション」には否定と肯定とがあるが、ここでは否定を使う。

パターンAパターンB

パターンAまでマッチングが進んだ時点でこれ以降がパターンBであるかどうかをその時点で検証し、であるとマッチングは失敗とする。ないとマッチングは継続する。問題に即して正規表現で書くと

.*[.](?!bat$)

先読みアサーション（否定）は(?!正規表現)と書く。この時点以降の文字列がこの正規表現とマッチするか検証する。それ以降で例えばbatchではマッチしない。rebatもマッチしない。マッチするものはbatのみである。これがマッチするとマッチング作業は失敗である。それがマッチしないと、後はなんの制限もなしにマッチさせればよいので最終的な正規表現は以下のようになる：

.*[.](?!bat$).*$

後読みアサーションというものもある。これも否定と肯定がある。この否定は(?<!..)と書く。例えば「ファイル名の基幹名がabc以外であるとマッチする」というような処理で使える。ファイルの基幹名がabc以外の全てのファイル名にマッチする正規表現は以下のようになる。

(?<!^abc)[.].*$

これは左からドットの位置まで探索を進め、そこで振り返って先頭からドットまでの間の文字列がabcであるとマッチングは失敗とする。それ以外では探査を右に進め通常のマッチングを続ける。この例では.*$となっているので文字列の最後まで任意の長さの任意の文字列がマッチされる。しかし結果としてマッチされる文字列は[.].*$の部分のみである。基幹名もマッチさせるには以下のようにする：

.*(?<!^abc)[.].*$

これで基幹名がabc以外の全てのファイル名がマッチされる。拡張子がなんであれ、基幹名がabcのファイル名はマッチに失敗する。

先読み（後読み）アサーションはこのように上手く使うと大変の便利な機能である。