7.8.8. TokenBigramSplitSymbolAlpha¶
7.8.8.1. 概要¶
TokenBigramSplitSymbolAlpha は TokenBigram と似ています。違いは記号とアルファベットの扱いです。
7.8.8.2. 構文¶
TokenBigramSplitSymbolAlpha には、引数がありません。
TokenBigramSplitSymbolAlpha
7.8.8.3. 使い方¶
TokenBigramSplitSymbolAlpha は記号とアルファベットのトークナイズ方法にバイグラムを使います。
実行例:
tokenize TokenBigramSplitSymbolAlpha "100cents!!!" NormalizerAuto
# [
# [
# 0,
# 1337566253.89858,
# 0.000355720520019531
# ],
# [
# {
# "position": 0,
# "force_prefix": false,
# "value": "100"
# },
# {
# "position": 1,
# "force_prefix": false,
# "value": "ce"
# },
# {
# "position": 2,
# "force_prefix": false,
# "value": "en"
# },
# {
# "position": 3,
# "force_prefix": false,
# "value": "nt"
# },
# {
# "position": 4,
# "force_prefix": false,
# "value": "ts"
# },
# {
# "position": 5,
# "force_prefix": false,
# "value": "s!"
# },
# {
# "position": 6,
# "force_prefix": false,
# "value": "!!"
# },
# {
# "position": 7,
# "force_prefix": false,
# "value": "!!"
# },
# {
# "position": 8,
# "force_prefix": false,
# "value": "!"
# }
# ]
# ]